WO2021182670A1 - 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법 - Google Patents

요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법 Download PDF

Info

Publication number
WO2021182670A1
WO2021182670A1 PCT/KR2020/005235 KR2020005235W WO2021182670A1 WO 2021182670 A1 WO2021182670 A1 WO 2021182670A1 KR 2020005235 W KR2020005235 W KR 2020005235W WO 2021182670 A1 WO2021182670 A1 WO 2021182670A1
Authority
WO
WIPO (PCT)
Prior art keywords
node
vector
relationship
vectors
model
Prior art date
Application number
PCT/KR2020/005235
Other languages
English (en)
French (fr)
Inventor
이상윤
조명아
정태영
이현성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200038715A external-priority patent/KR102356438B1/ko
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2021182670A1 publication Critical patent/WO2021182670A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Definitions

  • the present invention relates to an apparatus and method for recognizing heterogeneous faces, and to an apparatus and method for recognizing heterogeneous faces based on extracting relationships between elements.
  • face recognition using deep learning was mainly performed through matching between images acquired in the same way using the same type of sensor. For example, in the past, a face was recognized by matching a face between color images.
  • heterogeneous face recognition capable of recognizing a face even between different types of sensors and images obtained by various methods is being actively conducted.
  • heterogeneous face recognition has a large difference between images according to the acquisition method, and there is a limitation in that there is not enough heterogeneous face dataset to sufficiently train the network even if deep learning technology is applied.
  • Another object of the present invention is to provide a heterogeneous face recognition apparatus and method that can be efficiently learned with little learning data by generating a relationship graph model in a virtual common space using relationships between components.
  • a heterogeneous face recognition apparatus for achieving the above object divides an acquired face image irrespective of a domain indicating an acquired method into a plurality of regions according to a pre-learned pattern estimation method, and divides the an element feature extraction unit for estimating the pattern of each region to obtain a feature map composed of a plurality of feature vectors; a vector position and distance calculator for calculating a position and a relative distance of each of the plurality of feature vectors in the feature map and combining them with a corresponding feature vector; a vector relationship modeling unit that considers each of a plurality of feature vectors in which a position and a relative distance are combined as a plurality of node vectors on a virtual common space, and obtains a relationship graph model in which the relationship between the plurality of node vectors is expressed as an edge; A relation in which a weight according to the semantic importance of each of the plurality of node vectors of the relationship graph model is obtained according to a pre-learned pattern estimation method, and
  • the vector relationship modeling unit projects each of a plurality of feature vectors in which a position and a relative distance are combined as a plurality of node vectors on a virtual common space, and represents a plurality of relationships between the plurality of node vectors according to the plurality of node vectors.
  • the relation graph model may be generated by setting the edge of , based on the relation weight obtained by learning.
  • the vector relationship modeling unit propagates the relationship to the node vector connected to each edge according to the set plurality of edges, updates the plurality of node vectors to the next state, and updates the edge again according to the state of the updated node vector. It can be repeated a specified number of times.
  • the relation model update unit may include: a representative value calculation unit which obtains a representative value of each of the plurality of node vectors in a predetermined manner to obtain a representative graph model expressed as a representative value; an encoder that encodes the representative graph model according to a pre-learned pattern estimation method to obtain an importance vector indicating the importance of each of a plurality of node vectors of the relation graph model; a decoder that receives the importance vector and decodes it according to a pre-learned pattern recovery method to obtain a weight relationship model graph having a weight according to the importance of each node vector of the relationship graph model as a node; and an update unit configured to obtain the correction relationship model graph by weighting a weight of a corresponding node of the weight relationship model graph to each of the plurality of node vectors of the relationship graph model.
  • the heterogeneous face recognition apparatus further includes a learning unit for learning the vector relation modeling unit and the relation model updating unit, wherein the learning unit includes an anchor that is a face image of a subject as a reference for a face image applied as training data, and the anchor; A correction relationship model graph is obtained for each positive, which is a face image of a different domain for the same subject, and a negative, which is a face image for a different subject, with an anchor, and between the anchor and positive, respectively, corresponding multiple node vectors on the common space.
  • the learning unit includes an anchor that is a face image of a subject as a reference for a face image applied as training data, and the anchor;
  • a correction relationship model graph is obtained for each positive, which is a face image of a different domain for the same subject, and a negative, which is a face image for a different subject, with an anchor, and between the anchor and positive, respectively, corresponding multiple node vectors on the common space.
  • the heterogeneous face recognition apparatus further includes a facial feature database in which the plurality of reference relationship graph models are mapped to an identifier of a subject and stored, and the face recognition unit has a reference relationship having a similarity greater than or equal to a predetermined reference similarity to the correction relationship graph model.
  • a facial feature database in which the plurality of reference relationship graph models are mapped to an identifier of a subject and stored, and the face recognition unit has a reference relationship having a similarity greater than or equal to a predetermined reference similarity to the correction relationship graph model.
  • the heterogeneous face recognition apparatus may recognize a subject by receiving one of a color image, an infrared image, a thermal infrared image, or a sketch image according to a domain.
  • a heterogeneous face recognition apparatus and method for achieving the above other object divides an acquired face image irrespective of a domain indicating an acquired method into a plurality of regions according to a pre-learned pattern estimation method, and , obtaining a feature map composed of a plurality of feature vectors by estimating the pattern of each divided region; calculating a position and a relative distance of each of the plurality of feature vectors in the feature map and combining them with a corresponding feature vector; obtaining a relationship graph model in which each of a plurality of feature vectors combined with a position and a relative distance is regarded as a plurality of node vectors on a virtual common space, and relationships between the plurality of node vectors are expressed as edges; Obtaining a weight according to the semantic importance of each of the plurality of node vectors of the relationship graph model according to a pre-learned pattern estimation method, and obtaining a corrected relationship graph model by weighting the obtained weights on each of the plurality of node
  • the heterogeneous face recognition apparatus and method generates a relationship graph model in a virtual common space using the distance relationship between components, and compares the node vector similarity of the generated relationship graph model. In addition to being able to accurately identify a face from various face images obtained in this way, it can be efficiently learned with a small amount of training data.
  • FIG. 1 shows a schematic structure of a heterogeneous face recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining an operation of the element feature extracting unit of FIG. 1 .
  • FIG. 3 is a diagram for explaining the operation of the vector position and distance calculator of FIG. 1 .
  • 4 and 5 are diagrams for explaining an operation of the vector relationship modeling unit of FIG. 1 generating a relationship graph model between feature vectors and propagating the relationship.
  • FIG. 6 shows a detailed configuration of the relation model update unit of FIG. 1 .
  • FIG. 7 is a diagram for explaining a concept in which the relationship model update unit of FIG. 6 updates the relationship graph model.
  • FIGS. 8 and 9 are diagrams for explaining a concept in which a learning unit learns a heterogeneous face recognition apparatus.
  • FIG. 11 illustrates a heterogeneous face recognition method according to an embodiment of the present invention.
  • FIG. 12 is a diagram illustrating in detail a step of updating the relationship graph model of FIG. 11 .
  • FIG. 1 shows a schematic structure of a heterogeneous face recognition apparatus according to an embodiment of the present invention.
  • the heterogeneous face recognition apparatus includes a heterogeneous image acquisition unit 100 , an element feature extraction unit 200 , a vector position and distance calculation unit 300 , a vector relationship modeling unit 400 , It may include a relation model update unit 500 , a face recognition unit 600 , and a facial feature database 700 .
  • the heterogeneous image acquisition unit 100 acquires heterogeneous face images obtained in various ways.
  • the face image may be a heterogeneous face image obtained from different types of sensors such as a color image sensor or infrared and thermal infrared sensors, or may be an image obtained without using a sensor, such as a sketch image of a face.
  • the heterogeneous image acquisition unit 100 does not need to distinguish a method in which each face image is acquired.
  • the heterogeneous image acquisition unit 100 may acquire each face image by dividing it into domains according to the acquired method. That is, the heterogeneous image acquisition unit 100 may acquire a plurality of face images by dividing them into a color domain, an infrared domain, a thermal infrared domain, and a sketch domain according to an image acquisition method.
  • the heterogeneous image acquisition unit 100 classifies and acquires face images obtained by different methods into different domains according to the manner in which the face images are obtained when learning the heterogeneous face recognition apparatus. That is, the color domain image, the infrared domain image, the thermal infrared domain image, and the sketch domain image may be separately acquired and stored.
  • the heterogeneous image acquisition unit 100 may acquire and store identifiers by mapping the identifiers according to subjects that are subjects of a facial image obtained by being divided by domains during training of the heterogeneous face recognition apparatus. That is, if each face image obtained from the same or different domains is a face image of the same subject, the same identifier is assigned, and if the face image is of a different subject, different identifiers are assigned and stored.
  • domain division and identifier mapping of the face image are for learning of the heterogeneous face recognition apparatus, and when the heterogeneous face recognition apparatus according to the present embodiment is used for actual face recognition, the heterogeneous image acquisition unit 100 determines the obtained face It does not distinguish domains of images and does not map identifiers. This is because the heterogeneous face recognition apparatus according to the present embodiment is trained in advance to recognize a face regardless of the domain of the face image.
  • the element feature extraction unit 200 obtains a plurality of feature vectors by extracting each element feature according to a pattern estimation method learned in advance for each of the face images obtained by the heterogeneous image acquisition unit 100 .
  • FIG. 2 is a diagram for explaining an operation of the element feature extracting unit of FIG. 1 .
  • the element feature extraction unit 200 extracts a feature for each element of the face image to obtain a feature map.
  • the element feature extractor 200 may divide the face image into a plurality of regions in a predetermined manner, and may obtain a feature map by estimating a pattern of each divided region.
  • the feature map may be composed of a plurality of feature vectors whose patterns are estimated corresponding to each region, and each of the plurality of feature vectors may be obtained as a one-dimensional vector in the Z-axis direction as shown in FIG. 2 , for example.
  • the element feature extracting unit 200 that extracts elemental features from a face image to obtain a feature map may be implemented as an artificial neural network, and may be learned according to a loss propagated during learning of a heterogeneous face recognition device, but from the image. Since the artificial neural network for extracting features is publicly available, an artificial neural network that has already been trained may be used.
  • the vector position and distance calculator 300 calculates a position of each of a plurality of feature vectors constituting the feature map, and calculates a relative distance between the plurality of feature vectors based on the calculated positions of the feature vectors.
  • Each of the feature vectors extracted by the element feature extraction unit 200 extracts a feature of a corresponding region in the face image, which can be seen as extracting features for each component from the subject's face. And the relative distance between these components can be viewed as an independent feature independent of the domain, which is a method of acquiring a face image with a unique characteristic of each subject's face. For example, the distance between the human eye and the eye and the distance between the mouth and the chin may be viewed as unique characteristics of each subject.
  • the vector position and distance calculator 300 calculates the position and the relative distance of each feature vector in the feature map, and combines the calculated position and the relative distance with the corresponding feature vector.
  • FIG. 3 is a diagram for explaining the operation of the vector position and distance calculator of FIG. 1 .
  • the vector position and distance calculator 300 calculates the x coordinate (x i ) and the y coordinate (y j ), which are absolute position information, for each of a plurality of feature vectors of the feature map, and calculates Based on the position coordinates (x i , y j ) of each of the plurality of feature vectors, the relative distance (r i,j ) of each feature vector with respect to the center (x 0 , y 0 ) of the feature map according to Equation 1 ) is calculated and obtained.
  • the vector position and distance calculator 300 calculates the position coordinates (x i , y j ) and the relative distances (r i,j ) of each feature vector on the XY plane, but this means that the feature vector of the feature map is This is because it is assumed that it is a one-dimensional vector in the Z-axis direction, and the plane for calculating the position coordinates and the relative distance may be changed according to the direction constituting the feature vector.
  • the vector position and distance calculator 300 calculates the position coordinates (x i , y j ) and the relative distances (r i,j ) of each of the plurality of feature vectors, the calculated position coordinates (x i , y j ) and the relative distance (r i,j ) are concatenated into the corresponding feature vector.
  • the calculated position coordinates (x i , y j ) and relative distances (r i,j ) are further added to each of the plurality of feature vectors of the feature map in the Z-axis direction.
  • the vector relationship modeling unit 400 sets the position coordinates (x i , y j ) and the relative distance (r)
  • Each of a plurality of feature vectors combined with i,j ) is set as a node vector (n i ), and the relationship between the set node vectors is set as an edge (e i,j ) to establish the relationship between the feature vectors in a virtual common space.
  • Create a relationship graph model that is represented as a graph on the top.
  • 4 and 5 are diagrams for explaining an operation of the vector relationship modeling unit of FIG. 1 generating a relationship graph model between feature vectors and propagating the relationship.
  • the vector relationship modeling unit 400 first projects each of a plurality of feature vectors in a virtual common space to set a corresponding node vector (n i ), as shown in FIG. 4 .
  • a node vector n i since the position and distance of the feature vectors represent the unique characteristics of the subject's face regardless of the domain, a plurality of location coordinates (x i , y j ) and relative distance (r i,j )
  • Each of the feature vectors may be expressed as a node vector n i on a common space that is not limited to a domain.
  • edges (e i,j t ) connected between each set node vector (n i t ) indicating a relationship between the node vectors are set.
  • t indicated in each node vector (n i t ) and edge (e i,j t ) indicates a current state.
  • n i t and e i,j t mean the edge from the i-th node vector and the i-th node vector (n i t ) to the j-th node vector (n j t ) in the current state
  • n i t+1 and e i,j t+1 means the edge from the i-th node vector and the i-th node vector (n i t ) to the j-th node vector (n j t ) in the next state.
  • ⁇ is an activation function, and may be, for example, a sigmoid.
  • W e is updated by learning as a relation weight, and T denotes a transpose matrix.
  • the vector relationship modeling unit 400 calculates the next state (n i t+1 ) of the plurality of node vectors connected to the edge (e i,j t ) of the current state calculated according to Equation 2 according to Equation 3 to update
  • the plurality of node vectors (n i ) and the plurality of edges (e i,j ) have a mutual relationship
  • the plurality of node vectors (n i ) and the plurality of edges (e i,j ) are alternately
  • the state can be updated repeatedly. This update process is called relationship propagation, and relationship propagation may be repeatedly performed a predetermined number of times.
  • the relation model update unit 500 receives the relation graph model modeled by the vector relation modeling unit 400 and the relation propagated relation graph model is authorized, and a semantically more valuable node among a plurality of node vectors (n i ) of the relation graph model applied. vector each node vector (n i) element weight (w i) in advance corresponding to acquisition according to the learning pattern estimation method between each node of the graph model vectors corresponding to such that the higher attention to the (n i) ( We update the relation graph model by weighting n i ).
  • FIG. 6 shows a detailed configuration of the relationship model updater of FIG. 1
  • FIG. 7 is a diagram for explaining the concept of the relationship model updater updating the relationship graph model of FIG. 6 .
  • the relationship model updater 500 may include a representative value calculator 510 , an encoder 520 , a decoder 530 , and an updater 540 .
  • the representative value calculation unit 510 receives an updated relation graph model generated and relation propagated by the vector relation modeling unit 400 as shown in FIG. the calculating a representative value (z i) of the updated nodes vector (n i t + 1), represented by the representative values (z i) of the node vector (n i t + 1) calculated as in (b) represented in accordance with Acquire a graph model.
  • the representative value calculator 510 may calculate the representative value z i of the average value of the node vector in various ways, but here, as an example, the average value of the node vector is calculated as the representative value z i according to Equation 4 Assume
  • C represents the length of the node vector.
  • the encoder 520 encodes the representative graph model according to the pre-learned pattern estimation method, and obtains an importance vector indicating the importance of each node vector (n i t+1 ) of the relation graph model as shown in (c).
  • the decoder 530 receives the importance vector obtained from the encoder 520 and decodes it according to the pattern recovery method learned in advance, and as shown in (d), the importance of each node vector (n i t+1) of the relationship graph model.
  • a weight relation model graph having a weight (w i ) according to
  • the update unit 540 receives the relation graph model and the weight relation model graph, and adds the weight w i of the corresponding node of the weight relation model graph to each of a plurality of node vectors (n i t+1 ) of the relation graph model.
  • a correction relation model graph is obtained as shown in (e).
  • the face recognition unit 600 receives the correction relation model graph from the relation model update unit 500 and is based on each of a plurality of node vectors (w i n i ) of the applied correction relation model graph and the facial feature database 700 .
  • a reference relationship graph model that is equal to or greater than a predetermined reference relationship graph model is searched for.
  • the reference relationship graph model that is equal to or greater than the reference similarity is searched for, it is determined that the target of the obtained relationship graph model and the target of the reference relationship graph model are the same person. Accordingly, the face recognition unit 600 obtains and outputs the identifier mapped to the searched reference relationship graph model from the facial feature database 700 .
  • the face recognition unit 600 includes a plurality of node vectors (w i n i ) and facial features of the correction relationship graph model generated from the facial images obtained and applied in various ways regardless of the domain to the heterogeneous image acquisition unit 100 .
  • the subject of the facial image applied to the heterogeneous image acquisition unit 100 is stored in the facial feature database 700 as the reference relationship graph model Face recognition is performed by determining whether or not the subject is a pre-stored subject, and an identifier of the subject, which is the subject of the face image, is output as a result of face recognition.
  • the facial feature database 700 maps and stores the correction relationship graph model previously obtained from the face image as a reference relationship graph model with the identifier of the subject who is the subject of the face image, and stores the correction relationship graph at the request of the face recognition unit 600 .
  • the model is transmitted to the face recognition unit 600 .
  • the facial feature database 700 pre-stores a plurality of reference relationship graph models mapped to identifiers, when the face recognition unit 600 searches for a reference relationship graph model having a degree of similarity or higher, the reference relationship graph model corresponding to the searched reference relationship graph model is stored in advance. You can pass an identifier.
  • the heterogeneous face recognition apparatus when face images of various domains are applied, obtains a feature map by extracting component elements, that is, feature vectors for each area of the face image from the applied face image, and obtains After calculating and combining the positions and relative distances of each of the multiple feature vectors in the feature map, project them to a relation graph model on a virtual common space and correct the node vectors according to their importance. Face recognition is performed by comparing the unique features of each face image with each other regardless of the domain of the image. Therefore, even when face images of various different domains are applied, face recognition can be accurately performed.
  • the heterogeneous face recognition apparatus may further include a learning unit 800 .
  • FIGS. 8 and 9 are diagrams for explaining a concept in which a learning unit learns a heterogeneous face recognition apparatus.
  • the learning unit 800 calculates the loss based on the difference between the node vectors (w i n i ) of the correction relationship model graph obtained from the face images obtained for the same subject and different subjects regardless of the domain.
  • the vector relation modeling unit 400 and the relation model updating unit 500 may be trained by calculating and backpropagating the calculated loss.
  • the face image of the subject which is the basis of the face image
  • the face image of the subject same as the anchor is referred to as positive
  • the face of the subject different from the anchor is referred to as an anchor.
  • the image is called negative.
  • the left image and the right image in (a) of FIG. 8, the middle image and the lower image in FIG. 9 (a) are infrared domain images, and the middle image and the upper image in FIG. is assumed to be a color domain image.
  • the left side is an infrared domain image of the anchor
  • the middle face image is a color domain image, but it is positive because it is a face image for the same subject
  • (c) is an infrared domain image as in (a), but with the anchor. It is a negative because it is a face image of a different subject.
  • the learning unit 800 calculates a loss using a triplet learning method that compares positive and negative with the anchor.
  • the triplet learning method compares the distance (similarity) between the anchor and a number of node vectors (w i n i ) of the correction relationship model graph in which the positive and negative are projected on a virtual common space.
  • the positive node vector is closer to the corresponding node vector of the anchor, while the positive node vector is a method of performing learning by calculating the loss so that it is further away from the corresponding node vector of the anchor.
  • the anchor node vector ( x i a ) and the positive node are in the common space.
  • the distance (s i n ) between i n ) may be calculated as 0.6.
  • the learning unit 800 calculates the distance (s i p ) between the calculated anchor and the positive node vector (x i a , x i p ) and the distance between the anchor and the negative node vector (x i a , x i n ) ( s i n is calculated by the loss according to the ratio of the back propagation), it is possible to learn the relationship vector modeling unit 400 and the relationship model updating section 500.
  • the learning unit 800 is between the anchor and the positive node vector (x i a, x i p), the distance (s i p) and the anchor and a negative node vector (x i a, x i n) between A loss (L tripletconditional ) is calculated according to Equation (5) by further applying a margin (m) to the ratio of the distance (s i n ) of .
  • FIG. 11 is a diagram illustrating a heterogeneous face recognition method according to an embodiment of the present invention
  • FIG. 12 is a diagram illustrating in detail an update step of the relation graph model of FIG. 11 .
  • the heterogeneous face recognition method first acquires face images obtained in various ways regardless of a domain ( S10 ). Then, the obtained face image is divided into a plurality of regions in a predetermined manner, a pattern of each divided region is estimated, and a feature vector is extracted for each element to obtain a feature map (S20).
  • the position and relative distance of each of the plurality of feature vectors of the feature map are calculated (S30). Then, the calculated positions and relative distances for each of the plurality of feature vectors are combined with the corresponding feature vectors (S40).
  • a plurality of feature vectors of the feature map in which positions and relative distances are combined are regarded as a plurality of node vectors on a virtual common space, and a relationship graph model in which the relationships between the plurality of node vectors are expressed as edges (S50) .
  • each of a plurality of feature vectors of the feature map is projected into a common space and set as a corresponding node vector (n i ) to generate a relation graph model (S51).
  • a plurality of edges (e i,j t ) representing the relationship between the plurality of node vectors (n i t ) are set according to Equation 2, and the set plurality
  • the next state of a plurality of connected node vectors (n i t+1 ) is calculated and propagated according to Equation 3 (S52). Then, it is determined whether or not to end the relationship propagation (S53).
  • the node vector (n i t+1 ) in the next state is propagated again to the multiple edges (e i,j t+1 ), and the relationship propagated multiple edges (e i ,j t+1 ) to repeatedly perform relationship propagation to obtain the node vector (n i t+2 ) of the next state again (S52).
  • the relation graph model update step ( S60 ) first calculates representative values of a plurality of node vectors (n i t+1 ) of the relation graph model in a predetermined manner, and a representative composed of the calculated representative values.
  • a graph model is obtained (S61).
  • the representative value of the node vector (n i t + 1) may be obtained as an average value vector of the node (n i t + 1) elements as an example.
  • the importance vector is obtained by encoding the representative graph model according to the pre-learned pattern estimation method (S62). Then, the importance vector is decoded according to the pre-learned pattern recovery method to obtain a weighted relationship model graph having a weight (w i ) according to the importance of each node vector (n i t+1) of the relationship graph model as a node (S63) ).
  • a correction relationship model graph is obtained by weighting the weight (w i ) of the corresponding node of the weight relationship model graph to each of a plurality of node vectors (n i t+1 ) of the relationship graph model ( S64).
  • the correction relation model graph is mapped with identifiers for a plurality of subjects in the facial feature database 700 and similarity is compared with a plurality of reference relation graph models that are pre-stored correction relation model graphs (S81). Then, it is determined whether a similar reference relationship graph model having a similarity greater than or equal to a predetermined reference similarity is searched (S82). If the similar reference relationship graph model is searched for, an identifier mapped to the searched reference relationship graph model is output to perform face recognition (S83). However, if the similar reference relationship graph model is not searched, it is determined that the corresponding face image has not been searched and a face recognition failure is output (S84).
  • learning is performed (S90).
  • the anchor which is the face image of the subject, which is the reference of the face image, the positive which is the face image for the same subject as the anchor, and the negative which is the face image for the subject different from the anchor, respectively.
  • the model graph is acquired and stored (S91). And on the acquired common space anchor and the positive node vector distance between (x i a, x i p ) the distance between the (s i p) and the anchor and a negative node vector (x i a, x i n ) (s i n ) are calculated based on the degree of similarity (S92).
  • a loss is calculated based on the ratio and backpropagated to learn about the face recognition device (S93).
  • a loss (L tripletconditional ) may be calculated as in Equation (5) by additionally applying a margin (m) to perform robust face recognition by slowing the face recognition sensitivity of the face recognition apparatus.
  • the method according to the present invention may be implemented as a computer program stored in a medium for execution by a computer.
  • the computer-readable medium may be any available medium that can be accessed by a computer, and may include all computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and read dedicated memory), RAM (Random Access Memory), CD (Compact Disk)-ROM, DVD (Digital Video Disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지의 구성 요소간 거리 관계를 이용하여 가상의 공통 공간에 관계 그래프 모델을 생성하고, 생성된 관계 그래프 모델의 노드 벡터 유사도 비교를 통해 서로 다른 방식으로 획득된 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있을 뿐만 아니라, 적은 학습 데이터로 효율적으로 학습될 수 있는 이종 얼굴 인식 장치 및 방법을 제공할 수 있다.

Description

요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
본 발명은 이종 얼굴 인식 장치 및 방법 및 방법에 관한 것으로, 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법에 관한 것이다.
얼굴 인식 분야는 딥러닝(deep learning) 기술의 등장과 함께 급진적으로 발전하였다. 기존에 딥러닝을 이용한 얼굴 인식은 주로 동일 종류의 센서를 이용하여 동일 방식으로 획득된 이미지 사이의 매칭을 통해 수행되었다. 일 예로 기존에는 컬러 이미지간의 얼굴을 매칭을 통해 얼굴을 인식하였다.
그러나 이미지에는 컬러 이미지뿐만 아니라 조명이 열악한 환경에서 적외선(NIR) 또는 열적외선(TIR) 센서 등을 이용하여 취득한 이미지도 있을 뿐만 아니라 경우에 따라서는 몽타주를 그린 스케치 이미지(Sketch) 등과 같이 다양한 센서를 방식으로 획득된 이미지들이 있다. 그리고 각 이미지들은 상황에 따라 칼라 이미지보다 더 유용한 정보를 담고 있는 경우가 있다. 일 예로 적외선-칼라(NIR-to-VIS) 또는 스케치-칼라(Sketch-to-Photo)처럼 서로 다른 방식으로 획득된 이종 얼굴 인식 기술은 밤에 촬영된 CCTV 영상, 범죄자의 몽타주 얼굴 인식 등 실생활 적용에서 매우 유용하게 활용될 수 있다.
이에 최근에는 서로 다른 종류의 센서 및 다양한 방식으로 획득된 이미지 사이에서도 얼굴을 인식할 수 있는 이종 얼굴 인식 분야에 대한 연구가 활발하게 진행되고 있다. 그러나 이종 얼굴 인식은 획득 방식에 따른 이미지 사이의 차이가 크며, 딥러닝 기술을 적용하고자 하여도 네트워크를 충분히 학습시킬 만한 이종 얼굴 데이터셋이 부족하다는 한계가 있다.
본 발명의 목적은 서로 다른 방식으로 획득된 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있는 이종 얼굴 인식 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 구성 요소간 관계를 이용하여 가상의 공통 공간에 관계 그래프 모델을 생성함으로써 적은 학습 데이터로 효율적으로 학습될 수 있는 이종 얼굴 인식 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치는 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 요소 특징 추출부; 상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 벡터 위치 및 거리 계산부; 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 벡터 관계 모델링부; 미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 관계 모델 업데이트부; 및 상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 얼굴 인식부를 포함한다.
상기 벡터 관계 모델링부는 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하고, 상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성할 수 있다.
상기 벡터 관계 모델링부는 설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지를 업데이트하는 관계 전파를 기지정된 횟수로 반복 수행할 수 있다.
상기 관계 모델 업데이트부는 기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 대표값 계산부; 미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 인코더; 상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 디코더; 및 상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 업데이트부를 포함할 수 있다.
상기 이종 얼굴 인식 장치는 상기 벡터 관계 모델링부와 상기 관계 모델 업데이트부를 학습시키기 위한 학습부를 더 포함하고, 상기 학습부는 학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하고, 상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하며, 계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파할 수 있다.
상기 이종 얼굴 인식 장치는 상기 다수의 기준 관계 그래프 모델이 대상자의 식별자에 맵핑되어 저장되는 얼굴 특징 데이터베이스를 더 포함하고, 상기 얼굴 인식부는 상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력할 수 있다.
상기 이종 얼굴 인식 장치는 도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 이종 얼굴 인식 장치 및 방법은 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 단계; 상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 단계; 위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 단계; 미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 단계; 및 상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 이종 얼굴 인식 장치 및 방법은 구성 요소간 거리 관계를 이용하여 가상의 공통 공간에 관계 그래프 모델을 생성하고, 생성된 관계 그래프 모델의 노드 벡터 유사도 비교를 통해 서로 다른 방식으로 획득된 다양한 얼굴 이미지들로부터 정확하게 얼굴을 식별할 수 있을 뿐만 아니라, 적은 학습 데이터로 효율적으로 학습될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 요소 특징 추출부의 동작을 설명하기 위한 도면이다.
도 3은 도 1의 벡터 위치 및 거리 계산부의 동작을 설명하기 위한 도면이다.
도 4 및 도 5는 도 1의 벡터 관계 모델링부가 특징 벡터 사이의 관계 그래프 모델을 생성하고 관계 전파하는 동작을 설명하기 위한 도면이다.
도 6은 도 1의 관계 모델 업데이트부의 상세 구성을 나타낸다.
도 7은 도 6의 관계 모델 업데이트부가 관계 그래프 모델을 업데이트하는 개념을 설명하기 위한 도면이다.
도 8 및 도 9은 학습부가 이종 얼굴 인식 장치를 학습시키는 개념을 설명하기 위한 도면이다.
도 10는 마진 적용 학습 여부에 따라 공통 공간에 투영된 특징 벡터의 변화를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 이종 얼굴 인식 방법을 나타낸다.
도 12는 도 11의 관계 그래프 모델 업데이트 단계를 상세하게 나타낸 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 이종 얼굴 인식 장치의 개략적 구조를 나타낸다.
도 1을 참조하면, 본 실시예에 따른 이종 얼굴 인식 장치는 이종 이미지 획득부(100), 요소 특징 추출부(200), 벡터 위치 및 거리 계산부(300), 벡터 관계 모델링부(400), 관계 모델 업데이트부(500), 얼굴 인식부(600) 및 얼굴 특징 데이터베이스(700)를 포함할 수 있다.
이종 이미지 획득부(100)는 다양한 방식으로 획득된 이종 얼굴 이미지를 획득한다. 여기서 얼굴 이미지는 컬러 이미지 센서나, 적외선 및 열적외선 센서와 같은 서로 다른 종류의 센서에서 획득된 이종 얼굴 이미지일 수 있으며, 얼굴을 그린 스케치 이미지와 같이 센서를 이용하지 않고 획득된 이미지일 수도 있다.
여기서 이종 이미지 획득부(100)는 각 얼굴 이미지들이 획득된 방식을 구분하지 않아도 무방하다. 그러나 이종 이미지 획득부(100)는 각 얼굴 이미지들이 획득된 방식에 따라 도메인으로 구분하여 획득할 수도 있다. 즉 이종 이미지 획득부(100)는 이미지 획득 방식에 따라 다수의 얼굴 이미지를 컬러 도메인, 적외선 도메인 열적외선 도메인 및 스케치 도메인 등으로 구분하여 획득할 수 있다.
다만 이종 이미지 획득부(100)는 이종 얼굴 인식 장치의 학습 시에는 서로 다른 방식으로 획득된 얼굴 이미지들을 각 얼굴 이미지들이 획득된 방식에 따라 서로 다른 도메인으로 분류하여 획득한다. 즉 컬러 도메인 이미지와 적외선 도메인 이미지, 열적외선 도메인 이미지 및 스케치 도메인 이미지를 각각 서로 구분하여 획득하고 저장할 수 있다.
뿐만 아니라 이종 이미지 획득부(100)는 이종 얼굴 인식 장치의 학습 시에 도메인별로 구분되어 획득되는 얼굴 이미지의 피사체인 대상자들에 따라 식별자를 맵핑하여 획득하고 저장할 수 있다. 즉 동일하거나 서로 다른 도메인에서 획득된 각각의 얼굴 이미지가 동일한 대상자 대한 얼굴 이미지이면 동일한 식별자를 부여하고 다른 대상자에 대한 얼굴 이미지이면 서로 다른 식별자를 부여하여 저장한다.
그러나 얼굴 이미지의 도메인 구분 및 식별자 맵핑은 이종 얼굴 인식 장치의 학습을 위한 것으로, 본 실시예에 따른 이종 얼굴 인식 장치가 실제 얼굴 인식을 위해 이용되는 경우, 이종 이미지 획득부(100)는 획득되는 얼굴 이미지의 도메인을 구분하지 않으며, 식별자를 맵핑하지 않는다. 이는 본 실시예에 따른 이종 얼굴 인식 장치가 얼굴 이미지의 도메인에 무관하게 얼굴을 인식할 수 있도록 미리 학습되기 때문이다.
요소 특징 추출부(200)는 이종 이미지 획득부(100)에서 획득된 얼굴 이미지 각각에 대해 미리 학습된 패턴 추정 방식에 따라 각 요소 특징을 추출하여 다수의 특징 벡터를 획득한다.
도 2는 도 1의 요소 특징 추출부의 동작을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 요소 특징 추출부(200)는 얼굴 이미지가 인가되면, 얼굴 이미지의 요소별 특징을 추출하여 특징맵을 획득한다. 요소 특징 추출부(200)는 얼굴 이미지를 기지정된 방식으로 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 특징맵을 획득할 수 있다. 특징맵은 각각의 영역에 대응하여 패턴이 추정된 다수의 특징 벡터로 구성될 수 있으며, 다수의 특징 벡터 각각은 일 예로 도 2와 같이, Z 축 방향의 1차원 벡터로 획득될 수 있다.
얼굴 이미지에서 요소 특징을 추출하여 특징맵을 획득하는 요소 특징 추출부(200)는 인공 신경망으로 구현될 수 있으며, 이종 얼굴 인식 장치의 학습 시에 역전파되는 손실에 따라 학습될 수 있으나, 이미지로부터 특징을 추출하는 인공 신경망은 공개되어 있으므로, 이미 학습된 인공 신경망을 이용할 수도 있다.
벡터 위치 및 거리 계산부(300)는 특징맵을 구성하는 다수의 특징 벡터 각각의 위치를 계산하고, 계산된 특징 벡터들의 위치를 기반으로 다수의 특징 벡터 사이의 상대적 거리를 계산한다.
요소 특징 추출부(200)에 의해 추출되는 특징 벡터 각각은 얼굴 이미지에서 대응하는 영역의 특징을 추출한 것으로, 이는 대상자의 얼굴에서 각각의 구성 요소에 대한 특징을 추출한 것으로 볼 수 있다. 그리고 이러한 구성 요소 사이의 상대적 거리는 각각의 대상자의 얼굴이 갖는 고유한 특성으로 얼굴 이미지를 획득한 방식인 도메인에 무관한 독립적인 특징으로 볼 수 있다. 일 예로 사람의 눈과 눈 사이의 거리와 입과 턱 사이의 거리는 대상자 개개인의 고유 특징으로 볼 수 있다.
이에 본 실시예에서 벡터 위치 및 거리 계산부(300)는 특징맵에서 각 특징 벡터의 위치와 상대적 거리를 계산하고, 계산된 위치와 상대적 거리를 대응하는 특징 벡터에 결합한다.
도 3은 도 1의 벡터 위치 및 거리 계산부의 동작을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 벡터 위치 및 거리 계산부(300)는 특징맵의 다수의 특징 벡터 각각에 대해 절대적 위치 정보인 x 좌표(x i)와 y 좌표(y j)를 계산하고, 계산된 다수의 특징 벡터 각각의 위치 좌표(x i, y j)를 기반으로 수학식 1에 따라 특징맵의 중심(x 0, y 0)을 기준으로 하는 각 특징 벡터의 상대적 거리(r i,j)를 계산하여 획득한다.
Figure PCTKR2020005235-appb-img-000001
여기서는 벡터 위치 및 거리 계산부(300)가 XY 평면 상에서 각 특징 벡터의 위치 좌표(x i, y j)와 상대적 거리(r i,j)를 계산하는 것으로 설명하였으나, 이는 특징맵의 특징 벡터가 Z축 방향의 1차원 벡터인 것으로 가정하였기 때문이며, 특징 벡터를 구성하는 방향에 따라 위치 좌표와 상대적 거리를 계산하는 평면은 변경될 수 있다.
그리고 벡터 위치 및 거리 계산부(300)는 다수의 특징 벡터 각각의 위치 좌표(x i, y j)와 상대적 거리(r i,j)가 계산되면, 계산된 위치 좌표(x i, y j)와 상대적 거리(r i,j)를 대응하는 특징 벡터에 결합(concatenate)한다. 일 예로 특징맵의 다수의 특징 벡터 각각에 계산된 위치 좌표(x i, y j)와 상대적 거리(r i,j)를 Z축 방향으로 더 추가한다.
다수의 특징 벡터 각각에 위치 좌표(x i, y j)와 상대적 거리(r i,j)가 결합되면, 벡터 관계 모델링부(400)는 위치 좌표(x i, y j)와 상대적 거리(r i,j)가 결합된 다수의 특징 벡터 각각을 노드 벡터(n i)로 설정하고, 설정된 노드 벡터 사이의 관계를 에지(e i,j)로 설정하여 특징 벡터 사이의 관계를 가상의 공통 공간 상에 그래프로 나타내는 관계 그래프 모델을 생성한다.
도 4 및 도 5는 도 1의 벡터 관계 모델링부가 특징 벡터 사이의 관계 그래프 모델을 생성하고 관계 전파하는 동작을 설명하기 위한 도면이다.
벡터 관계 모델링부(400)는 우선 도 4와 같이, 다수의 특징 벡터 각각을 가상의 공통 공간에 투영하여 대응하는 노드 벡터(n i)를 설정한다. 상기한 바와 같이, 특징 벡터들의 위치와 거리는 도메인에 무관하게 대상자의 얼굴이 갖는 고유한 특성을 나타낸 것이므로, 위치 좌표(x i, y j)와 상대적 거리(r i,j)가 결합된 다수의 특징 벡터 각각은 도메인에 제한되지 않는 공통 공간 상의 노드 벡터(n i)로서 표현될 수 있다.
그리고 설정된 각 노드 벡터(n i t) 사이에 연결되어 노드 벡터 사이의 관계를 나타내는 다수의 에지(e i,j t)를 설정한다. 도 4에서 각 노드 벡터(n i t)와 에지(e i,j t)에 표기된 t는 현재 상태를 나타낸다. 즉 n i t 과 e i,j t 는 현재 상태의 i번째 노드 벡터와 i번째 노드 벡터(n i t)에서 j번째 노드 벡터(n j t)로의 에지를 의미하고, n i t+1 과 e i,j t+1 는 다음 상태의 i번째 노드 벡터와 i번째 노드 벡터(n i t)에서 j번째 노드 벡터(n j t)로의 에지를 의미한다.
특징맵에서 전체 특징 벡터의 개수가 D개일 때, 벡터 관계 모델링부(400)는 그래프 공간에 D개의 노드 벡터(N = {n 1 t, n 2 t, …, n D t})를 생성하고, 생성된 D개의 노드 벡터 사이를 잇는 다수의 에지(e i,j t)를 수학식 2에 따라 설정할 수 있다.
Figure PCTKR2020005235-appb-img-000002
여기서 σ는 활성화 함수(Activation Function)로서, 일 예로 시그모이드(Sigmoid)일 수 있다. 그리고 W e 는 관계 가중치로서 학습에 의해 업데이트되며, T는 전치 행렬을 나타낸다.
그리고 벡터 관계 모델링부(400)는 수학식 2에 따라 계산된 현재 상태의 에지(e i,j t)에 연결된 다수의 노드 벡터의 다음 상태(n i t+1)를 수학식 3에 따라 계산하여 업데이트한다.
Figure PCTKR2020005235-appb-img-000003
상기한 바와 같이 다수의 노드 벡터(n i)와 다수의 에지(e i,j)는 상호 관계를 가지므로, 다수의 노드 벡터(n i)와 다수의 에지(e i,j)가 교대로 반복하여 상태가 업데이트 될 수 있다. 이러한 업데이트 과정을 관계 전파라고 하며, 관계 전파는 기지정된 횟수로 반복 수행될 수 있다.
관계 모델 업데이트부(500)는 벡터 관계 모델링부(400)에서 모델링되고 관계 전파된 관계 그래프 모델을 인가받고, 인가된 관계 그래프 모델의 다수의 노드 벡터(n i) 중 의미적으로 더욱 가치 있는 노드 벡터(n i)에 더 높은 관심이 집중되도록 각각의 노드 벡터(n i)에 대응하는 요소 가중치(w i)를 미리 학습된 패턴 추정 방식에 따라 획득하여 대응하는 관계 그래프 모델의 각 노드 벡터(n i)에 가중함으로써 관계 그래프 모델을 업데이트 한다.
도 6은 도 1의 관계 모델 업데이트부의 상세 구성을 나타내고, 도 7은 도 6의 관계 모델 업데이트부가 관계 그래프 모델을 업데이트하는 개념을 설명하기 위한 도면이다.
도 6을 참조하면, 관계 모델 업데이트부(500)는 대표값 계산부(510), 인코더(520), 디코더(530) 및 업데이트부(540)를 포함할 수 있다.
대표값 계산부(510)는 도 7의 (a)와 같이, 벡터 관계 모델링부(400)에서 생성되고 관계 전파되어 업데이트된 관계 그래프 모델을 인가받고, 인가된 관계 그래프 모델에 대해 관계 전파 기법에 따라 업데이트된 노드 벡터(n i t+1)의 대표값(z i)을 계산하여, (b)와 같이 계산된 노드 벡터(n i t+1)의 대표값(z i)으로 표현된 대표 그래프 모델을 획득한다.
대표값 계산부(510)는 다양한 방식으로 노드 벡터의 평균값을 대표값(z i)을 계산할 수 있으나, 여기서는 일 예로 수학식 4에 따라 노드 벡터의 평균값을 대표값(z i)으로 계산하는 것으로 가정한다.
Figure PCTKR2020005235-appb-img-000004
여기서 C는 노드 벡터의 길이를 나타낸다.
인코더(520)는 미리 학습된 패턴 추정 방식에 따라 대표 그래프 모델을 인코딩하여, (c)와 같이 관계 그래프 모델의 각 노드 벡터(n i t+1) 중요도를 나타내는 중요도 벡터를 획득한다.
그리고 디코더(530)는 인코더(520)에서 획득된 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여, (d)와 같이 관계 그래프 모델의 각 노드 벡터(n i t+1)의 중요도에 따른 가중치(w i)를 노드로 갖는 가중치 관계 모델 그래프를 획득한다.
업데이트부(540)는 관계 그래프 모델과 가중치 관계 모델 그래프를 인가받고, 관계 그래프 모델의 다수의 노드 벡터(n i t+1) 각각에 가중치 관계 모델 그래프의 대응하는 노드의 가중치(w i)를 가중하여 관계 모델 그래프를 업데이트 하여, 보정 관계 모델 그래프를 (e)와 같이 획득한다.
얼굴 인식부(600)는 관계 모델 업데이트부(500)로부터 보정 관계 모델 그래프를 인가받고, 인가된 보정 관계 모델 그래프의 다수의 노드 벡터(w in i) 각각과 얼굴 특징 데이터베이스(700)에 기저장된 다수의 기준 관계 그래프 모델의 대응하는 노드 벡터 사이의 유사도를 비교하여, 기지정된 기준 유사도 이상인 기준 관계 그래프 모델을 탐색한다. 그리고 기준 유사도 이상인 기준 관계 그래프 모델이 탐색되면, 획득된 관계 그래프 모델의 대상자와 기준 관계 그래프 모델의 대상자가 동일 인물로 판별한다. 이에 얼굴 인식부(600)는 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 특징 데이터베이스(700)로부터 획득하여 출력한다.
즉 얼굴 인식부(600)는 이종 이미지 획득부(100)에 도메인에 무관하게 다양한 방식으로 획득되어 인가된 얼굴 이미지로부터 생성된 보정 관계 그래프 모델의 다수의 노드 벡터(w in i)와 얼굴 특징 데이터베이스(700)에 미리 저장된 다수의 기준 관계 그래프 모델 각각의 다수의 노드 벡터 사이의 유사도에 따라 이종 이미지 획득부(100)에 인가된 얼굴 이미지의 대상자가 얼굴 특징 데이터베이스(700)에 기준 관계 그래프 모델로 미리 저장된 대상자인지 여부를 판별하여 얼굴 인식을 수행하고, 얼굴 인식 수행 결과로 얼굴 이미지의 피사체인 대상자의 식별자를 출력한다.
얼굴 특징 데이터베이스(700)는 얼굴 이미지로부터 이전 획득된 보정 관계 그래프 모델을 기준 관계 그래프 모델로서 얼굴 이미지의 피사체인 대상자의 식별자와 맵핑하여 저장하고, 얼굴 인식부(600)의 요청에 따라 보정 관계 그래프 모델을 얼굴 인식부(600)로 전달한다.
얼굴 특징 데이터베이스(700)가 식별자에 맵핑된 다수의 기준 관계 그래프 모델이 미리 저장함에 따라, 얼굴 인식부(600)에서 기준 유사도 이상인 기준 관계 그래프 모델을 탐색하면, 탐색된 기준 관계 그래프 모델에 대응하는 식별자를 전달할 수 있다.
상기한 바와 같이, 본 실시예에 따른 이종 얼굴 인식 장치는 다양한 도메인의 얼굴 이미지가 인가되면, 인가된 얼굴 이미지에서 구성 요소, 즉 얼굴 이미지의 영역별 특징 벡터를 추출하여 특징맵을 획득하고, 획득된 특징맵의 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 결합한 후, 가상의 공통 공간 상에 관계 그래프 모델로 투영하고 중요도에 따라 노드 벡터를 보정함으로써, 얼굴 이미지가 획득된 방식에 따른 얼굴 이미지의 도메인에 무관하게 각 얼굴 이미지의 고유한 특징을 상호 비교하여 얼굴 인식을 수행한다. 따라서 다양한 서로 다른 도메인의 얼굴 이미지가 인가되더라도 정확하게 얼굴 인식을 수행할 수 있다.
다만 상기한 이종 얼굴 인식 장치가 얼굴 인식을 수행하기 위해서는 사전에 미리 학습이 되어야 한다. 특히 인공 신경망으로 구현되는 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)가 학습되어야 한다. 이에 본 실시예에 따른 이종 얼굴 인식 장치는 학습부(800)를 더 포함할 수 있다.
도 8 및 도 9은 학습부가 이종 얼굴 인식 장치를 학습시키는 개념을 설명하기 위한 도면이다.
본 실시예에 따른 학습부(800)는 도메인에 무관하게 동일 대상자 및 상이한 대상자에 대해 획득된 얼굴 이미지에서 획득된 보정 관계 모델 그래프의 노드 벡터(w in i) 사이의 차를 기반으로 손실을 계산하고, 계산된 손실을 역전파하여 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)를 학습시킬 수 있다.
이하에서는 얼굴 이미지의 도메인에 무관하게 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지를 앵커(Anchor)라 하고, 앵커와 동일한 대상자에 대한 얼굴 이미지를 포지티브(Positive)라 하며, 앵커와 상이한 대상자에 대한 얼굴 이미지를 네거티브(Negative)라 한다.
도 8의 (a)에서 좌측 이미지와 우측 이미지, 도 9의 (a)에서 가운데 이미지와 하단 이미지는 적외선 도메인 이미지이고, 도 8의 (a)에서 가운데 이미지와 도 9의 (a)에서 상단 이미지는 컬러 도메인 이미지인 것으로 가정한다.
도 8의 (a)에서 좌측은 적외선 도메인 이미지인 앵커이고, 가운데 얼굴 이미지는 컬러 도메인 이미지이지만, 동일한 대상자에 대한 얼굴 이미지이므로 포지티브이며, (c)는 (a)와 마찬가지로 적외선 도메인 이미지이지만 앵커와 상이한 대상자에 대한 얼굴 이미지이므로 네거티브이다.
본 실시예에서 학습부(800)는 앵커를 기준으로 포지티브 및 네거티브를 비교하는 트리플렛 학습 방식을 이용하여 손실을 계산한다. 도 8의 (b)와 같이 트리플렛 학습 방식은 앵커와 포지티브 및 네거티브가 가상의 공통 공간 상에 투영된 보정 관계 모델 그래프의 다수의 노드 벡터(w in i) 사이의 거리(유사도)를 비교하여 포지티브의 노드 벡터는 앵커의 대응하는 노드 벡터에 더욱 가깝게 되는 반면, 포지티브의 노드 벡터는 앵커의 대응하는 노드 벡터에 더욱 멀어지도록 손실을 계산하여 학습을 수행하는 방식을 의미한다.
앵커의 노드 벡터를 x i a 라 하고, 포지티브의 노드 벡터를 x i p 라 하며, 네거티브의 노드 벡터를 x i n 라 할 때, 공통 공간 상에서 앵커의 노드 벡터(x i a)와 포지티브의 노드 벡터(x i p) 사이의 거리(s i p)는 코사인 유사도(Cosine similarity) 함수(CS)를 사용하여 s i p = CS(x i a, x i p)로 계산될 수 있다. 그리고 앵커의 노드 벡터(x i a)와 네거티브의 노드 벡터(x i n) 사이의 거리(s i n) 또한 코사인 유사도 함수(CS)를 사용하여 s i n = CS(x i a, x i n)로 계산될 수 있다.
일예로 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)는 도 9의 (a)와 같이 0.2로 계산되는 반면, 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n)는 0.6으로 계산될 수 있다.
그리고 학습부(800)는 계산된 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)와 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n)의 비에 따라 손실을 계산하여 역전파 함으로써, 벡터 관계 모델링부(400)와 관계 모델 업데이트부(500)를 학습시킬 수 있다.
다만, 단순히 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)와 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n)의 비로만 손실을 계산하여 역전파하는 경우, 학습 후 공통 공간에서 앵커로부터의 거리를 기반으로 포지티브와 네거티브를 구분하는 경계가 선형으로 나타나게 되어 얼굴 인식 결과가 매우 민감하게 변화하게 되는 경우가 발생한다. 즉 인가된 얼굴 이미지의 작은 변화에도 포지티브와 네거티브가 변경되어 판별하게 되는 경우가 발생할 수 있다.
이에 본 실시예에 따른 학습부(800)는 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)와 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n)의 비에 마진(m)을 추가로 적용하여, 수학식 5에 따라 손실(L tripletconditional)을 계산한다.
Figure PCTKR2020005235-appb-img-000005
여기서 [] + 는 양의 값만을 취하는 포지티브 함수이다.
이와 같이 학습부(800)가 마진(m)을 추가로 적용하면, 도 9의 (b)에 도시된 바와 같이, 마진의 크기에 따라 공통 공간에서 포지티브 영역과 네거티브 영역이 사이에 마진 영역이 생성되어 포지티브와 네거티브를 명확하게 구분할 수 있게 되며, 이로 인해 얼굴 인식 민감도를 둔화시킬 수 있다. 즉 강건한 얼굴 인식을 수행할 수 있도록 한다.
도 10는 마진 적용 학습 여부에 따라 공통 공간에 투영된 특징 벡터의 변화를 나타낸다.
도 10에서 (a)는 학습부(800)가 마진(m)을 적용하지 않고 학습을 수행한 경우, 공통 공간에 투영된 앵커와 포지티브 및 네거티브의 노드 벡터(x i a, x i p, x i n)를 나타내고, (b)는 마진(m)을 적용하여 학습을 수행한 경우, 공통 공간에 투영된 앵커와 포지티브 및 네거티브의 노드 벡터(x i a, x i p, x i n)를 나타낸다.
(a)와 (b)를 비교하면, 마진(m)을 적용하지 않은 경우에 비해 마진(m)을 적용하여 학습을 수행한 경우, 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)는 더 가까워지는데 반해, 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n)는 더욱 멀어짐을 알 수 있다. 즉 얼굴 인식 장치가 더욱 효율적으로 학습되어 정확하게 얼굴 인식을 수행할 수 있게 됨을 알 수 있다.
도 11은 본 발명의 일 실시예에 따른 이종 얼굴 인식 방법을 나타내고, 도 12는 도 11의 관계 그래프 모델 업데이트 단계를 상세하게 나타낸 도면이다.
도 11 및 도 12를 참조하면, 본 실시예에 따른 이종 얼굴 인식 방법은 우선 도메인에 무관하게 다양한 방식으로 획득된 얼굴 이미지를 획득한다(S10). 그리고 획득된 얼굴 이미지를 기지정된 방식으로 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 요소별 특징 벡터를 추출하여 특징맵을 획득한다(S20).
특징맵이 획득되면, 특징맵의 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산한다(S30). 그리고 다수의 특징 벡터 각각에 대해 계산된 위치와 상대적 거리를 대응하는 특징 벡터에 결합한다(S40).
이후 위치와 상대적 거리가 결합된 특징맵의 다수의 특징 벡터가 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득한다(S50). 관계 그래프 모델 획득 단계(S50)는 우선 특징맵의 다수의 특징 벡터 각각을 공통 공간에 투영하여 대응하는 노드 벡터(n i)로 설정하여 관계 그래프 모델을 생성한다(S51). 그리고 설정된 다수의 노드 벡터(n i t)를 서로 연결하여 다수의 노드 벡터(n i t) 사이의 관계를 나타내는 다수의 에지(e i,j t)를 수학식 2에 따라 설정하고, 설정된 다수의 에지(e i,j t)를 기반으로 관계를 전파하여 연결된 다수의 노드 벡터(n i t+1)의 다음 상태를 수학식 3에 따라 계산하여 전파한다(S52). 그리고 관계 전파를 종료할지 여부를 판별한다(S53). 만일 관계 전파를 종료하지 않는 것으로 판별되면, 다음 상태의 노드 벡터(n i t+1)를 다시 다수의 에지(e i,j t+1)로 전파하고, 관계 전파된 다수의 에지(e i,j t+1)를 통해 다시 다음 상태의 노드 벡터(n i t+2)를 획득하는 관계 전파를 반복 수행한다(S52).
관계 전파가 기지정된 횟수로 수행되어 관계 전파를 종료하면, 관계 전파되어 획득된 관계 그래프 모델에서 의미적으로 중요한 노드 벡터(n i t+1)에 주의가 집중되도록 미리 학습된 패턴 추정 방식에 따라 요소 가중치(w i)를 획득하고, 획득된 요소 가중치(w i)를 관계 그래프 모델의 각 노드 벡터(n i t+1)에 가중하여 관계 그래프 모델을 업데이트 한다(S60).
도 12를 참조하면, 관계 그래프 모델 업데이트 단계(S60)는 우선 관계 그래프 모델의 다수의 노드 벡터(n i t+1)의 대표값을 기지정된 방식으로 계산하여, 계산된 대표값으로 구성되는 대표 그래프 모델을 획득한다(S61). 여기서 노드 벡터(n i t+1)의 대표값은 일예로 노드 벡터(n i t+1) 원소의 평균값으로 획득될 수 있다.
대표 그래프 모델이 획득되면, 미리 학습된 패턴 추정 방식에 따라 대표 그래프 모델을 인코딩하여 중요도 벡터를 획득한다(S62). 그리고 중요도 벡터를 미리 학습된 패턴 복구 방식에 따라 디코딩하여 관계 그래프 모델의 각 노드 벡터(n i t+1)의 중요도에 따른 가중치(w i)를 노드로 갖는 가중치 관계 모델 그래프를 획득한다(S63). 가중치 관계 모델 그래프가 획득되면, 관계 그래프 모델의 다수의 노드 벡터(n i t+1) 각각에 가중치 관계 모델 그래프의 대응하는 노드의 가중치(w i)를 가중하여 보정 관계 모델 그래프를 획득한다(S64).
다시 도 11을 참조하면, 얼굴 인식 장치가 학습되어야 하는지 판별한다(S70). 만일 이미 학습된 것으로 판별되면, 보정 관계 모델 그래프를 얼굴 특징 데이터베이스(700)에 다수의 대상자에 대한 식별자와 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교한다(S81). 그리고 기지정된 기준 유사도 이상의 유사도를 갖는 유사 기준 관계 그래프 모델이 탐색되는지 판별한다(S82). 만일 유사 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 출력하여 얼굴 인식을 수행한다(S83). 그러나 유사 기준 관계 그래프 모델이 탐색되지 않으면, 대응하는 얼굴 이미지를 탐색하지 못한 것으로 판별하여 얼굴 인식 실패를 출력한다(S84).
한편, 얼굴 인식 장치가 학습되어야 하는 것으로 판별되면, 학습을 수행한다(S90). 학습을 수행하는 단계(S90)에서는 우선 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하여 저장한다(S91). 그리고 획득된 공통 공간 상의 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)와 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n) 각각을 유사도에 기반하여 계산한다(S92). 이후 계산된 앵커와 포지티브 노드 벡터(x i a, x i p) 사이의 거리(s i p)와 앵커와 네거티브 노드 벡터(x i a, x i n) 사이의 거리(s i n) 사이의 비를 기반으로 손실을 계산하고 역전파하여 얼굴 인식 장치에 대한 학습을 수행한다(S93). 이때 얼굴 인식 장치의 얼굴 인식 민감도를 둔화시켜 강건한 얼굴 인식을 수행할 수 있도록, 마진(m)을 추가로 적용하여, 수학식 5와 같이 손실(L tripletconditional)을 계산할 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (18)

  1. 획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 요소 특징 추출부;
    상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 벡터 위치 및 거리 계산부;
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 벡터 관계 모델링부;
    미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 관계 모델 업데이트부; 및
    상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 얼굴 인식부를 포함하는 이종 얼굴 인식 장치.
  2. 제1 항에 있어서, 상기 벡터 관계 모델링부는
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하고, 상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성하는 이종 얼굴 인식 장치.
  3. 제2 항에 있어서, 상기 벡터 관계 모델링부는
    설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지를 업데이트하는 관계 전파를 기지정된 횟수로 반복 수행하는 이종 얼굴 인식 장치.
  4. 제3 항에 있어서, 상기 벡터 관계 모델링부는
    현재 상태(t)의 전체 D개의 노드 벡터 중 i번째 노드 벡터(n i t)로부터 j번째 노드 벡터(n i t) 방향으로 연결되는 현재 상태의 에지(e i,j t)를 수학식
    Figure PCTKR2020005235-appb-img-000006
    (여기서 σ는 활성화 함수이고, W e T 는 관계 가중치의 전치 행렬이다.)
    에 따라 획득하고,
    i번째 노드 벡터(n i t)에 연결된 현재 상태의 다수의 에지(e k,i t)로부터 다음 상태의 노드 벡터(n i t+1)를 수학식
    Figure PCTKR2020005235-appb-img-000007
    에 따라 획득하는 이종 얼굴 인식 장치.
  5. 제2 항에 있어서, 상기 관계 모델 업데이트부는
    기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 대표값 계산부;
    미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 인코더;
    상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 디코더; 및
    상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 업데이트부를 포함하는 이종 얼굴 인식 장치.
  6. 제5 항에 있어서, 상기 이종 얼굴 인식 장치는
    상기 벡터 관계 모델링부와 상기 관계 모델 업데이트부를 학습시키기 위한 학습부를 더 포함하고,
    상기 학습부는
    학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하고, 상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하며, 계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파하는 이종 얼굴 인식 장치.
  7. 제6 항에 있어서, 상기 학습부는
    앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s i p)와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s i n) 사이의 비에 기지정된 마진(m)을 추가로 적용하여, 수학식
    Figure PCTKR2020005235-appb-img-000008
    (여기서 [] + 는 양의 값만을 취하는 포지티브 함수이다.)
    에 따라 손실(L tripletconditional)을 계산하는 이종 얼굴 인식 장치.
  8. 제1 항에 있어서, 상기 이종 얼굴 인식 장치는
    상기 다수의 기준 관계 그래프 모델이 대상자의 식별자에 맵핑되어 저장되는 얼굴 특징 데이터베이스를 더 포함하고,
    상기 얼굴 인식부는
    상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력하는 이종 얼굴 인식 장치.
  9. 제1 항에 있어서, 상기 이종 얼굴 인식 장치는
    도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식하는 이종 얼굴 인식 장치.
  10. 이종 얼굴 인식 장치의 이종 얼굴 인식 방법에 있어서,
    획득되는 방식을 나타내는 도메인에 무관하게 획득된 얼굴 이미지를 미리 학습된 패턴 추정 방식에 따라 다수의 영역으로 구분하고, 구분된 각 영역의 패턴을 추정하여 다수의 특징 벡터로 구성된 특징맵을 획득하는 단계;
    상기 특징맵에서 상기 다수의 특징 벡터 각각의 위치와 상대적 거리를 계산하여 대응하는 특징 벡터에 결합하는 단계;
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 가상의 공통 공간 상의 다수의 노드 벡터로 간주하고, 다수의 노드 벡터 사이의 관계가 에지로 표현하는 관계 그래프 모델을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 관계 그래프 모델의 상기 다수의 노드 벡터 각각의 의미적 중요도에 따른 가중치를 획득하고, 상기 다수의 노드 벡터 각각에 획득된 가중치를 가중하여 보정 관계 그래프 모델을 획득하는 단계; 및
    상기 보정 관계 그래프 모델을 대상자가 맵핑되어 미리 저장된 보정 관계 모델 그래프인 다수의 기준 관계 그래프 모델과 유사도 비교하여, 획득된 얼굴 이미지의 대상자를 인식하는 단계를 포함하는 이종 얼굴 인식 방법.
  11. 제10 항에 있어서, 상기 관계 그래프 모델을 획득하는 단계는
    위치와 상대적 거리가 결합된 다수의 특징 벡터 각각을 다수의 노드 벡터로서 가상의 공통 공간 상에 투영하는 단계; 및
    상기 다수의 노드 벡터에 따라 상기 다수의 노드 벡터 사이의 관계를 나타내는 다수의 에지를 학습에 의해 획득되는 관계 가중치를 기반으로 설정하여 상기 관계 그래프 모델을 생성하는 단계를 포함하는 이종 얼굴 인식 방법.
  12. 제11 항에 있어서, 상기 관계 그래프 모델을 획득하는 단계는
    기지정된 횟수로 반복하여 설정된 다수의 에지에 따라 각 에지에 연결된 노드 벡터로 관계를 전파하여 다수의 노드 벡터를 다음 상태로 업데이트하고, 업데이트된 노드 벡터의 상태에 따라 다시 에지로 관계 전파하는 단계를 더 포함하는 이종 얼굴 인식 방법.
  13. 제12 항에 있어서, 상기 관계 전파하는 단계는
    현재 상태(t)의 전체 D개의 노드 벡터 중 i번째 노드 벡터(n i t)로부터 j번째 노드 벡터(n i t) 방향으로 연결되는 현재 상태의 에지(e i,j t)를 수학식
    Figure PCTKR2020005235-appb-img-000009
    (여기서 σ는 활성화 함수이고, W e T 는 관계 가중치의 전치 행렬이다.)
    에 따라 획득하는 단계; 및
    i번째 노드 벡터(n i t)에 연결된 현재 상태의 다수의 에지(e k,i t)로부터 다음 상태의 노드 벡터(n i t+1)를 수학식
    Figure PCTKR2020005235-appb-img-000010
    에 따라 획득하는 단계를 포함하는 이종 얼굴 인식 방법.
  14. 제11 항에 있어서, 상기 보정 관계 그래프 모델을 획득하는 단계는
    기지정된 방식으로 상기 다수의 노드 벡터 각각의 대표값을 획득하여 대표값으로 표현된 대표 그래프 모델을 획득하는 단계;
    미리 학습된 패턴 추정 방식에 따라 상기 대표 그래프 모델을 인코딩하여 상기 관계 그래프 모델의 다수의 노드 벡터 각각의 중요도를 나타내는 중요도 벡터를 획득하는 단계;
    상기 중요도 벡터를 인가받아 미리 학습된 패턴 복구 방식에 따라 디코딩하여 상기 관계 그래프 모델의 각 노드 벡터의 중요도에 따른 가중치를 노드로 갖는 가중치 관계 모델 그래프를 획득하는 단계; 및
    상기 관계 그래프 모델의 다수의 노드 벡터 각각에 상기 가중치 관계 모델 그래프의 대응하는 노드의 가중치를 가중하여 상기 보정 관계 모델 그래프를 획득하는 단계를 포함하는 이종 얼굴 인식 방법.
  15. 제14 항에 있어서, 상기 이종 얼굴 인식 방법은
    학습 단계를 더 포함하고,
    상기 학습 단계는
    학습 데이터로서 인가되는 얼굴 이미지의 기준이 되는 대상자의 얼굴 이미지인 앵커와 상기 앵커와 동일한 대상자에 대한 다른 도메인의 얼굴 이미지인 포지티브 및 앵커와 상이한 대상자에 대한 얼굴 이미지인 네거티브 각각에 대한 보정 관계 모델 그래프를 획득하는 단계;
    상기 공통 공간 상에서 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리를 유사도에 기반하여 계산하는 단계; 및
    계산된 앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리 사이의 비를 기반으로 손실을 계산하고 역전파하는 단계를 포함하는 이종 얼굴 인식 방법.
  16. 제15 항에 있어서, 상기 역전파하는 단계는
    앵커와 포지티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s i p)와 앵커와 네거티브 각각의 대응하는 다수의 노드 벡터 사이의 거리(s i n) 사이의 비에 기지정된 마진(m)을 추가로 적용하여, 수학식
    Figure PCTKR2020005235-appb-img-000011
    (여기서 [] + 는 양의 값만을 취하는 포지티브 함수이다.)
    에 따라 손실(L tripletconditional)을 계산하는 이종 얼굴 인식 방법.
  17. 제10 항에 있어서, 상기 대상자를 인식하는 단계는
    얼굴 이미지의 대상자의 식별자에 맵핑되어 저장된 상기 다수의 기준 관계 그래프 모델 중 상기 보정 관계 그래프 모델과 기지정된 기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색하는 단계;
    기준 유사도 이상의 유사도를 갖는 기준 관계 그래프 모델이 탐색되면, 탐색된 기준 관계 그래프 모델에 맵핑된 식별자를 얼굴 인식 결과로 출력하는 단계를 포함하는 이종 얼굴 인식 방법.
  18. 제10 항에 있어서, 상기 이종 얼굴 인식 방법은
    도메인에 따라 컬러 이미지, 적외선 이미지, 열적외선 이미지 또는 스케치 이미지 중 하나를 인가받아 대상자를 인식하는 이종 얼굴 인식 방법.
PCT/KR2020/005235 2020-03-10 2020-04-21 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법 WO2021182670A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200029460 2020-03-10
KR10-2020-0029460 2020-03-10
KR1020200038715A KR102356438B1 (ko) 2020-03-10 2020-03-31 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
KR10-2020-0038715 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021182670A1 true WO2021182670A1 (ko) 2021-09-16

Family

ID=77670721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005235 WO2021182670A1 (ko) 2020-03-10 2020-04-21 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2021182670A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013916A (ko) * 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법
KR101515928B1 (ko) * 2013-11-29 2015-05-06 재단법인대구경북과학기술원 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
KR101727833B1 (ko) * 2015-11-20 2017-04-19 단국대학교 산학협력단 얼굴인식을 위한 판별분석 기반의 복합 특징 벡터 생성 장치 및 방법
US20170206403A1 (en) * 2016-01-19 2017-07-20 Jason RAMBACH Method of distributed face recognition and system thereof
KR20170140519A (ko) * 2016-06-13 2017-12-21 한국전자통신연구원 포즈 변화에 강인한 얼굴 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110013916A (ko) * 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법
KR101515928B1 (ko) * 2013-11-29 2015-05-06 재단법인대구경북과학기술원 가변 가중치 결합을 이용하는 얼굴 인식 장치 및 방법
KR101727833B1 (ko) * 2015-11-20 2017-04-19 단국대학교 산학협력단 얼굴인식을 위한 판별분석 기반의 복합 특징 벡터 생성 장치 및 방법
US20170206403A1 (en) * 2016-01-19 2017-07-20 Jason RAMBACH Method of distributed face recognition and system thereof
KR20170140519A (ko) * 2016-06-13 2017-12-21 한국전자통신연구원 포즈 변화에 강인한 얼굴 인식 시스템 및 방법

Similar Documents

Publication Publication Date Title
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
WO2022108015A1 (ko) 지식 증류 기반 신경망 아키텍처 탐색 방법
WO2011096651A2 (ko) 얼굴 식별 방법 및 그 장치
EP3461290A1 (en) Learning model for salient facial region detection
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2020045714A1 (ko) 콘텐츠 인식 방법 및 시스템
WO2020122456A1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
WO2013073805A1 (ko) 이미지 검색 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2022065817A1 (en) Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
WO2020111314A1 (ko) 개념 그래프 기반 질의응답 장치 및 방법
WO2013048159A1 (ko) 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2021095987A1 (ko) 다중타입 엔티티에 기반한 지식 보완 방법 및 장치
WO2019172498A1 (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
WO2022131497A1 (ko) 이미지 생성을 위한 학습 장치 및 방법과 이미지 생성 장치 및 방법
WO2022086147A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
WO2021101045A1 (en) Electronic apparatus and method for controlling thereof
WO2021243947A1 (zh) 对象再识别方法及装置、终端和存储介质
WO2023068795A1 (ko) 이미지 분석을 이용한 메타버스 생성 장치 및 방법
WO2020032420A1 (en) Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
KR102356438B1 (ko) 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
WO2021145502A1 (ko) 얼굴 및 스트레스 인식 장치 및 방법
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2021182670A1 (ko) 요소 간 관계 추출 기반 이종 얼굴 인식 장치 및 방법
WO2022114368A1 (ko) 뉴로 심볼릭 기반 릴레이션 임베딩을 통한 지식완성 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924185

Country of ref document: EP

Kind code of ref document: A1