WO2024111814A1 - Device and method for generating de-identified face image capable of face authentication - Google Patents
Device and method for generating de-identified face image capable of face authentication Download PDFInfo
- Publication number
- WO2024111814A1 WO2024111814A1 PCT/KR2023/013223 KR2023013223W WO2024111814A1 WO 2024111814 A1 WO2024111814 A1 WO 2024111814A1 KR 2023013223 W KR2023013223 W KR 2023013223W WO 2024111814 A1 WO2024111814 A1 WO 2024111814A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face image
- style
- face
- original
- synthesis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 116
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 78
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 78
- 230000001815 facial effect Effects 0.000 claims description 36
- 238000013135 deep learning Methods 0.000 claims description 28
- 239000002131 composite material Substances 0.000 claims description 24
- 230000037308 hair color Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000013503 de-identification Methods 0.000 description 15
- 239000000203 mixture Substances 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Definitions
- the present invention relates to an apparatus and method for generating facial images, and more specifically, to an apparatus and method for generating facial images that enable face authentication using a deep learning-based facial authentication model but are non-identifiable to the naked eye.
- Deep learning-based face authentication models are being commercialized in many fields to authenticate users. At this time, while the user is inputting his or her face image into the model, data may be leaked due to a packet attack by an external attacker or deception by the administrator. Facial images are sensitive personal information of users and will cause serious problems if appropriate security measures are not in place. Therefore, an effective method is needed to prevent the possibility of violating the user's personal information when using the face authentication model.
- face authentication artificial intelligence models show high performance and are used in many fields, there is a possibility that the user's face image may be leaked during the process of inputting the input image into the model.
- de-identification technology exists as a method to minimize exposure of face images, there is a problem that authentication performance is greatly reduced when applying existing technology in the special situation of face authentication.
- Patent Document 1 Registered Patent Publication 10-2192235 (2020.12.10)
- the problem to be solved by the present invention is to provide an image generation device and method capable of sufficiently de-identifying input images while maintaining the authentication performance of a face authentication model.
- a de-identified facial image generating device capable of face authentication capable of face authentication according to an embodiment of the present invention
- an encoder for extracting a plurality of first style vectors of the original face image and a plurality of second style vectors of the synthesized target face image
- a style vector synthesizer for generating a plurality of composite style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that adjust a synthesis ratio
- a face image generator that generates a de-identified final face image of the original face image using the plurality of composite style vectors.
- the face image generator further generates at least one intermediate face image
- the style vector synthesizer When the intermediate face image is authenticated as the original face image using the deep learning-based face authentication model, the style vector synthesizer generates a new synthesis style vector using the increased synthesis parameter value, and the face image generator Generate a new intermediate face image using the new composite style vector,
- the face image generator generates the final face image using a synthesis style vector having synthesis parameters of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model.
- the range of the synthesis parameter value is 0 to 1
- the face image generator sets some of the synthesis parameters to zero (0) so that the final face image maintains the shape of the original face image.
- the synthesis parameter value is increased, a plurality of new synthesis style vectors are generated using the increased synthesis parameter value, and the new synthesis style vectors are used to generate a plurality of new synthesis style vectors. generating a new intermediate face image;
- the steps of generating a new intermediate face image and determining whether it is authenticated as the original face image are repeated to have synthesis parameters of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model. and generating a de-identified final face image of the original face image using a composite style vector.
- the range of the synthesis parameter value is 0 to 1
- the intermediate face image is identical to the original face image.
- each of the plurality of first style vectors and the plurality of second style vectors is classified into a first set, a second set, and a third set,
- a first set of each of the plurality of first style vectors and the plurality of second style vectors is associated with a shape of the face image, a second set is associated with eyes, nose and mouth, a third set is associated with hair color and It is related to skin color.
- the face image generator sets a synthesis parameter to zero (0) when combining each first set of the plurality of first style vectors and the plurality of second style vectors so that the final facial image is in the form of the original facial image. to maintain.
- the device and method for generating a de-identified face image capable of face authentication according to the present invention can perform face authentication using the generated de-identified image, and at the same time prevent leakage of facial personal information.
- the device and method for generating a de-identified face image capable of face authentication according to the present invention can be used in the process of inputting a face image into a face authentication model in a situation where both face authentication and de-identification are required, so there is a possibility of violating the user's facial personal information. can be prevented.
- Figure 1 is a diagram showing a schematic diagram of a de-identified facial image generating device capable of face authentication according to the present invention.
- Figure 2 is a diagram showing a schematic diagram of the encoder of the de-identified face image generating device capable of face authentication according to the present invention.
- Figure 3a is a diagram showing a schematic diagram of the face image generator of the de-identified face image generating device capable of face authentication according to the present invention.
- FIG. 3B is a diagram schematically showing an operation flowchart of the facial image generator of FIG. 3A.
- Figure 4 is a diagram for explaining the concept of adjusting the synthesis parameters of the synthesis parameter adjuster of the de-identified face image generating device capable of face authentication according to the present invention.
- Figure 5 is a diagram illustrating a deep learning-based face authentication model for verifying the authentication performance of the de-identified face image generating device capable of face authentication according to the present invention.
- Figure 6 is a flowchart of a method for generating a de-identified face image capable of face authentication according to the present invention.
- Figure 7 is a diagram showing an example of the final de-identified image generation result using the de-identified face image generating device and method capable of face authentication according to the present invention.
- the present invention relates to a new de-identification method using StyleGAN, an image generation model that can generate images by injecting various styles into face images.
- the present invention combines the user's facial feature information with the facial feature information of a specific person (virtual person) to create a new facial image, maintaining the authentication performance of the face authentication model while maximizing the strength of de-identification. .
- the Pixel2Style2Pixel (PSP) encoder of the present invention extracts the features of the target face image that is synthesized with the original face image.
- the image generation model of the present invention - StyleGAN combines the facial characteristics of the target person synthesized with the original face image and then generates a de-identified face image.
- the present invention proposes a method of optimizing the combination ratio of two facial features according to the face authentication model using HopSkipJumpAttack.
- Figure 1 is a diagram showing a schematic diagram of a de-identified facial image generating device capable of face authentication according to the present invention.
- the de-identified face image generating device 100 capable of face authentication of the present invention includes an encoder 110, a style vector synthesizer 120, a face image generator 130, a deep learning-based face authentication model 140, and a synthesis parameter adjuster. Includes (150).
- the encoder 110 extracts a plurality of first style vectors of the original face image and a plurality of second style vectors of the synthesized target face image.
- the style vector synthesizer 120 generates a plurality of composite style vectors by combining a plurality of first style vectors and a plurality of second style vectors using a plurality of synthesis parameters that control the synthesis ratio.
- the face image generator 130 generates a de-identified final face image of at least one intermediate face image and an original face image using a plurality of composite style vectors.
- the deep learning-based face authentication model 140 compares the intermediate face image with the original face image to determine whether it is authenticated as the original face.
- the synthesis parameter controller 150 adjusts the value of the synthesis parameter ( ⁇ ) that controls the synthesis ratio.
- the range of synthesis parameter values is 0 to 1, and the face image generator 130 sets some of the synthesis parameters to zero (0) so that the final face image maintains the shape of the original face image.
- the style vector synthesizer 120, the face image generator 130, the deep learning-based face authentication model 140, and the synthesis parameter adjuster 150 form a loop.
- the synthesis parameter adjuster 150 increases the synthesis parameter value to increase the de-identification strength.
- the style vector synthesizer 120 generates a new synthesis style vector using the increased synthesis parameter value.
- the face image generator 130 generates a new intermediate face image using the new composite style vector.
- the face image generator 130 generates a final face image using a synthesis style vector having synthesis parameters of the final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model 140.
- FIG. 1 the operation of the de-identified facial image generating device capable of face authentication according to the present invention will be described in more detail.
- the encoder 110 uses style vectors of X source (original face image) and X target (face image of a virtual person) and Extract . style vector and is input to the StyleGAN model of the face image generator 130 and synthesized using synthesis parameters of size 18 x 512 before generating the image.
- the range is between 0 and 1.
- Equation (1) is the equation for generating a composite style vector.
- the face image generator 130 Since the image is generated through , the final face image is created the same as the on the other way If is 1, the face image generator 130 Since the image is generated through
- the style vector synthesizer 120 creates . Through this, the face will be authenticated, but a final face image that can be sufficiently de-identified will be created.
- the face image generator 130 images the shape and appearance of the face from the input style in the upper 4 layers of the 18 layers of the StyleGAN model, and the present invention All are fixed to the value 0. top 4 tiers By fixing all to the value 0, the final generated face image can maintain the same facial shape as the original face image.
- This setting was selected because the present invention is far from the intended goal of de-identification when even the shape of the face changes.
- a type of attack is performed on the face authentication model using the HSJA (HopSkipJumpAttack) method of the synthetic parameter adjuster 150.
- HSJA HopSkipJumpAttack
- the style vector synthesizer 120 synthesizes the style vector as Equation (1): creates .
- the face image generator 130 is a composite style vector Use this to create an intermediate face image, X mix , which combines the facial features of the
- the deep learning face authentication model 140 determines whether to authenticate the de-identified image X mix .
- the composite parameter value in the parameter adjuster 150 is decreased, and if authentication is successful, the composite parameter value in the parameter adjuster 150 is increased. Intermediate image creation is repeated while adjusting the synthesis parameter values depending on whether authentication is successful or not.
- Figure 2 is a diagram showing a schematic diagram of the encoder of the de-identified face image generating device capable of face authentication according to the present invention.
- the encoder 110 of the present invention uses Pixel2Style2Pixel (PSP) encoding technique.
- PSP Pixel2Style2Pixel
- the encoder 110 receives the original face image and inputs it as a style to the face image generator 130. Output vector.
- the facial image generator 130 corresponds to The final face image generated using the vector may generate a face image very similar to the original image received as input by the encoder 110.
- the encoder 110 of the present invention can obtain a vector with a size of 18 x 512 tailored to the 18th layer, rather than the 1 x 512 size used conventionally.
- the facial image generating device of the present invention outperforms conventional image generating devices.
- Figure 3a is a diagram showing a schematic diagram of the face image generator of the de-identified face image generating device capable of face authentication according to the present invention.
- the face image generator 130 of the present invention uses the StyleGAN image generation model.
- StyleGAN is a Generative Adversarial Networks (GAN) model that generates an image by copying the style W + vector of size 1 .
- GAN Generative Adversarial Networks
- FIG. 3B is a diagram schematically showing an operation flowchart of the facial image generator of FIG. 3A.
- the StyleGAN model of the face image generator 130 of the present invention is an adversarial generation model that can generate images of various styles.
- the StyleGAN model of the present invention consists of 18 layers, and the W + (1 x 512) vector representing the style of the face image is copied and input into each layer.
- the face image generator 130 generates a face image using an upsampling method with reference to each style. Of the 18 layers, 4 layers are involved in creating the shape of the face. The next four layers are involved in the positioning of the eyes, nose, and mouth. The remaining 10 layers are involved in hair color, skin color, etc.
- Figure 4 is a diagram for explaining the concept of adjusting the synthesis parameters of the synthesis parameter adjuster of the de-identified face image generating device capable of face authentication according to the present invention.
- the synthesis parameters of the synthesis parameter adjuster 150 of the present invention are adjusted to maximize the amount of facial modulation within the range in which the original face image is authenticated.
- the present invention performs style vector synthesis to maintain the user's face shape in order to maintain authentication of the original face image.
- the synthesis parameter adjuster 150 uses the HSJA (HopSkipJumpAttack) method.
- HSJA HopSkipJumpAttack transforms the input image and inputs it into the classification model. This is an attack method that uses the classification results of the process to induce misclassification of existing input images. Unlike other attacks that deform the image using the gradient calculated through backpropagation of the model, the attack randomly adjusts the deformation.
- HopSkipJumpAttack attempts to query input data in a black box environment that does not have access to the internal information (weight layer, activation layer, etc.) of the classification model to be attacked, and then uses the output value of the classification model to produce the same predicted value even though it looks like a different image. This is a method of generating adversarial examples to print.
- a query is attempted using binary classification from the original image ( ⁇ _start) to the target image (a virtual image, which is an image synthesized with the original image) ( ⁇ _target), and ⁇ _start is performed using the criteria that does not change the classification result. Adjust.
- HopSkipJumpAttack is performed by calculating the median value from the source to the target using a binary query method, checking whether the median value is in a range that can be recognized as the original, and calculating the ⁇ value to get as close to the target as possible.
- Figure 5 is a diagram illustrating a deep learning-based face authentication model for verifying the authentication performance of the de-identified face image generating device capable of face authentication according to the present invention.
- the deep learning-based face authentication model 140 of the present invention uses deepface's VGG-FACE.
- the deep learning-based face authentication model 140 extracts feature vectors from two face input images through a Conv layer and compares the similarity.
- the deep learning-based face authentication model 140 operates by returning True if the compared similarity is less than a threshold, and False if it is more than the threshold.
- the deep learning-based face authentication model 140 of the present invention sets the threshold to 0.4, which is the default value.
- Figure 6 is a flowchart of a method for generating a de-identified face image capable of face authentication according to the present invention.
- the method of generating a de-identified face image capable of face authentication of the present invention includes the step of extracting a plurality of first style vectors of the original face image using the encoder 110 (S610).
- the method of generating a de-identified face image capable of face authentication of the present invention includes the step of extracting a plurality of second style vectors of the target face image synthesized with the original face image using the encoder 110 (S620).
- the method of generating a de-identified face image capable of face authentication of the present invention uses a style vector synthesizer 120 to combine the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that control the synthesis ratio. It includes a step (S630) of generating a plurality of composite style vectors by combining them.
- the method of generating a de-identified face image capable of face authentication of the present invention includes the step of generating an intermediate face image using a plurality of composite style vectors using the face image generator 130 (S640).
- the method of generating a de-identified face image capable of face authentication of the present invention includes a step (S650) of determining whether an intermediate face image is authenticated as the original face image using a deep learning-based face authentication model 140.
- the method of generating a de-identified face image capable of face authentication of the present invention increases the synthesis parameter value when the intermediate face image is authenticated as the original face image, and creates a plurality of new synthesis style vectors using the increased synthesis parameter value. and generating a new intermediate face image using a plurality of new composite style vectors (S660).
- the method of generating a de-identified face image capable of face authentication of the present invention repeats the step of generating a new intermediate face image and the step of determining whether it is authenticated as the original face image, and converts it to the original face image by a deep learning-based face authentication model. It includes generating a de-identified final face image of the original face image using a synthesis style vector having synthesis parameters of the final intermediate face image to be authenticated (S670).
- the range of the synthesis parameter value is 0 to 1, and when the synthesis parameter value is 0, the intermediate face image is the same as the original face image.
- each of the plurality of first style vectors and the plurality of second style vectors is classified into a first set, a second set, and a third set, and the plurality of first style vectors and the plurality of second style vectors are respectively classified into a first set, a second set, and a third set.
- the first set of each is associated with the shape of the facial image
- the second set is associated with the eyes, nose and mouth
- the third set is associated with hair color and skin color.
- the face image generator 130 sets the synthesis parameter to zero (0) when combining each first set of the plurality of first style vectors and the plurality of second style vectors so that the final facial image maintains the shape of the original facial image. Let's do it.
- Figure 7 is a diagram showing an example of the final de-identified image generation result using the de-identified face image generating device and method capable of face authentication according to the present invention.
- Figure 7 shows the results generated by attempting 5000 queries on the deep learning face authentication model 140.
- X source is the original user face image
- X mix_last is the final de-identified face image. This is the final facial image de-identified through the method of the present invention. Visually, that is, when viewed with the naked eye, the original face image is de-identified, and the original face is authenticated with respect to the deep learning face authentication model 140.
- Table 1 shows the results of facial similarity measurement.
- the cosine distance (Equation 2) of the two vectors is calculated, and if measured lower than a certain threshold, they are recognized as the same person.
- the threshold value set for the experiment is 0.4. Authentication performance was calculated by comparing the final result image and the original unknown cosine distance.
- the authentication success rate becomes 100%, so that the image generated by the de-identified face image generation method capable of face authentication of the present invention is sufficiently de-identified, but the authentication of the face authentication model It was confirmed that performance was maintained.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
The present invention provides a device and a method for generating a de-identified face image capable of face authentication. The device for generating a de-identified face image capable of face authentication comprises: an encoder which extracts a plurality of first style vectors of an original face image and a plurality of second style vectors of a synthesized target face image; a style vector synthesizer that generates a plurality of synthesized style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that control a synthesis ratio; and a face image generator that generates a de-identified final face image of the original face image using the plurality of synthesized style vectors.
Description
본 발명은 얼굴 이미지 생성 장치 및 방법에 관한 것으로, 보다 상세하게는 딥러닝 기반 얼굴 인증 모델을 이용하여 얼굴 인증이 가능 하면서도 육안으로는 비식별화된 얼굴 이미지 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating facial images, and more specifically, to an apparatus and method for generating facial images that enable face authentication using a deep learning-based facial authentication model but are non-identifiable to the naked eye.
딥러닝 기반 얼굴 인증 모델은 사용자를 인증하기 위해 많은 분야에서 상용화되고 있다. 이때, 사용자가 자신의 얼굴 이미지를 모델에 입력하는 과정에서 외부 공격자의 패킷 공격이나 관리자의 기만 등으로 인해 데이터가 유출될 수 있다. 얼굴 이미지는 사용자의 민감한 개인 정보로써 적절한 보안 대책이 마련되지 않으면 심각한 문제를 초래할 것이다. 따라서, 얼굴 인증 모델의 이용에 있어서 사용자의 개인 정보 침해 가능성을 방지하기 위한 효과적인 방법이 필요하다.Deep learning-based face authentication models are being commercialized in many fields to authenticate users. At this time, while the user is inputting his or her face image into the model, data may be leaked due to a packet attack by an external attacker or deception by the administrator. Facial images are sensitive personal information of users and will cause serious problems if appropriate security measures are not in place. Therefore, an effective method is needed to prevent the possibility of violating the user's personal information when using the face authentication model.
얼굴 인증을 위한 입력 이미지가 유출되어도 공격자가 해당 인물을 식별할 수 없게 만든다면 사용자의 개인정보를 보호할 수 있다. 이때, 비식별화는 사용자 얼굴의 노출을 최소화 하기 위해 효과적으로 사용될 수 있다. 하지만 기존 비식별화 기술은 실제 얼굴의 노출을 최소화하기 위해 높은 수준의 익명화에만 초점을 두었다. 그렇기에 비식별화와 얼굴 인증이 함께 필요한 상황에서 기존 방법을 적용하기에는 한계가 있고, 이를 보완하기 위한 방법에 대한 요구가 있다.Even if the input image for face authentication is leaked, the user's personal information can be protected if the attacker cannot identify the person in question. At this time, de-identification can be effectively used to minimize exposure of the user's face. However, existing de-identification technologies only focused on high-level anonymization to minimize exposure of actual faces. Therefore, there are limits to applying existing methods in situations where both de-identification and face authentication are required, and there is a demand for methods to complement this.
얼굴 인증 인공지능 모델이 높은 성능을 보이며 많은 분야에서 이용되고 있지만, 입력 이미지를 모델에 입력하는 과정에서 사용자의 얼굴 이미지 유출 가능성이 존재한다. 얼굴 이미지의 노출을 최소화하기 위한 방법으로 비식별화 기술이 존재하지만, 얼굴 인증이라는 특수한 상황에서 기존 기술을 적용할 때에는 인증 성능이 크게 감소한다는 문제점이 있다.Although face authentication artificial intelligence models show high performance and are used in many fields, there is a possibility that the user's face image may be leaked during the process of inputting the input image into the model. Although de-identification technology exists as a method to minimize exposure of face images, there is a problem that authentication performance is greatly reduced when applying existing technology in the special situation of face authentication.
사용자가 얼굴 인증 모델을 통해 본인 인증을 시도할 때, 자신의 얼굴 이미지를 모델에 입력해야 한다. 이 때, 패킷 탈취, 해킹 등 외부 공격으로 인해 사용자의 얼굴 이미지가 노출될 수 있으며, 이것은 프라이버시 침해 문제로 이어질 수 있다.When a user attempts to authenticate himself through a face authentication model, he must input his face image into the model. At this time, the user's facial image may be exposed due to external attacks such as packet theft or hacking, which may lead to privacy infringement issues.
이에 대한 대책으로, 사용자 얼굴의 노출을 최소화할 수 있는 비식별화 방법이 효과적으로 사용될 수 있다. 하지만, 기존 비식별화 방법들은 높은 수준의 익명화에만 초점을 둬 얼굴인증 성능이 유지되지 못한다는 한계가 있다. 반면, 얼굴인증 성능을 유지하기 위해 비식별화 강도를 낮추는 경우 사용자의 얼굴 변조량이 감소하고, 프라이버시 보호에 도움이 되지 못한다. 즉, 비식별화 성능과 얼굴인증 성능을 모두 만족시킬 수 있는 적절한 대응책이 요구된다. As a countermeasure against this, a de-identification method that can minimize exposure of the user's face can be effectively used. However, existing de-identification methods have a limitation in that they focus only on high-level anonymization and cannot maintain face authentication performance. On the other hand, if the de-identification strength is lowered to maintain face authentication performance, the amount of user face modification is reduced and does not help protect privacy. In other words, an appropriate countermeasure that can satisfy both de-identification performance and face authentication performance is required.
[선행기술문헌][Prior art literature]
[특허문헌][Patent Document]
(특허문헌 1) 등록특허 공보 10-2192235(2020.12.10)(Patent Document 1) Registered Patent Publication 10-2192235 (2020.12.10)
본 발명이 해결하고자 하는 과제는 얼굴 인증 모델의 인증 성능을 유지하면서 입력 이미지의 충분한 비식별화 가능한 이미지 생성 장치 및 방법을 제공하고자 한다. The problem to be solved by the present invention is to provide an image generation device and method capable of sufficiently de-identifying input images while maintaining the authentication performance of a face authentication model.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
본 발명의 일 실시예에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치는,A de-identified facial image generating device capable of face authentication according to an embodiment of the present invention,
원본 얼굴 이미지의 복수개의 제1 스타일 벡터 및 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출하는 인코더;an encoder for extracting a plurality of first style vectors of the original face image and a plurality of second style vectors of the synthesized target face image;
합성 비율을 조절하는 복수개의 합성 파라미터로 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성하는 스타일 벡터 합성기; 및a style vector synthesizer for generating a plurality of composite style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that adjust a synthesis ratio; and
상기 복수개의 합성 스타일 벡터를 이용하여 상기 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성하는 얼굴 이미지 생성기;를 포함한다.and a face image generator that generates a de-identified final face image of the original face image using the plurality of composite style vectors.
바람직하게는,Preferably,
상기 얼굴 이미지 생성기는 적어도 하나의 중간 얼굴 이미지를 추가로 생성하고,The face image generator further generates at least one intermediate face image,
상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 딥러닝 기반 얼굴 인증 모델;을 더 포함한다.It further includes a deep learning-based face authentication model that determines whether the intermediate face image is authenticated as the original face image.
바람직하게는,Preferably,
상기 딥러닝 기반 얼굴 인증 모델을 이용하여 상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는 경우, 상기 스타일 벡터 합성기는 증가된 합성 파라미터 값을 이용하여 새로운 합성 스타일 벡터를 생성하고, 상기 얼굴 이미지 생성기는 상기 새로운 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성하고,When the intermediate face image is authenticated as the original face image using the deep learning-based face authentication model, the style vector synthesizer generates a new synthesis style vector using the increased synthesis parameter value, and the face image generator Generate a new intermediate face image using the new composite style vector,
상기 새로운 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되지 않을 때까지, 상기 스타일 벡터 합성기에서의 증가된 합성 파라미터 값을 이용한 새로운 합성 스타일 벡터의 생성 및 상기 얼굴 이미지 생성기에서의 새로운 중간 얼굴 이미지 생성이 반복된다.Generation of a new composite style vector using increased synthesis parameter values in the style vector synthesizer and generation of a new intermediate face image in the face image generator are repeated until the new intermediate face image is not authenticated as the original face image. do.
바람직하게는,Preferably,
상기 얼굴 이미지 생성기는 상기 딥러닝 기반 얼굴 인증 모델에 의해 상기 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 상기 최종 얼굴 이미지를 생성한다.The face image generator generates the final face image using a synthesis style vector having synthesis parameters of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model.
바람직하게는,Preferably,
상기 합성 파라미터 값의 범위는 0 내지 1이고,The range of the synthesis parameter value is 0 to 1,
상기 얼굴 이미지 생성기는 상기 합성 파라미터의 일부를 제로(0)로 설정하여 상기 최종 얼굴 이미지가 상기 원본 얼굴 이미지의 형태를 유지하게 한다.The face image generator sets some of the synthesis parameters to zero (0) so that the final face image maintains the shape of the original face image.
본 발명의 일 실시예에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은,A method for generating a de-identified face image capable of face authentication according to an embodiment of the present invention,
인코더를 이용하여, 원본 얼굴 이미지의 복수개의 제1 스타일 벡터를 추출하는 단계;Extracting a plurality of first style vectors of the original face image using an encoder;
상기 인코더를 이용하여, 상기 원본 얼굴 이미지와 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출하는 단계;extracting a plurality of second style vectors of a target face image synthesized with the original face image using the encoder;
스타일 벡터 합성기를 이용하여 합성 비율을 조절하는 복수개의 합성 파라미터로 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성하는 단계;generating a plurality of composite style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that adjust a synthesis ratio using a style vector synthesizer;
얼굴 이미지 생성기를 이용하여 상기 복수개의 합성 스타일 벡터를 이용하여 중간 얼굴 이미지를 생성하는 단계;generating an intermediate face image using the plurality of composite style vectors using a face image generator;
딥러닝 기반 얼굴 인증 모델을 이용하여 상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계;determining whether the intermediate face image is authenticated as the original face image using a deep learning-based face authentication model;
상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는 경우, 상기 합성 파라미터 값을 증가시키고, 증가된 합성 파라미터 값을 이용하여 새로운 복수개의 합성 스타일 벡터를 생성하고, 상기 새로운 복수개의 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성하는 단계; 및When the intermediate face image is authenticated as the original face image, the synthesis parameter value is increased, a plurality of new synthesis style vectors are generated using the increased synthesis parameter value, and the new synthesis style vectors are used to generate a plurality of new synthesis style vectors. generating a new intermediate face image; and
상기 새로운 중간 얼굴 이미지를 생성하는 단계 및 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계를 반복하여 상기 딥러닝 기반 얼굴 인증 모델에 의해 상기 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 상기 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성하는 단계;를 포함한다.The steps of generating a new intermediate face image and determining whether it is authenticated as the original face image are repeated to have synthesis parameters of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model. and generating a de-identified final face image of the original face image using a composite style vector.
바람직하게는,Preferably,
상기 합성 파라미터 값의 범위는 0 내지 1이고,The range of the synthesis parameter value is 0 to 1,
상기 합성 파라미터 값이 0일 때 상기 중간 얼굴 이미지는 상기 원본 얼굴 이미지와 동일하다.When the synthesis parameter value is 0, the intermediate face image is identical to the original face image.
바람직하게는,Preferably,
상기 얼굴 이미지 생성기에서 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터 각각은 제1 세트, 제2 세트 및 제3 세트로 분류되고,In the face image generator, each of the plurality of first style vectors and the plurality of second style vectors is classified into a first set, a second set, and a third set,
상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터의 각각의 제1 세트는 얼굴 이미지의 형태와 관련되고, 제2 세트는 눈, 코 및 입과 관련되고, 제3 세트는 머리 색깔 및 피부색과 관련된다.A first set of each of the plurality of first style vectors and the plurality of second style vectors is associated with a shape of the face image, a second set is associated with eyes, nose and mouth, a third set is associated with hair color and It is related to skin color.
바람직하게는,Preferably,
상기 얼굴 이미지 생성기는 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터의 각각의 제1 세트의 합성시 합성 파라미터를 제로(0)로 설정하여 상기 최종 얼굴 이미지가 상기 원본 얼굴 이미지의 형태를 유지하도록 한다.The face image generator sets a synthesis parameter to zero (0) when combining each first set of the plurality of first style vectors and the plurality of second style vectors so that the final facial image is in the form of the original facial image. to maintain.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.
본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법은 생성된 비식별화 이미지를 사용하여 얼굴 인증을 할 수 있으며, 동시에 얼굴 개인정보 유출을 방지할 수 있다.The device and method for generating a de-identified face image capable of face authentication according to the present invention can perform face authentication using the generated de-identified image, and at the same time prevent leakage of facial personal information.
본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법을 이용하여 생성된 이미지들을 시각화하여 비식별화 성능을 가지면서도, 인증 성능이 유지되는 효과가 있다.By visualizing images generated using the device and method for generating a de-identified face image capable of face authentication according to the present invention, there is an effect of maintaining de-identification performance while maintaining authentication performance.
본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법은 얼굴 인증과 비식별화가 함께 필요한 상황에서 얼굴 이미지를 얼굴 인증 모델에 입력하는 과정에서 사용될 수 있어서, 사용자의 얼굴 개인 정보 침해 가능성을 방지할 수 있다.The device and method for generating a de-identified face image capable of face authentication according to the present invention can be used in the process of inputting a face image into a face authentication model in a situation where both face authentication and de-identification are required, so there is a possibility of violating the user's facial personal information. can be prevented.
다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 개략도를 보여주는 도면이다.Figure 1 is a diagram showing a schematic diagram of a de-identified facial image generating device capable of face authentication according to the present invention.
도 2는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 인코더의 개략도를 보여주는 도면이다.Figure 2 is a diagram showing a schematic diagram of the encoder of the de-identified face image generating device capable of face authentication according to the present invention.
도 3a는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 얼굴 이미지 생성기의 개략도를 보여주는 도면이다.Figure 3a is a diagram showing a schematic diagram of the face image generator of the de-identified face image generating device capable of face authentication according to the present invention.
도 3b는 도3a의 얼굴 이미지 생성기의 동작 흐름도를 개략적으로 도시한 도면이다. FIG. 3B is a diagram schematically showing an operation flowchart of the facial image generator of FIG. 3A.
도 4는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 합성 파라미터 조절기의 합성 파라미터를 조절하는 개념을 설명하기 위한 도면이다.Figure 4 is a diagram for explaining the concept of adjusting the synthesis parameters of the synthesis parameter adjuster of the de-identified face image generating device capable of face authentication according to the present invention.
도 5는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 인증 성능을 검증하기 위한 딥러닝 기반 얼굴 인증 모델을 설명하기 위한 도면이다.Figure 5 is a diagram illustrating a deep learning-based face authentication model for verifying the authentication performance of the de-identified face image generating device capable of face authentication according to the present invention.
도 6은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법의 흐름도를 도시한 도면이다.Figure 6 is a flowchart of a method for generating a de-identified face image capable of face authentication according to the present invention.
도 7은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법을 이용한 최종 비식별화 이미지 생성 결과의 예를 보여주는 도면이다.Figure 7 is a diagram showing an example of the final de-identified image generation result using the de-identified face image generating device and method capable of face authentication according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to be understood by those skilled in the art in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 구성들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서, 도면에서 예시된 구성들은 개략적인 속성을 가지며, 도면에서 예시된 구성들의 모양은 구성의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.Embodiments described herein will be explained with reference to cross-sectional views and/or plan views, which are ideal illustrations of the present invention. In the drawings, the thickness of the components is exaggerated for effective explanation of technical content. Accordingly, the configurations illustrated in the drawings have schematic properties, and the shapes of the configurations illustrated in the drawings are intended to illustrate specific forms of the configuration and are not intended to limit the scope of the invention. In various embodiments of the present specification, terms such as first, second, and third are used to describe various components, but these components should not be limited by these terms. These terms are merely used to distinguish one component from another. Embodiments described and illustrated herein also include complementary embodiments thereof.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for describing embodiments and is not intended to limit the invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations and/or elements in a mentioned element, step, operation and/or element. or does not rule out addition.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings that can be commonly understood by those skilled in the art to which the present invention pertains. Additionally, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless clearly specifically defined.
이하, 도면을 참조하여, 본 발명의 개념 및 이에 따른 실시예들에 대해 상세히 설명하기로 한다. Hereinafter, with reference to the drawings, the concept of the present invention and embodiments thereof will be described in detail.
본 발명은 얼굴 이미지에 다양한 스타일을 주입하여 이미지를 생성할 수 있는 이미지 생성 모델 -StyleGAN을 활용한 새로운 비식별화 방법에 관한 것이다.The present invention relates to a new de-identification method using StyleGAN, an image generation model that can generate images by injecting various styles into face images.
본 발명은 사용자의 얼굴 특징 정보에 특정 인물(가상 인물)의 얼굴 특징 정보를 결합해 새로운 얼굴 이미지를 생성하여, 얼굴인증 모델의 인증 성능을 유지하는 동시에 비식별화 강도를 최대화하는 것을 특징으로 한다.The present invention combines the user's facial feature information with the facial feature information of a specific person (virtual person) to create a new facial image, maintaining the authentication performance of the face authentication model while maximizing the strength of de-identification. .
본 발명의 Pixel2Style2Pixel(PSP) 인코더는 원본 얼굴 이미지와 합성되는 타겟 얼굴 이미지의 특징을 추출한다.The Pixel2Style2Pixel (PSP) encoder of the present invention extracts the features of the target face image that is synthesized with the original face image.
본 발명의 이미지 생성 모델 - StyleGAN은 원본 얼굴 이미지에 합성되는 타겟 인물의 얼굴 특성을 결합한 뒤, 비식별화된 얼굴 이미지를 생성한다.The image generation model of the present invention - StyleGAN combines the facial characteristics of the target person synthesized with the original face image and then generates a de-identified face image.
본 발명은 HopSkipJumpAttack을 활용해 얼굴인증 모델에 맞춰 두 얼굴 특징의 결합 비율을 최적화하는 방법을 제안한다The present invention proposes a method of optimizing the combination ratio of two facial features according to the face authentication model using HopSkipJumpAttack.
도 1은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 개략도를 보여주는 도면이다.Figure 1 is a diagram showing a schematic diagram of a de-identified facial image generating device capable of face authentication according to the present invention.
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치(100)는 인코더(110), 스타일 벡터 합성기(120), 얼굴 이미지 생성기(130), 딥러닝 기반 얼굴 인증 모델(140) 및 합성 파라미터 조절기(150)을 포함한다.The de-identified face image generating device 100 capable of face authentication of the present invention includes an encoder 110, a style vector synthesizer 120, a face image generator 130, a deep learning-based face authentication model 140, and a synthesis parameter adjuster. Includes (150).
인코더(110)는 원본 얼굴 이미지의 복수개의 제1 스타일 벡터 및 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출한다.The encoder 110 extracts a plurality of first style vectors of the original face image and a plurality of second style vectors of the synthesized target face image.
스타일 벡터 합성기(120)는 합성 비율을 조절하는 복수개의 합성 파라미터로 복수개의 제1 스타일 벡터와 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성한다.The style vector synthesizer 120 generates a plurality of composite style vectors by combining a plurality of first style vectors and a plurality of second style vectors using a plurality of synthesis parameters that control the synthesis ratio.
얼굴 이미지 생성기(130)는 복수개의 합성 스타일 벡터를 이용하여 적어도 하나의 중간 얼굴 이미지 및 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성한다.The face image generator 130 generates a de-identified final face image of at least one intermediate face image and an original face image using a plurality of composite style vectors.
딥러닝 기반 얼굴 인증 모델(140)은 중간 얼굴 이미지를 원본 얼굴 이미지와 비교하여 원본 얼굴로 인증되는지 여부를 판단한다.The deep learning-based face authentication model 140 compares the intermediate face image with the original face image to determine whether it is authenticated as the original face.
합성 파라미터 조절기(150)는 합성 비율을 조절하는 합성 파라미터(λ)의 값을 조절한다. 합성 파라미터 값의 범위는 0 내지 1이고, 얼굴 이미지 생성기(130)는 합성 파라미터의 일부를 제로(0)로 설정하여 최종 얼굴 이미지가 원본 얼굴 이미지의 형태를 유지하게 한다.The synthesis parameter controller 150 adjusts the value of the synthesis parameter (λ) that controls the synthesis ratio. The range of synthesis parameter values is 0 to 1, and the face image generator 130 sets some of the synthesis parameters to zero (0) so that the final face image maintains the shape of the original face image.
스타일 벡터 합성기(120), 얼굴 이미지 생성기(130), 딥러닝 기반 얼굴 인증 모델(140) 및 합성 파라미터 조절기(150)는 루프를 형성한다.The style vector synthesizer 120, the face image generator 130, the deep learning-based face authentication model 140, and the synthesis parameter adjuster 150 form a loop.
딥러닝 기반 얼굴 인증 모델(140)을 이용하여 중간 얼굴 이미지가 원본 얼굴 이미지로 인증되는 경우, 합성 파라미터 조절기(150)는 비식별화 강도를 증가시키기 위해 합성 파라미터 값을 증가시킨다.When the intermediate face image is authenticated as the original face image using the deep learning-based face authentication model 140, the synthesis parameter adjuster 150 increases the synthesis parameter value to increase the de-identification strength.
스타일 벡터 합성기(120)는 증가된 합성 파라미터 값을 이용하여 새로운 합성 스타일 벡터를 생성한다.The style vector synthesizer 120 generates a new synthesis style vector using the increased synthesis parameter value.
얼굴 이미지 생성기(130)는 새로운 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성한다.The face image generator 130 generates a new intermediate face image using the new composite style vector.
새로운 중간 얼굴 이미지가 원본 얼굴 이미지로 인증되지 않을 때까지, 합성 파라미터 조절기(150)에서의 합성 파라미터 값 증가, 스타일 벡터 합성기(120)에서의 증가된 합성 파라미터 값을 이용한 새로운 합성 스타일 벡터의 생성 및 얼굴 이미지 생성기(130)에서의 새로운 중간 얼굴 이미지 생성이 반복된다.until the new intermediate face image is not authenticated as the original face image, increasing the compositing parameter values in the compositing parameter adjuster 150, generating a new compositing style vector using the increased compositing parameter values in the style vector compositor 120, and Generation of a new intermediate face image in the face image generator 130 is repeated.
얼굴 이미지 생성기(130)는 딥러닝 기반 얼굴 인증 모델(140)에 의해 상기 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 최종 얼굴 이미지를 생성한다.The face image generator 130 generates a final face image using a synthesis style vector having synthesis parameters of the final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model 140.
도 1을 이용하여 본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 동작을 보다 상세하게 설명한다.Using FIG. 1, the operation of the de-identified facial image generating device capable of face authentication according to the present invention will be described in more detail.
인코더(110)는 Xsource(원본 얼굴 이미지)와 Xtarget(가상 인물의 얼굴 이미지)의 스타일 벡터 와 를 추출한다. 스타일 벡터 와 는 얼굴 이미지 생성기(130)의 StyleGAN 모델에 입력돼 이미지를 생성하기 전에, 18 x 512 크기의 합성 파라미터를 이용해 합성된다.The encoder 110 uses style vectors of X source (original face image) and X target (face image of a virtual person) and Extract . style vector and is input to the StyleGAN model of the face image generator 130 and synthesized using synthesis parameters of size 18 x 512 before generating the image.
수식 (1)은 합성 스타일 벡터를 생성하기 위한 방정식이다.Equation (1) is the equation for generating a composite style vector.
가 0일 경우 얼굴 이미지 생성기(130)는 를 통해 이미지를 생성하기 때문에 Xsource(원본 얼굴 이미지)와 같은 최종 얼굴 이미지를 생성한다. 반대로 가 1일 경우 얼굴 이미지 생성기(130)는 를 통해 이미지를 생성하기 때문에 Xtarget(가상 인물의 얼굴 이미지)와 같은 최종 얼굴 이미지를 생성한다 If is 0, the face image generator 130 Since the image is generated through , the final face image is created the same as the on the other way If is 1, the face image generator 130 Since the image is generated through
가 0과 1 사이인 경우 스타일 벡터 합성기(120)는 를 생성한다. 를 통해 얼굴 인증이 되지만 충분한 비식별화가 가능한 최종 얼굴 이미지가 생성될 것이다. If is between 0 and 1, the style vector synthesizer 120 creates . Through this, the face will be authenticated, but a final face image that can be sufficiently de-identified will be created.
얼굴 이미지 생성기(130)는 StyleGAN 모델의 18 계층 중 상위 4계층은 입력되는 스타일로부터 얼굴의 형태와 모습을 이미지화하는데, 본 발명은 상위 4계층의 을 모두 값 0으로 고정해준다. 상위 4계층의 을 모두 값 0으로 고정함으로써, 최종 생성된 얼굴 이미지는 원본 얼굴 이미지와 동일한 얼굴 형태를 유지할 수 있다.The face image generator 130 images the shape and appearance of the face from the input style in the upper 4 layers of the 18 layers of the StyleGAN model, and the present invention All are fixed to the value 0. top 4 tiers By fixing all to the value 0, the final generated face image can maintain the same facial shape as the original face image.
본 발명은 얼굴의 형태까지 변하는 경우 의도한 비식별화의 목표와 거리가 멀어지기 때문에 이러한 설정을 선택하였다.This setting was selected because the present invention is far from the intended goal of de-identification when even the shape of the face changes.
를 목적에 맞게 최적화하기 위해 합성 파라미터 조절기(150)의 HSJA(HopSkipJumpAttack) 방법을 활용해 얼굴 인증 모델에 일종의 공격을 수행한다. In order to optimize for the purpose, a type of attack is performed on the face authentication model using the HSJA (HopSkipJumpAttack) method of the synthetic parameter adjuster 150.
는 Xsource(원본 얼굴 이미지)와 가까운 이미지를 생성할 수 있는λstart = [[0, 0, …] …]를 초기값으로 하며, 이를 λtarget = [[1, 1, …] …]를 향해 조정해준다. λ start = [[0, 0, … which can generate an image close to the X source (original face image). ] … ] is set as the initial value, and this is set to λ target = [[1, 1, … ] … Adjust towards ].
갱신된 λ를 가지고 스타일 벡터 합성기(120)는 수식(1)가 같이 합성 스타일 벡터 를 생성한다.With the updated λ, the style vector synthesizer 120 synthesizes the style vector as Equation (1): creates .
얼굴 이미지 생성기(130)는 합성 스타일 벡터 이용해 Xtarget(가상 인물의 얼굴 이미지)의 얼굴 특징이 결합된 중간 얼굴 이미지 Xmix를 생성한다. The face image generator 130 is a composite style vector Use this to create an intermediate face image, X mix , which combines the facial features of the
딥러닝 얼굴 인증 모델(140)는 비식별화된 이미지 Xmix에 대하여 인증 여부를 판단한다. The deep learning face authentication model 140 determines whether to authenticate the de-identified image X mix .
인증 성공 여부에 따라 인증에 실패하면 파라미터 조절기(150)에서의 합성 파라미터 값은 감소되고, 인증에 성공하면 파라미터 조절기(150)에서의 합성 파라미터 값은 증가된다. 인증 성공 여부에 따라 합성 파라미터 값을 조절해 가면서 중간 이미지 생성을 반복한다.Depending on whether authentication is successful, if authentication fails, the composite parameter value in the parameter adjuster 150 is decreased, and if authentication is successful, the composite parameter value in the parameter adjuster 150 is increased. Intermediate image creation is repeated while adjusting the synthesis parameter values depending on whether authentication is successful or not.
도 2는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 인코더의 개략도를 보여주는 도면이다.Figure 2 is a diagram showing a schematic diagram of the encoder of the de-identified face image generating device capable of face authentication according to the present invention.
본 발명의 인코더(110)는 Pixel2Style2Pixel(PSP) 인코딩 기법을 사용한다.The encoder 110 of the present invention uses Pixel2Style2Pixel (PSP) encoding technique.
인코더(110)는 원본 얼굴 이미지를 수신하여, 얼굴 이미지 생성기(130)에 스타일로서 입력되는 벡터를 출력한다. 얼굴 이미지 생성기(130)가 해당 벡터를 이용하여 생성한 최종 얼굴 이미지는 인코더(110)가 입력으로 받은 원본 이미지와 매우 유사한 얼굴 이미지를 생성할 수 있다. The encoder 110 receives the original face image and inputs it as a style to the face image generator 130. Output vector. The facial image generator 130 corresponds to The final face image generated using the vector may generate a face image very similar to the original image received as input by the encoder 110.
본 발명의 인코더(110)는 종래에 사용되는 1 x 512의 크기가 아닌 18층에 맞춰진 18 x 512 크기의 벡터를 획득할 수 있다. 확장된 크기의 벡터를 획득함으로써 본 발명의 얼굴 이미지 생성 장치는 종래의 이미지 생성 장치보다 성능이 뛰어나다.The encoder 110 of the present invention can obtain a vector with a size of 18 x 512 tailored to the 18th layer, rather than the 1 x 512 size used conventionally. By acquiring vectors of expanded size, the facial image generating device of the present invention outperforms conventional image generating devices.
도 3a는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 얼굴 이미지 생성기의 개략도를 보여주는 도면이다.Figure 3a is a diagram showing a schematic diagram of the face image generator of the de-identified face image generating device capable of face authentication according to the present invention.
본 발명의 얼굴 이미지 생성기(130)는 StyleGAN 이미지 생성 모델을 사용한다. StyleGAN은 눈, 코, 입의 형태와 얼굴의 모양등을 나타내는 1 x 512 크기의 스타일 W+ 벡터를 얼굴 이미지 생성기(130)의 18계층에 복사해 이미지를 생성하는 Generative Adversarial Networks (GAN)모델이다.The face image generator 130 of the present invention uses the StyleGAN image generation model. StyleGAN is a Generative Adversarial Networks (GAN) model that generates an image by copying the style W + vector of size 1 .
도 3b는 도3a의 얼굴 이미지 생성기의 동작 흐름도를 개략적으로 도시한 도면이다. FIG. 3B is a diagram schematically showing an operation flowchart of the facial image generator of FIG. 3A.
본 발명의 얼굴 이미지 생성기(130)의 StyleGAN 모델은 다양한 스타일의 이미지를 생성할 수 있는 적대적 생성 모델이다. 본 발명의 StyleGAN 모델은 18개의 층으로 이루어져 있으며, 각 층에 얼굴 이미지의 스타일을 나타내주는 W+(1 x 512) 벡터가 복사되어 입력된다. 얼굴 이미지 생성기(130)는 각 스타일을 참고해 업샘플링방식으로 얼굴 이미지를 생성한다. 18개 층에서 4개의 층은 얼굴의 형태 생성에 관여한다. 그 다음 4개 층은 눈, 코, 입의 위치에 관여한다. 나머지 10개 층은 머리 색깔, 피부색 등에 관여한다.The StyleGAN model of the face image generator 130 of the present invention is an adversarial generation model that can generate images of various styles. The StyleGAN model of the present invention consists of 18 layers, and the W + (1 x 512) vector representing the style of the face image is copied and input into each layer. The face image generator 130 generates a face image using an upsampling method with reference to each style. Of the 18 layers, 4 layers are involved in creating the shape of the face. The next four layers are involved in the positioning of the eyes, nose, and mouth. The remaining 10 layers are involved in hair color, skin color, etc.
도 4는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 합성 파라미터 조절기의 합성 파라미터를 조절하는 개념을 설명하기 위한 도면이다.Figure 4 is a diagram for explaining the concept of adjusting the synthesis parameters of the synthesis parameter adjuster of the de-identified face image generating device capable of face authentication according to the present invention.
본 발명의 합성 파라미터 조절기(150)의 합성 파라미터는 원본 얼굴 이미지가 인증되는 범위 내에서 얼굴 변조량을 최대화하는 방향으로 조절한다.The synthesis parameters of the synthesis parameter adjuster 150 of the present invention are adjusted to maximize the amount of facial modulation within the range in which the original face image is authenticated.
본 발명은 원본 얼굴 이미지의 인증을 유지하기 위해 사용자의 얼굴 형태를 유지하도록 스타일 벡터의 합성을 수행한다.The present invention performs style vector synthesis to maintain the user's face shape in order to maintain authentication of the original face image.
합성 파라미터 조절기(150)는 HSJA(HopSkipJumpAttack) 방법을 사용한다. The synthesis parameter adjuster 150 uses the HSJA (HopSkipJumpAttack) method.
HSJA(HopSkipJumpAttack)는 입력 이미지를 변형해 분류 모델에 입력한다. 해당 과정의 분류 결과를 이용해 기존 입력 이미지가 오분류 되도록 유도하는 공격방법이다. 모델의 역전파를 통해 계산된 기울기를 이용해 이미지를 변형하는 다른 공격과 달리 무작위로 변형을 조정하며 공격한다. HSJA (HopSkipJumpAttack) transforms the input image and inputs it into the classification model. This is an attack method that uses the classification results of the process to induce misclassification of existing input images. Unlike other attacks that deform the image using the gradient calculated through backpropagation of the model, the attack randomly adjusts the deformation.
HopSkipJumpAttack은 공격하고자 하는 분류 모델의 내부 정보(가중치 층, 활성화 층 등)에 접근할 수 없는 블랙박스 환경에서 입력 데이터에 대한 쿼리를 시도한 후, 분류 모델의 출력값을 활용하여 다른 이미지처럼 보이지만 같은 예측값을 출력하는 적대적 예제를 생성하는 방법이다.HopSkipJumpAttack attempts to query input data in a black box environment that does not have access to the internal information (weight layer, activation layer, etc.) of the classification model to be attacked, and then uses the output value of the classification model to produce the same predicted value even though it looks like a different image. This is a method of generating adversarial examples to print.
도 4에 도시된와 같이 원본 이미지(λ_start)에서 타겟 이미지(가상 이미지로서, 원본 이미지에 합성되는 이미지)(λ_target)를 향해 이진 분류의 방식으로 쿼리를 시도해가며, 분류 결과가 바뀌지 않는 기준을 통해 λ_start을 조정한다.As shown in Figure 4, a query is attempted using binary classification from the original image (λ_start) to the target image (a virtual image, which is an image synthesized with the original image) (λ_target), and λ_start is performed using the criteria that does not change the classification result. Adjust.
그 다음, 분류 결과 내에서 약간의 이동조정을 위해 여러 번의 쿼리를 시도해 방향 벡터를 구한다. 분류 결과가 바뀌지 않는 기준 내에서 방향 벡터를 향해 조정해준 뒤, 다시 λ_target를 향해 이진 분류를 통해 가까워진다. Next, several queries are performed to slightly adjust movement within the classification results to obtain a direction vector. After adjusting the direction vector within the criteria that does not change the classification result, it again approaches λ_target through binary classification.
결과적으로 λ_start와 같은 클래스로 분류되지만 즉, 원본 이미지로 인증되지만, λ_target처럼 보이는 적대적 예제를 생성할 수 있다.As a result, it is classified into the same class as λ_start, that is, it is authenticated as the original image, but it is possible to generate an adversarial example that looks like λ_target.
HopSkipJumpAttack은 이진 쿼리 방식으로 원본에서 타겟까지의 중간값을 산출하고 그 중간값이 원본으로 인식할 수 있는 범위인지 체크해가며 타겟까지 최대한 가깝게 가게 하기 위한 λ값을 산출하는 방식으로 수행된다.HopSkipJumpAttack is performed by calculating the median value from the source to the target using a binary query method, checking whether the median value is in a range that can be recognized as the original, and calculating the λ value to get as close to the target as possible.
도 5는 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치의 인증 성능을 검증하기 위한 딥러닝 기반 얼굴 인증 모델을 설명하기 위한 도면이다.Figure 5 is a diagram illustrating a deep learning-based face authentication model for verifying the authentication performance of the de-identified face image generating device capable of face authentication according to the present invention.
본 발명의 딥러닝 기반 얼굴 인증 모델(140)은 deepface의 VGG-FACE를 사용한다. The deep learning-based face authentication model 140 of the present invention uses deepface's VGG-FACE.
딥러닝 기반 얼굴 인증 모델(140)은 두개의 얼굴 입력 이미지를 Conv계층을 통해 특징 벡터를 추출해 유사도를 비교한다.The deep learning-based face authentication model 140 extracts feature vectors from two face input images through a Conv layer and compares the similarity.
딥러닝 기반 얼굴 인증 모델(140)은 비교된 유사도가 임계치 미만일 경우 참(True)를 이상을 경우 거짓(False)를 반환하는 방식으로 동작한다.The deep learning-based face authentication model 140 operates by returning True if the compared similarity is less than a threshold, and False if it is more than the threshold.
본 발명의 딥러닝 기반 얼굴 인증 모델(140)은 임계치를 디폴트값인 0.4로 설정했다.The deep learning-based face authentication model 140 of the present invention sets the threshold to 0.4, which is the default value.
도 6은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법의 흐름도를 도시한 도면이다.Figure 6 is a flowchart of a method for generating a de-identified face image capable of face authentication according to the present invention.
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 인코더(110)를 이용하여, 원본 얼굴 이미지의 복수개의 제1 스타일 벡터를 추출하는 단계(S610)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention includes the step of extracting a plurality of first style vectors of the original face image using the encoder 110 (S610).
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 인코더(110)를 이용하여, 원본 얼굴 이미지와 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출하는 단계(S620)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention includes the step of extracting a plurality of second style vectors of the target face image synthesized with the original face image using the encoder 110 (S620).
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 스타일 벡터 합성기(120)를 이용하여 합성 비율을 조절하는 복수개의 합성 파라미터로 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성하는 단계(S630)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention uses a style vector synthesizer 120 to combine the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that control the synthesis ratio. It includes a step (S630) of generating a plurality of composite style vectors by combining them.
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 얼굴 이미지 생성기(130)를 이용하여 복수개의 합성 스타일 벡터를 이용하여 중간 얼굴 이미지를 생성하는 단계(S640)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention includes the step of generating an intermediate face image using a plurality of composite style vectors using the face image generator 130 (S640).
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 딥러닝 기반 얼굴 인증 모델(140)을 이용하여 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계(S650)를 포함한다. The method of generating a de-identified face image capable of face authentication of the present invention includes a step (S650) of determining whether an intermediate face image is authenticated as the original face image using a deep learning-based face authentication model 140.
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는 경우, 합성 파라미터 값을 증가시키고, 증가된 합성 파라미터 값을 이용하여 새로운 복수개의 합성 스타일 벡터를 생성하고, 새로운 복수개의 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성하는 단계(S660)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention increases the synthesis parameter value when the intermediate face image is authenticated as the original face image, and creates a plurality of new synthesis style vectors using the increased synthesis parameter value. and generating a new intermediate face image using a plurality of new composite style vectors (S660).
본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법은 새로운 중간 얼굴 이미지를 생성하는 단계 및 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계를 반복하여 딥러닝 기반 얼굴 인증 모델에 의해 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성하는 단계(S670)를 포함한다.The method of generating a de-identified face image capable of face authentication of the present invention repeats the step of generating a new intermediate face image and the step of determining whether it is authenticated as the original face image, and converts it to the original face image by a deep learning-based face authentication model. It includes generating a de-identified final face image of the original face image using a synthesis style vector having synthesis parameters of the final intermediate face image to be authenticated (S670).
합성 파라미터 값의 범위는 0 내지 1이고, 합성 파라미터 값이 0일 때 중간 얼굴 이미지는 원본 얼굴 이미지와 동일하다.The range of the synthesis parameter value is 0 to 1, and when the synthesis parameter value is 0, the intermediate face image is the same as the original face image.
얼굴 이미지 생성기(130)에서 복수개의 제1 스타일 벡터와 복수개의 제2 스타일 벡터 각각은 제1 세트, 제2 세트 및 제3 세트로 분류되고, 복수개의 제1 스타일 벡터와 복수개의 제2 스타일 벡터의 각각의 제1 세트는 얼굴 이미지의 형태와 관련되고, 제2 세트는 눈, 코 및 입과 관련되고, 제3 세트는 머리 색깔 및 피부색과 관련된다.In the facial image generator 130, each of the plurality of first style vectors and the plurality of second style vectors is classified into a first set, a second set, and a third set, and the plurality of first style vectors and the plurality of second style vectors are respectively classified into a first set, a second set, and a third set. The first set of each is associated with the shape of the facial image, the second set is associated with the eyes, nose and mouth, and the third set is associated with hair color and skin color.
얼굴 이미지 생성기(130)는 복수개의 제1 스타일 벡터와 복수개의 제2 스타일 벡터의 각각의 제1 세트의 합성시 합성 파라미터를 제로(0)로 설정하여 최종 얼굴 이미지가 원본 얼굴 이미지의 형태를 유지하도록 한다.The face image generator 130 sets the synthesis parameter to zero (0) when combining each first set of the plurality of first style vectors and the plurality of second style vectors so that the final facial image maintains the shape of the original facial image. Let's do it.
도 7은 본 발명에 따른 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치 및 방법을 이용한 최종 비식별화 이미지 생성 결과의 예를 보여주는 도면이다.Figure 7 is a diagram showing an example of the final de-identified image generation result using the de-identified face image generating device and method capable of face authentication according to the present invention.
도 7는 딥러닝 얼굴 인증 모델(140)에 대해 5000번의 Query를 시도해 생성한 결과이다. Xsource는 원본 사용자 얼굴 이미지이고, Xmix(λ= 0)는 원본과 유사한 중간 얼굴 이미지이다. Xmix(λ= 1)는 타겟 얼굴 이미지이다. Figure 7 shows the results generated by attempting 5000 queries on the deep learning face authentication model 140. X source is the original user face image, and X mix (λ= 0) is an intermediate face image similar to the original. X mix (λ=1) is the target face image.
Xmix_last는 최종 비식별화된 얼굴 이미지이다. 본 발명의 방법을 통해 비식별화된 최종 얼굴 이미지이다. 시각적으로 즉 육안으로 보았을 때는 원본 얼굴 이미지로터 비식별화가 되고 딥러닝 얼굴 인증 모델(140)에 대하여는 원본 얼굴이 인증된다.X mix_last is the final de-identified face image. This is the final facial image de-identified through the method of the present invention. Visually, that is, when viewed with the naked eye, the original face image is de-identified, and the original face is authenticated with respect to the deep learning face authentication model 140.
도 7를 통해 확인할 수 있듯이 타겟 이미지의 스타일이 주입되어 충분한 비식별화가 된 것을 확인할 수 있다. As can be seen in Figure 7, it can be confirmed that the style of the target image has been injected and sufficient de-identification has been achieved.
모델이름model name | 평균 코사인 거리average cosine distance | 인증 성공Authentication successful |
VGG-FaceVGG-Face | 0.36670.3667 | 100%100% |
표 1 은 얼굴 유사도 측정 결과를 보여주는 결과이다.Table 1 shows the results of facial similarity measurement.
얼굴인증 모델의 경우 두 얼굴 이미지를 학습된 모델을 통해 벡터화시킨 뒤, 두 벡터의 코사인 거리(수식 2)를 계산해 특정 임계값보다 낮게 측정될 경우 동일인으로 인식한다. 본 발명에서는 실험을 위해 설정한 임계값은 0.4이다. 최종 결과 이미지와 원본 미지의 코사인 거리를 비교해 인증 성능을 계산하였다.In the case of the face recognition model, two face images are vectorized through a learned model, then the cosine distance (Equation 2) of the two vectors is calculated, and if measured lower than a certain threshold, they are recognized as the same person. In the present invention, the threshold value set for the experiment is 0.4. Authentication performance was calculated by comparing the final result image and the original unknown cosine distance.
모든 코사인 거리가 설정한 임계값인 0.4 미만으로 인증 성공 비율이 100%가 되어 본 발명의 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법으로 생성한 이미지가 충분한 비식별화가 되지만, 얼굴인증 모델의 인증성능이 유지됨을 확인할 수 있었다.When all cosine distances are less than the set threshold of 0.4, the authentication success rate becomes 100%, so that the image generated by the de-identified face image generation method capable of face authentication of the present invention is sufficiently de-identified, but the authentication of the face authentication model It was confirmed that performance was maintained.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been shown and described, but the present invention is not limited to the specific embodiments described above, and can be used in the technical field to which the invention pertains without departing from the gist of the present invention as claimed in the patent claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.
Claims (9)
- 원본 얼굴 이미지의 복수개의 제1 스타일 벡터 및 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출하는 인코더;an encoder for extracting a plurality of first style vectors of the original face image and a plurality of second style vectors of the synthesized target face image;합성 비율을 조절하는 복수개의 합성 파라미터로 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성하는 스타일 벡터 합성기; 및a style vector synthesizer for generating a plurality of composite style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that adjust a synthesis ratio; and상기 복수개의 합성 스타일 벡터를 이용하여 상기 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성하는 얼굴 이미지 생성기;를 포함하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치.A face image generator that generates a final de-identified face image of the original face image using the plurality of composite style vectors. A de-identified face image generating device capable of face authentication, including a.
- 청구항 1에 있어서,In claim 1,상기 얼굴 이미지 생성기는 적어도 하나의 중간 얼굴 이미지를 추가로 생성하고,The face image generator further generates at least one intermediate face image,상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 딥러닝 기반 얼굴 인증 모델;을 더 포함하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치.A de-identified face image generating device capable of face authentication, further comprising a deep learning-based face authentication model that determines whether the intermediate face image is authenticated as the original face image.
- 청구항 2에 있어서,In claim 2,상기 딥러닝 기반 얼굴 인증 모델을 이용하여 상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는 경우, 상기 스타일 벡터 합성기는 증가된 합성 파라미터 값을 이용하여 새로운 합성 스타일 벡터를 생성하고, 상기 얼굴 이미지 생성기는 상기 새로운 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성하고,When the intermediate face image is authenticated as the original face image using the deep learning-based face authentication model, the style vector synthesizer generates a new synthesis style vector using the increased synthesis parameter value, and the face image generator Generate a new intermediate face image using the new composite style vector,상기 새로운 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되지 않을 때까지, 상기 스타일 벡터 합성기에서의 증가된 합성 파라미터 값을 이용한 새로운 합성 스타일 벡터의 생성 및 상기 얼굴 이미지 생성기에서의 새로운 중간 얼굴 이미지 생성이 반복되는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치.Generation of a new composite style vector using increased synthesis parameter values in the style vector synthesizer and generation of a new intermediate face image in the face image generator are repeated until the new intermediate face image is not authenticated as the original face image. A non-identifiable facial image generating device capable of face authentication.
- 청구항 3에 있어서,In claim 3,상기 얼굴 이미지 생성기는 상기 딥러닝 기반 얼굴 인증 모델에 의해 상기 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 상기 최종 얼굴 이미지를 생성하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치.The face image generator generates the final face image using a synthesis style vector having a synthesis parameter of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model. A device for generating facial images.
- 청구항 3에 있어서,In claim 3,상기 합성 파라미터 값의 범위는 0 내지 1이고,The range of the synthesis parameter value is 0 to 1,상기 얼굴 이미지 생성기는 상기 합성 파라미터의 일부를 제로(0)로 설정하여 상기 최종 얼굴 이미지가 상기 원본 얼굴 이미지의 형태를 유지하게 하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 장치.The face image generator sets some of the synthesis parameters to zero (0) so that the final face image maintains the shape of the original face image.
- 인코더를 이용하여, 원본 얼굴 이미지의 복수개의 제1 스타일 벡터를 추출하는 단계;Extracting a plurality of first style vectors of the original face image using an encoder;상기 인코더를 이용하여, 상기 원본 얼굴 이미지와 합성되는 타겟 얼굴 이미지의 복수개의 제2 스타일 벡터를 추출하는 단계;extracting a plurality of second style vectors of a target face image synthesized with the original face image using the encoder;스타일 벡터 합성기를 이용하여 합성 비율을 조절하는 복수개의 합성 파라미터로 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터를 합성하여 복수개의 합성 스타일 벡터를 생성하는 단계;generating a plurality of composite style vectors by combining the plurality of first style vectors and the plurality of second style vectors with a plurality of synthesis parameters that adjust a synthesis ratio using a style vector synthesizer;얼굴 이미지 생성기를 이용하여 상기 복수개의 합성 스타일 벡터를 이용하여 중간 얼굴 이미지를 생성하는 단계;generating an intermediate face image using the plurality of composite style vectors using a face image generator;딥러닝 기반 얼굴 인증 모델을 이용하여 상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계;determining whether the intermediate face image is authenticated as the original face image using a deep learning-based face authentication model;상기 중간 얼굴 이미지가 상기 원본 얼굴 이미지로 인증되는 경우, 상기 합성 파라미터 값을 증가시키고, 증가된 합성 파라미터 값을 이용하여 새로운 복수개의 합성 스타일 벡터를 생성하고, 상기 새로운 복수개의 합성 스타일 벡터를 이용하여 새로운 중간 얼굴 이미지를 생성하는 단계; 및When the intermediate face image is authenticated as the original face image, the synthesis parameter value is increased, a plurality of new synthesis style vectors are generated using the increased synthesis parameter value, and the new synthesis style vectors are used to generate a plurality of new synthesis style vectors. generating a new intermediate face image; and상기 새로운 중간 얼굴 이미지를 생성하는 단계 및 상기 원본 얼굴 이미지로 인증되는지 여부를 판단하는 단계를 반복하여 상기 딥러닝 기반 얼굴 인증 모델에 의해 상기 원본 얼굴 이미지로 인증되는 최종 중간 얼굴 이미지의 합성 파라미터를 갖는 합성 스타일 벡터를 이용하여 상기 원본 얼굴 이미지의 비식별화된 최종 얼굴 이미지를 생성하는 단계;를 포함하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법.The steps of generating a new intermediate face image and determining whether it is authenticated as the original face image are repeated to have synthesis parameters of a final intermediate face image that is authenticated as the original face image by the deep learning-based face authentication model. A method of generating a de-identified face image capable of face authentication, comprising: generating a de-identified final face image of the original face image using a composite style vector.
- 청구항 6에 있어서,In claim 6,상기 합성 파라미터 값의 범위는 0 내지 1이고,The range of the synthesis parameter value is 0 to 1,상기 합성 파라미터 값이 0일 때 상기 중간 얼굴 이미지는 상기 원본 얼굴 이미지와 동일한, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법. When the synthesis parameter value is 0, the intermediate face image is the same as the original face image. A method of generating a de-identified face image capable of face authentication.
- 청구항 7에 있어서,In claim 7,상기 얼굴 이미지 생성기에서 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터 각각은 제1 세트, 제2 세트 및 제3 세트로 분류되고,In the face image generator, each of the plurality of first style vectors and the plurality of second style vectors is classified into a first set, a second set, and a third set,상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터의 각각의 제1 세트는 얼굴 이미지의 형태와 관련되고, 제2 세트는 눈, 코 및 입과 관련되고, 제3 세트는 머리 색깔 및 피부색과 관련되는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법. A first set of each of the plurality of first style vectors and the plurality of second style vectors is associated with a shape of the face image, a second set is associated with eyes, nose and mouth, a third set is associated with hair color and A method for generating de-identified facial images that are related to skin color and enable face authentication.
- 청구항 6에 있어서,In claim 6,상기 얼굴 이미지 생성기는 상기 복수개의 제1 스타일 벡터와 상기 복수개의 제2 스타일 벡터의 각각의 제1 세트의 합성시 합성 파라미터를 제로(0)로 설정하여 상기 최종 얼굴 이미지가 상기 원본 얼굴 이미지의 형태를 유지하도록 하는, 얼굴 인증이 가능한 비식별화 얼굴 이미지 생성 방법. The face image generator sets a synthesis parameter to zero (0) when combining each first set of the plurality of first style vectors and the plurality of second style vectors so that the final facial image is in the form of the original facial image. A method of generating a de-identified face image capable of face authentication that maintains .
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220160138A KR20240077829A (en) | 2022-11-25 | 2022-11-25 | Apparatus and method for generating non-identification face image capable of face authentication |
KR10-2022-0160138 | 2022-11-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024111814A1 true WO2024111814A1 (en) | 2024-05-30 |
Family
ID=91195762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/013223 WO2024111814A1 (en) | 2022-11-25 | 2023-09-21 | Device and method for generating de-identified face image capable of face authentication |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20240077829A (en) |
WO (1) | WO2024111814A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180109634A (en) * | 2017-03-28 | 2018-10-08 | 삼성전자주식회사 | Face verifying method and apparatus |
KR102400609B1 (en) * | 2021-06-07 | 2022-05-20 | 주식회사 클레온 | A method and apparatus for synthesizing a background and a face by using deep learning network |
KR102409988B1 (en) * | 2021-11-03 | 2022-06-16 | 주식회사 클레온 | Method and apparatus for face swapping using deep learning network |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102192235B1 (en) | 2020-05-11 | 2020-12-17 | 지엔소프트(주) | Device for providing digital document de-identification service based on visual studio tools for office |
-
2022
- 2022-11-25 KR KR1020220160138A patent/KR20240077829A/en unknown
-
2023
- 2023-09-21 WO PCT/KR2023/013223 patent/WO2024111814A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180109634A (en) * | 2017-03-28 | 2018-10-08 | 삼성전자주식회사 | Face verifying method and apparatus |
KR102400609B1 (en) * | 2021-06-07 | 2022-05-20 | 주식회사 클레온 | A method and apparatus for synthesizing a background and a face by using deep learning network |
KR102409988B1 (en) * | 2021-11-03 | 2022-06-16 | 주식회사 클레온 | Method and apparatus for face swapping using deep learning network |
Non-Patent Citations (3)
Title |
---|
ELAD RICHARDSON; YUVAL ALALUF; OR PATASHNIK; YOTAM NITZAN; YANIV AZAR; STAV SHAPIRO; DANIEL COHEN-OR: "Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation", ARXIV.ORG, 21 April 2021 (2021-04-21), XP081925123 * |
LEE, JUNG-JAE ET AL.: "De-Identified Face Image Generation within Face Verification", KOREA INSTITUTE OF INFORMATION SECURITY AND CRYPTOLOGY CHUNGCHEONG BRANCH INFORMATION SECURITY AND CRYPTOLOGY ACADEMIC PAPER PRESENTATION CONTEST, 14 October 2022 (2022-10-14), pages 1 - 4 * |
YONGHYUN JEONG; JOOYOUNG CHOI; SUNGWON KIM; YOUNGMIN RO; TAE-HYUN OH; DOYEON KIM; HEONSEOK HA; SUNGROH YOON: "FICGAN: Facial Identity Controllable GAN for De-identification", ARXIV.ORG, 2 October 2021 (2021-10-02), XP091070229 * |
Also Published As
Publication number | Publication date |
---|---|
KR20240077829A (en) | 2024-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021080102A1 (en) | Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same | |
WO2021080103A1 (en) | Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same | |
EP3827365A1 (en) | Method for concealing data and data obfuscation device using the same | |
WO2020029585A1 (en) | Neural network federation modeling method and device employing transfer learning, and storage medium | |
WO2014030911A1 (en) | Apparatus and method for processing authentication information | |
WO2013069841A1 (en) | Locking apparatus with enhanced security using iris image | |
WO2021261720A1 (en) | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same | |
WO2022124701A1 (en) | Method for producing labeled image from original image while preventing private information leakage of original image and server using the same | |
WO2019139420A1 (en) | Electronic device, server, and control method therefor | |
WO2018164363A1 (en) | Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data | |
WO2018164364A1 (en) | Contactless multiple body part recognition method and multiple body part recognition device, using multiple biometric data | |
WO2017071364A1 (en) | Processing method and processing system for files, and terminal device | |
WO2022004971A1 (en) | Learning device and method for generating image | |
WO2023210861A1 (en) | Notification service server capable of providing notification service for access to harmful website and operation method thereof | |
WO2022255529A1 (en) | Learning method for generating lip-sync video on basis of machine learning and lip-sync video generating device for executing same | |
WO2022250213A1 (en) | Mobile terminal apparatus for performing voice-based caller authentication when call is connected, and operating method therefor | |
WO2020186775A1 (en) | Service data providing method, apparatus and device, and computer-readable storage medium | |
WO2022086147A1 (en) | Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same | |
WO2018070576A1 (en) | User recognition method using hybrid biometric information and device thereof | |
WO2024053932A1 (en) | Method for controlling system including electronic device and server for performing non-face-to-face self-authentication using face recognition and liveness | |
EP3459009A2 (en) | Adaptive quantization method for iris image encoding | |
WO2024111814A1 (en) | Device and method for generating de-identified face image capable of face authentication | |
WO2020122368A1 (en) | System and method for securing and managing data in storage device by using secure terminal | |
WO2018199576A1 (en) | Method and apparatus for performing authentication based on biometric information | |
WO2020166855A1 (en) | Electronic device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23894746 Country of ref document: EP Kind code of ref document: A1 |