KR102640143B1 - Systems and Methods for Training a Hair Removal Neural Network - Google Patents
Systems and Methods for Training a Hair Removal Neural Network Download PDFInfo
- Publication number
- KR102640143B1 KR102640143B1 KR1020220040839A KR20220040839A KR102640143B1 KR 102640143 B1 KR102640143 B1 KR 102640143B1 KR 1020220040839 A KR1020220040839 A KR 1020220040839A KR 20220040839 A KR20220040839 A KR 20220040839A KR 102640143 B1 KR102640143 B1 KR 102640143B1
- Authority
- KR
- South Korea
- Prior art keywords
- hair
- image
- neural network
- removal
- skin
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Abstract
피부 이미지에 포함된 털 이미지를 제거하기 위한 신경망을 학습시키기 위한 시스템 및 방법이 개시된다. 일 실시예에 따른 합성 신경망으로 구현되는 털 제거 신경망 및 진위 판별 신경망을 포함하는 생성적 적대 신경망에 기반한 비지도 학습을 통해 피부 이미지에 포함된 털 이미지를 제거하는 학습 시스템에 있어서, 상기 털 제거 신경망은 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하도록 구성되며, 상기 진위 판별 신경망은 상기 털 제거 이미지 및 비교 이미지를 기초로 상기 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하도록 구성될 수 있다.A system and method for training a neural network to remove hair images included in skin images are disclosed. A learning system for removing a hair image included in a skin image through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discrimination neural network according to an embodiment, the hair removal neural network is configured to receive a skin image containing hair and generate a hair removal image with the hair image removed, and the authenticity discrimination neural network is configured to generate a hair removal image based on the hair removal image and the comparison image. It may be configured to determine whether the image is fake.
Description
피부 이미지에 포함된 털 이미지를 제거하기 위한 신경망을 학습시키기 위한 시스템 및 방법에 관한 것이다.It relates to a system and method for training a neural network to remove hair images included in skin images.
생성적 적대 신경망(Generative Adversarial Network; GAN)은 비지도 학습에 사용되는 인공지능 알고리즘으로, 제로섬 게임 틀 안에서 서로 경쟁하는 두 개의 신경 네트워크 시스템에 의해 구현된다.Generative Adversarial Network (GAN) is an artificial intelligence algorithm used in unsupervised learning and is implemented by two neural network systems competing with each other within a zero-sum game framework.
등록특허 10-2288645는 생성적 적대 신경망을 이용하여 이미지 내 오염 영역을 검출하는 방법을 개시하고 있으며, 등록특허 10-2266165는 생성적 적대 신경망을 이용하여 얼굴 연령을 편집하는 방법을 개시하고 있다.Registered Patent 10-2288645 discloses a method of detecting contaminated areas in an image using a generative adversarial network, and Registered Patent 10-2266165 discloses a method of editing facial age using a generative adversarial network.
피부 이미지에 포함된 털 이미지를 제거하기 위한 신경망을 학습시키기 위한 시스템 및 방법을 제공하는데 목적이 있다.The purpose is to provide a system and method for training a neural network to remove hair images included in skin images.
일 양상에 따르면, 합성 신경망으로 구현되는 털 제거 신경망 및 진위 판별 신경망을 포함하는 생성적 적대 신경망에 기반한 비지도 학습을 통해 피부 이미지에 포함된 털 이미지를 제거하는 학습 시스템에 있어서, 털 제거 신경망은 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하도록 구성되며, 진위 판별 신경망은 털 제거 이미지 및 비교 이미지를 기초로 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하도록 구성될 수 있다.According to one aspect, in a learning system for removing a hair image included in a skin image through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discrimination neural network, the hair removal neural network includes: It is configured to receive a skin image containing hair and generate a hair removal image with the hair image removed, and the authenticity discrimination neural network determines whether the hair removal image is a fake image generated by the hair removal neural network based on the hair removal image and the comparison image. It can be configured to judge.
털이 포함된 피부 이미지 및 비교 이미지는 서로 다른 대상을 촬영한 이미지일 수 있다. The skin image including hair and the comparative image may be images taken of different objects.
털이 포함된 피부 이미지는 털이 없는 피부 이미지에 대한 원본 이미지에 털 패턴 정보를 포함하는 털 마스크를 합성하도록 학습된 털 합성 신경망을 이용하여 생성할 수 있다.A skin image containing hair can be created using a hair synthesis neural network that is trained to synthesize a hair mask including hair pattern information to the original image for the hairless skin image.
비교 이미지는 털이 없는 피부 이미지에 대한 원본 이미지일 수 있다.The comparison image may be the original image for the hairless skin image.
털 패턴 정보는 제 1 대상 및 제 2 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 털 영역분할 신경망의 털 영역 정보에 기초하여 생성되며, 털 영역분할 신경망은 털 영역분할 신경망에서 추출한 털 영역 정보와 제 1 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 교사 신경망에서 추출된 털 영역 정보간의 유사도에 기초한 대조손실함수로 학습될 수 있다.The hair pattern information is generated based on the hair region information of the hair region segmentation neural network learned to extract hair region information from the skin images of the first and second objects, and the hair region segmentation neural network is a hair region extracted from the hair region segmentation neural network. It can be learned with a contrast loss function based on the similarity between the information and the hair region information extracted from the teacher neural network learned to extract the hair region information from the skin image of the first subject.
일 양상에 따르면, 합성 신경망으로 구현되는 털 제거 신경망 및 진위 판별 신경망을 포함하는 생성적 적대 신경망에 기반한 비지도 학습을 통해 피부 이미지에 포함된 털 이미지를 제거하는 학습 방법은 털 제거 신경망이 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하는 단계; 및 진위 판별 신경망이 털 제거 이미지 및 비교 이미지를 기초로 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하는 단계를 포함할 수 있다.According to one aspect, a learning method for removing a hair image included in a skin image through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discriminating neural network, wherein the hair removal neural network includes hair. receiving a skin image and generating a hair removal image from which the hair image has been removed; and a step where the authenticity determination neural network determines whether the hair removal image is a fake image generated by the hair removal neural network based on the hair removal image and the comparison image.
일 양상에 따르면, 상기 털 제거 신경망이 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하는 단계는, 털 영역분할 신경망이 털이 포함된 피부 이미지를 입력 받아 털 영역 정보를 추출하는 단계 및 상기 털 제거 신경망이 털이 포함된 피부 이미지와 털 영역 정보를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하는 단계를 포함할 수 있다.According to one aspect, the step of the hair removal neural network receiving a skin image including hair and generating a hair removal image from which the hair image has been removed includes the hair region segmentation neural network receiving a skin image including hair and extracting hair region information. and the hair removal neural network receives a skin image containing hair and hair area information and generates a hair removal image from which the hair image has been removed.
생성적 적대 신경망에 기반한 학습을 통하여 피부 이미지에 포함된 털 이미지를 제거하기 위한 신경망을 효과적으로 학습시킬 수 있다.Through learning based on a generative adversarial network, a neural network for removing hair images included in skin images can be effectively learned.
도 1은 일 실시예에 따른 털 이미지 제거 신경망의 학습 시스템의 구성도이다.
도 2는 일 실시예에 따른 털이 포함된 피부 이미지를 생성하는 방법을 설명하기 위한 예시도이다.
도 3은 일 실시예에 따른 털 패턴 정보를 생성하는 방법을 설명하기 위한 예시도이다.
도 4는 일 실시예에 따른 털 제거 신경망을 학습하는 방법을 설명하기 위한 예시도이다.
도 5는 일 실시예에 따른 털 이미지 제거 신경망의 학습 방법을 도시한 흐름도이다. Figure 1 is a configuration diagram of a learning system for a hair image removal neural network according to an embodiment.
Figure 2 is an example diagram for explaining a method of generating a skin image including hair according to an embodiment.
Figure 3 is an example diagram for explaining a method of generating hair pattern information according to an embodiment.
Figure 4 is an example diagram for explaining a method of learning a hair removal neural network according to an embodiment.
Figure 5 is a flowchart illustrating a learning method of a hair image removal neural network according to an embodiment.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the attached drawings. In describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the content throughout this specification.
이하, 털 이미지 제거 신경망의 학습 시스템 및 방법의 실시예들을 도면들을 참고하여 자세히 설명한다.Hereinafter, embodiments of a learning system and method for a hair image removal neural network will be described in detail with reference to the drawings.
도 1은 일 실시예에 따른 털 이미지 제거 신경망의 학습 시스템의 구성도이다.Figure 1 is a configuration diagram of a learning system for a hair image removal neural network according to an embodiment.
일 실시예에 따르면, 털 이미지 제거 신경망의 학습 시스템(100)은 합성 신경망으로 구현되는 털 제거 신경망(110) 및 진위 판별 신경망(120)을 포함할 수 있으며, 털 제거 신경망(110)과 진위 판별 신경망(120)은 생성적 적대 신경망에 기반한 비지도 학습을 통해 털 제거 신경망(110)이 피부 이미지에 포함된 털 이미지를 제거하도록 학습될 수 있다.According to one embodiment, the learning system 100 of the hair image removal neural network may include a hair removal neural network 110 and an authenticity determination neural network 120 implemented as a synthetic neural network, and the hair removal neural network 110 and an authenticity determination neural network. The neural network 120 may be trained so that the hair removal neural network 110 removes the hair image included in the skin image through unsupervised learning based on a generative adversarial network.
일 실시예에 따르면, 털 제거 신경망(110)은 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하도록 구성되며, 진위 판별 신경망(120)은 털 제거 이미지 및 비교 이미지를 기초로 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하도록 구성될 수 있다. According to one embodiment, the hair removal neural network 110 is configured to receive a skin image containing hair and generate a hair removal image with the hair removed, and the authenticity discrimination neural network 120 is based on the hair removal image and the comparison image. It may be configured to determine whether the hair removal image is a fake image generated by the hair removal neural network.
도 1을 참조하면, 털 제거 신경망(110)은 털이 포함된 피부 이미지를 수신할 수 있으며, 털이 포함된 피부 이미지에서 털 이미지를 제거한 털 제거 이미지를 출력할 수 있다. 진위 판별 신경망(120)은 털 제거 신경망(110)이 출력한 털 제거 이미지와 실제 털이 제거된 피부를 촬영한 비교 이미지를 입력 받을 수 있으며, 각각의 이미지에 대하여 진위 여부를 판단할 수 있다. 일 예로, 진위 판별 신경망(120)은 털 제거 신경망(110)에서 생성한 털 제거 이미지가 생성된 가짜 이미지인지 또는 진짜 이미지 인지 여부를 판단할 수 있으며, 그 결과를 털 제거 신경망(110)에 피드백하여 털 제거 신경망(110)을 학습시킬 수 있다. 이를 통해, 털 제거 신경망(110)은 생성한 털 제거 이미지를 진위 판별 신경망(120)이 진짜로 판별하도록 비교 이미지에 더욱 가까운 털 제거 이미지를 생성할 수 있다. Referring to FIG. 1, the hair removal neural network 110 can receive a skin image including hair and output a hair removal image obtained by removing the hair image from the skin image including hair. The authenticity determination neural network 120 can receive a comparison image of the hair removal image output by the hair removal neural network 110 and the actual hair-removed skin, and can determine the authenticity of each image. As an example, the authenticity judgment neural network 120 can determine whether the hair removal image generated by the hair removal neural network 110 is a fake image or a real image, and the result is fed back to the hair removal neural network 110. Thus, the hair removal neural network 110 can be trained. Through this, the hair removal neural network 110 can generate a hair removal image that is closer to the comparison image so that the authenticity determination neural network 120 can determine that the generated hair removal image is real.
일 실시예에 따르면, 털이 포함된 피부 이미지 및 비교 이미지는 서로 다른 대상을 촬영한 이미지일 수 있다. 예를 들어, 털이 포함된 피부 이미지는 반려동물의 피부를 촬영한 이미지이며, 비교 이미지는 사람의 피부를 촬영한 이미지일 수 있다.According to one embodiment, the skin image including hair and the comparison image may be images taken of different objects. For example, the skin image including hair may be an image of a pet's skin, and the comparison image may be an image of a human's skin.
일 실시예에 따르면, 털이 포함된 피부 이미지는 털이 없는 피부 이미지에 대한 원본 이미지에 털 패턴 정보를 포함하는 털 마스크를 합성하도록 학습된 털 합성 신경망을 이용하여 생성할 수 있다. According to one embodiment, a skin image including hair may be generated using a hair synthesis neural network that is trained to synthesize a hair mask including hair pattern information to an original image for a hairless skin image.
도 2를 참조하면, 털 합성 신경망(210)은 털이 없는 피부 이미지에 대한 원본 이미지와 털 패턴 정보를 포함하는 털 마스크를 입력 받을 수 있으며, 둘을 합성하여 털이 포함된 피부 이미지를 생성할 수 있다.Referring to FIG. 2, the hair synthesis neural network 210 can receive an original image for a hairless skin image and a hair mask including hair pattern information, and can generate a skin image including hair by combining the two. .
일 예에 따르면, 털이 포함된 피부 이미지는 도 1을 참조하여 설명한 털 제거 신경망(110)의 입력을 사용될 수 있다. 또한, 털이 포함된 피부 이미지를 생성하기 위하여 사용된 털이 없는 피부 이미지에 대한 원본 이미지는 도 1에서의 비교 이미지로 사용될 수 있다. 다시 말해, 털이 없는 피부 이미지에 대한 원본 이미지와 털이 포함된 피부 이미지는 한 쌍으로 털 제거 신경망(110)과 진위 판별 신경망(120)에서 입력으로 사용될 수 있다. According to one example, a skin image including hair may be used as an input to the hair removal neural network 110 described with reference to FIG. 1 . Additionally, the original image for the hairless skin image used to generate the hair-containing skin image can be used as a comparison image in FIG. 1. In other words, the original image for the hairless skin image and the skin image including hair can be used as inputs in the hair removal neural network 110 and the authenticity discrimination neural network 120 as a pair.
일 예에 따르면, 털이 없는 피부 이미지에 대한 원본 이미지는 색변환을 통해 피부색이 다른 피부 이미지로 변환될 수 있다. 또한, 색변환된 원본 이미지는 털 합성 신경망(210)에 입력되어 털이 포함된 피부 이미지로 출력될 수 있으며, 색변환된 원본 이미지는 비교 이미지로 사용될 수 있다. According to one example, the original image of a hairless skin image may be converted into a skin image with a different skin color through color conversion. Additionally, the color-converted original image can be input to the hair synthesis neural network 210 and output as a skin image including hair, and the color-converted original image can be used as a comparison image.
일 실시예에 따르면, 털 패턴 정보는 제 1 대상 및 제 2 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 털 영역분할 신경망(320)의 털 영역 정보에 기초하여 생성될 수 있다. 도 3을 참조하면, 털 영역분할 신경망(320)은 제 1 대상의 피부 이미지와 제 2 대상의 피부 이미지를 입력 받아 털 영역 정보를 추출할 수 있으며, 털 패턴 정보는 추출된 털 영역 정보에 기초하여 사용될 수 있다. 또한, 도 2의 털 마스크는 털 패턴 정보에 기초하여 생성될 수 있다. 따라서, 털 마스크는 털 영역분할 신경망(320)에서 추출한 털 영역 정보를 기초로 생성될 수 있다. According to one embodiment, hair pattern information may be generated based on hair region information of the hair region segmentation neural network 320, which is trained to extract hair region information from skin images of the first and second objects. Referring to FIG. 3, the hair region segmentation neural network 320 can extract hair region information by receiving a skin image of a first object and a skin image of a second object, and hair pattern information is based on the extracted hair region information. It can be used. Additionally, the hair mask in FIG. 2 may be generated based on hair pattern information. Accordingly, the hair mask can be generated based on the hair region information extracted from the hair region segmentation neural network 320.
일 실시예에 따르면, 털 영역분할 신경망(320)은 털 영역분할 신경망(320)에서 추출한 털 영역 정보와 제 1 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 교사 신경망(310)에서 추출된 털 영역 정보간의 유사도에 기초한 대조손실함수로 학습될 수 있다. 예를 들어, 교사 신경망(310)은 제 1 대사의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 신경망일 수 있다. 털 영역분할 신경망(320)은 생성한 털 영역 정보와 교사 신경망(310)에서 추출한 털 영역 정보를 기초로 대조하여 손실함수를 구할 수 있으며, 두 신경망에서 추출한 털 영역 정보가 서로 유사해지는 방향으로 학습될 수 있다. According to one embodiment, the hair region segmentation neural network 320 is a hair region information extracted from the hair region division neural network 320 and a teacher neural network 310 learned to extract hair region information from the skin image of the first subject. It can be learned with a contrast loss function based on the similarity between hair region information. For example, the teacher neural network 310 may be a neural network trained to extract hair region information from the skin image of the first line. The hair region segmentation neural network 320 can obtain a loss function by comparing the generated hair region information with the hair region information extracted from the teacher neural network 310, and learns in a way that the hair region information extracted from the two neural networks becomes similar to each other. It can be.
일 예에 따르면, 털 영역 정보는 픽셀 단위의 벡터일 수 있으며, 대조손실함수는 두 신경망에서 생성한 털 영역 정보에 해당하는 벡터 간 거리를 측정하는 것일 수 있다. According to one example, the hair region information may be a vector in pixel units, and the contrast loss function may measure the distance between vectors corresponding to the hair region information generated by two neural networks.
도 4는 일 실시예에 따른 털 제거 신경망을 학습하는 방법을 설명하기 위한 예시도이다.Figure 4 is an example diagram for explaining a method of learning a hair removal neural network according to an embodiment.
일 실시예에 따르면, 털 제거 신경망(420)은 털 합성 신경망(430)을 통하여 생성적 적대 신경망의 일종인 CycleGAN에 기반하여 학습될 수 있다. 예를 들어, 털이 포함된 피부 이미지는 털 영역분할 신경망(410)과 털 제거 신경망(420)을 통하여 털 이미지가 제거된 털 제거 이미지를 생성할 수 있으며, 털 제거 이미지는 다시 털 합성 신경망(430)을 통하여 털이 포함된 피부 이미지를 생성할 수 있다. 이때, 손실함수는 털 영역분할 신경망(410)에 입력된 털이 포함된 피부 이미지와 털 합성 신경망(430)을 통해 생성한 털이 포함된 피부 이미지의 차이가 최소화 되도록 신경망을 학습시킬 수 있다.According to one embodiment, the hair removal neural network 420 may be learned based on CycleGAN, a type of generative adversarial network, through the hair synthesis neural network 430. For example, a skin image containing hair can generate a hair removal image with the hair image removed through the hair region segmentation neural network 410 and the hair removal neural network 420, and the hair removal image can be generated again through the hair synthesis neural network 430. ), an image of skin including hair can be created. At this time, the loss function can train the neural network to minimize the difference between the skin image including hair input to the hair region segmentation neural network 410 and the skin image including hair generated through the hair synthesis neural network 430.
일 예에 따르면, 도 4의 털 제거 신경망(420)은 도 1의 털 제거 신경망(110)으로 동작할 수 있다. 다시 말해, 도 1의 털 이미지 제거 신경망의 학습 시스템(100)은 털 영역분할 신경망(410)을 더 포함할 수 있으며, 털 영역분할 신경망(410)은 털이 포함된 피부 이미지를 입력 받아 생성한 털 영역 정보를 털 제거 신경망(110)으로 전달할 수 있다.According to one example, the hair removal neural network 420 of FIG. 4 may operate as the hair removal neural network 110 of FIG. 1. In other words, the learning system 100 of the hair image removal neural network of FIG. 1 may further include a hair region segmentation neural network 410, and the hair region segmentation neural network 410 generates hair by receiving a skin image containing hair. Area information can be transmitted to the hair removal neural network 110.
도 5는 일 실시예에 따른 털 이미지 제거 신경망의 학습 방법을 도시한 흐름도이다.Figure 5 is a flowchart illustrating a learning method of a hair image removal neural network according to an embodiment.
일 실시예에 따르면, 합성 신경망으로 구현되는 털 제거 신경망 및 진위 판별 신경망을 포함하는 생성적 적대 신경망에 기반한 비지도 학습을 통해 피부 이미지에 포함된 털 이미지를 제거하는 학습 방법은 털 제거 신경망이 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하는 단계(510)를 포함할 수 있다. 일 예에 따르면, 털 제거 신경망은 털이 포함된 피부 이미지를 수신할 수 있으며, 털이 포함된 피부 이미지에서 털 이미지를 제거한 털 제거 이미지를 출력할 수 있다. According to one embodiment, a learning method for removing a hair image included in a skin image through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discrimination neural network is a hair removal neural network that removes hair from the skin image. A step 510 of receiving the included skin image and generating a hair removal image from which the hair image has been removed may be included. According to one example, the hair removal neural network may receive a skin image including hair, and output a hair removal image obtained by removing the hair image from the skin image including hair.
일 실시예에 따르면, 털 이미지 제거 신경망의 학습 방법은 진위 판별 신경망이 털 제거 이미지 및 비교 이미지를 기초로 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하는 단계(520)를 포함할 수 있다. According to one embodiment, the learning method of the hair image removal neural network includes a step 520 in which the authenticity discrimination neural network determines whether the hair removal image is a fake image generated by the hair removal neural network based on the hair removal image and the comparison image. It can be included.
일 예에 따르면, 진위 판별 신경망은 털 제거 신경망이 출력한 털 제거 이미지와 실제 털이 제거된 피부를 촬영한 비교 이미지를 입력 받을 수 있으며, 각각의 이미지에 대하여 진위 여부를 판단할 수 있다. 일 예로, 진위 판별 신경망은 털 제거 신경망에서 생성한 털 제거 이미지가 생성된 가짜 이미지인지 또는 진짜 이미지 인지 여부를 판단할 수 있으며, 그 결과를 털 제거 신경망에 피드백하여 털 제거 신경망을 학습시킬 수 있다. 이를 통해, 털 제거 신경망은 생성한 털 제거 이미지를 진위 판별 신경망이 진짜로 판별하도록 비교 이미지에 더욱 가까운 털 제거 이미지를 생성할 수 있다.According to one example, the authenticity determination neural network can receive a comparison image between a hair removal image output by the hair removal neural network and a comparison image of skin from which hair was actually removed, and can determine the authenticity of each image. As an example, the authenticity judgment neural network can determine whether the hair removal image generated by the hair removal neural network is a generated fake image or a real image, and the results can be fed back to the hair removal neural network to train the hair removal neural network. . Through this, the hair removal neural network can generate a hair removal image that is closer to the comparison image so that the authenticity discrimination neural network can determine that the generated hair removal image is real.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.An aspect of the present invention may be implemented as computer-readable code on a computer-readable recording medium. Codes and code segments implementing the above program can be easily deduced by a computer programmer in the art. Computer-readable recording media may include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, etc. Additionally, the computer-readable recording medium may be distributed over network-connected computer systems and written and executed as computer-readable code in a distributed manner.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, the present invention has been examined focusing on its preferred embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Accordingly, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to the content described in the patent claims.
100: 털 이미지 제거 신경망의 학습 시스템
110: 털 제거 신경망
120: 진위 판별 신경망
210: 털 합성 신경망
310: 교사 신경망
320: 털 영역분할 신경망
410: 털 영역분할 신경망
420: 털 제거 신경망
430: 털 합성 신경망100: Learning system of hair image removal neural network
110: Hair removal neural network
120: Authenticity determination neural network
210: Hair synthetic neural network
310: Teacher Neural Network
320: Hair region segmentation neural network
410: Hair region segmentation neural network
420: Hair removal neural network
430: Hair synthetic neural network
Claims (10)
상기 털 제거 신경망은
털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하도록 구성되며,
상기 진위 판별 신경망은
상기 털 제거 이미지 및 비교 이미지를 기초로 상기 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하도록 구성되며,
상기 털이 포함된 피부 이미지는
털이 없는 피부 이미지에 대한 원본 이미지 및 상기 원본 이미지의 포함된 털이 없는 피부 이미지의 색상이 변환된 이미지를 입력 받아 털 패턴 정보를 포함하는 털 마스크를 합성하도록 학습된 털 합성 신경망을 이용하여 생성된, 털 이미지 제거 신경망의 학습 시스템.
In a learning system for removing hair images included in skin images through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discrimination neural network,
The hair removal neural network is
It is configured to receive a skin image containing hair and generate a hair removal image with the hair removed.
The authenticity discrimination neural network is
Configured to determine whether the hair removal image is a fake image generated by a hair removal neural network based on the hair removal image and the comparison image,
The skin image containing the hair is
Generated using a hair synthesis neural network trained to synthesize a hair mask containing hair pattern information by receiving the original image for the hairless skin image and the color-converted image of the hairless skin image included in the original image, Learning system of hair image removal neural network.
상기 털이 포함된 피부 이미지 및 상기 비교 이미지는 서로 다른 대상을 촬영한 이미지인, 털 이미지 제거 신경망의 학습 시스템.
According to claim 1,
A learning system for a hair image removal neural network, wherein the skin image including hair and the comparison image are images taken of different objects.
상기 비교 이미지는 상기 털이 없는 피부 이미지에 대한 원본 이미지인, 털 이미지 제거 신경망의 학습 시스템.
According to claim 1,
A learning system for a hair image removal neural network, wherein the comparison image is an original image for the hairless skin image.
상기 털 패턴 정보는
제 1 대상 및 제 2 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 털 영역분할 신경망의 털 영역 정보에 기초하여 생성되며,
상기 털 영역분할 신경망은
상기 털 영역분할 신경망에서 추출한 털 영역 정보와 제 1 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 교사 신경망에서 추출된 털 영역 정보간의 유사도에 기초한 대조손실함수로 학습되는, 털 이미지 제거 신경망의 학습 시스템.
According to claim 1,
The hair pattern information is
It is generated based on the hair region information of a hair region segmentation neural network learned to extract hair region information from skin images of the first and second objects,
The hair region segmentation neural network is
A hair image removal neural network learned with a contrast loss function based on the similarity between the hair region information extracted from the hair region segmentation neural network and the hair region information extracted from the teacher neural network learned to extract hair region information from the skin image of the first subject. learning system.
상기 털 제거 신경망이 털이 포함된 피부 이미지를 입력 받아 털 이미지가 제거된 털 제거 이미지를 생성하는 단계; 및
상기 진위 판별 신경망이 상기 털 제거 이미지 및 비교 이미지를 기초로 상기 털 제거 이미지가 털 제거 신경망에 의해 생성된 가짜 이미지인지 여부를 판단하는 단계를 포함하며,
상기 털이 포함된 피부 이미지는
털이 없는 피부 이미지에 대한 원본 이미지 및 상기 원본 이미지의 포함된 털이 없는 피부 이미지의 색상이 변환된 이미지를 입력 받아 털 패턴 정보를 포함하는 털 마스크를 합성하도록 학습된 털 합성 신경망을 이용하여 생성되는, 털 이미지 제거 신경망의 학습 방법.
In a learning method for removing a hair image included in a skin image through unsupervised learning based on a generative adversarial network including a hair removal neural network implemented as a synthetic neural network and an authenticity discrimination neural network,
The hair removal neural network receives a skin image including hair and generates a hair removal image with the hair removed; and
The authenticity determination neural network includes determining whether the hair removal image is a fake image generated by the hair removal neural network based on the hair removal image and the comparison image,
The skin image containing the hair is
Generated using a hair synthesis neural network that receives the original image for the hairless skin image and the color-converted image of the hairless skin image included in the original image and learns to synthesize a hair mask containing hair pattern information. Learning method of hair image removal neural network.
상기 털이 포함된 피부 이미지 및 상기 비교 이미지는 서로 다른 대상을 촬영한 이미지인, 털 이미지 제거 신경망의 학습 방법.
According to claim 6,
A learning method for a hair image removal neural network, wherein the skin image including hair and the comparison image are images taken of different objects.
상기 비교 이미지는 상기 털이 없는 피부 이미지에 대한 원본 이미지인, 털 이미지 제거 신경망의 학습 방법.
According to claim 6,
A learning method for a hair image removal neural network, wherein the comparison image is an original image for the hairless skin image.
상기 털 패턴 정보는
제 1 대상 및 제 2 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 털 영역분할 신경망의 털 영역 정보에 기초하여 생성되며,
상기 털 영역분할 신경망은
상기 털 영역분할 신경망에서 추출한 털 영역 정보와 제 1 대상의 피부 이미지로부터 털 영역 정보를 추출하도록 학습된 교사 신경망에서 추출된 털 영역 정보간의 유사도에 기초한 대조손실함수로 학습되는, 털 이미지 제거 신경망의 학습 방법.According to claim 6,
The hair pattern information is
It is generated based on the hair region information of a hair region segmentation neural network learned to extract hair region information from skin images of the first and second objects,
The hair region segmentation neural network is
A hair image removal neural network learned with a contrast loss function based on the similarity between the hair region information extracted from the hair region segmentation neural network and the hair region information extracted from the teacher neural network learned to extract hair region information from the skin image of the first subject. How to learn.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/004666 WO2023163273A1 (en) | 2022-02-23 | 2022-03-31 | System and method for training hair image removal neural network |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220023703 | 2022-02-23 | ||
| KR1020220023703 | 2022-02-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230126614A KR20230126614A (en) | 2023-08-30 |
| KR102640143B1 true KR102640143B1 (en) | 2024-02-23 |
Family
ID=87846380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220040839A KR102640143B1 (en) | 2022-02-23 | 2022-03-31 | Systems and Methods for Training a Hair Removal Neural Network |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102640143B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102240885B1 (en) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | Method and Apparatus for Conversing Image Based on Generative Adversarial Network |
| JP2021165962A (en) * | 2020-04-07 | 2021-10-14 | キヤノン株式会社 | Information processing device, learning method, learning model and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022509034A (en) * | 2018-11-07 | 2022-01-20 | スペクトル オプティックス インコーポレイテッド | Bright spot removal using a neural network |
-
2022
- 2022-03-31 KR KR1020220040839A patent/KR102640143B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102240885B1 (en) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | Method and Apparatus for Conversing Image Based on Generative Adversarial Network |
| JP2021165962A (en) * | 2020-04-07 | 2021-10-14 | キヤノン株式会社 | Information processing device, learning method, learning model and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230126614A (en) | 2023-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| George et al. | On the effectiveness of vision transformers for zero-shot face anti-spoofing | |
| JP6760318B2 (en) | Face image identification system, classifier generator, identification device, image identification system, and identification system | |
| CN109858392A (en) | One kind is for front and back facial image automatic identifying method of making up | |
| CN115205949B (en) | Image generation method and related device | |
| Fernando et al. | Exploiting human social cognition for the detection of fake and fraudulent faces via memory networks | |
| KR102280201B1 (en) | Method and apparatus for inferring invisible image using machine learning | |
| CN114419702B (en) | Digital person generation model, training method of model, and digital person generation method | |
| Fontanel et al. | Boosting deep open world recognition by clustering | |
| CN113705290A (en) | Image processing method, image processing device, computer equipment and storage medium | |
| Tarasiou et al. | Extracting deep local features to detect manipulated images of human faces | |
| US20190188481A1 (en) | Motion picture distribution system | |
| EP4239573A1 (en) | Method for detecting and segmenting the lip region | |
| CN110610131A (en) | Method and device for detecting face motion unit, electronic equipment and storage medium | |
| KR102640143B1 (en) | Systems and Methods for Training a Hair Removal Neural Network | |
| CN113947209A (en) | Integrated learning method, system and storage medium based on cloud edge cooperation | |
| CN112819689A (en) | Training method of face attribute editing model, face attribute editing method and equipment | |
| KR102277929B1 (en) | Real time face masking system based on face recognition and real time face masking method using the same | |
| KR102247481B1 (en) | Device and method for generating job image having face to which age transformation is applied | |
| KR101095859B1 (en) | Apparatus and method for image segmentation | |
| CN114973362A (en) | Dynamic extension coding micro-expression recognition method applied to social robot | |
| CN114612991A (en) | Conversion method and device for attacking face picture, electronic equipment and storage medium | |
| CN113705307A (en) | Image processing method, device, equipment and storage medium | |
| WO2023163273A1 (en) | System and method for training hair image removal neural network | |
| CN113869304A (en) | Method and device for detecting characters of video | |
| Nguwi et al. | Automatic detection of lizards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |