KR102278215B1 - Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof - Google Patents
Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof Download PDFInfo
- Publication number
- KR102278215B1 KR102278215B1 KR1020190090244A KR20190090244A KR102278215B1 KR 102278215 B1 KR102278215 B1 KR 102278215B1 KR 1020190090244 A KR1020190090244 A KR 1020190090244A KR 20190090244 A KR20190090244 A KR 20190090244A KR 102278215 B1 KR102278215 B1 KR 102278215B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- identifier
- images
- real
- generator
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G06K9/00624—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치 및 방법이 개시된다. 본 발명에 따른 이미지 생성 처리 장치 및 방법은 학습되지 않은 생성기와 식별기를 생성적 적대 신경망(Generative Adversarial Networks: GANs) 모델에 기초하여 1차로 학습시키고, 1차 학습이 수행된 생성기를 통해 사전에 학습되어 있는 보조 식별기를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기와 식별기 및 상기 재학습이 수행된 보조 식별기를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있다.Disclosed are a generative adversarial neural network-based image generation processing apparatus and method that enable generation of images through machine learning to which auxiliary identifiers are added. The image generation processing apparatus and method according to the present invention primarily train an unlearned generator and an identifier based on a generative adversarial network (GANs) model, and learn in advance through a generator on which the primary learning is performed. After additional re-learning of the auxiliary identifier that has been previously learned, the generator and identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed are further trained based on the GANs model, eventually learning between the existing generator and the identifier It is possible to create a more sophisticated image in contrast to the technique of creating an image through this.
Description
본 발명은 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치 및 방법에 대한 것이다.The present invention relates to an image generation processing apparatus and method based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added.
최근, 인공지능 기술의 발전으로 인해 인공지능 기술을 이용해서 이미지에 존재하는 객체가 무엇인지를 판정하는 딥러닝 기술의 연구가 활발히 이루어지고 있다.Recently, due to the development of artificial intelligence technology, research on deep learning technology for determining what an object is in an image using artificial intelligence technology is being actively conducted.
이미지에 존재하는 객체를 판정하는 방법으로 합성곱신경망(Convolutional Neural Network: CNN) 기술이 주로 사용되고 있다.Convolutional Neural Network (CNN) technology is mainly used as a method of determining an object existing in an image.
CNN은 입력 이미지에 대해 소정의 콘볼루션 필터를 적용하여 이미지의 특징 추출을 위한 특징맵의 생성 과정을 반복수행하고, 이를 기초로 전연결계층(fully connected layer)을 생성한 후 분류기를 통해 상기 입력 이미지의 객체가 무엇인지를 확률적으로 연산하여 그 연산 결과 값에 따른 손실(loss)이 최소화되도록 상기 콘볼루션 필터의 가중치를 학습시키는 방식을 의미한다.CNN repeatedly performs the process of generating a feature map for feature extraction of an image by applying a predetermined convolutional filter to the input image, creating a fully connected layer based on this, and then generating a fully connected layer based on the input image through a classifier. It refers to a method of learning the weight of the convolutional filter so that a loss according to a result of the calculation by probabilistic calculation of what an object of an image is is minimized.
최근에는 생성적 적대 신경망(Generative Adversarial Networks: GANs)이라고 하는 딥러닝 알고리즘이 등장하면서, GANs를 이용하여 이미지를 생성하는 기술에 대한 연구가 활발히 이루어지고 있다.Recently, deep learning algorithms called Generative Adversarial Networks (GANs) have emerged, and research on technology for generating images using GANs is being actively conducted.
GANs란 비지도 학습에 사용되는 인공지능 알고리즘으로, 생성기(generator)와 식별기(discriminator)로 구성되어 있어, 생성기가 모조(fake) 데이터를 생성하면, 식별기에서 상기 모조 데이터가 실제인지 모조인지 여부를 확률적으로 검토하는 과정을 반복 학습함으로써, 결국 생성기가 실제 데이터와 거의 유사한 모조 데이터를 생성하도록 구성하는 알고리즘을 의미한다.GANs are artificial intelligence algorithms used in unsupervised learning. They are composed of a generator and a discriminator. When the generator generates fake data, the discriminator determines whether the fake data is real or fake. By iteratively learning the process of probabilistic review, it means an algorithm that eventually constructs the generator to generate imitation data that is almost similar to the real data.
GANs를 이용하여 이미지를 생성하는 모델은 생성기에서 소정의 랜덤 노이즈를 기초로 디콘볼루션(deconvolution)을 수행하여 모조 이미지를 생성한 후 상기 모조 이미지와 실제 이미지를 식별기에 인가하고, 식별기가 상기 모조 이미지와 상기 실제 이미지에 대해 콘볼루션 필터를 적용해서 전연결계층을 생성한 후 상기 전연결계층을 기초로 상기 모조 이미지와 상기 실제 이미지가 실제인지 모조인지를 확률적으로 판정한 후 이에 대한 판정 결과를 다시 식별기에 피드백하는 과정을 반복 수행하여 상기 식별기와 상기 생성기를 학습시킴으로써, 구축될 수 있다.A model generating an image using GANs performs deconvolution based on a predetermined random noise in a generator to generate a fake image, then applies the fake image and the real image to an identifier, and the identifier is After generating a whole connected layer by applying a convolution filter to the image and the real image, it is determined probabilistically whether the fake image and the real image are real or fake based on the all connected layers, and the result of the determination By repeating the process of feeding back to the identifier to learn the identifier and the generator, it can be constructed.
이때, 상기 식별기가 실제 이미지를 실제인 것으로 판정할 확률을 D(x), 상기 식별기가 상기 생성기에서 생성된 모조 이미지를 실제인 것으로 판정할 확률을 D(G(z))라고 하는 경우, 상기 식별기와 상기 생성기에 대한 학습은 하기의 수학식 1에 따른 가치 함수에 따른 함수 값을 연산함으로써, 수행될 수 있다.In this case, if the probability that the identifier determines that the real image is real is D(x), and the probability that the identifier determines that the fake image generated by the generator is real is D(G(z)), the Learning about the identifier and the generator may be performed by calculating a function value according to a value function according to Equation 1 below.
상기 수학식 1과 관련해서, 식별기(D)에 대해서는 상기 수학식 1의 가치 함수에 따른 함수 값(V)이 최대가 되도록 상기 식별기를 학습시키며, 생성기(G)에 대해서는 상기 수학식 1의 가치 함수에 따른 함수 값(V)이 최소화되도록 상기 생성기를 학습시킨다. 즉, 식별기는 모조 이미지를 모조로 판단하고, 실제 이미지를 실제로 판단하도록 학습될 필요가 있고, 이를 위해서는 D(x)가 큰 값으로 나와야 하고, D(G(z))가 작은 값으로 나와야 하기 때문에 식별기에 대해서는 상기 가치 함수에 따른 함수 값이 최대가 되도록 학습을 수행한다. 반면에, 생성기는 식별기가 모조 이미지와 실제 이미지를 제대로 구분하지 못하도록 학습될 필요가 있고, 이를 위해서는 D(x)가 작은 값으로 나와야 하고, D(G(z))가 큰 값으로 나와야 하기 때문에 생성기에 대해서는 상기 가치 함수에 따른 함수 값이 최소가 되도록 학습을 수행한다.With respect to Equation 1, for the identifier D, the identifier is trained so that the function value V according to the value function of Equation 1 is maximized, and for the generator G, the value of Equation 1 The generator is trained so that the function value V according to the function is minimized. That is, the discriminator needs to be trained to judge the fake image as a fake, and to actually judge the real image. For this, D(x) must come out with a large value and D(G(z)) must come out with a small value. Therefore, learning is performed for the identifier so that the function value according to the value function is maximized. On the other hand, the generator needs to be trained so that the discriminator does not properly distinguish the fake image from the real image, and for this to happen, D(x) must come out with a small value and D(G(z)) with a large value. For the generator, learning is performed so that the value of the function according to the value function is minimized.
이렇게, GANs를 이용한 이미지 생성 기법이 널리 활용됨에 따라, 기존의 이미지 생성 기술보다 정교한 이미지를 생성할 수 있도록 하는 GANs 기반의 이미지 생성 기술에 대한 연구가 수행될 필요가 있다.As such, as the image generating technique using GANs is widely used, it is necessary to study the GANs-based image generating technique that can generate a more sophisticated image than the existing image generating technique.
본 발명에 따른 이미지 생성 처리 장치 및 방법은 학습되지 않은 생성기와 식별기를 생성적 적대 신경망(Generative Adversarial Networks: GANs) 모델에 기초하여 1차로 학습시키고, 1차 학습이 수행된 생성기를 통해 사전에 학습되어 있는 보조 식별기를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기와 식별기 및 상기 재학습이 수행된 보조 식별기를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있도록 한다.The image generation processing apparatus and method according to the present invention primarily train an unlearned generator and an identifier based on a generative adversarial network (GANs) model, and learn in advance through a generator on which the primary learning is performed. After additional re-learning of the auxiliary identifier that has been previously learned, the generator and identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed are further trained based on the GANs model, eventually learning between the existing generator and the identifier It enables the creation of more sophisticated images in contrast to the image creation technique.
본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치는 복수의 실제(real) 이미지들이 저장되어 있는 이미지 저장부, 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 제1 학습 수행부, 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 제2 학습 수행부 및 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 제3 학습 수행부를 포함한다.An apparatus for generating images based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention includes an image storage unit in which a plurality of real images are stored; A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of first fake images are generated through a discriminator of the GANs. A first learning performing unit that primarily learns the generator and the identifier by performing machine learning to identify whether a plurality of real images are real or fake, and a plurality of second learning units through the generator on which the primary learning is performed By additionally performing machine learning to generate fake images and to identify whether the plurality of second fake images and the plurality of real images are real or fake through an auxiliary identifier on which machine learning has been performed in advance, A second learning performer for re-learning the auxiliary identifier and a generator on which the primary learning is performed generate a plurality of third imitation images, the identifier on which the primary learning is performed, and the auxiliary identifier on which the relearning is performed By further performing machine learning to identify whether the plurality of third fake images and the plurality of real images are real or fake through and a third learning performing unit for finally learning the identifier and the auxiliary identifier on which the re-learning has been performed.
또한, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 복수의 실제 이미지들이 저장되어 있는 이미지 저장부를 유지하는 단계, 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 단계, 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 단계 및 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 단계를 포함한다.In addition, the generative adversarial neural network-based image generation processing method that enables the generation of images through machine learning to which auxiliary identifiers are added according to an embodiment of the present invention includes maintaining an image storage unit in which a plurality of real images are stored. Step, generating a plurality of first fake images through a generator of Generative Adversarial Networks (GANs), the plurality of first fake images and the plurality of real images through the identifier of the GANs First learning the generator and the identifier by performing machine learning to identify whether they are real or fake, generating a plurality of second imitation images through the generator on which the primary learning is performed, and in advance re-learning the auxiliary identifier by further performing machine learning to identify whether the plurality of second fake images and the plurality of real images are real or fake through the auxiliary identifier on which machine learning is performed and generating a plurality of third dummy images through the generator on which the primary learning is performed, and the plurality of third imitation images and the plurality of imitation images through the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed. By additionally performing machine learning to identify whether a plurality of real images are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the auxiliary identifier on which the re-learning is performed are final It includes the step of learning.
본 발명에 따른 이미지 생성 처리 장치 및 방법은 학습되지 않은 생성기와 식별기를 생성적 적대 신경망(Generative Adversarial Networks: GANs) 모델에 기초하여 1차로 학습시키고, 1차 학습이 수행된 생성기를 통해 사전에 학습되어 있는 보조 식별기를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기와 식별기 및 상기 재학습이 수행된 보조 식별기를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있다.The image generation processing apparatus and method according to the present invention primarily train an unlearned generator and an identifier based on a generative adversarial network (GANs) model, and learn in advance through a generator on which the primary learning is performed. After additional re-learning of the auxiliary identifier that has been previously learned, the generator and identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed are further trained based on the GANs model, eventually learning between the existing generator and the identifier It is possible to create a more sophisticated image in contrast to the technique of creating an image through this.
도 1은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치를 설명하기 위한 프레임워크를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 동작 방법을 도시한 순서도이다.1 is a diagram illustrating the structure of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.
2 is a diagram illustrating a framework for explaining an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.
3 is a flowchart illustrating an operation method of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. These descriptions are not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, like reference numerals are used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, refer to those of ordinary skill in the art to which the present invention belongs. It has the same meaning as is commonly understood by those who have it.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, in various embodiments of the present invention, each of the components, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic. A circuit, an integrated circuit, an ASIC (Application Specific Integrated Circuit), etc. may be implemented with various well-known devices or mechanical elements, and may be implemented separately or two or more may be integrated into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks in the accompanying block diagram or steps in the flowchart are computer program instructions that are loaded in a processor or memory of equipment capable of data processing, such as a general-purpose computer, a special-purpose computer, a portable notebook computer, and a network computer, and perform specified functions. can be interpreted as meaning Since these computer program instructions may be stored in a memory provided in a computer device or in a memory readable by a computer, the functions described in the blocks of the block diagrams or the steps of the flowcharts are produced as articles of manufacture containing instruction means for performing the same. could be In addition, each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing the specified logical function(s). It should also be noted that, in some alternative embodiments, it is also possible for the functions recited in blocks or steps to be executed out of the prescribed order. For example, two blocks or steps shown one after another may be performed substantially simultaneously or in the reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 구조를 도시한 도면이다.1 is a diagram illustrating the structure of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.
그리고, 도 2는 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치를 설명하기 위한 프레임워크를 도시한 도면이다.And, FIG. 2 is a diagram illustrating a framework for explaining an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention. .
도 1을 참조하면, 본 발명에 따른 이미지 생성 처리 장치(110)는 이미지 저장부(111), 제1 학습 수행부(112), 제2 학습 수행부(113) 및 제3 학습 수행부(114)를 포함한다.Referring to FIG. 1 , the image
이미지 저장부(111)에는 복수의 실제(real) 이미지들이 저장되어 있다. 여기서, 복수의 실제 이미지들이란 이미지 생성 처리 장치(110)가 인물 이미지를 생성하는데 사용되는 장치라면, 실제 인물들을 촬영한 사진이 될 수 있다.A plurality of real images are stored in the
제1 학습 수행부(112)는 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)(211)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)(212)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기(211)와 상기 식별기(212)를 1차로 학습시킨다.The
이때, 본 발명의 일실시예에 따르면, 제1 학습 수행부(112)는 식별기 학습부(115) 및 생성기 학습부(116)를 포함할 수 있다.In this case, according to an embodiment of the present invention, the first
식별기 학습부(115)는 상기 식별기(212)에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기(212)를 학습시킨다.The
생성기 학습부(116)는 상기 식별기(212)에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기(211)에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기(211)를 학습시킨다.The
이때, 본 발명의 일실시예에 따르면, 식별기 학습부(115)는 제1 가치 함수에 따른 함수 값이 최대가 되도록 상기 식별기(212)를 학습시킬 수 있고, 생성기 학습부(116)는 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기(211)를 학습시킬 수 있다.At this time, according to an embodiment of the present invention, the
여기서, 상기 제1 가치 함수는 상기 식별기(212)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the first value function is the first identification designed based on a probability that the
관련해서, 식별기 학습부(115)와 생성기 학습부(116)는 하기의 수학식 2에 따른 상기 제1 가치 함수를 기초로 상기 식별기(212)와 상기 생성기(211)를 학습시킬 수 있다.In this regard, the
상기 수학식 2에서 V(D1, G)는 상기 제1 가치 함수에 따른 함수 값, D1(x)는 식별기(212)가 복수의 실제 이미지들인 pdata(x)를 실제인 것으로 판단할 확률을 의미하고, D1(G(z))는 식별기(212)가 복수의 제1 모조 이미지들인 pz(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D1(G(z))는 식별기(212)가 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In Equation 2, V(D 1 , G) is a function value according to the first value function, and D 1 (x) is determined by the identifier 212 to determine p data (x), which is a plurality of real images, as real. means a probability, and D 1 (G(z)) means a probability that the identifier 212 determines that p z (z), which is a plurality of first imitation images, is real, 1-D 1 (G(z)) z)) denotes a probability that the
식별기 학습부(115)는 상기 수학식 2로 나타낸 상기 제1 가치 함수에 따른 함수 값이 최대가 되도록 상기 식별기(212)를 학습시키고, 생성기 학습부(116)는 상기 수학식 2로 나타낸 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기(211)를 학습시킬 수 있다.The
이를 통해, 식별기(212)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 되고, 생성기(211)는 이러한 식별기(212)를 속이기 위해, 점점 실제에 가까운 모조 이미지를 생성해낼 수 있게 된다.This allows the
제2 학습 수행부(113)는 제1 학습 수행부(112)를 통해 생성기(211)와 식별기(212)가 1차로 학습이 완료되면, 상기 1차 학습이 수행된 생성기(211)를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기(213)를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기(213)를 재학습시킨다.When the first learning of the
여기서, 상기 보조 식별기(213)는 이미지가 모조인지 실제인지를 어느 정도 정확하게 구분할 수 있을 만큼 사전 기계학습이 수행된 식별기가 사용되며, 제2 학습 수행부(113)는 1차 학습이 수행된 생성기(211)를 통해 복수의 제2 모조 이미지들을 생성하여 보조 식별기(213)에 인가함으로써, 보조 식별기(213)의 식별 능력이 보다 향상되도록 보조 식별기(213)를 재학습시킬 수 있다.Here, as the
이때, 본 발명의 일실시예에 따르면, 제2 학습 수행부(113)는 상기 보조 식별기(213)에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기(213)를 재학습시킬 수 있다.In this case, according to an embodiment of the present invention, the second
이때, 본 발명의 일실시예에 따르면, 제2 학습 수행부(113)는 제2 가치 함수에 따른 함수 값이 최대가 되도록 상기 보조 식별기(213)를 재학습시킬 수 있다.In this case, according to an embodiment of the present invention, the second
여기서, 상기 제2 가치 함수는 상기 보조 식별기(213)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the second value function is the second value function designed based on a probability that the
관련해서, 제2 학습 수행부(113)는 하기의 수학식 3에 따른 상기 제2 가치 함수를 기초로 상기 보조 식별기(213)를 재학습시킬 수 있다.In relation to this, the second
상기 수학식 3에서 V(D2)는 상기 제2 가치 함수에 따른 함수 값, D2(x)는 보조 식별기(213)가 복수의 실제 이미지들인 pdata(x)를 실제인 것으로 판단할 확률을 의미하고, D2(G(z))는 보조 식별기(213)가 복수의 제2 모조 이미지들인 pz(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D2(G(z))는 보조 식별기(213)가 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In
제2 학습 수행부(113)는 상기 수학식 3으로 나타낸 상기 제2 가치 함수에 따른 함수 값이 최대가 되도록 상기 보조 식별기(213)를 학습시킬 수 있다.The
이를 통해, 보조 식별기(213)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 된다.This allows the
제3 학습 수행부(114)는 제2 학습 수행부(113)를 통해 보조 식별기(213)에 대한 재학습이 완료되면, 상기 1차 학습이 수행된 생성기(211)를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기(211)와 상기 1차 학습이 수행된 식별기(212) 및 상기 재학습이 수행된 보조 식별기(213)를 최종 학습시킨다.When the re-learning of the
이때, 본 발명의 일실시예에 따르면, 제3 학습 수행부(114)는 추가 식별기 학습부(117) 및 추가 생성기 학습부(118)를 포함할 수 있다.In this case, according to an embodiment of the present invention, the third
추가 식별기 학습부(117)는 상기 1차 학습이 수행된 식별기(212)에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기(213)에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시킨다.The additional
추가 생성기 학습부(118)는 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213) 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기(211)에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킨다.The additional
이때, 본 발명의 일실시예에 따르면, 추가 식별기 학습부(117)는 제3 가치 함수에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시킬 수 있고, 추가 생성기 학습부(118)는 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.At this time, according to an embodiment of the present invention, the additional
여기서, 상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기(212)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기(213)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the third value function is a probability that the
이때, 본 발명의 일실시예에 따르면, 상기 제3 가치 함수는 상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기(213)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수일 수 있다.At this time, according to an embodiment of the present invention, when the function value according to the third value function is calculated for the third value function, the
관련해서, 추가 식별기 학습부(117)와 추가 생성기 학습부(118)는 하기의 수학식 4에 따른 상기 제3 가치 함수를 기초로 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213) 및 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.In this regard, the additional
상기 수학식 4에서 V(G, D1, D2)는 상기 제3 가치 함수에 따른 함수 값, D1(x)는 1차 학습이 수행된 식별기(212)가 복수의 실제 이미지들인 pdata(x)를 실제인 것으로 판단할 확률을 의미하고, D1(G(z))는 1차 학습이 수행된 식별기(212)가 복수의 제3 모조 이미지들인 pz(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D1(G(z))는 1차 학습이 수행된 식별기(212)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미하며, D2(x)는 재학습이 수행된 보조 식별기(213)가 복수의 실제 이미지들인 pdata(x)를 실제인 것으로 판단할 확률을 의미하고, D2(G(z))는 재학습이 수행된 보조 식별기(213)가 복수의 제3 모조 이미지들인 pz(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D2(G(z))는 재학습이 수행된 보조 식별기(213)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In Equation 4, V(G, D 1 , D 2 ) is a function value according to the third value function, and D 1 (x) is p data in which the
그리고, 
추가 식별기 학습부(117)는 상기 수학식 4로 나타낸 상기 제3 가치 함수에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시키고, 추가 생성기 학습부(118)는 상기 수학식 4로 나타낸 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.The additional
이를 통해, 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 되고, 상기 1차 학습이 수행된 생성기(211)는 이러한 식별기(212, 213)들을 속이기 위해, 점점 실제에 가까운 모조 이미지를 생성해낼 수 있게 된다.Through this, the
결국, 본 발명에 따른 이미지 생성 처리 장치(110)는 학습되지 않은 생성기(211)와 식별기(212)를 GANs 모델에 기초하여 1차로 학습을 시키고, 1차 학습이 수행된 생성기(211)를 통해 사전에 학습되어 있는 보조 식별기(213)를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기(211)와 식별기(212) 및 재학습이 수행된 보조 식별기(213)를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있다.As a result, the image
도 3은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 동작 방법을 도시한 순서도이다.3 is a flowchart illustrating an operation method of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.
단계(S310)에서는 복수의 실제 이미지들이 저장되어 있는 이미지 저장부를 유지한다.In step S310, an image storage unit in which a plurality of actual images are stored is maintained.
단계(S320)에서는 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기를 통해 복수의 제1 모조 이미지들을 생성하고, 상기 GANs의 식별기를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시킨다.In step S320, a plurality of first dummy images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first dummy images and the plurality of real images are generated through the identifier of the GANs. By performing machine learning to identify whether they are real or fake, the generator and the identifier are primarily trained.
단계(S330)에서는 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시킨다.In step S330, a plurality of second imitation images are generated through the generator on which the primary learning has been performed, and the plurality of second imitation images and the plurality of real images are generated through an auxiliary identifier on which machine learning has been performed in advance. By further performing machine learning to identify whether images are real or fake, the auxiliary identifier is retrained.
단계(S340)에서는 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시킨다.In step S340, a plurality of third imitation images are generated through the generator on which the primary learning is performed, and the plurality of third imitation images are generated through the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed. By further performing machine learning to identify images and whether the plurality of real images are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the re-learning are performed The secondary identifier is finally trained.
이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기를 학습시키는 단계 및 상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기를 학습시키는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S320, the identifier is configured to increase the accuracy of the first identification result for the plurality of first imitation images and the plurality of real images performed in the identifier. training the generator and feeding back the first identification result for the plurality of first fake images performed by the identifier to the generator to train the generator so that the accuracy of the first identification result decreases have.
이때, 본 발명의 일실시예에 따르면, 상기 식별기를 학습시키는 단계는 제1 가치 함수(상기 제1 가치 함수는 상기 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 식별기를 학습시킬 수 있고, 상기 생성기를 학습시키는 단계는 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기를 학습시킬 수 있다.At this time, according to an embodiment of the present invention, the step of learning the identifier is a first value function (the first value function is the probability that the identifier determines that the plurality of real images are real and the plurality of first values It is possible to train the identifier so that the function value according to the function representing the accuracy of the first identification result designed based on the probability of determining that the fake images are not real) becomes the maximum, and the step of learning the generator includes: The generator may be trained such that a function value according to the first value function is minimized.
또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 보조 식별기에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기를 재학습시킬 수 있다.In addition, according to an embodiment of the present invention, in step S330, the auxiliary identifier is performed to increase the accuracy of the second identification result for the plurality of second fake images and the plurality of real images. The identifier can be retrained.
이때, 본 발명의 일실시예에 따르면, 단계(S330)에서는 제2 가치 함수(상기 제2 가치 함수는 상기 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 보조 식별기를 재학습시킬 수 있다.At this time, according to an embodiment of the present invention, in step S330, a second value function (the second value function is the probability that the auxiliary identifier determines that the plurality of real images are real and the plurality of second imitations) The auxiliary identifier may be re-learned so that a function value according to (a function representing the accuracy of the second identification result, which is designed based on the probability of determining that the images are not real) is maximized.
또한, 본 발명의 일실시예에 따르면, 단계(S340)에서는 상기 1차 학습이 수행된 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계 및 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, in step S340, the accuracy of the third identification result for the plurality of third imitation images and the plurality of real images performed in the identifier on which the primary learning has been performed , and the identifier on which the primary learning has been performed and the identification result of the fourth identification for the plurality of third imitation images and the plurality of real images performed in the auxiliary identifier on which the re-learning is performed increase both accuracy additionally learning an auxiliary identifier on which re-learning has been performed, and the third identification result for the plurality of third dummy images performed in each of the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning is performed. and feeding back the fourth identification result to the generator on which the primary learning has been performed to further train the generator on which the primary learning has been performed so that the accuracy of the third identification result and the fourth identification result decreases can do.
이때, 본 발명의 일실시예에 따르면, 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계는 제3 가치 함수(상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시킬 수 있고, 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계는 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기를 추가로 학습시킬 수 있다.At this time, according to an embodiment of the present invention, the step of additionally learning the auxiliary identifier on which the re-learning is performed is a third value function (the third value function is the identifier on which the primary learning is performed is the plurality of actual a probability of determining that the images are real, a probability of determining that the plurality of third fake images are not real, and a probability that the auxiliary identifier on which the re-learning has been performed determines that the plurality of real images are real and the plurality of images. The primary learning is performed so that the value of the function according to the third identification result and the function representing the accuracy of the fourth identification result, which is designed based on the probability of determining that the third imitation images are not real, is maximized. The identified identifier and the auxiliary identifier on which the re-learning has been performed may be further trained, and the step of further learning the generator on which the primary learning has been performed may include the first step so that the function value according to the third value function is minimized It is possible to further train the generator in which the learning has been performed.
이때, 본 발명의 일실시예에 따르면, 상기 제3 가치 함수는 상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수일 수 있다.At this time, according to an embodiment of the present invention, when the function value according to the third value function is calculated, the auxiliary identifier on which the re-learning has been performed determines whether the plurality of third imitation images are actually It may be a function designed to reflect only a preset ratio of more than 0 and less than 1 in which the probability of determining that it is not.
이상, 도 3을 참조하여 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 도 1과 도 2를 이용하여 설명한 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, an image generation processing method based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention has been described with reference to FIG. 3 . Here, in the image generation processing method based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention, the auxiliary identifier described with reference to FIGS. 1 and 2 is added. Since it may correspond to the configuration of the operation of the generative adversarial neural network-based image
본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.An image generation processing method based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention is a computer program stored in a storage medium for execution through combination with a computer can be implemented as
또한, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the generative adversarial neural network-based image generation processing method that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention is provided in the form of a program command that can be executed through various computer means. It may be implemented and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
110: 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치
111: 이미지 저장부 112: 제1 학습 수행부
113: 제2 학습 수행부 114: 제3 학습 수행부
115: 식별기 학습부 116: 생성기 학습부
117: 추가 식별기 학습부 118: 추가 생성기 학습부110: Image generation processing device based on generative adversarial neural network that enables image generation through machine learning with auxiliary identifier added
111: image storage unit 112: first learning execution unit
113: second learning performing unit 114: third learning performing unit
115: identifier learning unit 116: generator learning unit
117: additional identifier learning unit 118: additional generator learning unit
Claims (18)
생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 제1 학습 수행부;
상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 제2 학습 수행부; 및
상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 제3 학습 수행부
를 포함하고,
상기 제2 학습 수행부는
상기 보조 식별기에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기를 재학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.an image storage unit in which a plurality of real images are stored;
A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of first fake images are generated through a discriminator of the GANs. a first learning performing unit that primarily learns the generator and the identifier by performing machine learning to identify whether a plurality of real images are real or fake;
A plurality of second imitation images are generated through the generator on which the primary learning has been performed, and the plurality of second imitation images and the plurality of real images are simulated through an auxiliary identifier on which machine learning is performed in advance. a second learning performing unit for re-learning the auxiliary identifier by additionally performing machine learning to identify whether it is recognized; and
A plurality of third dummy images are generated through the generator on which the primary learning has been performed, and the plurality of third imitation images and the plurality of imitation images are generated through the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed. By further performing machine learning to identify whether the real images of are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the auxiliary identifier on which the re-learning is performed are finally trained 3rd learning execution unit
including,
The second learning performing unit
Through machine learning to which an auxiliary identifier is added for re-learning the auxiliary identifier so as to increase the accuracy of the second identification result for the plurality of second fake images and the plurality of real images performed in the auxiliary identifier A generative adversarial neural network-based image generation processing device that enables generation.
상기 제1 학습 수행부는
상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기를 학습시키는 식별기 학습부; 및
상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기를 학습시키는 생성기 학습부
를 포함하는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.According to claim 1,
The first learning performing unit
an identifier learning unit configured to train the identifier to increase accuracy of first identification results for the plurality of first imitation images and the plurality of real images performed in the identifier; and
A generator learning unit that feeds back the first identification results for the plurality of first fake images performed by the identifier to the generator to train the generator to decrease the accuracy of the first identification result
A generative adversarial neural network-based image generation processing device that enables the generation of images through machine learning to which an auxiliary identifier is added.
상기 식별기 학습부는
제1 가치 함수 - 상기 제1 가치 함수는 상기 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 식별기를 학습시키고,
상기 생성기 학습부는
상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기를 학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.3. The method of claim 2,
The identifier learning unit
a first value function - the first value function is the first identification designed based on a probability that the identifier determines the plurality of real images to be real and a probability that the plurality of first fake images are not real is a function representing the accuracy of the result - training the identifier so that the value of the function according to
The generator learning unit
A generative adversarial neural network-based image generation processing apparatus that enables image generation through machine learning to which an auxiliary identifier for learning the generator is added so that the function value according to the first value function is minimized.
상기 제2 학습 수행부는
제2 가치 함수 - 상기 제2 가치 함수는 상기 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 보조 식별기를 재학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.According to claim 1,
The second learning performing unit
second value function - the second value function is the second value function designed based on a probability that the auxiliary identifier determines the plurality of real images as real and a probability that the second plurality of fake images are not real It is a function representing the accuracy of the identification result - Image generation processing based on a generative adversarial neural network that enables image generation through machine learning with an auxiliary identifier that re-learns the auxiliary identifier so that the function value according to is maximum Device.
상기 제3 학습 수행부는
상기 1차 학습이 수행된 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 추가 식별기 학습부; 및
상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 추가 생성기 학습부
를 포함하는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.According to claim 1,
The third learning execution unit
Accuracy of a third identification result for the plurality of third imitation images and the plurality of real images performed in the identifier on which the primary learning is performed, and the plurality of the plurality of images performed in the auxiliary identifier on which the re-learning is performed An additional identifier learning unit for additionally learning the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed so that the accuracy of the fourth identification result for the third imitation images and the plurality of real images is both increased ; and
The third identification result and the fourth identification result for the plurality of third imitation images performed in each of the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed An additional generator learning unit that feeds back to the generator and further trains the generator on which the primary learning has been performed so that the accuracy of the third and fourth identification results decreases
A generative adversarial neural network-based image generation processing device that enables the generation of images through machine learning to which an auxiliary identifier is added.
상기 추가 식별기 학습부는
제3 가치 함수 - 상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키고,
상기 추가 생성기 학습부는
상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.7. The method of claim 6,
The additional identifier learning unit
a third value function - the third value function includes a probability that the identifier on which the primary learning has been performed determines that the plurality of real images are real and a probability that the plurality of third fake images are not real, and The third identification result and the fourth design based on the probability that the auxiliary identifier on which the re-learning has been performed determines that the plurality of real images are real and the probability that the plurality of third fake images are not real It is a function representing the accuracy of the identification result - additionally learning the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed so that the function value according to
The additional generator learning unit
Generating adversarial neural network-based image generation that enables image generation through machine learning to which an auxiliary identifier for additionally learning the generator on which the primary learning has been performed is added so that the function value according to the third value function is minimized processing unit.
상기 제3 가치 함수는
상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수인 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치.8. The method of claim 7,
The third value function is
When the function value according to the third value function is calculated, the probability that the auxiliary identifier on which the re-learning has been performed determines that the plurality of third imitation images are not real is reflected only by a preset ratio greater than 0 and less than 1. A generative adversarial neural network-based image generation processing device that enables the generation of images through machine learning with the addition of an auxiliary identifier, a designed function.
생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 단계;
상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 단계; 및
상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 단계
를 포함하고,
상기 보조 식별기를 재학습시키는 단계는
상기 보조 식별기에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기를 재학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.maintaining an image storage unit in which a plurality of real images are stored;
A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of first fake images are generated through a discriminator of the GANs. first learning the generator and the identifier by performing machine learning to identify whether a plurality of real images are real or fake;
A plurality of second imitation images are generated through the generator on which the primary learning has been performed, and the plurality of second imitation images and the plurality of real images are simulated through an auxiliary identifier on which machine learning is performed in advance. re-learning the auxiliary identifier by further performing machine learning to identify whether or not it is recognized; and
A plurality of third dummy images are generated through the generator on which the primary learning has been performed, and the plurality of third imitation images and the plurality of imitation images are generated through the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed. By further performing machine learning to identify whether the real images of are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the auxiliary identifier on which the re-learning is performed are finally trained step to let
including,
The step of re-learning the auxiliary identifier is
Through machine learning to which an auxiliary identifier is added for re-learning the auxiliary identifier so as to increase the accuracy of the second identification result for the plurality of second fake images and the plurality of real images performed in the auxiliary identifier A generative adversarial neural network-based image generation processing method that enables generation.
상기 생성기와 상기 식별기를 1차로 학습시키는 단계는
상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기를 학습시키는 단계; 및
상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기를 학습시키는 단계
를 포함하는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.10. The method of claim 9,
The step of first learning the generator and the identifier is
training the identifier to increase the accuracy of the first identification result for the plurality of first fake images and the plurality of real images performed in the identifier; and
feeding back the first identification result for the plurality of first fake images performed by the identifier to the generator to train the generator to decrease the accuracy of the first identification result;
A generative adversarial neural network-based image generation processing method that enables the generation of images through machine learning with an auxiliary identifier that includes a.
상기 식별기를 학습시키는 단계는
제1 가치 함수 - 상기 제1 가치 함수는 상기 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 식별기를 학습시키고,
상기 생성기를 학습시키는 단계는
상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기를 학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.11. The method of claim 10,
The step of learning the identifier is
a first value function - the first value function is the first identification designed based on a probability that the identifier determines the plurality of real images to be real and a probability that the plurality of first fake images are not real is a function representing the accuracy of the result - training the identifier so that the value of the function according to
The step of learning the generator is
An image generation processing method based on a generative adversarial neural network that enables generation of an image through machine learning to which an auxiliary identifier for learning the generator is added so that the function value according to the first value function is minimized.
상기 보조 식별기를 재학습시키는 단계는
제2 가치 함수 - 상기 제2 가치 함수는 상기 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 보조 식별기를 재학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.10. The method of claim 9,
The step of re-learning the auxiliary identifier is
second value function - the second value function is the second value function designed based on a probability that the auxiliary identifier determines the plurality of real images as real and a probability that the second plurality of fake images are not real It is a function representing the accuracy of the identification result - Image generation processing based on a generative adversarial neural network that enables image generation through machine learning with an auxiliary identifier that re-learns the auxiliary identifier so that the function value according to is maximum Way.
상기 최종 학습시키는 단계는
상기 1차 학습이 수행된 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계; 및
상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계
를 포함하는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.10. The method of claim 9,
The final learning step is
Accuracy of a third identification result for the plurality of third imitation images and the plurality of real images performed in the identifier on which the primary learning is performed, and the plurality of the plurality of images performed in the auxiliary identifier on which the re-learning is performed additionally learning the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed so that the accuracy of the fourth identification result for both the third imitation images and the plurality of real images is increased; and
The third identification result and the fourth identification result for the plurality of third imitation images performed in each of the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed Feedback to the generator to further train the generator on which the primary learning has been performed so that the accuracy of the third identification result and the fourth identification result decreases
A generative adversarial neural network-based image generation processing method that enables the generation of images through machine learning with an auxiliary identifier that includes a.
상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계는
제3 가치 함수 - 상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수임 - 에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키고,
상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계는
상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.15. The method of claim 14,
The step of additionally learning the auxiliary identifier on which the re-learning is performed
a third value function - the third value function includes a probability that the identifier on which the primary learning has been performed determines that the plurality of real images are real and a probability that the plurality of third fake images are not real, and The third identification result and the fourth design based on the probability that the auxiliary identifier on which the re-learning has been performed determines that the plurality of real images are real and the probability that the plurality of third fake images are not real It is a function representing the accuracy of the identification result - additionally learning the identifier on which the primary learning is performed and the auxiliary identifier on which the re-learning is performed so that the function value according to
The step of additionally learning the generator on which the primary learning has been performed is
Generating adversarial neural network-based image generation that enables image generation through machine learning to which an auxiliary identifier for additionally learning the generator on which the primary learning has been performed is added so that the function value according to the third value function is minimized processing method.
상기 제3 가치 함수는
상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수인 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법.16. The method of claim 15,
The third value function is
When the function value according to the third value function is calculated, the probability that the auxiliary identifier on which the re-learning has been performed determines that the plurality of third imitation images are not real is reflected only by a preset ratio greater than 0 and less than 1. A generative adversarial neural network-based image generation processing method that enables the generation of images through machine learning with the addition of an auxiliary identifier, a designed function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190090244A KR102278215B1 (en) | 2019-07-25 | 2019-07-25 | Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190090244A KR102278215B1 (en) | 2019-07-25 | 2019-07-25 | Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210012464A KR20210012464A (en) | 2021-02-03 |
| KR102278215B1 true KR102278215B1 (en) | 2021-07-15 |
Family
ID=74571875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190090244A KR102278215B1 (en) | 2019-07-25 | 2019-07-25 | Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102278215B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102513394B1 (en) | 2021-05-10 | 2023-03-23 | 주식회사 씨앤에이아이 | Device and Method for Generating Synthetic Endoscope Image Using General Adversarial Network |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975186B1 (en) | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | Apparatus and method of data generation for object detection based on generative adversarial networks |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102149132B1 (en) * | 2017-11-28 | 2020-08-31 | 공주대학교 산학협력단 | Apparatus for generating adversarial example in deep learning environment and method thereof, computer program |
-
2019
- 2019-07-25 KR KR1020190090244A patent/KR102278215B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101975186B1 (en) | 2018-07-04 | 2019-05-07 | 광운대학교 산학협력단 | Apparatus and method of data generation for object detection based on generative adversarial networks |
Non-Patent Citations (2)
| Title |
|---|
| "Generative Multi-Adversarial Networks", Computer Science_Machine Learning, 2017.03.02 |
| "적대적 생성신경망을 이용한 손상된 이미지의 복원", 방송공학회논문지 제23권 제4호, 2018.07.30 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210012464A (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210350504A1 (en) | Aesthetics-guided image enhancement | |
| CN109783666B (en) | Image scene graph generation method based on iterative refinement | |
| US10740593B1 (en) | Method for recognizing face using multiple patch combination based on deep neural network with fault tolerance and fluctuation robustness in extreme situation | |
| CN111489285B (en) | Method and device for converting real image into virtual image by using cyclic GAN | |
| CN109614921B (en) | Cell segmentation method based on semi-supervised learning of confrontation generation network | |
| US20200342306A1 (en) | Autonomous modification of data | |
| CN113196289A (en) | Human body action recognition method, human body action recognition system and device | |
| KR102042168B1 (en) | Methods and apparatuses for generating text to video based on time series adversarial neural network | |
| CN104517274B (en) | Human face portrait synthetic method based on greedy search | |
| EP3690726A1 (en) | Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same | |
| WO2023072067A1 (en) | Face attribute editing model training and face attribute editing methods | |
| CN108052959A (en) | A kind of method for improving deep learning picture recognition algorithm robustness | |
| JP7139749B2 (en) | Image recognition learning device, image recognition device, method, and program | |
| CN112507947A (en) | Gesture recognition method, device, equipment and medium based on multi-mode fusion | |
| CN114187483A (en) | Method for generating countermeasure sample, training method of detector and related equipment | |
| KR102278215B1 (en) | Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof | |
| CN115147890A (en) | System, method and storage medium for creating image data embedding for image recognition | |
| KR102261869B1 (en) | Artificial Intelligence rapid image generation method using Meta-learning Generative adversarial network | |
| Wang et al. | Generative adversarial network based on resnet for conditional image restoration | |
| US20230252271A1 (en) | Electronic device and method for processing data based on reversible generative networks, associated electronic detection system and associated computer program | |
| KR101937585B1 (en) | Cost Aggregation Apparatus and Method for Depth Image Generation, and Recording Medium thereof | |
| CN104700380B (en) | Based on single photo with portrait to human face portrait synthetic method | |
| CN115984949A (en) | Low-quality face image recognition method and device with attention mechanism | |
| JP2020187583A (en) | Method for training machine learning model, data creation device, and learned machine learning model | |
| Zakeri et al. | WhisperNet: Deep siamese network for emotion and speech tempo invariant visual-only lip-based biometric |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |