KR20210012464A

KR20210012464A - Generative adversarial networks based image generation processing device that enables generation of images through machine learning with supplementary discriminator and operating method thereof

Info

Publication number: KR20210012464A
Application number: KR1020190090244A
Authority: KR
Inventors: 배승환
Original assignee: 인천대학교 산학협력단
Priority date: 2019-07-25
Filing date: 2019-07-25
Publication date: 2021-02-03
Also published as: KR102278215B1

Abstract

Disclosed are a device and a method for generating an image based on a generative adversarial neural network capable of generating an image through machine learning added with an auxiliary identifier. According to the present invention, the image generation processing device and method are firstly learned, by a generator and an identifier which are not learned, based on a generative adversarial network (GAN) model; after a pre-learned auxiliary identifier is additionally re-learned through the generator which is first learned, the generator and the identifier which are first learned and the re-learned auxiliary identifier are additionally learned based on the GAN model; and accordingly, a more elaborate image can be generated in comparison with a conventional method for generating an image through learning between a generator and an identifier.

Description

GENERATIVE ADVERSARIAL NETWORKS BASED IMAGE GENERATION PROCESSING DEVICE THAT ENABLES GENERATION OF IMAGES THROUGH MACHINE LEARNING WITH SUPPLEMENTARY DISCRIMINATOR AND OPERATING METHOD THEREOF}

본 발명은 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치 및 방법에 대한 것이다.The present invention relates to an image generation processing apparatus and method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added.

최근, 인공지능 기술의 발전으로 인해 인공지능 기술을 이용해서 이미지에 존재하는 객체가 무엇인지를 판정하는 딥러닝 기술의 연구가 활발히 이루어지고 있다.Recently, due to the development of artificial intelligence technology, research on deep learning technology that determines what objects exist in an image using artificial intelligence technology has been actively conducted.

이미지에 존재하는 객체를 판정하는 방법으로 합성곱신경망(Convolutional Neural Network: CNN) 기술이 주로 사용되고 있다.Convolutional Neural Network (CNN) technology is mainly used as a method of determining an object present in an image.

CNN은 입력 이미지에 대해 소정의 콘볼루션 필터를 적용하여 이미지의 특징 추출을 위한 특징맵의 생성 과정을 반복수행하고, 이를 기초로 전연결계층(fully connected layer)을 생성한 후 분류기를 통해 상기 입력 이미지의 객체가 무엇인지를 확률적으로 연산하여 그 연산 결과 값에 따른 손실(loss)이 최소화되도록 상기 콘볼루션 필터의 가중치를 학습시키는 방식을 의미한다.The CNN repeats the process of generating a feature map for feature extraction of the image by applying a predetermined convolution filter to the input image, generating a fully connected layer based on this, and then inputting the input through a classifier. It refers to a method of learning a weight of the convolution filter so that a loss according to a result of the operation is minimized by probabilistically calculating what an object of an image is.

최근에는 생성적 적대 신경망(Generative Adversarial Networks: GANs)이라고 하는 딥러닝 알고리즘이 등장하면서, GANs를 이용하여 이미지를 생성하는 기술에 대한 연구가 활발히 이루어지고 있다.Recently, a deep learning algorithm called Generative Adversarial Networks (GANs) has appeared, and research on a technology for generating images using GANs has been actively conducted.

GANs란 비지도 학습에 사용되는 인공지능 알고리즘으로, 생성기(generator)와 식별기(discriminator)로 구성되어 있어, 생성기가 모조(fake) 데이터를 생성하면, 식별기에서 상기 모조 데이터가 실제인지 모조인지 여부를 확률적으로 검토하는 과정을 반복 학습함으로써, 결국 생성기가 실제 데이터와 거의 유사한 모조 데이터를 생성하도록 구성하는 알고리즘을 의미한다.GANs are artificial intelligence algorithms used for unsupervised learning, and are composed of a generator and a discriminator.When the generator generates fake data, the identifier determines whether the fake data is real or fake. By repeatedly learning the process of probabilistic review, it means an algorithm that eventually configures the generator to generate fake data that is almost similar to the actual data.

GANs를 이용하여 이미지를 생성하는 모델은 생성기에서 소정의 랜덤 노이즈를 기초로 디콘볼루션(deconvolution)을 수행하여 모조 이미지를 생성한 후 상기 모조 이미지와 실제 이미지를 식별기에 인가하고, 식별기가 상기 모조 이미지와 상기 실제 이미지에 대해 콘볼루션 필터를 적용해서 전연결계층을 생성한 후 상기 전연결계층을 기초로 상기 모조 이미지와 상기 실제 이미지가 실제인지 모조인지를 확률적으로 판정한 후 이에 대한 판정 결과를 다시 식별기에 피드백하는 과정을 반복 수행하여 상기 식별기와 상기 생성기를 학습시킴으로써, 구축될 수 있다.In the model that generates an image using GANs, a generator performs deconvolution based on a predetermined random noise to generate a fake image, and then applies the fake image and the actual image to an identifier, and the identifier After creating a full connection layer by applying a convolution filter to the image and the real image, probabilistically determining whether the fake image and the real image are real or fake based on the all connection layer, and the result of the determination It can be constructed by repeatedly performing the process of feeding back to the identifier to learn the identifier and the generator.

이때, 상기 식별기가 실제 이미지를 실제인 것으로 판정할 확률을 D(x), 상기 식별기가 상기 생성기에서 생성된 모조 이미지를 실제인 것으로 판정할 확률을 D(G(z))라고 하는 경우, 상기 식별기와 상기 생성기에 대한 학습은 하기의 수학식 1에 따른 가치 함수에 따른 함수 값을 연산함으로써, 수행될 수 있다.At this time, if the probability that the identifier determines the real image as real is D(x), and the probability that the identifier determines the fake image generated by the generator as real is D(G(z)), the Learning about the identifier and the generator may be performed by calculating a function value according to a value function according to Equation 1 below.

상기 수학식 1과 관련해서, 식별기(D)에 대해서는 상기 수학식 1의 가치 함수에 따른 함수 값(V)이 최대가 되도록 상기 식별기를 학습시키며, 생성기(G)에 대해서는 상기 수학식 1의 가치 함수에 따른 함수 값(V)이 최소화되도록 상기 생성기를 학습시킨다. 즉, 식별기는 모조 이미지를 모조로 판단하고, 실제 이미지를 실제로 판단하도록 학습될 필요가 있고, 이를 위해서는 D(x)가 큰 값으로 나와야 하고, D(G(z))가 작은 값으로 나와야 하기 때문에 식별기에 대해서는 상기 가치 함수에 따른 함수 값이 최대가 되도록 학습을 수행한다. 반면에, 생성기는 식별기가 모조 이미지와 실제 이미지를 제대로 구분하지 못하도록 학습될 필요가 있고, 이를 위해서는 D(x)가 작은 값으로 나와야 하고, D(G(z))가 큰 값으로 나와야 하기 때문에 생성기에 대해서는 상기 가치 함수에 따른 함수 값이 최소가 되도록 학습을 수행한다.Regarding Equation 1, for the identifier D, the identifier is trained so that the function value V according to the value function of Equation 1 is maximized, and for the generator G, the value of Equation 1 The generator is trained so that the function value V according to the function is minimized. In other words, the discriminator needs to be learned to judge the fake image as a fake and actually judge the actual image, and for this, D(x) must come out as a large value and D(G(z)) must come out as a small value. Therefore, for the discriminator, learning is performed so that the function value according to the value function is maximized. On the other hand, the generator needs to be learned so that the identifier cannot properly distinguish between the fake image and the real image, and for this, D(x) must come out as a small value and D(G(z)) must come out as a large value. For the generator, learning is performed so that the function value according to the value function is minimized.

이렇게, GANs를 이용한 이미지 생성 기법이 널리 활용됨에 따라, 기존의 이미지 생성 기술보다 정교한 이미지를 생성할 수 있도록 하는 GANs 기반의 이미지 생성 기술에 대한 연구가 수행될 필요가 있다.In this way, as the image generation technique using GANs is widely used, research on GANs-based image generation technology that can generate more sophisticated images than existing image generation techniques needs to be conducted.

본 발명에 따른 이미지 생성 처리 장치 및 방법은 학습되지 않은 생성기와 식별기를 생성적 적대 신경망(Generative Adversarial Networks: GANs) 모델에 기초하여 1차로 학습시키고, 1차 학습이 수행된 생성기를 통해 사전에 학습되어 있는 보조 식별기를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기와 식별기 및 상기 재학습이 수행된 보조 식별기를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있도록 한다.The image generation processing apparatus and method according to the present invention firstly learns an untrained generator and an identifier based on a Generative Adversarial Networks (GANs) model, and learns in advance through a generator in which the first learning is performed. After additionally retraining the existing auxiliary identifier, the generator and the identifier on which the primary learning has been performed, and the auxiliary identifier on which the retraining has been performed are additionally learned based on the GANs model. In contrast to the technique of creating an image through the method, it enables more sophisticated images to be created.

본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치는 복수의 실제(real) 이미지들이 저장되어 있는 이미지 저장부, 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 제1 학습 수행부, 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 제2 학습 수행부 및 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 제3 학습 수행부를 포함한다.The image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning with an auxiliary identifier according to an embodiment of the present invention includes an image storage unit in which a plurality of real images are stored, A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of first fake images are generated through a discriminator of the GANs. By performing machine learning to identify whether a plurality of real images are real or fake, a first learning performing unit that first learns the generator and the identifier, and a plurality of second units through the generator on which the first learning is performed. By additionally performing machine learning that generates fake images and identifies whether the plurality of second fake images and the plurality of real images are real or fake through an auxiliary identifier in which machine learning has been performed in advance, A second learning performing unit for relearning the auxiliary identifier and a generator on which the first learning is performed to generate a plurality of third fake images, the identifier on which the first learning is performed, and the auxiliary identifier on which the relearning is performed Through additionally performing machine learning to identify whether the plurality of third fake images and the plurality of real images are real or fake, the generator on which the first learning is performed and the first learning are performed And a third learning performing unit that finally learns an identifier and an auxiliary identifier on which the relearning has been performed.

또한, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 복수의 실제 이미지들이 저장되어 있는 이미지 저장부를 유지하는 단계, 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시키는 단계, 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시키는 단계 및 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시키는 단계를 포함한다.In addition, the image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention maintains an image storage unit in which a plurality of real images are stored. Step, a plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of actual images are generated through the identifier of the GANs. Firstly learning the generator and the identifier by performing machine learning to identify whether they are real or fake, generating a plurality of second fake images through the generator on which the first learning is performed, and in advance Relearning the auxiliary identifier by additionally performing machine learning to identify whether the plurality of second fake images and the plurality of real images are real or fake through an auxiliary identifier on which machine learning is performed And generating a plurality of third fake images through the generator on which the first learning has been performed, and the plurality of third fake images and the By additionally performing machine learning to identify whether a plurality of real images are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the auxiliary identifier on which the relearning is performed are finalized. It includes the step of learning.

본 발명에 따른 이미지 생성 처리 장치 및 방법은 학습되지 않은 생성기와 식별기를 생성적 적대 신경망(Generative Adversarial Networks: GANs) 모델에 기초하여 1차로 학습시키고, 1차 학습이 수행된 생성기를 통해 사전에 학습되어 있는 보조 식별기를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기와 식별기 및 상기 재학습이 수행된 보조 식별기를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있다.The image generation processing apparatus and method according to the present invention firstly learns an untrained generator and an identifier based on a Generative Adversarial Networks (GANs) model, and learns in advance through a generator in which the first learning is performed. After additionally retraining the existing auxiliary identifier, the generator and the identifier on which the primary learning has been performed, and the auxiliary identifier on which the retraining has been performed are additionally learned based on the GANs model. Through this, more sophisticated images can be created compared to the technique of creating images.

도 1은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치를 설명하기 위한 프레임워크를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 동작 방법을 도시한 순서도이다.FIG. 1 is a diagram illustrating a structure of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a framework for describing an image generation processing apparatus based on a generative adversarial neural network that enables generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating a method of operating an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. While describing each drawing, similar reference numerals have been used for similar components, and unless otherwise defined, all terms used in the present specification including technical or scientific terms refer to common knowledge in the technical field to which the present invention belongs. It has the same meaning as commonly understood by someone who has it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, in various embodiments of the present invention, each component, functional blocks or means may be composed of one or more sub-components, and the electrical, electronic, and mechanical functions performed by each component are electronic. A circuit, an integrated circuit, and an application specific integrated circuit (ASIC) may be implemented with various known devices or mechanical elements, and may be implemented separately or two or more may be integrated into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks of the attached block diagram and the steps in the flowchart are computer program instructions that are mounted on a processor or memory of equipment capable of processing data such as a general-purpose computer, a special-purpose computer, a portable notebook computer, and a network computer to perform specified functions. It can be interpreted as meaning. Since these computer program instructions can be stored in a memory provided in a computer device or in a memory readable by a computer, the functions described in the blocks in the block diagram or in the steps in the flowchart are produced as a product containing the instruction means to perform this. It could be. In addition, each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may be executed in a different order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or may be performed in reverse order, and in some cases, some blocks or steps may be omitted.

도 1은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 구조를 도시한 도면이다.FIG. 1 is a diagram illustrating a structure of an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention.

그리고, 도 2는 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치를 설명하기 위한 프레임워크를 도시한 도면이다.2 is a diagram illustrating a framework for explaining an image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention. .

도 1을 참조하면, 본 발명에 따른 이미지 생성 처리 장치(110)는 이미지 저장부(111), 제1 학습 수행부(112), 제2 학습 수행부(113) 및 제3 학습 수행부(114)를 포함한다.Referring to FIG. 1, the image generation processing apparatus 110 according to the present invention includes an image storage unit 111, a first learning execution unit 112, a second learning execution unit 113, and a third learning execution unit 114. ).

이미지 저장부(111)에는 복수의 실제(real) 이미지들이 저장되어 있다. 여기서, 복수의 실제 이미지들이란 이미지 생성 처리 장치(110)가 인물 이미지를 생성하는데 사용되는 장치라면, 실제 인물들을 촬영한 사진이 될 수 있다.The image storage unit 111 stores a plurality of real images. Here, the plurality of real images may be photographs of real people, if the image generation processing device 110 is a device used to generate a person image.

제1 학습 수행부(112)는 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기(generator)(211)를 통해 복수의 제1 모조(fake) 이미지들을 생성하고, 상기 GANs의 식별기(discriminator)(212)를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기(211)와 상기 식별기(212)를 1차로 학습시킨다.The first learning execution unit 112 generates a plurality of first fake images through a generator 211 of Generative Adversarial Networks (GANs), and a discriminator of the GANs. The generator 211 and the identifier 212 are primarily learned by performing machine learning to identify whether the plurality of first fake images and the plurality of real images are real or fake through (212). Let it.

이때, 본 발명의 일실시예에 따르면, 제1 학습 수행부(112)는 식별기 학습부(115) 및 생성기 학습부(116)를 포함할 수 있다.In this case, according to an embodiment of the present invention, the first learning performing unit 112 may include an identifier learning unit 115 and a generator learning unit 116.

식별기 학습부(115)는 상기 식별기(212)에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기(212)를 학습시킨다.The identifier learning unit 115 trains the identifier 212 to increase the accuracy of the first identification results for the plurality of first fake images and the plurality of real images performed by the identifier 212.

생성기 학습부(116)는 상기 식별기(212)에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기(211)에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기(211)를 학습시킨다.The generator learning unit 116 feeds back the first identification result for the plurality of first fake images performed by the identifier 212 to the generator 211 to reduce the accuracy of the first identification result. The generator 211 is trained.

이때, 본 발명의 일실시예에 따르면, 식별기 학습부(115)는 제1 가치 함수에 따른 함수 값이 최대가 되도록 상기 식별기(212)를 학습시킬 수 있고, 생성기 학습부(116)는 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기(211)를 학습시킬 수 있다.In this case, according to an embodiment of the present invention, the identifier learning unit 115 may learn the identifier 212 so that the function value according to the first value function is maximized, and the generator learning unit 116 The generator 211 may be trained so that the function value according to the 1 value function is minimized.

여기서, 상기 제1 가치 함수는 상기 식별기(212)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the first value function is the first identification designed based on the probability that the identifier 212 determines the plurality of real images as real and the probability that the plurality of first fake images are determined as not real It refers to a function representing the accuracy of the result.

관련해서, 식별기 학습부(115)와 생성기 학습부(116)는 하기의 수학식 2에 따른 상기 제1 가치 함수를 기초로 상기 식별기(212)와 상기 생성기(211)를 학습시킬 수 있다.In connection, the identifier learning unit 115 and the generator learning unit 116 may learn the identifier 212 and the generator 211 based on the first value function according to Equation 2 below.

상기 수학식 2에서 V(D₁, G)는 상기 제1 가치 함수에 따른 함수 값, D₁(x)는 식별기(212)가 복수의 실제 이미지들인 p_data(x)를 실제인 것으로 판단할 확률을 의미하고, D₁(G(z))는 식별기(212)가 복수의 제1 모조 이미지들인 p_z(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D₁(G(z))는 식별기(212)가 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In Equation 2, V(D ₁ , G) is a function value according to the first value function, and D ₁ (x) indicates that the identifier 212 determines that p _data (x), which is a plurality of real images, is real. It means a probability, and D ₁ (G(z)) means the probability that the identifier 212 will determine the plurality of first fake images p _z (z) as real, 1-D ₁ (G( z)) denotes a probability that the identifier 212 determines that the plurality of first fake images are not real.

식별기 학습부(115)는 상기 수학식 2로 나타낸 상기 제1 가치 함수에 따른 함수 값이 최대가 되도록 상기 식별기(212)를 학습시키고, 생성기 학습부(116)는 상기 수학식 2로 나타낸 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기(211)를 학습시킬 수 있다.The identifier learning unit 115 learns the identifier 212 so that the function value according to the first value function represented by Equation 2 is maximized, and the generator learning unit 116 learns the first value represented by Equation 2 The generator 211 may be trained so that the function value according to the 1 value function is minimized.

이를 통해, 식별기(212)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 되고, 생성기(211)는 이러한 식별기(212)를 속이기 위해, 점점 실제에 가까운 모조 이미지를 생성해낼 수 있게 된다.Through this, the identifier 212 can better identify whether the image is a fake or a real image, and the generator 211 can generate a fake image that is increasingly closer to the real in order to deceive the identifier 212.

제2 학습 수행부(113)는 제1 학습 수행부(112)를 통해 생성기(211)와 식별기(212)가 1차로 학습이 완료되면, 상기 1차 학습이 수행된 생성기(211)를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기(213)를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기(213)를 재학습시킨다.When the generator 211 and the identifier 212 are primarily trained through the first learning performing unit 112, the second learning performing unit 113 may perform a plurality of the first learning units through the generator 211 on which the first learning is performed. Machine learning that generates second fake images of and identifies whether the plurality of second fake images and the plurality of real images are real or fake through an auxiliary identifier 213 in which machine learning has been performed in advance By performing additionally, the auxiliary identifier 213 is retrained.

여기서, 상기 보조 식별기(213)는 이미지가 모조인지 실제인지를 어느 정도 정확하게 구분할 수 있을 만큼 사전 기계학습이 수행된 식별기가 사용되며, 제2 학습 수행부(113)는 1차 학습이 수행된 생성기(211)를 통해 복수의 제2 모조 이미지들을 생성하여 보조 식별기(213)에 인가함으로써, 보조 식별기(213)의 식별 능력이 보다 향상되도록 보조 식별기(213)를 재학습시킬 수 있다.Here, the auxiliary identifier 213 is an identifier in which pre-machine learning has been performed enough to accurately distinguish whether an image is a fake or a real image, and the second learning performing unit 113 is a generator in which the primary learning is performed. By generating a plurality of second fake images through 211 and applying them to the secondary identifier 213, the secondary identifier 213 may be retrained so that the identification ability of the secondary identifier 213 is further improved.

이때, 본 발명의 일실시예에 따르면, 제2 학습 수행부(113)는 상기 보조 식별기(213)에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기(213)를 재학습시킬 수 있다.In this case, according to an embodiment of the present invention, the second learning execution unit 113 performs a second identification result of the plurality of second fake images and the plurality of actual images performed by the auxiliary identifier 213 The secondary identifier 213 may be retrained to increase the accuracy of.

이때, 본 발명의 일실시예에 따르면, 제2 학습 수행부(113)는 제2 가치 함수에 따른 함수 값이 최대가 되도록 상기 보조 식별기(213)를 재학습시킬 수 있다.In this case, according to an embodiment of the present invention, the second learning performing unit 113 may retrain the auxiliary identifier 213 so that the function value according to the second value function is maximized.

여기서, 상기 제2 가치 함수는 상기 보조 식별기(213)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the second value function is designed based on a probability that the auxiliary identifier 213 determines the plurality of real images as real and a probability that the plurality of second counterfeit images are not real. It refers to a function representing the accuracy of the identification result.

관련해서, 제2 학습 수행부(113)는 하기의 수학식 3에 따른 상기 제2 가치 함수를 기초로 상기 보조 식별기(213)를 재학습시킬 수 있다.In connection, the second learning performing unit 113 may relearn the auxiliary identifier 213 based on the second value function according to Equation 3 below.

상기 수학식 3에서 V(D₂)는 상기 제2 가치 함수에 따른 함수 값, D₂(x)는 보조 식별기(213)가 복수의 실제 이미지들인 p_data(x)를 실제인 것으로 판단할 확률을 의미하고, D₂(G(z))는 보조 식별기(213)가 복수의 제2 모조 이미지들인 p_z(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D₂(G(z))는 보조 식별기(213)가 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In Equation 3, V(D ₂ ) is a function value according to the second value function, and D ₂ (x) is a probability that the auxiliary identifier 213 determines that p _data (x), which is a plurality of real images, is real Means, and D ₂ (G(z)) refers to the probability that the auxiliary identifier 213 determines that p _z (z), which is a plurality of second fake images, is real, 1-D ₂ (G( z)) means a probability that the auxiliary identifier 213 determines that the plurality of second fake images are not real.

제2 학습 수행부(113)는 상기 수학식 3으로 나타낸 상기 제2 가치 함수에 따른 함수 값이 최대가 되도록 상기 보조 식별기(213)를 학습시킬 수 있다.The second learning performing unit 113 may train the auxiliary identifier 213 so that the function value according to the second value function represented by Equation 3 is maximized.

이를 통해, 보조 식별기(213)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 된다.Through this, the auxiliary identifier 213 can better identify whether the image is a fake or a real image.

제3 학습 수행부(114)는 제2 학습 수행부(113)를 통해 보조 식별기(213)에 대한 재학습이 완료되면, 상기 1차 학습이 수행된 생성기(211)를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기(211)와 상기 1차 학습이 수행된 식별기(212) 및 상기 재학습이 수행된 보조 식별기(213)를 최종 학습시킨다.When the relearning for the auxiliary identifier 213 is completed through the second learning performing unit 113, the third learning performing unit 114 performs a plurality of third imitations through the generator 211 on which the first learning has been performed. Generate images, and whether the plurality of third fake images and the plurality of real images are real or fake through the identifier 212 in which the primary learning has been performed and the auxiliary identifier 213 in which the re-learning has been performed By additionally performing machine learning to identify the first learning, the generator 211 on which the primary learning is performed, the identifier 212 on which the primary learning has been performed, and the auxiliary identifier 213 on which the relearning is performed are finally learned. Let it.

이때, 본 발명의 일실시예에 따르면, 제3 학습 수행부(114)는 추가 식별기 학습부(117) 및 추가 생성기 학습부(118)를 포함할 수 있다.In this case, according to an embodiment of the present invention, the third learning performing unit 114 may include an additional identifier learning unit 117 and an additional generator learning unit 118.

추가 식별기 학습부(117)는 상기 1차 학습이 수행된 식별기(212)에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기(213)에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시킨다.The additional identifier learning unit 117 is the accuracy of the third identification result of the plurality of third fake images and the plurality of real images performed by the identifier 212 in which the first learning has been performed, and the relearning The first learning is performed so that the accuracy of the fourth identification result for the plurality of third fake images and the plurality of real images performed by the performed auxiliary identifier 213 is increased, and The auxiliary identifier 213 on which the relearning has been performed is additionally learned.

추가 생성기 학습부(118)는 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213) 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기(211)에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킨다.The additional generator learning unit 118 is the third identification result of the plurality of third fake images performed by each of the identifier 212 in which the primary learning has been performed and the auxiliary identifier 213 in which the re-learning has been performed. And a generator 211 in which the first learning is performed so that the accuracy of the third identification result and the fourth identification result is reduced by feeding back the fourth identification result to the generator 211 on which the first learning is performed. To learn.

이때, 본 발명의 일실시예에 따르면, 추가 식별기 학습부(117)는 제3 가치 함수에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시킬 수 있고, 추가 생성기 학습부(118)는 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.In this case, according to an embodiment of the present invention, the additional identifier learning unit 117 includes the identifier 212 in which the primary learning has been performed and the re-learning assistant so that the function value according to the third value function is maximized. The identifier 213 may be additionally trained, and the additional generator learning unit 118 may additionally train the generator 211 on which the first learning has been performed so that the function value according to the third value function is minimized. have.

여기서, 상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기(212)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기(213)가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수를 의미한다.Here, the third value function is a probability that the identifier 212 on which the first learning is performed will determine the plurality of real images as real and a probability that the plurality of third fake images are not real, and The third identification result designed based on the probability that the secondary identifier 213 on which the relearning has been performed will determine the plurality of real images as real and the probability of determining the plurality of third fake images as not real; and It refers to a function representing the accuracy of the fourth identification result.

이때, 본 발명의 일실시예에 따르면, 상기 제3 가치 함수는 상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기(213)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수일 수 있다.In this case, according to an embodiment of the present invention, when a function value according to the third value function is calculated in the third value function, the auxiliary identifier 213 in which the relearning is performed is It may be a function designed to reflect only a preset ratio of greater than 0 and less than 1 with a probability of determining that the sound is not real.

관련해서, 추가 식별기 학습부(117)와 추가 생성기 학습부(118)는 하기의 수학식 4에 따른 상기 제3 가치 함수를 기초로 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213) 및 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.In relation to the additional identifier learning unit 117 and the additional generator learning unit 118, the first learning is performed based on the third value function according to the following equation (4) and the re-learning is The performed auxiliary identifier 213 and the generator 211 on which the primary learning has been performed may be additionally trained.

상기 수학식 4에서 V(G, D₁, D₂)는 상기 제3 가치 함수에 따른 함수 값, D₁(x)는 1차 학습이 수행된 식별기(212)가 복수의 실제 이미지들인 p_data(x)를 실제인 것으로 판단할 확률을 의미하고, D₁(G(z))는 1차 학습이 수행된 식별기(212)가 복수의 제3 모조 이미지들인 p_z(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D₁(G(z))는 1차 학습이 수행된 식별기(212)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미하며, D₂(x)는 재학습이 수행된 보조 식별기(213)가 복수의 실제 이미지들인 p_data(x)를 실제인 것으로 판단할 확률을 의미하고, D₂(G(z))는 재학습이 수행된 보조 식별기(213)가 복수의 제3 모조 이미지들인 p_z(z)를 실제인 것으로 판단할 확률을 의미하는 것으로, 1-D₂(G(z))는 재학습이 수행된 보조 식별기(213)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 의미한다.In Equation 4, V(G, D ₁ , D ₂ ) denotes a function value according to the third value function, and D ₁ (x) denotes p _{data in} which the first-order discriminator 212 is a plurality of real images. It means the probability of determining that (x) is real, and D ₁ (G(z)) means that the discriminator 212 on which the primary learning is performed is a plurality of third pseudo images, p _z (z), as real. It means the probability of determining, 1-D ₁ (G(z)) means the probability that the identifier 212 on which the primary learning has been performed will determine the plurality of third fake images as not real, D ₂ (x) denotes the probability that the secondary identifier 213 on which relearning has been performed will determine that p _data (x), which is a plurality of real images, is real, and D ₂ (G(z)) denotes relearning. This refers to the probability that the secondary identifier 213 determines that the plurality of third fake images p _z (z) is real, and 1-D ₂ (G(z)) refers to the secondary identifier ( 213) refers to the probability of determining that the plurality of third fake images are not real.

그리고,

는 재학습이 수행된 보조 식별기(213)가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률인 1-D₂(G(z))가 상기 제3 가치 함수에 반영되는 비율을 의미하는 것으로 0 초과 1 미만의 값으로 설정될 수 있다.And,

Denotes a ratio at which 1-D ₂ (G(z)), which is a probability that the auxiliary identifier 213 on which relearning has been performed, determines that the plurality of third fake images are not real, is reflected in the third value function It can be set to a value greater than 0 and less than 1.

추가 식별기 학습부(117)는 상기 수학식 4로 나타낸 상기 제3 가치 함수에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)를 추가로 학습시키고, 추가 생성기 학습부(118)는 상기 수학식 4로 나타낸 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기(211)를 추가로 학습시킬 수 있다.The additional identifier learning unit 117 includes an identifier 212 in which the primary learning is performed so that a function value according to the third value function represented by Equation 4 is maximized, and an auxiliary identifier 213 in which the re-learning is performed. Is additionally learned, and the additional generator learning unit 118 may additionally learn the generator 211 on which the primary learning has been performed so that the function value according to the third value function represented by Equation 4 is minimum. have.

이를 통해, 상기 1차 학습이 수행된 식별기(212)와 상기 재학습이 수행된 보조 식별기(213)는 이미지가 모조인지 실제인지 더 잘 식별할 수 있게 되고, 상기 1차 학습이 수행된 생성기(211)는 이러한 식별기(212, 213)들을 속이기 위해, 점점 실제에 가까운 모조 이미지를 생성해낼 수 있게 된다.Through this, the identifier 212 in which the primary learning has been performed and the auxiliary identifier 213 in which the re-learning has been performed can better identify whether the image is fake or real, and the generator in which the primary learning has been performed ( 211) is able to generate an increasingly realistic fake image in order to deceive these identifiers 212 and 213.

결국, 본 발명에 따른 이미지 생성 처리 장치(110)는 학습되지 않은 생성기(211)와 식별기(212)를 GANs 모델에 기초하여 1차로 학습을 시키고, 1차 학습이 수행된 생성기(211)를 통해 사전에 학습되어 있는 보조 식별기(213)를 추가로 재학습시킨 후 상기 1차 학습이 수행된 생성기(211)와 식별기(212) 및 재학습이 수행된 보조 식별기(213)를 GANs 모델에 기초하여 추가 학습시킴으로써, 결국에는 기존의 생성기와 식별기 간의 학습을 통해서 이미지를 생성하는 기법과 대비하여 더욱 정교한 이미지를 생성해낼 수 있다.Eventually, the image generation processing apparatus 110 according to the present invention firstly learns the untrained generator 211 and the identifier 212 based on the GANs model, and through the generator 211 where the first learning is performed. After additionally retraining the pre-learned auxiliary identifier 213, the generator 211, the identifier 212, and the retrained auxiliary identifier 213 are based on the GANs model. By further learning, in the end, it is possible to generate more sophisticated images compared to the technique of generating images through learning between the existing generator and the identifier.

도 3은 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치의 동작 방법을 도시한 순서도이다.FIG. 3 is a flowchart illustrating a method of operating an image generation processing apparatus based on a generative adversarial neural network that enables image generation through machine learning to which an auxiliary identifier is added according to an embodiment of the present invention.

단계(S310)에서는 복수의 실제 이미지들이 저장되어 있는 이미지 저장부를 유지한다.In step S310, an image storage unit in which a plurality of actual images are stored is maintained.

단계(S320)에서는 생성적 적대 신경망(Generative Adversarial Networks: GANs)의 생성기를 통해 복수의 제1 모조 이미지들을 생성하고, 상기 GANs의 식별기를 통해 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 수행함으로써, 상기 생성기와 상기 식별기를 1차로 학습시킨다.In step S320, a plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of real images are generated through an identifier of the GANs. The generator and the identifier are first learned by performing machine learning to identify whether they are real or fake.

단계(S330)에서는 상기 1차 학습이 수행된 생성기를 통해 복수의 제2 모조 이미지들을 생성하고, 사전에 기계학습이 수행되어 있는 보조 식별기를 통해 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 보조 식별기를 재학습시킨다.In step S330, a plurality of second fake images are generated through the generator on which the primary learning has been performed, and the plurality of second fake images and the plurality of actual images are generated through an auxiliary identifier in which machine learning has been performed in advance. The auxiliary identifier is retrained by additionally performing machine learning to identify whether the images are real or fake.

단계(S340)에서는 상기 1차 학습이 수행된 생성기를 통해 복수의 제3 모조 이미지들을 생성하고, 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 통해 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들이 실제인지 모조인지 여부를 식별하도록 하는 기계학습을 추가로 수행함으로써, 상기 1차 학습이 수행된 생성기와 상기 1차 학습이 수행된 식별기 및 상기 재학습이 수행된 보조 식별기를 최종 학습시킨다.In step S340, a plurality of third pseudo-images are generated through the generator on which the primary learning has been performed, and the plurality of third pseudo-images through the identification on which the primary learning has been performed and the secondary identification on which the relearning has been performed. By additionally performing machine learning to identify whether images and the plurality of real images are real or fake, the generator on which the primary learning is performed, the identifier on which the primary learning is performed, and the re-learning are performed. Final learning of the secondary identifier.

이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제1 식별 결과의 정확도가 증가하도록 상기 식별기를 학습시키는 단계 및 상기 식별기에서 수행되는 상기 복수의 제1 모조 이미지들에 대한 상기 제1 식별 결과를 상기 생성기에 피드백하여 상기 제1 식별 결과의 정확도가 감소하도록 상기 생성기를 학습시키는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S320, the identifier is configured to increase the accuracy of the first identification result for the plurality of first fake images and the plurality of real images performed by the identifier. Learning and feeding back the first identification result for the plurality of first fake images performed by the identifier to the generator, and training the generator to reduce the accuracy of the first identification result. have.

이때, 본 발명의 일실시예에 따르면, 상기 식별기를 학습시키는 단계는 제1 가치 함수(상기 제1 가치 함수는 상기 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제1 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제1 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 식별기를 학습시킬 수 있고, 상기 생성기를 학습시키는 단계는 상기 제1 가치 함수에 따른 함수 값이 최소가 되도록 상기 생성기를 학습시킬 수 있다.At this time, according to an embodiment of the present invention, the learning of the identifier comprises a first value function (the first value function is a probability that the identifier determines the plurality of real images as real and the plurality of first values). It is a function representing the accuracy of the first identification result designed based on the probability of determining that the fake images are not real), the identifier can be trained to maximize the function value, and the step of learning the generator The generator may be trained so that a function value according to the first value function is minimized.

또한, 본 발명의 일실시예에 따르면, 단계(S330)에서는 상기 보조 식별기에서 수행되는 상기 복수의 제2 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제2 식별 결과의 정확도가 증가하도록 상기 보조 식별기를 재학습시킬 수 있다.In addition, according to an embodiment of the present invention, in step S330, the auxiliary identification is performed to increase the accuracy of the second identification result for the plurality of second fake images and the plurality of real images. The discriminator can be retrained.

이때, 본 발명의 일실시예에 따르면, 단계(S330)에서는 제2 가치 함수(상기 제2 가치 함수는 상기 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제2 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제2 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 보조 식별기를 재학습시킬 수 있다.At this time, according to an embodiment of the present invention, in step S330, the second value function (the second value function is a probability that the auxiliary identifier determines that the plurality of real images are real and the plurality of second imitations) The auxiliary identifier may be retrained so that the function value according to the function representing the accuracy of the second identification result designed based on the probability of determining that images are not real) is maximized.

또한, 본 발명의 일실시예에 따르면, 단계(S340)에서는 상기 1차 학습이 수행된 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제3 식별 결과의 정확도, 및 상기 재학습이 수행된 보조 식별기에서 수행되는 상기 복수의 제3 모조 이미지들과 상기 복수의 실제 이미지들에 대한 제4 식별 결과의 정확도가 모두 증가하도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계 및 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기 각각에서 수행되는 상기 복수의 제3 모조 이미지들에 대한 상기 제3 식별 결과와 상기 제4 식별 결과를 상기 1차 학습이 수행된 생성기에 피드백하여 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도가 감소하도록 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계를 포함할 수 있다.In addition, according to an embodiment of the present invention, in step S340, the accuracy of the third identification result for the plurality of third fake images and the plurality of real images performed by the identifier on which the first learning has been performed. And the identification of the first learning performed so that the accuracy of the fourth identification results for the plurality of third fake images and the plurality of real images performed by the secondary identification device on which the relearning has been performed is increased. The step of additionally learning an auxiliary identifier on which relearning has been performed, and the third identification result of the plurality of third fake images performed by each of the identification on which the primary learning has been performed and the auxiliary identification on which the relearning has been performed And feeding the fourth identification result back to the generator on which the first learning was performed, and further learning the generator on which the first learning was performed so that the accuracy of the third identification result and the fourth identification result decreased. can do.

이때, 본 발명의 일실시예에 따르면, 상기 재학습이 수행된 보조 식별기를 추가로 학습시키는 단계는 제3 가치 함수(상기 제3 가치 함수는 상기 1차 학습이 수행된 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률, 및 상기 재학습이 수행된 보조 식별기가 상기 복수의 실제 이미지들을 실제인 것으로 판단할 확률과 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률을 기반으로 설계된 상기 제3 식별 결과와 상기 제4 식별 결과의 정확도를 표상하는 함수임)에 따른 함수 값이 최대가 되도록 상기 1차 학습이 수행된 식별기와 상기 재학습이 수행된 보조 식별기를 추가로 학습시킬 수 있고, 상기 1차 학습이 수행된 생성기를 추가로 학습시키는 단계는 상기 제3 가치 함수에 따른 함수 값이 최소가 되도록 상기 1차 학습이 수행된 생성기를 추가로 학습시킬 수 있다.In this case, according to an embodiment of the present invention, the step of additionally learning the secondary identifier on which the relearning has been performed is a third value function (the third value function is the identifier on which the primary learning is performed is The probability of determining the images as real, the probability of determining the plurality of third counterfeit images as not real, and the probability that the secondary identifier on which the relearning has been performed determines the plurality of real images as real and the plurality of The first learning is performed so that the function value according to the function representing the accuracy of the third identification result and the fourth identification result designed based on the probability of determining that the third counterfeit images of are not real. It is possible to additionally learn the identified identifier and the secondary identifier on which the relearning has been performed, and the step of additionally learning the generator on which the primary learning has been performed is performed so that the function value according to the third value function is minimized. The generator on which the training has been performed can be additionally trained.

이때, 본 발명의 일실시예에 따르면, 상기 제3 가치 함수는 상기 제3 가치 함수에 따른 함수 값이 연산될 때, 상기 재학습이 수행된 보조 식별기가 상기 복수의 제3 모조 이미지들을 실제가 아닌 것으로 판단할 확률이 0 초과 1 미만의 기설정된 비율만큼만 반영되도록 설계된 함수일 수 있다.In this case, according to an embodiment of the present invention, when a function value according to the third value function is calculated in the third value function, the auxiliary identifier on which the relearning is performed actually converts the plurality of third fake images. It may be a function designed to reflect only a preset ratio of more than 0 and less than 1 with the probability of determining that it is not.

이상, 도 3을 참조하여 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 도 1과 도 2를 이용하여 설명한 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, a method of generating an image based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention has been described with reference to FIG. 3. Here, the image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention includes an auxiliary identifier described using FIGS. 1 and 2. Since it may correspond to the configuration of the operation of the image generation processing apparatus 110 based on the generative adversarial neural network that enables the generation of an image through machine learning, a more detailed description thereof will be omitted.

본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.An image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added according to an embodiment of the present invention is a computer program stored in a storage medium for execution through a combination with a computer. It can be implemented as

또한, 본 발명의 일실시예에 따른 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. In addition, the image generation processing method based on a generative adversarial neural network that enables the generation of images through machine learning with an auxiliary identifier added according to an embodiment of the present invention is in the form of program instructions that can be executed through various computer means. It can be implemented and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , If a person of ordinary skill in the field to which the present invention belongs, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is limited to the described embodiments and should not be defined, and all things that are equivalent or equivalent to the claims as well as the claims to be described later fall within the scope of the spirit of the present invention. .

110: 보조 식별기가 추가된 기계학습을 통해 이미지의 생성을 가능하게 하는 생성적 적대 신경망 기반의 이미지 생성 처리 장치
111: 이미지 저장부 112: 제1 학습 수행부
113: 제2 학습 수행부 114: 제3 학습 수행부
115: 식별기 학습부 116: 생성기 학습부
117: 추가 식별기 학습부 118: 추가 생성기 학습부110: An image generation processing device based on a generative adversarial neural network that enables image generation through machine learning with an auxiliary identifier added
111: image storage unit 112: first learning execution unit
113: second learning execution unit 114: third learning execution unit
115: identifier learning unit 116: generator learning unit
117: additional identifier learning unit 118: additional generator learning unit

Claims

An image storage unit in which a plurality of real images are stored;
A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of fake images are generated through a discriminator of the GANs. A first learning execution unit that firstly learns the generator and the identifier by performing machine learning to identify whether a plurality of real images are real or fake;
A plurality of second fake images are generated through the generator in which the primary learning is performed, and the plurality of second fake images and the plurality of real images are simulated through an auxiliary identifier in which machine learning has been performed in advance. A second learning performing unit relearning the auxiliary identifier by additionally performing machine learning to identify whether or not it is recognized; And
A plurality of third fake images are generated through the generator on which the first learning has been performed, and the plurality of third fake images and the plurality of the plurality of fake images are generated through the identification on which the first learning has been performed and the secondary identification on which the relearn is performed. By additionally performing machine learning to identify whether the actual images of are real or fake, the generator on which the primary learning was performed, the identifier on which the primary learning was performed, and the auxiliary identification on which the relearning was performed are finally learned. Let the third learning execution unit
An image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning to which an auxiliary identifier is added, including.

The method of claim 1,
The first learning execution unit
An identifier learning unit for learning the identifier to increase accuracy of a first identification result for the plurality of first fake images and the plurality of real images performed by the identifier; And
Generator learning unit for learning the generator to reduce the accuracy of the first identification result by feeding back the first identification result for the plurality of first fake images performed by the identifier to the generator
An image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning to which an auxiliary identifier is added, including.

The method of claim 2,
The discriminator learning unit
First value function-The first value function is the first identification designed based on a probability that the identifier determines the plurality of real images as real and a probability that the plurality of first fake images are determined as not real It is a function that represents the accuracy of the result-and trains the identifier so that the value of the function is maximized,
The generator learning unit
An image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier for training the generator is added so that the function value according to the first value function is minimized.

The method of claim 1,
The second learning performing unit
In order to increase the accuracy of the second identification results for the plurality of second fake images and the plurality of real images performed by the auxiliary identification unit, an auxiliary identification unit for retraining the auxiliary identification unit is added. An image generation processing device based on a generative adversarial neural network that enables generation.

The method of claim 4,
The second learning performing unit
Second value function-The second value function is designed based on a probability that the auxiliary identifier determines the plurality of real images as real and a probability that the plurality of second counterfeit images are determined as not real. This is a function that represents the accuracy of the identification result-image generation processing based on a generative adversarial neural network that enables the generation of images through machine learning with the addition of an auxiliary identifier that retrains the auxiliary identifier so that the function value according to is maximum Device.

The method of claim 1,
The third learning performing unit
The accuracy of the third identification result of the plurality of third fake images and the plurality of real images performed by the identifier in which the primary learning has been performed, and the plurality of the plurality of counterfeit images performed by the secondary identifier in which the re-learning has been performed. An additional identifier learning unit that additionally learns an identifier on which the primary learning has been performed and an auxiliary identifier on which the relearning has been performed so that the accuracy of the fourth identification result for the third fake images and the plurality of actual images is increased. ; And
The first learning is performed based on the third identification result and the fourth identification result for the plurality of third fake images performed by each of the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed. An additional generator learning unit that additionally learns a generator on which the first learning has been performed so that the accuracy of the third identification result and the fourth identification result is reduced by feeding back to the generator
An image generation processing apparatus based on a generative adversarial neural network that enables the generation of an image through machine learning to which an auxiliary identifier is added, including.

The method of claim 6,
The additional identifier learning unit
Third value function-The third value function is a probability that the identifier on which the primary learning is performed will determine that the plurality of real images are real and the probability that the plurality of third fake images are not real, and The third identification result and the fourth, designed based on a probability that the auxiliary identifier on which the relearning has been performed will determine the plurality of real images as real and the probability that the plurality of third fake images are not real. It is a function representing the accuracy of the identification result-and additionally learns the identifier in which the primary learning is performed and the secondary identifier in which the re-learning is performed so that the function value according to-is maximum,
The additional generator learning unit
Generating adversarial neural network-based image generation that enables image generation through machine learning in which an auxiliary identifier for additionally learning the generator on which the primary learning has been performed so that the function value according to the third value function is minimized Processing device.

The method of claim 7,
The third value function is
When the function value according to the third value function is calculated, the probability that the auxiliary identifier on which the relearning has been performed determines that the plurality of third fake images are not real is reflected only by a preset ratio of greater than 0 and less than 1 An image generation processing device based on a generative adversarial neural network that enables the creation of images through machine learning with an auxiliary identifier, a designed function.

Maintaining an image storage unit in which a plurality of real images are stored;
A plurality of first fake images are generated through a generator of Generative Adversarial Networks (GANs), and the plurality of first fake images and the plurality of fake images are generated through a discriminator of the GANs. Firstly learning the generator and the identifier by performing machine learning to identify whether a plurality of real images are real or fake;
A plurality of second fake images are generated through the generator in which the primary learning is performed, and the plurality of second fake images and the plurality of real images are simulated through an auxiliary identifier in which machine learning has been performed in advance. Relearning the auxiliary identifier by additionally performing machine learning to identify whether or not it is recognized; And
A plurality of third fake images are generated through the generator on which the first learning has been performed, and the plurality of third fake images and the plurality of the plurality of fake images are generated through the identification on which the first learning has been performed and the secondary identification on which the relearn is performed. By additionally performing machine learning to identify whether the actual images of are real or fake, the generator on which the primary learning was performed, the identifier on which the primary learning was performed, and the auxiliary identification on which the relearning was performed are finally learned. Step
An image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added including a.

The method of claim 9,
Firstly learning the generator and the identifier
Training the identifier to increase the accuracy of a first identification result for the plurality of first fake images and the plurality of real images performed by the identifier; And
Training the generator to reduce the accuracy of the first identification result by feeding back the first identification result for the plurality of first fake images performed by the identifier to the generator
An image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added including a.

The method of claim 10,
The step of learning the identifier
First value function-The first value function is the first identification designed based on a probability that the identifier determines the plurality of real images as real and a probability that the plurality of first fake images are determined as not real It is a function that represents the accuracy of the result-and trains the identifier so that the value of the function is maximized,
The step of training the generator
An image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier for learning the generator is added so that the function value according to the first value function is minimized.

The method of claim 9,
Relearning the secondary identifier
In order to increase the accuracy of the second identification results for the plurality of second fake images and the plurality of real images performed by the auxiliary identification unit, an auxiliary identification unit for retraining the auxiliary identification unit is added. An image generation processing method based on a generative adversarial neural network that enables generation.

The method of claim 12,
Relearning the secondary identifier
Second value function-The second value function is designed based on a probability that the auxiliary identifier determines the plurality of real images as real and a probability that the plurality of second counterfeit images are determined as not real. This is a function that represents the accuracy of the identification result-image generation processing based on a generative adversarial neural network that enables the generation of images through machine learning with the addition of an auxiliary identifier that retrains the auxiliary identifier so that the function value according to is maximum Way.

The method of claim 9,
The final learning step
The accuracy of the third identification result of the plurality of third fake images and the plurality of real images performed by the identifier in which the primary learning has been performed, and the plurality of the plurality of counterfeit images performed by the secondary identifier in which the re-learning has been performed. Additionally learning an identifier in which the primary learning has been performed and an auxiliary identifier in which the re-learning has been performed so that the accuracy of the fourth identification result for the third fake images and the plurality of actual images is increased; And
The first learning is performed based on the third identification result and the fourth identification result for the plurality of third fake images performed by each of the identifier on which the primary learning has been performed and the auxiliary identifier on which the re-learning has been performed. Further learning a generator on which the first learning has been performed so that the accuracy of the third identification result and the fourth identification result decrease by feeding back to a generator
An image generation processing method based on a generative adversarial neural network that enables the generation of an image through machine learning in which an auxiliary identifier is added including a.

The method of claim 14,
The step of additionally learning the secondary identifier on which the relearning has been performed
Third value function-The third value function is a probability that the identifier on which the primary learning is performed will determine that the plurality of real images are real and the probability that the plurality of third fake images are not real, and The third identification result and the fourth, designed based on a probability that the auxiliary identifier on which the relearning has been performed will determine the plurality of real images as real and the probability that the plurality of third fake images are not real. It is a function representing the accuracy of the identification result-and additionally learns the identifier in which the primary learning is performed and the secondary identifier in which the re-learning is performed so that the function value according to-is maximum,
The step of additionally learning the generator on which the primary learning has been performed
Generating adversarial neural network-based image generation that enables image generation through machine learning in which an auxiliary identifier for additionally learning the generator on which the primary learning has been performed so that the function value according to the third value function is minimized Processing method.

The method of claim 15,
The third value function is
When the function value according to the third value function is calculated, the probability that the auxiliary identifier on which the relearning has been performed determines that the plurality of third fake images are not real is reflected only by a preset ratio of greater than 0 and less than 1 An image generation processing method based on a generative adversarial neural network that enables the creation of images through machine learning with an auxiliary identifier, a designed function.

A computer-readable recording medium recording a computer program for executing the method of any one of claims 9 to 16 through combination with a computer.

A computer program stored in a storage medium for executing the method of any one of claims 9 to 16 through combination with a computer.