KR20230105814A - Apparatus and method for generating images using generative adversarial network and quality filtering - Google Patents

Apparatus and method for generating images using generative adversarial network and quality filtering Download PDF

Info

Publication number
KR20230105814A
KR20230105814A KR1020220001287A KR20220001287A KR20230105814A KR 20230105814 A KR20230105814 A KR 20230105814A KR 1020220001287 A KR1020220001287 A KR 1020220001287A KR 20220001287 A KR20220001287 A KR 20220001287A KR 20230105814 A KR20230105814 A KR 20230105814A
Authority
KR
South Korea
Prior art keywords
image
camouflage
data set
training data
images
Prior art date
Application number
KR1020220001287A
Other languages
Korean (ko)
Other versions
KR102704657B1 (en
Inventor
한동일
모빈 아마드
무하마드 압둘라
최다빈
이아현
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020220001287A priority Critical patent/KR102704657B1/en
Publication of KR20230105814A publication Critical patent/KR20230105814A/en
Application granted granted Critical
Publication of KR102704657B1 publication Critical patent/KR102704657B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06T5/002
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

One embodiment of the present invention provides a method for generating images by using an image generating device. The method comprises the steps in which: the image generating device generates a camouflage image based on an object image by using a first artificial intelligence model trained to generate the camouflage image corresponding to an input image; the image generating device determines whether the camouflage image represents a preset object included in a training data set, by using a second artificial intelligence model trained to determine whether the input image represents an object included in the training data set including the object image; and when it is determined that the camouflage image represents the preset object included in the training data set, the camouflage image is added to the training data set to create a new training data set, and based on the new training data set, the second artificial intelligence model is trained. Therefore, the method can reduce the time, cost, and labor required to filter out low-quality fake images.

Description

생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING IMAGES USING GENERATIVE ADVERSARIAL NETWORK AND QUALITY FILTERING}Apparatus and method for generating images using generative adversarial networks and image filtering

본 발명은 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치 및 방법에 관한 것으로, 보다 상세하게는, 생성적 적대 신경망을 통해 생성된 모조 이미지들에 대해 이미지 필터링을 수행하여 고품질의 모조 이미지를 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating images using a generative adversarial neural network and image filtering, and more particularly, to generating high-quality simulated images by performing image filtering on simulated images generated through a generative adversarial neural network. It relates to an apparatus and method for doing.

딥러닝 네트워크를 학습시켜 성능을 높이기 위해서는 학습에 사용되는 데이터 수집 절차가 중요하다. 데이터 수집 절차에서 충분한 수의 이미지가 필요하지만 상황에 따라 충분한 양의 데이터 세트를 확보하는 것에 어려움이 있다. 또한, 데이터 전처리 과정에서 해당 분야의 전문가 수의 부족 등 다양한 원인으로 인해 수집된 데이터를 처리하는데 비효율적인 시간과 비용이 소모될 수 있다. 이는 곧 데이터 세트 부족 및 클래스 불균형 문제로 이어지고, 결국 과적합이 발생하여 딥러닝 네트워크의 성능이 떨어질 수 있다. In order to improve performance by training a deep learning network, the data collection procedure used for training is important. Although a sufficient number of images are required in the data collection procedure, it is difficult to secure a sufficient amount of data set depending on the situation. In addition, inefficient time and cost may be consumed in processing the collected data due to various reasons such as a lack of experts in the field in the data pre-processing process. This soon leads to problems of insufficient data set and class imbalance, and eventually overfitting may occur, resulting in poor performance of deep learning networks.

데이터 세트 부족 및 클래스 불균형 문제를 해결하기 위한 방법으로 다양한 방법이 사용되고 있다. 종래의 데이터 확대 방법은 이미지 확대로서 회전, 뒤집기, 색상 변경 등 대부분 기하학적인 변환 기능만 반복하는 방식을 사용하기 때문에 이미지의 수를 늘리는 데 한계가 있다. 이에 따라, 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 원본 이미지에 대한 모조 이미지를 인위적으로 생성하여 데이터 세트를 보충하는 방법이 제안되었다. Various methods are being used as a way to solve the problem of insufficient data set and class imbalance. Conventional data enlargement methods have limitations in increasing the number of images because most of them use a method of repeating only geometric transformation functions such as rotation, flipping, and color change as image enlargement. Accordingly, a method of supplementing a data set by artificially generating an imitation image for an original image using a Generative Adversarial Network (GAN) has been proposed.

그러나, GAN을 통해 생성된 모조 이미지들을 포함하는 데이터 세트에는 저품질의 이미지가 다수 포함되어 있으며, 이러한 데이터 세트로 모델을 학습시킬 경우 성능이 저하될 수 있다. 따라서, 저품질의 모조 이미지를 필터링할 필요가 있었다. 종래의 경우, 사람이 수동으로 모조 이미지들에 대해 각각 이미지 필터링을 수행하였으나, 이 경우, 품질 기준에 대한 객관성이 문제될 수 있고, 시간과 노동력의 소요의 측면에서 매우 비효율적인 문제점을 갖는다. However, a data set including fake images generated through GAN includes many low-quality images, and performance may deteriorate when a model is trained with such a data set. Thus, there was a need to filter low-quality fake images. In the conventional case, a person manually performs image filtering on each of the fake images, but in this case, objectivity for quality standards may be a problem, and it is very inefficient in terms of time and labor requirements.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 생성적 적대 신경망을 통해 생성된 모조 이미지들에 대해 이미지 필터링을 수행하여 고품질의 모조 이미지를 생성하는 장치 및 방법을 제공하는 것을 일 기술적 과제로 한다. An object of the present invention is to provide an apparatus and method for generating high quality fake images by performing image filtering on fake images generated through a generative adversarial neural network.

본 발명이 이루고자 하는 기술적 과제들은 상기한 기술적 과제로 제한되지 않으며, 이하의 설명으로부터 본 발명의 또 다른 기술적 과제들이 도출될 수 있다.The technical problems to be achieved by the present invention are not limited to the above technical problems, and other technical problems of the present invention can be derived from the following description.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 실시예는, 이미지 생성 장치를 이용하여 이미지를 생성하는 방법을 제공한다. 본 방법은, 상기 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지를 기초로 위장 이미지를 생성하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함한다. As a technical means for solving the above technical problem, an embodiment according to an aspect of the present invention provides a method of generating an image using an image generating device. The method includes generating, by the image generating device, a camouflage image based on an image of an object by using a first artificial intelligence model learned to generate a camouflaged image corresponding to an input image; , The camouflage image is a preset object included in the training data set, by using a second artificial intelligence model trained to determine whether the input image represents an object included in the training data set including the object image. determining whether the camouflage image represents a preset object included in the training data set, adding the camouflage image to the training data set to create a new training data set, and the new learning data set and training the second artificial intelligence model based on the data set.

또한, 본 발명의 다른 측면에 따른 실시예는, 인공지능 모델을 이용하여 이미지를 생성하는 장치를 제공한다. 본 장치는, 학습에 사용되는 데이터와 이미지 생성 프로그램을 저장하는 메모리와 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 이미지 생성 프로그램을 실행하여, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성하고, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하고, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 것을 수행하도록 구성된다. In addition, an embodiment according to another aspect of the present invention provides an apparatus for generating an image using an artificial intelligence model. The apparatus includes a memory for storing data used for learning and an image generating program, and a processor for executing the program stored in the memory. The processor executes the image generation program to generate a camouflage image based on an object image using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image, and the input image is the object It is determined whether the stomach image represents a preset object included in the training data set using a second artificial intelligence model trained to determine whether the camouflage image represents an object included in a training data set including an image, and the When it is determined that the camouflage image represents a preset object included in the training data set, the camouflage image is added to the training data set to generate a new training data set, and the second artificial intelligence model based on the new training data set. It is configured to perform learning.

본 발명에 따르면, 생성적 적대 신경망을 이용하여 원본 이미지에 대한 모조 이미지들을 인위적으로 생성할 수 있고, 모조 이미지들을 대상으로 이미지 필터링을 자동으로 수행하여 저품질의 모조 이미지를 필터링하는데 소요되는 시간, 비용 및 노동력을 감소시킬 수 있다. According to the present invention, it is possible to artificially generate fake images for an original image using a generative adversarial neural network, and automatically perform image filtering on the fake images to filter low-quality fake images. and reduce labor.

또한, 본 발명에 따르면, 적은 수의 원본 이미지로 고품질의 모조 이미지들을 포함한 학습 데이터 세트를 생성하여, 딥러닝을 이용한 모델 학습에서 발생할 수 있는 데이터 세트 부족 및 클래스 불균형 문제를 해결할 수 있다. In addition, according to the present invention, it is possible to solve problems of insufficient data set and class imbalance that may occur in model learning using deep learning by generating a training data set including high-quality imitation images with a small number of original images.

도 1은 본 발명의 일 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 2 내지 도 5는 도 1에 도시된 이미지 생성 장치를 이용하여 이미지를 생성하는 과정들을 설명하기 위해 도시한 도면들이다.
도 6은 본 발명의 다른 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 방법의 순서를 도시한 흐름도이다.
도 7 및 도 8은 도 6에 도시된 이미지 생성 방법의 일부 단계에 대한 세부 단계들을 도시한 도면들이다.
도 9는 본 발명의 실시예에 적용되는 이미지 필터링 과정을 보다 상세하게 설명하기 위해 도시한 도면이다.
1 is a block diagram showing the configuration of an image generating apparatus using a generative adversarial neural network and image filtering according to an embodiment of the present invention.
2 to 5 are diagrams for explaining processes of generating an image using the image generating apparatus shown in FIG. 1 .
6 is a flowchart illustrating a sequence of an image generation method using a generative adversarial neural network and image filtering according to another embodiment of the present invention.
7 and 8 are diagrams illustrating detailed steps for some steps of the image generating method shown in FIG. 6 .
9 is a diagram for explaining in detail an image filtering process applied to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미로 해석되어야 한다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 추가적으로 갖는 것으로 해석되어야 하며, 별도로 정의되지 않는 한 매우 이상적이거나 제한적인 의미로 해석되지 않는다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the present invention may be implemented in many different forms, and is not limited to the embodiments described herein. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the accompanying drawings. All terms including technical terms and scientific terms used herein should be interpreted as meanings commonly understood by those of ordinary skill in the art to which the present invention belongs. The terms defined in the dictionary should be interpreted as having additional meanings corresponding to the related technical literature and the currently disclosed content, and are not interpreted in a very ideal or limiting sense unless otherwise defined.

도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the size, shape, and shape of each component shown in the drawings may be variously modified. Same/similar reference numerals are assigned to the same/similar parts throughout the specification.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 “부” 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다. The suffixes "module" and "unit" for the components used in the following description are given or used interchangeably in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description is omitted.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다. Throughout the specification, when a part is said to be “connected (connected, contacted, or combined)” with another part, this is not only the case where it is “directly connected (connected, contacted, or coupled)”, but also has other members in the middle. It also includes the case of being "indirectly connected (connected, contacted, or coupled)" between them. In addition, when a part "includes (provides or provides)" a certain component, it does not exclude other components, but "includes (provides or provides)" other components unless otherwise specified. means you can

본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성 요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다. 본 명세서에서 사용되는 단수 표현의 형태들은 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 형태들도 포함하는 것으로 해석되어야 한다. Terms indicating ordinal numbers such as first and second used in this specification are used only for the purpose of distinguishing one element from another, and do not limit the order or relationship of elements. For example, a first element of the present invention may be termed a second element, and similarly, the second element may also be termed a first element. Singular forms used herein should be construed to include plural forms as well, unless the meaning is clearly indicated to the contrary.

도 1은 본 발명의 일 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치(이하, “이미지 생성 장치(100)”라 함)의 구성을 도시한 블록도이고, 도 2 내지 도 5는 이미지 생성 장치(100)를 이용하여 이미지를 생성하는 과정들을 설명하기 위해 도시한 도면들이다. 이하에서, 도 1 내지 도 5를 참조하여, 이미지 생성 장치(100)에 대해 상세하게 설명하도록 한다. 1 is a block diagram showing the configuration of an image generating device (hereinafter referred to as “image generating device 100”) using a generative adversarial neural network and image filtering according to an embodiment of the present invention, and FIGS. 5 is diagrams for explaining processes of generating an image using the image generating device 100 . Hereinafter, with reference to FIGS. 1 to 5 , the image generating device 100 will be described in detail.

도 1을 참조하면, 이미지 생성 장치(100)는 인공지능 모델을 이용하여 이미지를 생성하는 장치로서, 메모리(120) 및 프로세서(140)를 포함하여 구성된다. 또한, 이미지 생성 장치(100)는 통신 모듈(110) 및 데이터베이스(130)를 더 포함할 수 있다. 이미지 생성 장치(100)는 서버 또는 단말과 같은 장치 형태로 형성될 수 있고, SaaS (Software as a Service), PaaS (Platform as a Service) 또는 IaaS (Infrastructure as a Service)와 같은 클라우드 컴퓨팅 서비스 모델에서 동작 할 수 있다. 이미지 생성 장치(100)는 사설(private) 클라우드, 공용(public) 클라우드 또는 하이브리드(hybrid) 클라우드 시스템과 같은 서버 형태로 구축될 수 있다. 또한, 이미지 생성 장치(100)는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 휴대성과 이동성이 보장되는 무선 통신 장치 또는 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치로 구현될 수 있다.Referring to FIG. 1 , an image generating device 100 is a device for generating an image using an artificial intelligence model, and includes a memory 120 and a processor 140 . Also, the image generating device 100 may further include a communication module 110 and a database 130 . The image generating device 100 may be formed in the form of a device such as a server or a terminal, and in a cloud computing service model such as Software as a Service (SaaS), Platform as a Service (PaaS), or Infrastructure as a Service (IaaS). can work The image generating device 100 may be built in the form of a server such as a private cloud, public cloud, or hybrid cloud system. In addition, the image generating device 100 may include, for example, a laptop, a desktop, a laptop equipped with a web browser, a wireless communication device that ensures portability and mobility, a smartphone, a tablet PC, and the like. It can be implemented in all types of handheld-based wireless communication devices.

통신 모듈(110)은 통신망을 통해 외부 기기와의 정보 송수신을 수행할 수 있다. 통신 모듈(110)은 이미지 생성 장치(100)의 학습에 사용되는 이미지 데이터, 딥러닝 알고리즘, 딥러닝 알고리즘을 토대로 생성된 학습 모델 등을 외부로부터 수신하거나 외부로 송신할 수 있다. 여기서 외부 장치는 이미지 생성 장치(100)와 별개의 서버, 단말과 같은 장치를 의미할 수 있다. 통신 모듈(110)은 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크를 통해 외부 장치와 연결될 수 있다. 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다. The communication module 110 may transmit/receive information with an external device through a communication network. The communication module 110 may receive or transmit image data, a deep learning algorithm, and a learning model generated based on the deep learning algorithm used for learning of the image generating device 100 from the outside. Here, the external device may refer to a device such as a server or a terminal separate from the image generating device 100 . The communication module 110 is a wired network such as a local area network (LAN), a wide area network (WAN) or a value added network (VAN), a mobile radio communication network, or a satellite It can be connected to external devices through all kinds of wireless networks such as communication networks. The communication module 110 may include a device including hardware and software necessary for transmitting and receiving a signal such as a control signal or a data signal to and from other network devices through a wired or wireless connection.

메모리(120)는 학습에 사용되는 데이터와 이미지 생성 프로그램을 저장한다. 프로그램의 명칭은 설명의 편의를 위해 설정된 것으로, 명칭 그 자체로 프로그램의 기능을 제한하는 것은 아니다. 또한, 메모리(120)는 통신 모듈(110)로 입력되는 정보 및 데이터, 프로세서(140)에 의해 수행되는 기능에 필요한 정보 및 데이터, 프로세서(140)의 실행에 따라 생성된 데이터 중 적어도 어느 하나 이상을 저장할 수 있다. 예컨대, 메모리(120)는 이미지 생성 장치(100)의 학습에 사용되는 이미지 및 데이터, 프로세서(140)에 의해 생성된 인공지능 학습 모델들을 저장할 수 있다. 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 또한, 메모리(120)는 프로세서(140)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(120)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The memory 120 stores data used for learning and an image generating program. The name of the program is set for convenience of explanation, and the name itself does not limit the function of the program. In addition, the memory 120 may store at least one of information and data input to the communication module 110, information and data required for functions performed by the processor 140, and data generated according to execution of the processor 140. can be saved. For example, the memory 120 may store images and data used for learning of the image generating device 100 and artificial intelligence learning models generated by the processor 140 . The memory 120 should be interpreted as collectively referring to a non-volatile storage device that continuously maintains stored information even when power is not supplied and a volatile storage device that requires power to maintain stored information. Also, the memory 120 may temporarily or permanently store data processed by the processor 140 . The memory 120 may include magnetic storage media or flash storage media in addition to volatile storage devices that require power to maintain stored information, but the scope of the present invention is not limited thereto. no.

데이터베이스(130)는 이미지 생성 장치(100)에 의해 생성되는 정보 및 데이터들을 포함할 수 있다. 데이터베이스(130)는 프로세서(140)에 의해 구축될 수 있으며, 아래에서 설명될 이미지 필터링에 따른 위장 이미지를 포함하도록 구성될 수 있다. 데이터베이스(130)는 메모리(120)의 일부를 구성할 수 있고, 메모리(120)의 외부에 별도로 형성될 수도 있다. The database 130 may include information and data generated by the image generating device 100 . The database 130 may be built by the processor 140 and may be configured to include camouflage images according to image filtering described below. The database 130 may form part of the memory 120 or may be formed separately outside the memory 120 .

프로세서(140)는 메모리(120)에 저장된 프로그램을 실행하도록 구성된다. 프로세서(140)는 데이터를 제어 및 처리하는 다양한 종류의 장치들을 포함할 수 있다. 프로세서(140)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 일 예에서, 프로세서(140)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(140)는 이미지 생성 프로그램을 실행하여 다음과 같은 기능 및 절차들을 수행하도록 구성된다. Processor 140 is configured to execute programs stored in memory 120 . The processor 140 may include various types of devices that control and process data. The processor 140 may refer to a data processing device embedded in hardware having a physically structured circuit to perform functions expressed by codes or instructions included in a program. In one example, the processor 140 includes a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC), an FPGA ( field programmable gate array), etc., but the scope of the present invention is not limited thereto. Processor 140 is configured to execute the image generating program to perform the following functions and procedures.

프로세서(140)는 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성한다. 프로세서(140)는 입력되는 이미지가 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단한다. 프로세서(140)는 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 위장 이미지를 학습 데이터 세트에 추가하여 학습 데이터 세트를 갱신한다. 즉, 프로세서(140)는 새로운 학습 데이터 세트를 생성한다. 그리고, 프로세서(140)는 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시킨다. 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단되지 않은 위장 이미지는 폐기 또는 삭제될 수 있다. 학습 데이터 세트를 갱신하는 과정은 복수회 수행될 수 있다. The processor 140 generates a camouflage image based on the image of the object by using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image. The processor 140 determines whether the spoof image represents a predetermined object included in the training data set by using the second artificial intelligence model trained to determine whether the input image represents an object included in the training data set. When the processor 140 determines that the camouflage image represents a predetermined object included in the training data set, the processor 140 updates the training data set by adding the camouflage image to the training data set. That is, processor 140 creates a new training data set. Then, the processor 140 trains the second artificial intelligence model based on the new training data set. A camouflage image included in the training data set and not determined to represent a preset object may be discarded or deleted. The process of updating the training data set may be performed a plurality of times.

대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고, 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함할 수 있다. 대상체 이미지 및 위장 이미지를 포함하여 본 명세서 상에서 설명되는 이미지는 각각 복수개의 이미지들을 포함할 수 있다. 실제 대상체 이미지 및 실제 위장 이미지는 프로세서(140)가 카메라 등의 촬영 수단으로부터 획득한 이미지를 의미한다. 모조 대상체 이미지 및 모조 위장 이미지는 프로세서(140)가 실제 이미지를 입력 받아 모조 이미지를 생성하는 인공지능 모델을 통해 획득한 이미지를 의미한다. 일 예에서, 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 위장 이미지는 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함할 수 있다. 다른 예에서, 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고, 위장 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함할 수 있다. The object image may include a real object image and a fake object image, and the spoof image may include a real spoof image and a fake spoof image. Images described in this specification, including an object image and a stomach image, may each include a plurality of images. The real object image and real camouflage image refer to images acquired by the processor 140 from a photographing means such as a camera. The fake object image and the fake camouflage image refer to images acquired through an artificial intelligence model in which the processor 140 receives a real image and generates a fake image. In one example, the object image may include a plurality of face images, and the camouflage image may include images in which at least one of a hat, a mask, glasses, sunglasses, and a scarf is disguised for each face in the plurality of face images. In another example, the object image may include a plurality of images belonging to the healthy leaf category, and the camouflage image may include images masquerading as disease on each leaf in the plurality of images belonging to the healthy leaf category.

프로세서(140)는 이미지 생성 프로그램을 실행하여, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 제1 인공지능 모델을 생성하는 과정을 더 수행할 수 있다. 이 때, 프로세서(140)는 실제 대상체 이미지를 토대로 모조 위장 이미지를 생성하고, 실제 위장 이미지를 토대로 모조 대상체 이미지를 생성하고, 그리고, 실제 대상체 이미지와 모조 대상체 이미지의 차이를 비교하고 모조 위장 이미지와 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 제1 인공지능 모델을 학습시키는 과정을 더 수행할 수 있다. The processor 140 may execute an image generation program and further perform a process of generating a first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN). At this time, the processor 140 generates a fake camouflage image based on the real object image, creates a fake object image based on the real object image, compares the difference between the real object image and the fake object image, and compares the fake camouflage image with the fake camouflage image. A process of training the first artificial intelligence model to minimize periodic consistency loss calculated by comparing differences between real camouflage images may be further performed.

프로세서(140)는 학습 데이터 세트에 포함된 대상체 이미지에 기설정된 라벨을 부여할 수 있다. 예컨대, 대상체 이미지들 각각에 서로 다른 라벨이 설정될 수 있다. 프로세서(140)는 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하고, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 과정을 더 수행할 수 있다. 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단되지 않은 경우 프로세서(140)는 해당 이미지를 폐기 또는 삭제할 수 있다. 추가적으로, 프로세서(140)는 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스(130)를 구축하는 과정을 더 수행할 수 있다.The processor 140 may assign a preset label to an object image included in the training data set. For example, different labels may be set for each of the object images. The processor 140 determines whether the camouflage image represents the same object as the object image to which a preset label has been assigned, and learns the camouflage image only when it is determined that the camouflage image represents the same object as the target image to which a preset label has been assigned. A process of generating a new training data set by adding to the data set and training a second artificial intelligence model based on the new training data set may be further performed. If it is not determined that the camouflage image represents the same object as the object image to which a predetermined label is assigned, the processor 140 may discard or delete the corresponding image. Additionally, the processor 140 may further perform a process of constructing the camouflage image database 130 including camouflage images added to the training data set.

도 2 및 도 3을 참조하면, 이미지 생성 장치(100)는 제1 모델과 제2 모델을 포함하는 순환 생성적 적대 신경망 기반의 인공지능 모델을 토대로 이미지를 생성할 수 있다. 제1 모델과 제2 모델 각각은 생성기와 판별기를 포함한다. 제1 모델의 생성기는 클래스 A에서 클래스 B로의 전이를 학습하고 제2 모델의 생성기는 클래스 B에서 클래스 A로의 전이를 학습한다. 이와 같이, 인공지능 모델은 양방향 전이를 통해 주기 일관성 손실을 최소화하도록 학습하여 자연스러운 모조 이미지를 생성할 수 있다. Referring to FIGS. 2 and 3 , the image generating apparatus 100 may generate an image based on an artificial intelligence model based on a circular generative adversarial network including a first model and a second model. Each of the first model and the second model includes a generator and discriminator. The generator of the first model learns a transition from class A to class B and the generator of the second model learns a transition from class B to class A. In this way, the artificial intelligence model can generate a natural fake image by learning to minimize periodic consistency loss through bidirectional transition.

예컨대, 도 2를 참조하면, 제1 모델(210)은 위장되지 않은 실제 얼굴 이미지와 제2 모델(220)에 의해 생성된 위장되지 않은 모조 얼굴 이미지를 포함하는 제1 입력 이미지(201)를 입력 받아 제1 출력 이미지로서 위장된 얼굴 이미지를 생성한다. 제2 모델(220)은 위장된 실제 얼굴 이미지와 제1 모델(210)에 의해 생성된 위장된 모조 얼굴 이미지를 포함하는 제2 입력 이미지(202)를 입력 받아 제2 출력 이미지로서 위장되지 않은 얼굴 이미지를 생성한다. 이 과정에서 위장되지 않은 실제 얼굴 이미지와 위장되지 않은 모조 얼굴 이미지의 비교, 위장된 실제 얼굴 이미지와 위장된 모조 얼굴 이미지의 비교를 통해 계산된 주기 일관성 손실을 줄이는 방향으로 인공지능 모델을 학습시킬 수 있다.For example, referring to FIG. 2 , the first model 210 inputs a first input image 201 including an undisguised real face image and an undisguised fake face image generated by the second model 220 . and generate a disguised face image as a first output image. The second model 220 receives the second input image 202 including the disguised real face image and the disguised fake face image generated by the first model 210 as input, and serves as the second output image, a face that is not disguised. create an image In this process, an artificial intelligence model can be trained in the direction of reducing the periodic consistency loss calculated by comparing the real face image that is not disguised with the imitation face image that is not disguised, and the real face image that is disguised and the fake face image that is disguised. there is.

도 3을 참조하면, 제1 모델(310)은 위장되지 않은 실제 잎 이미지와 제2 모델(320)에 의해 생성된 위장되지 않은 모조 잎 이미지를 포함하는 제1 입력 이미지(301)를 입력 받아 제1 출력 이미지로서 위장된 잎 이미지를 생성한다. 제2 모델(320)은 위장된 실제 잎 이미지와 제1 모델(310)에 의해 생성된 위장된 모조 잎 이미지를 포함하는 제2 입력 이미지(302)를 입력 받아 제2 출력 이미지로서 위장되지 않은 잎 이미지를 생성한다. 여기서, 위장은 건강한 잎 이미지 내에서 잎에 해당하는 영역이 병해에 해당하는 것으로 위장한 것을 의미한다.Referring to FIG. 3 , the first model 310 receives a first input image 301 including an undisguised real leaf image and an undisguised imitation leaf image generated by the second model 320 and produces 1 Generate a camouflaged leaf image as an output image. The second model 320 receives the second input image 302 including the camouflaged real leaf image and the camouflaged imitation leaf image generated by the first model 310, and receives the second output image as an undisguised leaf. create an image Here, camouflage means that a region corresponding to a leaf in a healthy leaf image is disguised as a diseased area.

도 4는 앞서 도 1을 참조하여 설명한 제1 인공지능 모델(410)과 제2 인공지능 모델(420)의 동작 과정을 설명하기 위해 도시한 도면이고, 도 5는 상술한 이미지에 설정되는 라벨 및 위장을 설명하기 위해 도시한 도면이다. 제1 인공지능 모델(410)의 동작 과정은 앞서 도 2 및 도 3을 참조하여 설명한 인공지능 모델과 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다. 4 is a diagram illustrating the operation process of the first artificial intelligence model 410 and the second artificial intelligence model 420 described above with reference to FIG. 1, and FIG. 5 is a label set in the above-described image and It is a drawing shown to explain camouflage. Since the operation process of the first artificial intelligence model 410 is substantially the same as the artificial intelligence model described above with reference to FIGS. 2 and 3, a description thereof will be omitted.

도 4를 참조하면, 대상체에 대한 위장되지 않은 실제 이미지 및 위장된 실제 이미지를 포함하는 실제 이미지들과 제1 인공지능 모델(410)에 의해 생성되는 상기 대상체에 대한 위장된 이미지들은 제2 인공지능 모델(420)에 사용된다. 예컨대, 상기 실제 이미지들은 제2 인공지능 모델(420)의 학습 데이터로 사용될 수 있고, 상기 위장된 이미지들은 제2 인공지능 모델(420)의 테스트 데이터로 사용될 수 있다. 제2 인공지능 모델(420)은 상기 위장된 이미지들에 포함된 대상체가 상기 실제 이미지들에 포함된 대상체를 나타내는지 판단하는 과정을 수행한다. 이러한 과정은 실제 이미지들 각각에 부여된 라벨을 이용하여 수행된다. Referring to FIG. 4 , real images including real images that are not disguised and real images of an object and disguised images of the object generated by the first AI model 410 are generated by a second AI model 410 . Used in model 420. For example, the real images may be used as training data of the second artificial intelligence model 420, and the disguised images may be used as test data of the second artificial intelligence model 420. The second artificial intelligence model 420 performs a process of determining whether an object included in the disguised images represents an object included in the real images. This process is performed using labels assigned to each of the actual images.

라벨과 관련한 도 5를 참조하면, 대상체에 대한 실제 얼굴 이미지와 인공지능 모델에 의해 생성된 상기 대상체에 대한 모조 얼굴 이미지는 동일한 라벨이 부여된다. 제1 대상체에는 Subject 1, 제2 대상체에는 Subject 2와 같이 라벨이 부여될 수 있다. 이후. 이미지 생성 장치(100)는 라벨이 부여된 이미지를 대상으로, 모자 위장, 안경 위장, 마스크 위장, 스카프 위장, 선글라스 및 마스크 위장 등을 포함하는 위장 과정(520)을 수행하여 위장 이미지들(530)을 획득할 수 있다. 제2 인공지능 모델(420)은 위장 이미지들(520) 내 위장된 대상체들을 인지하여 라벨 비교를 통해 수행한다. 이미지 생성 장치(100)는 라벨 비교를 통해 라벨이 인식된 위장 이미지들은 기존의 학습 데이터 세트에 포함시키고 그렇지 않은 위장 미지들은 폐기할 수 있다. 이러한 테스트 과정은 복수회 수행될 수 있다. 또한, 이미지 생성 장치(100)는 라벨이 인식된 위장 이미지들만을 저장하는 데이터베이스를 구축할 수 있다. Referring to FIG. 5 related to labels, the same label is assigned to a real face image of an object and a simulated face image of the object generated by an artificial intelligence model. A label such as Subject 1 may be assigned to the first object, and Subject 2 may be assigned to the second object. after. The image generating device 100 performs a camouflage process 520 including hat camouflage, glasses camouflage, mask camouflage, scarf camouflage, sunglasses and mask camouflage, etc., for the labeled image, thereby generating camouflage images 530. can be obtained. The second artificial intelligence model 420 recognizes disguised objects in the camouflage images 520 and performs label comparison. The image generating apparatus 100 may include spoofed images whose labels have been recognized through label comparison in an existing training data set, and discard spoofed unknowns whose labels are not. This test process may be performed multiple times. Also, the image generating device 100 may build a database storing only camouflage images for which labels have been recognized.

지금까지 설명한 이미지 생성 장치가 제2 인공지능 모델인 얼굴 인식 모델을 훈련시키는 일 예는 다음과 같다. 이미지 생성 장치(100)는, SqueezeNet 기반 얼굴 인지 모델을 이용하여 실제 얼굴의 정상 이미지와 위장 이미지로 학습을 수행한다. 해당 얼굴 인식 모델은 생성적 적대 신경망에 의해 생성된 이미지를 본 적이 없으나, 주기 일관성 손실로 인해 생성적 적대 신경망에 의해 생성된 위장 이미지와 실제 위장 이미지간의 분포는 비슷하기 때문에 훈련된 얼굴 인식 모델에서 두 이미지 모두 올바르게 인식될 수 있다. 따라서. 해당 얼굴 모델은 합성된 얼굴 이미지의 좋은 생성과 나쁜 생성을 구별하는 데 사용될 수 있다. 첫번째 반복에서 올바르게 예측된 이미지들은 저장되고 두 번째 반복에서 훈련 데이터에 포함시킨다. 두 번째 반복에서 얼굴 인식 모델은 실제 이미지와 생성된 위장 이미지로 학습을 수행한다. 이와 같이, 훈련된 얼굴 인식 모델은 첫번째 반복에서 잘못 인식된 이미지에 대해 테스트하게 된다. 이에 따라, 올바르게 인식된 이미지는 저장되고 나머지는 폐기된다.An example of training the face recognition model, which is the second artificial intelligence model, by the image generating device described above is as follows. The image generating device 100 performs learning with a normal image and a fake image of a real face using a SqueezeNet-based face recognition model. The face recognition model has never seen the image generated by the generative adversarial network, but the distribution between the camouflage image generated by the generative adversarial network and the actual camouflage image is similar due to periodic consistency loss, so the trained face recognition model Both images can be correctly recognized. thus. The face model can be used to discriminate between good and bad creations of synthesized face images. The correctly predicted images in the first iteration are saved and included in the training data in the second iteration. In the second iteration, the face recognition model is trained with the real image and the generated camouflage image. In this way, the trained face recognition model is tested against misrecognized images in the first iteration. Accordingly, correctly recognized images are saved and the rest are discarded.

도 6은 본 발명의 다른 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 방법(이하 “이미지 생성 방법”이라 함)의 순서를 도시한 흐름도이고, 도 7 및 도 8은 이미지 생성 방법의 일부 단계에 대한 세부 단계들을 도시한 도면들이다. 이하에서 설명될 이미지 생성 방법은 앞서 도 1 내지 도 5를 참조하여 설명한 이미지 생성 장치(도 1의 100)에 의해 수행될 수 있다. 따라서, 앞서 도 1 내지 도 5를 참조하여 설명한 본 발명의 실시예에 대한 내용은 이하에서 설명될 실시예에도 동일하게 적용될 수 있으며, 이하에서 상술한 설명과 중복되는 내용은 생략하도록 한다. 이하에서 설명되는 단계들은 반드시 순서대로 수행되어야 하는 것은 아니고, 단계들의 순서는 다양하게 설정될 수 있으며, 단계들은 거의 동시에 수행될 수도 있다.6 is a flow chart showing the sequence of an image generation method (hereinafter referred to as “image generation method”) using a generative adversarial neural network and image filtering according to another embodiment of the present invention, and FIGS. 7 and 8 are image generation methods. These are drawings showing detailed steps for some steps of. An image generating method to be described below may be performed by the image generating device ( 100 of FIG. 1 ) previously described with reference to FIGS. 1 to 5 . Therefore, the contents of the embodiments of the present invention described above with reference to FIGS. 1 to 5 can be equally applied to the embodiments to be described below, and descriptions overlapping with those described above will be omitted. The steps described below do not necessarily have to be performed in order, the order of the steps may be set in various ways, and the steps may be performed almost simultaneously.

도 6을 참조하면, 이미지 생성 방법은, 이미지 생성 장치를 이용하여 이미지를 생성하는 방법으로서, 위장 이미지 생성 단계(S110), 위장 이미지 테스트 단계(S120) 및 학습 데이터 세트 갱신 단계(S130)를 포함한다. Referring to FIG. 6 , the image generation method is a method of generating an image using an image generation device, and includes a camouflage image generation step (S110), a camouflage image test step (S120), and a training data set update step (S130). do.

위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계이다. The camouflage image generation step ( S110 ) is a step in which the image generating device generates a camouflage image corresponding to the object image by using the first artificial intelligence model learned to generate a camouflage image corresponding to the input image.

위장 이미지 테스트 단계(S120)는 이미지 생성 장치가, 입력되는 이미지가 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계이다. 학습 데이터 세트 갱신 단계(S130)는 이미지 생성 장치가, 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 단계이다. 여기서, 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고, 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함할 수 있다. In the camouflage image test step (S120), the camouflage image is learned by using the second artificial intelligence model trained to determine whether the input image represents an object included in the training data set including the object image, by the image generating device. This is a step of determining whether the data set represents a predetermined object included in the data set. In the training data set updating step (S130), when the image generating device determines that the spoof image represents a preset object included in the training data set, a new training data set is generated by adding the spoof image to the training data set, and a new training data set is generated. This step is to train the second artificial intelligence model based on the training data set. Here, the object image may include a real object image and a fake object image, and the camouflage image may include a real camouflage image and a fake camouflage image.

위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 제1 인공지능 모델을 생성하는 단계를 포함할 수 있다. 또한, 도 7을 참조하면, 위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 실제 대상체 이미지를 토대로 모조 위장 이미지를 생성하고, 실제 위장 이미지를 토대로 모조 대상체 이미지를 생성하는 단계(S111) 및 실제 대상체 이미지와 모조 대상체 이미지의 차이를 비교하고, 모조 위장 이미지와 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 제1 인공지능 모델을 학습시키는 단계(S112)를 더 포함할 수 있다.The camouflage image generating step ( S110 ) may include generating, by the image generating device, a first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN). In addition, referring to FIG. 7 , generating a camouflage image (S110) includes the steps of generating, by the image generating device, a fake camouflage image based on a real object image and generating a fake object image based on the real camouflage image (S111) and the actual camouflage image. The method may further include comparing the difference between the object image and the fake object image and comparing the difference between the fake spoof image and the actual spoof image to minimize periodic consistency loss calculated by training the first artificial intelligence model (S112). .

일 예에서, 상술한 대상체 이미지는 복수개의 얼굴 이미지들을 포함할 수 있다. 위장 이미지는 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함할 수 있다.In one example, the above-described object image may include a plurality of face images. The camouflage image may include images in which at least one of a hat, a mask, glasses, sunglasses, and a scarf is camouflaged for each face in a plurality of face images.

다른 예에서, 상술한 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함할 수 있다. 위장 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함할 수 있다.In another example, the above-described object image may include a plurality of images belonging to a healthy leaf category. The camouflage image may include images camouflaging disease on each leaf among a plurality of images belonging to the healthy leaf category.

도 8을 참조하면, 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여될 수 있다. 이 때, 학습 데이터 세트 갱신 단계(S130)는 이미지 생성 장치가, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하는 단계(S131) 및 이미지 생성 장치가, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만, 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 단계(S132)를 포함할 수 있다. Referring to FIG. 8 , a preset label may be assigned to an object image included in a training data set. At this time, in the updating of the training data set (S130), the image generating device determines whether the camouflage image represents the same object as the object image to which a preset label has been assigned (S131), and the image generating device determines whether the camouflage image is a basic generating a new training data set by adding a camouflage image to a training data set and training a second artificial intelligence model based on the new training data set only when it is determined that the set label represents the same object as the assigned object image; (S132) may be included.

도면에 도시되지 않았으나, 이미지 생성 방법은 추가적으로, 이미지 생성 장치가, S130 단계에 따라 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스(130)를 구축하는 단계를 더 포함할 수 있다.Although not shown in the figure, the image generating method may further include, by the image generating device, constructing a camouflage image database 130 including camouflage images added to the learning data set in step S130.

지금까지 설명한 이미지 생성 방법은 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하는 제2 인공지능 모델을 학습하는 단계, 학습된 제 2인공지능모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 기설정한 대상체를 나타내지 않는 것으로 판단한 경우에는 상기 모조 위장 이미지는 보류하는 단계, 그리고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습하여 상기 보류된 모조 위장 이미지가 기설정한 대상체를 나타내는지 판단하고, 나타내지 못한 이미지는 폐기하는 단계를 포함하여 구현될 수도 있다. The image generation method described above includes the steps of generating a camouflage image corresponding to an object image by using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image by an image generation device; The device uses a second artificial intelligence model trained to determine whether an input image represents an object included in a training data set including the object image, and the camouflage image is included in the training data set. determining whether the input image represents an object; learning, by the image generating device, a second artificial intelligence model for determining whether an input image represents an object included in a training data set including the object image; 2 Determining whether the camouflage image represents a preset object included in the learning data set using an artificial intelligence model; Adding a camouflage image to the training data set to create a new training data set, and holding the fake camouflage image when it is determined that it does not represent a preset object; and, based on the new training data set, the second training data set is created. It may also be implemented by learning an artificial intelligence model to determine whether the withheld simulated gastrointestinal image represents a predetermined object, and discarding images that cannot be represented.

도 9는 본 발명의 실시예에 적용되는 이미지 필터링 과정을 보다 상세하게 설명하기 위해 도시한 도면이다. 도 9와 함께 상술한 본 발명의 실시예들에 대한 설명들을 참조하면, 본 발명의 실시예에 따라, 이미지 생성 장치(100)는 먼저 얼굴 인지 모델을 실제 얼굴 사진의 학습 데이터 세트에 대해 훈련시킨다. 이미지 생성 장치(100)는 기존 학습 데이터 세트를 통해 인지 모델을 훈련시킨 후, 순환 생성적 적대 신경망을 통해 생성된 위장 모조 이미지를 테스트한다. 이미지 생성 장치(100)는 테스트에 따라 올바르게 인식된 이미지만을 기존 학습 데이터 세트에 포함하여 새로운 학습 데이터 세트를 형성하고 그렇지 않은 데이터는 보류한다. 이미지 생성 장치(100)는 새로운 데이터 세트에 대한 인지 모델의 훈련을 진행한다. 이미지 생성 장치(100)는 훈련된 모델로 보류된 이미지를 다시 테스트하여 올바르게 인식된 이미지는 데이터 세트에 포함하고, 그렇지 않은 이미지는 폐기한다.9 is a diagram for explaining in detail an image filtering process applied to an embodiment of the present invention. Referring to the descriptions of the embodiments of the present invention described above together with FIG. 9 , according to an embodiment of the present invention, the image generating apparatus 100 first trains a face recognition model on a training data set of real face photos. . The image generating apparatus 100 trains a cognitive model through an existing training data set, and then tests a simulated fake image generated through a recursive adversarial neural network. The image generating apparatus 100 forms a new training data set by including only images correctly recognized according to the test to the existing training data set, and retains data that are not. The image generating device 100 trains a cognitive model for a new data set. The image generating apparatus 100 tests the retained images again with the trained model, and includes correctly recognized images in the data set, and discards images that are not.

이상 지금까지 설명한 본 발명의 실시예에 따른 이미지 생성 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The method of generating an image according to an embodiment of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention based on the above description. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention. The scope of the present application is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present application.

Claims (15)

이미지 생성 장치를 이용하여 이미지를 생성하는 방법에 있어서,
a) 상기 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계;
b) 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계; 및
c) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는, 이미지 생성 방법.
In the method of generating an image using an image generating device,
a) generating, by the image generating device, a camouflage image corresponding to an image of an object by using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image;
b) The image generating device uses a second artificial intelligence model trained to determine whether an input image represents an object included in a training data set including the object image, so that the camouflage image is selected from the training data set. determining whether it represents a predetermined object included in; and
c) When the image generating device determines that the spoofed image represents a preset object included in the training data set, a new training data set is created by adding the spoofed image to the training data set, and the new training data set is added to the training data set. Training the second artificial intelligence model based on a data set.
제1항에 있어서,
상기 a) 단계는,
상기 이미지 생성 장치가, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 상기 제1 인공지능 모델을 생성하는 단계를 포함하는 것인, 이미지 생성 방법.
According to claim 1,
In step a),
The image generating method comprising generating, by the image generating device, the first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN).
제2항에 있어서,
상기 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고,
상기 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함하고, 그리고,
상기 a) 단계는,
a-1) 상기 이미지 생성 장치가, 상기 실제 대상체 이미지를 토대로 상기 모조 위장 이미지를 생성하고, 상기 실제 위장 이미지를 토대로 상기 모조 대상체 이미지를 생성하는 단계; 및
a-2) 상기 실제 대상체 이미지와 상기 모조 대상체 이미지의 차이를 비교하고, 상기 모조 위장 이미지와 상기 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 상기 제1 인공지능 모델을 학습시키는 단계를 포함하는 것인, 이미지 생성 방법.
According to claim 2,
The object image includes a real object image and an imitation object image,
The camouflage image includes a real camouflage image and an imitation camouflage image, and
In step a),
a-1) generating, by the image generating device, the fake camouflage image based on the real object image, and generating the fake object image based on the real camouflage image; and
a-2) comparing the difference between the real object image and the simulated object image, and training the first artificial intelligence model to minimize periodic consistency loss calculated by comparing the difference between the simulated gastrointestinal image and the real gastrointestinal image A method of generating an image, comprising steps.
제1항에 있어서,
상기 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함하는 것인, 이미지 생성 방법.
According to claim 1,
The object image includes a plurality of face images, and
The camouflage image includes images in which at least one or more of a hat, a mask, glasses, sunglasses, and a scarf are camouflaged for each face in the plurality of face images.
제1항에 있어서,
상기 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함하는 것인, 이미지 생성 방법.
According to claim 1,
The object image includes a plurality of images belonging to the health leaf category, and
Wherein the camouflage image includes images camouflaging disease on each leaf in a plurality of images belonging to the healthy leaf category.
제1항에 있어서,
상기 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여되고,
상기 c) 단계는,
c-1) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하는 단계; 및
c-2) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는 것인, 이미지 생성 방법.
According to claim 1,
A preset label is assigned to an object image included in the learning data set,
In step c),
c-1) determining, by the image generating device, whether the camouflage image represents the same object as the object image to which the preset label is assigned; and
c-2) When the image generating device determines that the camouflage image represents the same object as the object image to which the preset label is assigned, a new training data set is created by adding the camouflage image to the training data set. Generating and learning the second artificial intelligence model based on the new training data set.
제1항에 있어서,
d) 상기 이미지 생성 장치가, 상기 c) 단계에 따라 상기 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스를 구축하는 단계를 더 포함하는, 이미지 생성 방법.
According to claim 1,
d) constructing, by the image generating device, a camouflage image database including camouflage images added to the training data set according to step c);
인공지능 모델을 이용하여 이미지를 생성하는 장치로서,
학습에 사용되는 데이터와 이미지 생성 프로그램을 저장하는 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성하고, 입력되는 이미지가 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하고, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 것을 수행하도록 구성되는, 이미지 생성 장치.
A device for generating an image using an artificial intelligence model,
a memory for storing data used for learning and an image generating program; and
A processor for executing a program stored in the memory;
The processor executes the image generating program,
To generate a camouflage image based on an object image using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image, and to determine whether the input image represents an object included in the training data set Determining whether the camouflage image represents a preset object included in the training data set using the learned second artificial intelligence model, and determining that the camouflage image represents a preset object included in the training data set if the camouflage image is added to the training data set to generate a new training data set, and to perform training of the second artificial intelligence model based on the new training data set.
제8항에 있어서,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 상기 제1 인공지능 모델을 생성하는 과정을 더 수행하는 것인, 이미지 생성 장치.
According to claim 8,
The processor executes the image generating program,
The image generating device further performing a process of generating the first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN).
제9항에 있어서,
상기 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고,
상기 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함하고, 그리고,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
실제 대상체 이미지를 토대로 상기 모조 위장 이미지를 생성하고, 상기 실제 위장 이미지를 토대로 상기 모조 대상체 이미지를 생성하고, 그리고, 상기 실제 대상체 이미지와 상기 모조 대상체 이미지의 차이를 비교하고 상기 모조 위장 이미지와 상기 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 상기 제1 인공지능 모델을 학습시키는 과정을 더 수행하는 것인, 이미지 생성 장치.
According to claim 9,
The object image includes a real object image and an imitation object image,
The camouflage image includes a real camouflage image and an imitation camouflage image, and
The processor executes the image generating program,
The fake camouflage image is generated based on the real object image, the fake object image is created based on the real object image, and a difference between the real object image and the fake object image is compared and the fake camouflage image and the real object image are compared. Further performing a process of learning the first artificial intelligence model to minimize periodic consistency loss calculated by comparing differences between camouflage images.
제8항에 있어서,
상기 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함하는 것인, 이미지 생성 장치.
According to claim 8,
The object image includes a plurality of face images, and
The camouflage image includes images in which at least one of a hat, a mask, glasses, sunglasses, and a scarf is camouflaged for each face in the plurality of face images.
제8항에 있어서,
상기 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함하는 것인, 이미지 생성 장치.
According to claim 8,
The object image includes a plurality of images belonging to the health leaf category, and
The camouflage image includes images masquerading as disease on each leaf in a plurality of images belonging to the healthy leaf category.
제8항에 있어서,
상기 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여되고,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하고, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 과정을 더 수행하는 것인, 이미지 생성 장치.
According to claim 8,
A preset label is assigned to an object image included in the learning data set,
The processor executes the image generating program,
It is determined whether the gastrointestinal image represents the same object as the object image to which the preset label is assigned, and the gastrointestinal image is displayed only when it is determined that the gastrointestinal image represents the same object as the object image to which the preset label is assigned. An image generating device further performing a process of generating a new training data set in addition to a training data set and learning the second artificial intelligence model based on the new training data set.
제8항에 있어서,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여, 상기 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스를 구축하는 과정을 더 수행하는 것인, 이미지 생성 장치.
According to claim 8,
Wherein the processor executes the image generating program to further perform a process of constructing a camouflage image database including camouflage images added to the training data set.
제1항에 따른 이미지 생성 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록매체.A non-transitory computer-readable recording medium on which a computer program for performing the image generating method according to claim 1 is recorded.
KR1020220001287A 2022-01-05 2022-01-05 Apparatus and method for generating images using generative adversarial network and quality filtering KR102704657B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220001287A KR102704657B1 (en) 2022-01-05 2022-01-05 Apparatus and method for generating images using generative adversarial network and quality filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220001287A KR102704657B1 (en) 2022-01-05 2022-01-05 Apparatus and method for generating images using generative adversarial network and quality filtering

Publications (2)

Publication Number Publication Date
KR20230105814A true KR20230105814A (en) 2023-07-12
KR102704657B1 KR102704657B1 (en) 2024-09-09

Family

ID=87163660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220001287A KR102704657B1 (en) 2022-01-05 2022-01-05 Apparatus and method for generating images using generative adversarial network and quality filtering

Country Status (1)

Country Link
KR (1) KR102704657B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133582A (en) * 2018-05-23 2019-12-03 한국과학기술원 Method and apparatus for removal of personal identification using generative model
KR20210036039A (en) * 2019-09-25 2021-04-02 삼성전자주식회사 Electronic device and image processing method thereof
KR102240885B1 (en) * 2019-11-12 2021-04-14 연세대학교 산학협력단 Method and Apparatus for Conversing Image Based on Generative Adversarial Network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133582A (en) * 2018-05-23 2019-12-03 한국과학기술원 Method and apparatus for removal of personal identification using generative model
KR20210036039A (en) * 2019-09-25 2021-04-02 삼성전자주식회사 Electronic device and image processing method thereof
KR102240885B1 (en) * 2019-11-12 2021-04-14 연세대학교 산학협력단 Method and Apparatus for Conversing Image Based on Generative Adversarial Network

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Usman Cheema and Seungbin Moon, Sejong Face Database: Multi-Modal Disguised Face Database, Computer Vision and Image Understanding, Volumes 208-209, 2021* *
유영준, 양병희, and 노용만. "영상 정보 분야의 딥러닝 기반 적대적 공격과 방어 기술 동향 분석 및 국방 분야 적용 방안." 한국국방경영분석학회지 46.1 (2020) *
함현식, 조현종, 이미지 증대 기법을 이용한 토마토 병충해 분류, 전기학회논문지 제70권 제1호, 2021* *

Also Published As

Publication number Publication date
KR102704657B1 (en) 2024-09-09

Similar Documents

Publication Publication Date Title
CN110309706B (en) Face key point detection method and device, computer equipment and storage medium
US20220058426A1 (en) Object recognition method and apparatus, electronic device, and readable storage medium
US10853623B2 (en) Method and apparatus for generating information
US10691928B2 (en) Method and apparatus for facial recognition
CN111414946B (en) Artificial intelligence-based medical image noise data identification method and related device
KR20190038923A (en) Method, apparatus and system for verifying user identity
WO2020238353A1 (en) Data processing method and apparatus, storage medium, and electronic apparatus
WO2022033219A1 (en) Face liveness detection method, system and apparatus, computer device, and storage medium
CN108491808B (en) Method and device for acquiring information
CN113705276B (en) Model construction method, model construction device, computer equipment and medium
CN111784818B (en) Method, apparatus and computer readable storage medium for generating three-dimensional mannequin
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN111783997B (en) Data processing method, device and equipment
WO2022001092A1 (en) Data processing method and apparatus, and device
CN111291773A (en) Feature identification method and device
CN113822790B (en) Image processing method, device, equipment and computer readable storage medium
CN113391992B (en) Test data generation method and device, storage medium and electronic equipment
CN111401193B (en) Method and device for acquiring expression recognition model, and expression recognition method and device
CN110427998A (en) Model training, object detection method and device, electronic equipment, storage medium
JP2023526899A (en) Methods, devices, media and program products for generating image inpainting models
CN114170484B (en) Picture attribute prediction method and device, electronic equipment and storage medium
WO2024179446A1 (en) Image processing method and related device
WO2021258955A1 (en) Method and apparatus for marking object outline in target image, and storage medium and electronic apparatus
CN111461091B (en) Universal fingerprint generation method and device, storage medium and electronic device
KR20230105814A (en) Apparatus and method for generating images using generative adversarial network and quality filtering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant