KR20230105814A - Apparatus and method for generating images using generative adversarial network and quality filtering - Google Patents
Apparatus and method for generating images using generative adversarial network and quality filtering Download PDFInfo
- Publication number
- KR20230105814A KR20230105814A KR1020220001287A KR20220001287A KR20230105814A KR 20230105814 A KR20230105814 A KR 20230105814A KR 1020220001287 A KR1020220001287 A KR 1020220001287A KR 20220001287 A KR20220001287 A KR 20220001287A KR 20230105814 A KR20230105814 A KR 20230105814A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camouflage
- data set
- training data
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001914 filtration Methods 0.000 title description 13
- 238000012549 training Methods 0.000 claims abstract description 90
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 56
- 230000008569 process Effects 0.000 claims description 22
- 230000000737 periodic effect Effects 0.000 claims description 7
- 230000002496 gastric effect Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치 및 방법에 관한 것으로, 보다 상세하게는, 생성적 적대 신경망을 통해 생성된 모조 이미지들에 대해 이미지 필터링을 수행하여 고품질의 모조 이미지를 생성하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating images using a generative adversarial neural network and image filtering, and more particularly, to generating high-quality simulated images by performing image filtering on simulated images generated through a generative adversarial neural network. It relates to an apparatus and method for doing.
딥러닝 네트워크를 학습시켜 성능을 높이기 위해서는 학습에 사용되는 데이터 수집 절차가 중요하다. 데이터 수집 절차에서 충분한 수의 이미지가 필요하지만 상황에 따라 충분한 양의 데이터 세트를 확보하는 것에 어려움이 있다. 또한, 데이터 전처리 과정에서 해당 분야의 전문가 수의 부족 등 다양한 원인으로 인해 수집된 데이터를 처리하는데 비효율적인 시간과 비용이 소모될 수 있다. 이는 곧 데이터 세트 부족 및 클래스 불균형 문제로 이어지고, 결국 과적합이 발생하여 딥러닝 네트워크의 성능이 떨어질 수 있다. In order to improve performance by training a deep learning network, the data collection procedure used for training is important. Although a sufficient number of images are required in the data collection procedure, it is difficult to secure a sufficient amount of data set depending on the situation. In addition, inefficient time and cost may be consumed in processing the collected data due to various reasons such as a lack of experts in the field in the data pre-processing process. This soon leads to problems of insufficient data set and class imbalance, and eventually overfitting may occur, resulting in poor performance of deep learning networks.
데이터 세트 부족 및 클래스 불균형 문제를 해결하기 위한 방법으로 다양한 방법이 사용되고 있다. 종래의 데이터 확대 방법은 이미지 확대로서 회전, 뒤집기, 색상 변경 등 대부분 기하학적인 변환 기능만 반복하는 방식을 사용하기 때문에 이미지의 수를 늘리는 데 한계가 있다. 이에 따라, 생성적 적대 신경망(GAN, Generative Adversarial Network)을 이용하여 원본 이미지에 대한 모조 이미지를 인위적으로 생성하여 데이터 세트를 보충하는 방법이 제안되었다. Various methods are being used as a way to solve the problem of insufficient data set and class imbalance. Conventional data enlargement methods have limitations in increasing the number of images because most of them use a method of repeating only geometric transformation functions such as rotation, flipping, and color change as image enlargement. Accordingly, a method of supplementing a data set by artificially generating an imitation image for an original image using a Generative Adversarial Network (GAN) has been proposed.
그러나, GAN을 통해 생성된 모조 이미지들을 포함하는 데이터 세트에는 저품질의 이미지가 다수 포함되어 있으며, 이러한 데이터 세트로 모델을 학습시킬 경우 성능이 저하될 수 있다. 따라서, 저품질의 모조 이미지를 필터링할 필요가 있었다. 종래의 경우, 사람이 수동으로 모조 이미지들에 대해 각각 이미지 필터링을 수행하였으나, 이 경우, 품질 기준에 대한 객관성이 문제될 수 있고, 시간과 노동력의 소요의 측면에서 매우 비효율적인 문제점을 갖는다. However, a data set including fake images generated through GAN includes many low-quality images, and performance may deteriorate when a model is trained with such a data set. Thus, there was a need to filter low-quality fake images. In the conventional case, a person manually performs image filtering on each of the fake images, but in this case, objectivity for quality standards may be a problem, and it is very inefficient in terms of time and labor requirements.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 생성적 적대 신경망을 통해 생성된 모조 이미지들에 대해 이미지 필터링을 수행하여 고품질의 모조 이미지를 생성하는 장치 및 방법을 제공하는 것을 일 기술적 과제로 한다. An object of the present invention is to provide an apparatus and method for generating high quality fake images by performing image filtering on fake images generated through a generative adversarial neural network.
본 발명이 이루고자 하는 기술적 과제들은 상기한 기술적 과제로 제한되지 않으며, 이하의 설명으로부터 본 발명의 또 다른 기술적 과제들이 도출될 수 있다.The technical problems to be achieved by the present invention are not limited to the above technical problems, and other technical problems of the present invention can be derived from the following description.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 실시예는, 이미지 생성 장치를 이용하여 이미지를 생성하는 방법을 제공한다. 본 방법은, 상기 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지를 기초로 위장 이미지를 생성하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함한다. As a technical means for solving the above technical problem, an embodiment according to an aspect of the present invention provides a method of generating an image using an image generating device. The method includes generating, by the image generating device, a camouflage image based on an image of an object by using a first artificial intelligence model learned to generate a camouflaged image corresponding to an input image; , The camouflage image is a preset object included in the training data set, by using a second artificial intelligence model trained to determine whether the input image represents an object included in the training data set including the object image. determining whether the camouflage image represents a preset object included in the training data set, adding the camouflage image to the training data set to create a new training data set, and the new learning data set and training the second artificial intelligence model based on the data set.
또한, 본 발명의 다른 측면에 따른 실시예는, 인공지능 모델을 이용하여 이미지를 생성하는 장치를 제공한다. 본 장치는, 학습에 사용되는 데이터와 이미지 생성 프로그램을 저장하는 메모리와 상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 이미지 생성 프로그램을 실행하여, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성하고, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하고, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 것을 수행하도록 구성된다. In addition, an embodiment according to another aspect of the present invention provides an apparatus for generating an image using an artificial intelligence model. The apparatus includes a memory for storing data used for learning and an image generating program, and a processor for executing the program stored in the memory. The processor executes the image generation program to generate a camouflage image based on an object image using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image, and the input image is the object It is determined whether the stomach image represents a preset object included in the training data set using a second artificial intelligence model trained to determine whether the camouflage image represents an object included in a training data set including an image, and the When it is determined that the camouflage image represents a preset object included in the training data set, the camouflage image is added to the training data set to generate a new training data set, and the second artificial intelligence model based on the new training data set. It is configured to perform learning.
본 발명에 따르면, 생성적 적대 신경망을 이용하여 원본 이미지에 대한 모조 이미지들을 인위적으로 생성할 수 있고, 모조 이미지들을 대상으로 이미지 필터링을 자동으로 수행하여 저품질의 모조 이미지를 필터링하는데 소요되는 시간, 비용 및 노동력을 감소시킬 수 있다. According to the present invention, it is possible to artificially generate fake images for an original image using a generative adversarial neural network, and automatically perform image filtering on the fake images to filter low-quality fake images. and reduce labor.
또한, 본 발명에 따르면, 적은 수의 원본 이미지로 고품질의 모조 이미지들을 포함한 학습 데이터 세트를 생성하여, 딥러닝을 이용한 모델 학습에서 발생할 수 있는 데이터 세트 부족 및 클래스 불균형 문제를 해결할 수 있다. In addition, according to the present invention, it is possible to solve problems of insufficient data set and class imbalance that may occur in model learning using deep learning by generating a training data set including high-quality imitation images with a small number of original images.
도 1은 본 발명의 일 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치의 구성을 도시한 블록도이다.
도 2 내지 도 5는 도 1에 도시된 이미지 생성 장치를 이용하여 이미지를 생성하는 과정들을 설명하기 위해 도시한 도면들이다.
도 6은 본 발명의 다른 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 방법의 순서를 도시한 흐름도이다.
도 7 및 도 8은 도 6에 도시된 이미지 생성 방법의 일부 단계에 대한 세부 단계들을 도시한 도면들이다.
도 9는 본 발명의 실시예에 적용되는 이미지 필터링 과정을 보다 상세하게 설명하기 위해 도시한 도면이다. 1 is a block diagram showing the configuration of an image generating apparatus using a generative adversarial neural network and image filtering according to an embodiment of the present invention.
2 to 5 are diagrams for explaining processes of generating an image using the image generating apparatus shown in FIG. 1 .
6 is a flowchart illustrating a sequence of an image generation method using a generative adversarial neural network and image filtering according to another embodiment of the present invention.
7 and 8 are diagrams illustrating detailed steps for some steps of the image generating method shown in FIG. 6 .
9 is a diagram for explaining in detail an image filtering process applied to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 다만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예들로 한정되는 것은 아니다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않는다. 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미로 해석되어야 한다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 추가적으로 갖는 것으로 해석되어야 하며, 별도로 정의되지 않는 한 매우 이상적이거나 제한적인 의미로 해석되지 않는다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the present invention may be implemented in many different forms, and is not limited to the embodiments described herein. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the accompanying drawings. All terms including technical terms and scientific terms used herein should be interpreted as meanings commonly understood by those of ordinary skill in the art to which the present invention belongs. The terms defined in the dictionary should be interpreted as having additional meanings corresponding to the related technical literature and the currently disclosed content, and are not interpreted in a very ideal or limiting sense unless otherwise defined.
도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 도면에 나타난 각 구성요소의 크기, 형태, 형상은 다양하게 변형될 수 있다. 명세서 전체에 대하여 동일/유사한 부분에 대해서는 동일/유사한 도면 부호를 붙였다. In order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and the size, shape, and shape of each component shown in the drawings may be variously modified. Same/similar reference numerals are assigned to the same/similar parts throughout the specification.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 “부” 등은 명세서 작성의 용이함만이 고려되어 부여 되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하였다. The suffixes "module" and "unit" for the components used in the following description are given or used interchangeably in consideration of ease of writing the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed description is omitted.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉 또는 결합)"되어 있다고 할 때, 이는 "직접적으로 연결(접속, 접촉 또는 결합)"되어 있는 경우뿐만 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결 (접속, 접촉 또는 결합)"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함(구비 또는 마련)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 "포함(구비 또는 마련)"할 수 있다는 것을 의미한다. Throughout the specification, when a part is said to be “connected (connected, contacted, or combined)” with another part, this is not only the case where it is “directly connected (connected, contacted, or coupled)”, but also has other members in the middle. It also includes the case of being "indirectly connected (connected, contacted, or coupled)" between them. In addition, when a part "includes (provides or provides)" a certain component, it does not exclude other components, but "includes (provides or provides)" other components unless otherwise specified. means you can
본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 나타내는 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 구성 요소들의 순서나 관계를 제한하지 않는다. 예를 들어, 본 발명의 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성 요소로 명명될 수 있다. 본 명세서에서 사용되는 단수 표현의 형태들은 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 형태들도 포함하는 것으로 해석되어야 한다. Terms indicating ordinal numbers such as first and second used in this specification are used only for the purpose of distinguishing one element from another, and do not limit the order or relationship of elements. For example, a first element of the present invention may be termed a second element, and similarly, the second element may also be termed a first element. Singular forms used herein should be construed to include plural forms as well, unless the meaning is clearly indicated to the contrary.
도 1은 본 발명의 일 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 장치(이하, “이미지 생성 장치(100)”라 함)의 구성을 도시한 블록도이고, 도 2 내지 도 5는 이미지 생성 장치(100)를 이용하여 이미지를 생성하는 과정들을 설명하기 위해 도시한 도면들이다. 이하에서, 도 1 내지 도 5를 참조하여, 이미지 생성 장치(100)에 대해 상세하게 설명하도록 한다. 1 is a block diagram showing the configuration of an image generating device (hereinafter referred to as “
도 1을 참조하면, 이미지 생성 장치(100)는 인공지능 모델을 이용하여 이미지를 생성하는 장치로서, 메모리(120) 및 프로세서(140)를 포함하여 구성된다. 또한, 이미지 생성 장치(100)는 통신 모듈(110) 및 데이터베이스(130)를 더 포함할 수 있다. 이미지 생성 장치(100)는 서버 또는 단말과 같은 장치 형태로 형성될 수 있고, SaaS (Software as a Service), PaaS (Platform as a Service) 또는 IaaS (Infrastructure as a Service)와 같은 클라우드 컴퓨팅 서비스 모델에서 동작 할 수 있다. 이미지 생성 장치(100)는 사설(private) 클라우드, 공용(public) 클라우드 또는 하이브리드(hybrid) 클라우드 시스템과 같은 서버 형태로 구축될 수 있다. 또한, 이미지 생성 장치(100)는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 휴대성과 이동성이 보장되는 무선 통신 장치 또는 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치로 구현될 수 있다.Referring to FIG. 1 , an
통신 모듈(110)은 통신망을 통해 외부 기기와의 정보 송수신을 수행할 수 있다. 통신 모듈(110)은 이미지 생성 장치(100)의 학습에 사용되는 이미지 데이터, 딥러닝 알고리즘, 딥러닝 알고리즘을 토대로 생성된 학습 모델 등을 외부로부터 수신하거나 외부로 송신할 수 있다. 여기서 외부 장치는 이미지 생성 장치(100)와 별개의 서버, 단말과 같은 장치를 의미할 수 있다. 통신 모듈(110)은 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크를 통해 외부 장치와 연결될 수 있다. 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치를 포함할 수 있다. The
메모리(120)는 학습에 사용되는 데이터와 이미지 생성 프로그램을 저장한다. 프로그램의 명칭은 설명의 편의를 위해 설정된 것으로, 명칭 그 자체로 프로그램의 기능을 제한하는 것은 아니다. 또한, 메모리(120)는 통신 모듈(110)로 입력되는 정보 및 데이터, 프로세서(140)에 의해 수행되는 기능에 필요한 정보 및 데이터, 프로세서(140)의 실행에 따라 생성된 데이터 중 적어도 어느 하나 이상을 저장할 수 있다. 예컨대, 메모리(120)는 이미지 생성 장치(100)의 학습에 사용되는 이미지 및 데이터, 프로세서(140)에 의해 생성된 인공지능 학습 모델들을 저장할 수 있다. 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력을 필요로 하는 휘발성 저장장치를 통칭하는 것으로 해석되어야 한다. 또한, 메모리(120)는 프로세서(140)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 메모리(120)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The
데이터베이스(130)는 이미지 생성 장치(100)에 의해 생성되는 정보 및 데이터들을 포함할 수 있다. 데이터베이스(130)는 프로세서(140)에 의해 구축될 수 있으며, 아래에서 설명될 이미지 필터링에 따른 위장 이미지를 포함하도록 구성될 수 있다. 데이터베이스(130)는 메모리(120)의 일부를 구성할 수 있고, 메모리(120)의 외부에 별도로 형성될 수도 있다. The
프로세서(140)는 메모리(120)에 저장된 프로그램을 실행하도록 구성된다. 프로세서(140)는 데이터를 제어 및 처리하는 다양한 종류의 장치들을 포함할 수 있다. 프로세서(140)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 일 예에서, 프로세서(140)는 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 형태로 구현될 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 프로세서(140)는 이미지 생성 프로그램을 실행하여 다음과 같은 기능 및 절차들을 수행하도록 구성된다.
프로세서(140)는 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성한다. 프로세서(140)는 입력되는 이미지가 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단한다. 프로세서(140)는 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 위장 이미지를 학습 데이터 세트에 추가하여 학습 데이터 세트를 갱신한다. 즉, 프로세서(140)는 새로운 학습 데이터 세트를 생성한다. 그리고, 프로세서(140)는 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시킨다. 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단되지 않은 위장 이미지는 폐기 또는 삭제될 수 있다. 학습 데이터 세트를 갱신하는 과정은 복수회 수행될 수 있다. The
대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고, 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함할 수 있다. 대상체 이미지 및 위장 이미지를 포함하여 본 명세서 상에서 설명되는 이미지는 각각 복수개의 이미지들을 포함할 수 있다. 실제 대상체 이미지 및 실제 위장 이미지는 프로세서(140)가 카메라 등의 촬영 수단으로부터 획득한 이미지를 의미한다. 모조 대상체 이미지 및 모조 위장 이미지는 프로세서(140)가 실제 이미지를 입력 받아 모조 이미지를 생성하는 인공지능 모델을 통해 획득한 이미지를 의미한다. 일 예에서, 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 위장 이미지는 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함할 수 있다. 다른 예에서, 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고, 위장 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함할 수 있다. The object image may include a real object image and a fake object image, and the spoof image may include a real spoof image and a fake spoof image. Images described in this specification, including an object image and a stomach image, may each include a plurality of images. The real object image and real camouflage image refer to images acquired by the
프로세서(140)는 이미지 생성 프로그램을 실행하여, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 제1 인공지능 모델을 생성하는 과정을 더 수행할 수 있다. 이 때, 프로세서(140)는 실제 대상체 이미지를 토대로 모조 위장 이미지를 생성하고, 실제 위장 이미지를 토대로 모조 대상체 이미지를 생성하고, 그리고, 실제 대상체 이미지와 모조 대상체 이미지의 차이를 비교하고 모조 위장 이미지와 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 제1 인공지능 모델을 학습시키는 과정을 더 수행할 수 있다. The
프로세서(140)는 학습 데이터 세트에 포함된 대상체 이미지에 기설정된 라벨을 부여할 수 있다. 예컨대, 대상체 이미지들 각각에 서로 다른 라벨이 설정될 수 있다. 프로세서(140)는 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하고, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 과정을 더 수행할 수 있다. 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단되지 않은 경우 프로세서(140)는 해당 이미지를 폐기 또는 삭제할 수 있다. 추가적으로, 프로세서(140)는 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스(130)를 구축하는 과정을 더 수행할 수 있다.The
도 2 및 도 3을 참조하면, 이미지 생성 장치(100)는 제1 모델과 제2 모델을 포함하는 순환 생성적 적대 신경망 기반의 인공지능 모델을 토대로 이미지를 생성할 수 있다. 제1 모델과 제2 모델 각각은 생성기와 판별기를 포함한다. 제1 모델의 생성기는 클래스 A에서 클래스 B로의 전이를 학습하고 제2 모델의 생성기는 클래스 B에서 클래스 A로의 전이를 학습한다. 이와 같이, 인공지능 모델은 양방향 전이를 통해 주기 일관성 손실을 최소화하도록 학습하여 자연스러운 모조 이미지를 생성할 수 있다. Referring to FIGS. 2 and 3 , the
예컨대, 도 2를 참조하면, 제1 모델(210)은 위장되지 않은 실제 얼굴 이미지와 제2 모델(220)에 의해 생성된 위장되지 않은 모조 얼굴 이미지를 포함하는 제1 입력 이미지(201)를 입력 받아 제1 출력 이미지로서 위장된 얼굴 이미지를 생성한다. 제2 모델(220)은 위장된 실제 얼굴 이미지와 제1 모델(210)에 의해 생성된 위장된 모조 얼굴 이미지를 포함하는 제2 입력 이미지(202)를 입력 받아 제2 출력 이미지로서 위장되지 않은 얼굴 이미지를 생성한다. 이 과정에서 위장되지 않은 실제 얼굴 이미지와 위장되지 않은 모조 얼굴 이미지의 비교, 위장된 실제 얼굴 이미지와 위장된 모조 얼굴 이미지의 비교를 통해 계산된 주기 일관성 손실을 줄이는 방향으로 인공지능 모델을 학습시킬 수 있다.For example, referring to FIG. 2 , the
도 3을 참조하면, 제1 모델(310)은 위장되지 않은 실제 잎 이미지와 제2 모델(320)에 의해 생성된 위장되지 않은 모조 잎 이미지를 포함하는 제1 입력 이미지(301)를 입력 받아 제1 출력 이미지로서 위장된 잎 이미지를 생성한다. 제2 모델(320)은 위장된 실제 잎 이미지와 제1 모델(310)에 의해 생성된 위장된 모조 잎 이미지를 포함하는 제2 입력 이미지(302)를 입력 받아 제2 출력 이미지로서 위장되지 않은 잎 이미지를 생성한다. 여기서, 위장은 건강한 잎 이미지 내에서 잎에 해당하는 영역이 병해에 해당하는 것으로 위장한 것을 의미한다.Referring to FIG. 3 , the
도 4는 앞서 도 1을 참조하여 설명한 제1 인공지능 모델(410)과 제2 인공지능 모델(420)의 동작 과정을 설명하기 위해 도시한 도면이고, 도 5는 상술한 이미지에 설정되는 라벨 및 위장을 설명하기 위해 도시한 도면이다. 제1 인공지능 모델(410)의 동작 과정은 앞서 도 2 및 도 3을 참조하여 설명한 인공지능 모델과 실질적으로 동일하므로, 이에 대한 설명은 생략하도록 한다. 4 is a diagram illustrating the operation process of the first
도 4를 참조하면, 대상체에 대한 위장되지 않은 실제 이미지 및 위장된 실제 이미지를 포함하는 실제 이미지들과 제1 인공지능 모델(410)에 의해 생성되는 상기 대상체에 대한 위장된 이미지들은 제2 인공지능 모델(420)에 사용된다. 예컨대, 상기 실제 이미지들은 제2 인공지능 모델(420)의 학습 데이터로 사용될 수 있고, 상기 위장된 이미지들은 제2 인공지능 모델(420)의 테스트 데이터로 사용될 수 있다. 제2 인공지능 모델(420)은 상기 위장된 이미지들에 포함된 대상체가 상기 실제 이미지들에 포함된 대상체를 나타내는지 판단하는 과정을 수행한다. 이러한 과정은 실제 이미지들 각각에 부여된 라벨을 이용하여 수행된다. Referring to FIG. 4 , real images including real images that are not disguised and real images of an object and disguised images of the object generated by the
라벨과 관련한 도 5를 참조하면, 대상체에 대한 실제 얼굴 이미지와 인공지능 모델에 의해 생성된 상기 대상체에 대한 모조 얼굴 이미지는 동일한 라벨이 부여된다. 제1 대상체에는 Subject 1, 제2 대상체에는 Subject 2와 같이 라벨이 부여될 수 있다. 이후. 이미지 생성 장치(100)는 라벨이 부여된 이미지를 대상으로, 모자 위장, 안경 위장, 마스크 위장, 스카프 위장, 선글라스 및 마스크 위장 등을 포함하는 위장 과정(520)을 수행하여 위장 이미지들(530)을 획득할 수 있다. 제2 인공지능 모델(420)은 위장 이미지들(520) 내 위장된 대상체들을 인지하여 라벨 비교를 통해 수행한다. 이미지 생성 장치(100)는 라벨 비교를 통해 라벨이 인식된 위장 이미지들은 기존의 학습 데이터 세트에 포함시키고 그렇지 않은 위장 미지들은 폐기할 수 있다. 이러한 테스트 과정은 복수회 수행될 수 있다. 또한, 이미지 생성 장치(100)는 라벨이 인식된 위장 이미지들만을 저장하는 데이터베이스를 구축할 수 있다. Referring to FIG. 5 related to labels, the same label is assigned to a real face image of an object and a simulated face image of the object generated by an artificial intelligence model. A label such as
지금까지 설명한 이미지 생성 장치가 제2 인공지능 모델인 얼굴 인식 모델을 훈련시키는 일 예는 다음과 같다. 이미지 생성 장치(100)는, SqueezeNet 기반 얼굴 인지 모델을 이용하여 실제 얼굴의 정상 이미지와 위장 이미지로 학습을 수행한다. 해당 얼굴 인식 모델은 생성적 적대 신경망에 의해 생성된 이미지를 본 적이 없으나, 주기 일관성 손실로 인해 생성적 적대 신경망에 의해 생성된 위장 이미지와 실제 위장 이미지간의 분포는 비슷하기 때문에 훈련된 얼굴 인식 모델에서 두 이미지 모두 올바르게 인식될 수 있다. 따라서. 해당 얼굴 모델은 합성된 얼굴 이미지의 좋은 생성과 나쁜 생성을 구별하는 데 사용될 수 있다. 첫번째 반복에서 올바르게 예측된 이미지들은 저장되고 두 번째 반복에서 훈련 데이터에 포함시킨다. 두 번째 반복에서 얼굴 인식 모델은 실제 이미지와 생성된 위장 이미지로 학습을 수행한다. 이와 같이, 훈련된 얼굴 인식 모델은 첫번째 반복에서 잘못 인식된 이미지에 대해 테스트하게 된다. 이에 따라, 올바르게 인식된 이미지는 저장되고 나머지는 폐기된다.An example of training the face recognition model, which is the second artificial intelligence model, by the image generating device described above is as follows. The
도 6은 본 발명의 다른 실시예에 따른 생성적 적대 신경망과 이미지 필터링을 이용한 이미지 생성 방법(이하 “이미지 생성 방법”이라 함)의 순서를 도시한 흐름도이고, 도 7 및 도 8은 이미지 생성 방법의 일부 단계에 대한 세부 단계들을 도시한 도면들이다. 이하에서 설명될 이미지 생성 방법은 앞서 도 1 내지 도 5를 참조하여 설명한 이미지 생성 장치(도 1의 100)에 의해 수행될 수 있다. 따라서, 앞서 도 1 내지 도 5를 참조하여 설명한 본 발명의 실시예에 대한 내용은 이하에서 설명될 실시예에도 동일하게 적용될 수 있으며, 이하에서 상술한 설명과 중복되는 내용은 생략하도록 한다. 이하에서 설명되는 단계들은 반드시 순서대로 수행되어야 하는 것은 아니고, 단계들의 순서는 다양하게 설정될 수 있으며, 단계들은 거의 동시에 수행될 수도 있다.6 is a flow chart showing the sequence of an image generation method (hereinafter referred to as “image generation method”) using a generative adversarial neural network and image filtering according to another embodiment of the present invention, and FIGS. 7 and 8 are image generation methods. These are drawings showing detailed steps for some steps of. An image generating method to be described below may be performed by the image generating device ( 100 of FIG. 1 ) previously described with reference to FIGS. 1 to 5 . Therefore, the contents of the embodiments of the present invention described above with reference to FIGS. 1 to 5 can be equally applied to the embodiments to be described below, and descriptions overlapping with those described above will be omitted. The steps described below do not necessarily have to be performed in order, the order of the steps may be set in various ways, and the steps may be performed almost simultaneously.
도 6을 참조하면, 이미지 생성 방법은, 이미지 생성 장치를 이용하여 이미지를 생성하는 방법으로서, 위장 이미지 생성 단계(S110), 위장 이미지 테스트 단계(S120) 및 학습 데이터 세트 갱신 단계(S130)를 포함한다. Referring to FIG. 6 , the image generation method is a method of generating an image using an image generation device, and includes a camouflage image generation step (S110), a camouflage image test step (S120), and a training data set update step (S130). do.
위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계이다. The camouflage image generation step ( S110 ) is a step in which the image generating device generates a camouflage image corresponding to the object image by using the first artificial intelligence model learned to generate a camouflage image corresponding to the input image.
위장 이미지 테스트 단계(S120)는 이미지 생성 장치가, 입력되는 이미지가 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계이다. 학습 데이터 세트 갱신 단계(S130)는 이미지 생성 장치가, 위장 이미지가 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 단계이다. 여기서, 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고, 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함할 수 있다. In the camouflage image test step (S120), the camouflage image is learned by using the second artificial intelligence model trained to determine whether the input image represents an object included in the training data set including the object image, by the image generating device. This is a step of determining whether the data set represents a predetermined object included in the data set. In the training data set updating step (S130), when the image generating device determines that the spoof image represents a preset object included in the training data set, a new training data set is generated by adding the spoof image to the training data set, and a new training data set is generated. This step is to train the second artificial intelligence model based on the training data set. Here, the object image may include a real object image and a fake object image, and the camouflage image may include a real camouflage image and a fake camouflage image.
위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 제1 인공지능 모델을 생성하는 단계를 포함할 수 있다. 또한, 도 7을 참조하면, 위장 이미지 생성 단계(S110)는 이미지 생성 장치가, 실제 대상체 이미지를 토대로 모조 위장 이미지를 생성하고, 실제 위장 이미지를 토대로 모조 대상체 이미지를 생성하는 단계(S111) 및 실제 대상체 이미지와 모조 대상체 이미지의 차이를 비교하고, 모조 위장 이미지와 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 제1 인공지능 모델을 학습시키는 단계(S112)를 더 포함할 수 있다.The camouflage image generating step ( S110 ) may include generating, by the image generating device, a first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN). In addition, referring to FIG. 7 , generating a camouflage image (S110) includes the steps of generating, by the image generating device, a fake camouflage image based on a real object image and generating a fake object image based on the real camouflage image (S111) and the actual camouflage image. The method may further include comparing the difference between the object image and the fake object image and comparing the difference between the fake spoof image and the actual spoof image to minimize periodic consistency loss calculated by training the first artificial intelligence model (S112). .
일 예에서, 상술한 대상체 이미지는 복수개의 얼굴 이미지들을 포함할 수 있다. 위장 이미지는 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함할 수 있다.In one example, the above-described object image may include a plurality of face images. The camouflage image may include images in which at least one of a hat, a mask, glasses, sunglasses, and a scarf is camouflaged for each face in a plurality of face images.
다른 예에서, 상술한 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함할 수 있다. 위장 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함할 수 있다.In another example, the above-described object image may include a plurality of images belonging to a healthy leaf category. The camouflage image may include images camouflaging disease on each leaf among a plurality of images belonging to the healthy leaf category.
도 8을 참조하면, 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여될 수 있다. 이 때, 학습 데이터 세트 갱신 단계(S130)는 이미지 생성 장치가, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하는 단계(S131) 및 이미지 생성 장치가, 위장 이미지가 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만, 위장 이미지를 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 새로운 학습 데이터 세트를 토대로 제2 인공지능 모델을 학습시키는 단계(S132)를 포함할 수 있다. Referring to FIG. 8 , a preset label may be assigned to an object image included in a training data set. At this time, in the updating of the training data set (S130), the image generating device determines whether the camouflage image represents the same object as the object image to which a preset label has been assigned (S131), and the image generating device determines whether the camouflage image is a basic generating a new training data set by adding a camouflage image to a training data set and training a second artificial intelligence model based on the new training data set only when it is determined that the set label represents the same object as the assigned object image; (S132) may be included.
도면에 도시되지 않았으나, 이미지 생성 방법은 추가적으로, 이미지 생성 장치가, S130 단계에 따라 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스(130)를 구축하는 단계를 더 포함할 수 있다.Although not shown in the figure, the image generating method may further include, by the image generating device, constructing a
지금까지 설명한 이미지 생성 방법은 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하는 제2 인공지능 모델을 학습하는 단계, 학습된 제 2인공지능모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 기설정한 대상체를 나타내지 않는 것으로 판단한 경우에는 상기 모조 위장 이미지는 보류하는 단계, 그리고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습하여 상기 보류된 모조 위장 이미지가 기설정한 대상체를 나타내는지 판단하고, 나타내지 못한 이미지는 폐기하는 단계를 포함하여 구현될 수도 있다. The image generation method described above includes the steps of generating a camouflage image corresponding to an object image by using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image by an image generation device; The device uses a second artificial intelligence model trained to determine whether an input image represents an object included in a training data set including the object image, and the camouflage image is included in the training data set. determining whether the input image represents an object; learning, by the image generating device, a second artificial intelligence model for determining whether an input image represents an object included in a training data set including the object image; 2 Determining whether the camouflage image represents a preset object included in the learning data set using an artificial intelligence model; Adding a camouflage image to the training data set to create a new training data set, and holding the fake camouflage image when it is determined that it does not represent a preset object; and, based on the new training data set, the second training data set is created. It may also be implemented by learning an artificial intelligence model to determine whether the withheld simulated gastrointestinal image represents a predetermined object, and discarding images that cannot be represented.
도 9는 본 발명의 실시예에 적용되는 이미지 필터링 과정을 보다 상세하게 설명하기 위해 도시한 도면이다. 도 9와 함께 상술한 본 발명의 실시예들에 대한 설명들을 참조하면, 본 발명의 실시예에 따라, 이미지 생성 장치(100)는 먼저 얼굴 인지 모델을 실제 얼굴 사진의 학습 데이터 세트에 대해 훈련시킨다. 이미지 생성 장치(100)는 기존 학습 데이터 세트를 통해 인지 모델을 훈련시킨 후, 순환 생성적 적대 신경망을 통해 생성된 위장 모조 이미지를 테스트한다. 이미지 생성 장치(100)는 테스트에 따라 올바르게 인식된 이미지만을 기존 학습 데이터 세트에 포함하여 새로운 학습 데이터 세트를 형성하고 그렇지 않은 데이터는 보류한다. 이미지 생성 장치(100)는 새로운 데이터 세트에 대한 인지 모델의 훈련을 진행한다. 이미지 생성 장치(100)는 훈련된 모델로 보류된 이미지를 다시 테스트하여 올바르게 인식된 이미지는 데이터 세트에 포함하고, 그렇지 않은 이미지는 폐기한다.9 is a diagram for explaining in detail an image filtering process applied to an embodiment of the present invention. Referring to the descriptions of the embodiments of the present invention described above together with FIG. 9 , according to an embodiment of the present invention, the
이상 지금까지 설명한 본 발명의 실시예에 따른 이미지 생성 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.The method of generating an image according to an embodiment of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 상술한 설명을 기초로 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해되어야만 한다. 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. 본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.Those skilled in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention based on the above description. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be interpreted as being included in the scope of the present invention. The scope of the present application is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present application.
Claims (15)
a) 상기 이미지 생성 장치가, 입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여, 대상체 이미지에 대응되는 위장 이미지를 생성하는 단계;
b) 상기 이미지 생성 장치가, 입력되는 이미지가 상기 대상체 이미지를 포함하는 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하는 단계; 및
c) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는, 이미지 생성 방법. In the method of generating an image using an image generating device,
a) generating, by the image generating device, a camouflage image corresponding to an image of an object by using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image;
b) The image generating device uses a second artificial intelligence model trained to determine whether an input image represents an object included in a training data set including the object image, so that the camouflage image is selected from the training data set. determining whether it represents a predetermined object included in; and
c) When the image generating device determines that the spoofed image represents a preset object included in the training data set, a new training data set is created by adding the spoofed image to the training data set, and the new training data set is added to the training data set. Training the second artificial intelligence model based on a data set.
상기 a) 단계는,
상기 이미지 생성 장치가, 순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 상기 제1 인공지능 모델을 생성하는 단계를 포함하는 것인, 이미지 생성 방법.According to claim 1,
In step a),
The image generating method comprising generating, by the image generating device, the first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN).
상기 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고,
상기 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함하고, 그리고,
상기 a) 단계는,
a-1) 상기 이미지 생성 장치가, 상기 실제 대상체 이미지를 토대로 상기 모조 위장 이미지를 생성하고, 상기 실제 위장 이미지를 토대로 상기 모조 대상체 이미지를 생성하는 단계; 및
a-2) 상기 실제 대상체 이미지와 상기 모조 대상체 이미지의 차이를 비교하고, 상기 모조 위장 이미지와 상기 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 상기 제1 인공지능 모델을 학습시키는 단계를 포함하는 것인, 이미지 생성 방법. According to claim 2,
The object image includes a real object image and an imitation object image,
The camouflage image includes a real camouflage image and an imitation camouflage image, and
In step a),
a-1) generating, by the image generating device, the fake camouflage image based on the real object image, and generating the fake object image based on the real camouflage image; and
a-2) comparing the difference between the real object image and the simulated object image, and training the first artificial intelligence model to minimize periodic consistency loss calculated by comparing the difference between the simulated gastrointestinal image and the real gastrointestinal image A method of generating an image, comprising steps.
상기 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함하는 것인, 이미지 생성 방법.According to claim 1,
The object image includes a plurality of face images, and
The camouflage image includes images in which at least one or more of a hat, a mask, glasses, sunglasses, and a scarf are camouflaged for each face in the plurality of face images.
상기 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함하는 것인, 이미지 생성 방법. According to claim 1,
The object image includes a plurality of images belonging to the health leaf category, and
Wherein the camouflage image includes images camouflaging disease on each leaf in a plurality of images belonging to the healthy leaf category.
상기 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여되고,
상기 c) 단계는,
c-1) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하는 단계; 및
c-2) 상기 이미지 생성 장치가, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만, 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 단계를 포함하는 것인, 이미지 생성 방법. According to claim 1,
A preset label is assigned to an object image included in the learning data set,
In step c),
c-1) determining, by the image generating device, whether the camouflage image represents the same object as the object image to which the preset label is assigned; and
c-2) When the image generating device determines that the camouflage image represents the same object as the object image to which the preset label is assigned, a new training data set is created by adding the camouflage image to the training data set. Generating and learning the second artificial intelligence model based on the new training data set.
d) 상기 이미지 생성 장치가, 상기 c) 단계에 따라 상기 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스를 구축하는 단계를 더 포함하는, 이미지 생성 방법. According to claim 1,
d) constructing, by the image generating device, a camouflage image database including camouflage images added to the training data set according to step c);
학습에 사용되는 데이터와 이미지 생성 프로그램을 저장하는 메모리; 및
상기 메모리에 저장된 프로그램을 실행하는 프로세서를 포함하며,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
입력되는 이미지에 대응되는 위장된 이미지를 생성하도록 학습된 제1 인공지능 모델을 이용하여 대상체 이미지를 기초로 위장 이미지를 생성하고, 입력되는 이미지가 학습 데이터 세트에 포함된 대상체를 나타내는 것인지를 판단하도록 학습된 제2 인공지능 모델을 이용하여 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것인지 판단하고, 그리고, 상기 위장 이미지가 상기 학습 데이터 세트에 포함된 기설정된 대상체를 나타내는 것으로 판단한 경우 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 것을 수행하도록 구성되는, 이미지 생성 장치. A device for generating an image using an artificial intelligence model,
a memory for storing data used for learning and an image generating program; and
A processor for executing a program stored in the memory;
The processor executes the image generating program,
To generate a camouflage image based on an object image using a first artificial intelligence model learned to generate a camouflage image corresponding to an input image, and to determine whether the input image represents an object included in the training data set Determining whether the camouflage image represents a preset object included in the training data set using the learned second artificial intelligence model, and determining that the camouflage image represents a preset object included in the training data set if the camouflage image is added to the training data set to generate a new training data set, and to perform training of the second artificial intelligence model based on the new training data set.
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
순환 생성적 적대 신경망(CycleGAN, Cycle Generative Adversarial Network)을 이용하여 상기 제1 인공지능 모델을 생성하는 과정을 더 수행하는 것인, 이미지 생성 장치.According to claim 8,
The processor executes the image generating program,
The image generating device further performing a process of generating the first artificial intelligence model using a Cycle Generative Adversarial Network (CycleGAN).
상기 대상체 이미지는 실제 대상체 이미지 및 모조 대상체 이미지를 포함하고,
상기 위장 이미지는 실제 위장 이미지 및 모조 위장 이미지를 포함하고, 그리고,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
실제 대상체 이미지를 토대로 상기 모조 위장 이미지를 생성하고, 상기 실제 위장 이미지를 토대로 상기 모조 대상체 이미지를 생성하고, 그리고, 상기 실제 대상체 이미지와 상기 모조 대상체 이미지의 차이를 비교하고 상기 모조 위장 이미지와 상기 실제 위장 이미지의 차이를 비교하여 산출되는 주기 일관성 손실을 최소화하도록 상기 제1 인공지능 모델을 학습시키는 과정을 더 수행하는 것인, 이미지 생성 장치. According to claim 9,
The object image includes a real object image and an imitation object image,
The camouflage image includes a real camouflage image and an imitation camouflage image, and
The processor executes the image generating program,
The fake camouflage image is generated based on the real object image, the fake object image is created based on the real object image, and a difference between the real object image and the fake object image is compared and the fake camouflage image and the real object image are compared. Further performing a process of learning the first artificial intelligence model to minimize periodic consistency loss calculated by comparing differences between camouflage images.
상기 대상체 이미지는 복수개의 얼굴 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 복수개의 얼굴 이미지들 내 각각의 얼굴에 모자, 마스크, 안경, 선글라스 및 목도리 중 적어도 하나 이상을 위장한 이미지들을 포함하는 것인, 이미지 생성 장치. According to claim 8,
The object image includes a plurality of face images, and
The camouflage image includes images in which at least one of a hat, a mask, glasses, sunglasses, and a scarf is camouflaged for each face in the plurality of face images.
상기 대상체 이미지는 건강 잎 카테고리에 속한 복수개의 이미지들을 포함하고, 그리고,
상기 위장 이미지는 상기 건강 잎 카테고리에 속한 복수개의 이미지들 내 각각의 잎에 병해를 위장한 이미지들을 포함하는 것인, 이미지 생성 장치. According to claim 8,
The object image includes a plurality of images belonging to the health leaf category, and
The camouflage image includes images masquerading as disease on each leaf in a plurality of images belonging to the healthy leaf category.
상기 학습 데이터 세트에 포함된 대상체 이미지에는 기설정된 라벨이 부여되고,
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여,
상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것인지 판단하고, 상기 위장 이미지가 상기 기설정된 라벨이 부여된 대상체 이미지와 동일한 대상체를 나타내는 것으로 판단된 경우에만 상기 위장 이미지를 상기 학습 데이터 세트에 추가하여 새로운 학습 데이터 세트를 생성하고, 상기 새로운 학습 데이터 세트를 토대로 상기 제2 인공지능 모델을 학습시키는 과정을 더 수행하는 것인, 이미지 생성 장치. According to claim 8,
A preset label is assigned to an object image included in the learning data set,
The processor executes the image generating program,
It is determined whether the gastrointestinal image represents the same object as the object image to which the preset label is assigned, and the gastrointestinal image is displayed only when it is determined that the gastrointestinal image represents the same object as the object image to which the preset label is assigned. An image generating device further performing a process of generating a new training data set in addition to a training data set and learning the second artificial intelligence model based on the new training data set.
상기 프로세서는 상기 이미지 생성 프로그램을 실행하여, 상기 학습 데이터 세트에 추가되는 위장 이미지를 포함하는 위장 이미지 데이터베이스를 구축하는 과정을 더 수행하는 것인, 이미지 생성 장치. According to claim 8,
Wherein the processor executes the image generating program to further perform a process of constructing a camouflage image database including camouflage images added to the training data set.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220001287A KR102704657B1 (en) | 2022-01-05 | 2022-01-05 | Apparatus and method for generating images using generative adversarial network and quality filtering |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220001287A KR102704657B1 (en) | 2022-01-05 | 2022-01-05 | Apparatus and method for generating images using generative adversarial network and quality filtering |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230105814A true KR20230105814A (en) | 2023-07-12 |
KR102704657B1 KR102704657B1 (en) | 2024-09-09 |
Family
ID=87163660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220001287A KR102704657B1 (en) | 2022-01-05 | 2022-01-05 | Apparatus and method for generating images using generative adversarial network and quality filtering |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102704657B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190133582A (en) * | 2018-05-23 | 2019-12-03 | 한국과학기술원 | Method and apparatus for removal of personal identification using generative model |
KR20210036039A (en) * | 2019-09-25 | 2021-04-02 | 삼성전자주식회사 | Electronic device and image processing method thereof |
KR102240885B1 (en) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | Method and Apparatus for Conversing Image Based on Generative Adversarial Network |
-
2022
- 2022-01-05 KR KR1020220001287A patent/KR102704657B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190133582A (en) * | 2018-05-23 | 2019-12-03 | 한국과학기술원 | Method and apparatus for removal of personal identification using generative model |
KR20210036039A (en) * | 2019-09-25 | 2021-04-02 | 삼성전자주식회사 | Electronic device and image processing method thereof |
KR102240885B1 (en) * | 2019-11-12 | 2021-04-14 | 연세대학교 산학협력단 | Method and Apparatus for Conversing Image Based on Generative Adversarial Network |
Non-Patent Citations (3)
Title |
---|
Usman Cheema and Seungbin Moon, Sejong Face Database: Multi-Modal Disguised Face Database, Computer Vision and Image Understanding, Volumes 208-209, 2021* * |
유영준, 양병희, and 노용만. "영상 정보 분야의 딥러닝 기반 적대적 공격과 방어 기술 동향 분석 및 국방 분야 적용 방안." 한국국방경영분석학회지 46.1 (2020) * |
함현식, 조현종, 이미지 증대 기법을 이용한 토마토 병충해 분류, 전기학회논문지 제70권 제1호, 2021* * |
Also Published As
Publication number | Publication date |
---|---|
KR102704657B1 (en) | 2024-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309706B (en) | Face key point detection method and device, computer equipment and storage medium | |
US20220058426A1 (en) | Object recognition method and apparatus, electronic device, and readable storage medium | |
US10853623B2 (en) | Method and apparatus for generating information | |
US10691928B2 (en) | Method and apparatus for facial recognition | |
CN111414946B (en) | Artificial intelligence-based medical image noise data identification method and related device | |
KR20190038923A (en) | Method, apparatus and system for verifying user identity | |
WO2020238353A1 (en) | Data processing method and apparatus, storage medium, and electronic apparatus | |
WO2022033219A1 (en) | Face liveness detection method, system and apparatus, computer device, and storage medium | |
CN108491808B (en) | Method and device for acquiring information | |
CN113705276B (en) | Model construction method, model construction device, computer equipment and medium | |
CN111784818B (en) | Method, apparatus and computer readable storage medium for generating three-dimensional mannequin | |
US20220237917A1 (en) | Video comparison method and apparatus, computer device, and storage medium | |
CN111783997B (en) | Data processing method, device and equipment | |
WO2022001092A1 (en) | Data processing method and apparatus, and device | |
CN111291773A (en) | Feature identification method and device | |
CN113822790B (en) | Image processing method, device, equipment and computer readable storage medium | |
CN113391992B (en) | Test data generation method and device, storage medium and electronic equipment | |
CN111401193B (en) | Method and device for acquiring expression recognition model, and expression recognition method and device | |
CN110427998A (en) | Model training, object detection method and device, electronic equipment, storage medium | |
JP2023526899A (en) | Methods, devices, media and program products for generating image inpainting models | |
CN114170484B (en) | Picture attribute prediction method and device, electronic equipment and storage medium | |
WO2024179446A1 (en) | Image processing method and related device | |
WO2021258955A1 (en) | Method and apparatus for marking object outline in target image, and storage medium and electronic apparatus | |
CN111461091B (en) | Universal fingerprint generation method and device, storage medium and electronic device | |
KR20230105814A (en) | Apparatus and method for generating images using generative adversarial network and quality filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |