KR20200075940A - Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same - Google Patents
Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same Download PDFInfo
- Publication number
- KR20200075940A KR20200075940A KR1020180160823A KR20180160823A KR20200075940A KR 20200075940 A KR20200075940 A KR 20200075940A KR 1020180160823 A KR1020180160823 A KR 1020180160823A KR 20180160823 A KR20180160823 A KR 20180160823A KR 20200075940 A KR20200075940 A KR 20200075940A
- Authority
- KR
- South Korea
- Prior art keywords
- data set
- real
- images
- neural network
- time data
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000037014 Rare skin disease Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 실시간 데이터 셋 확대 생성 시스템, 실시간 데이터 셋 확대 생성 방법, 및 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 더 상세하게는, 한정된 개수의 이미지를 사용하여 즉각적으로 정확도가 향상된 기계 학습을 가능하게 하는 기술에 관한 것이다.
The present invention relates to a real-time data set enlargement generation system, a real-time data set enlargement generation method, and a computer-readable recording medium recording a program for executing the same, and more specifically, an instantaneous accuracy is obtained using a limited number of images. It relates to a technology that enables improved machine learning.
머신 러닝(machine learning; 기계 학습)이란 인공 지능(Artificial Intelligence: AI)의 한 종류로서, 데이터를 기반으로 컴퓨터가 스스로 학습한 내용을 바탕으로 회귀, 분류, 군집화 등의 예측 작업을 수행하는 것을 말한다. 스팸 메일을 자동으로 필터링하는 기술, 사진상 얼굴을 인식하는 기술이 머신러닝의 좋은 사례이다.Machine learning (machine learning) is a type of artificial intelligence (AI), which refers to performing prediction tasks such as regression, classification, and clustering based on data learned by the computer on its own. . The technology of automatically filtering out spam mails and the technology of recognizing faces in photos are good examples of machine learning.
기계 학습을 통한 데이터의 클래스 분류가 가능하기 위해서, 일정 이상의 데이터량이 요구되며, 데이터 셋에 포함된 데이터가 적을수록, 기계 학습을 통해 생성된 모델의 정확도가 떨어질 수밖에 없다. In order to be able to classify data through machine learning, a certain amount of data is required, and the less data included in the data set, the more accurate the model generated through machine learning is.
이에 따라, 기존에는 기계 학습이 가능하기 위해서, 많은 양의 데이터가 포함된 학습용 데이터 셋이 구성되어야 했다. 이때, 학습용 데이터 셋에 포함된 데이터가 적을수록, 기계 학습을 통해 생성된 모델의 정확도가 떨어질 수밖에 없다. Accordingly, in order to be capable of machine learning in the past, a learning data set having a large amount of data had to be configured. At this time, the less data included in the training data set, the less accurate the model generated through machine learning is.
그러나, 잘 알려지지 않거나 아직 연구가 많이 이루어지지 않았거나, 대중적이지 않은 분야에서의 데이터의 양은 매우 한정적일 경우가 많다. 희귀한 피부병에 대한 이미지는 인터넷에 찾아봐도 그 개수가 한정되어 있으며, 종종 이와 같은 한정된 데이터를 포함하는 데이터 셋에 대해서는 비싼 값으로 별도로 판매가 이루어지고 있다. However, the amount of data in fields that are not well-known or have not been studied yet or are not popular is often very limited. The number of images of rare skin diseases is limited even when they are found on the Internet, and data sets containing such limited data are often sold separately at high prices.
이에 따라, 종래에는 적은 양의 데이터를 이용하여 기계 학습을 통한 AI 모델의 생성은 실질적으로 어렵다는 문제가 있다. Accordingly, conventionally, there is a problem in that it is practically difficult to generate an AI model through machine learning using a small amount of data.
국내등록특허 제10-1843066호(특허문헌 1)는 실제 데이터와 유사하게 데이터를 생성함으로써, 즉, 효과적인 데이터 확대(data augmentation)를 수행함으로써 기계 학습에 의한 분류 모델의 정확도를 높일 수 있는 방법으로서 종래의 생성적 적대 신경망(Generative Adverarial Network, GAN)을 개량한 방법을 제안한다.Korean Patent Registration No. 10-1843066 (Patent Document 1) is a method that can increase the accuracy of a classification model by machine learning by generating data similar to actual data, that is, by performing effective data augmentation. We propose a method that improves the conventional generative adverarial network (GAN).
종래의 생성적 적대 신경망은 진짜 같은 가짜를 생성하는 모델과 이에 대한 진위를 판별하는 모델의 경쟁을 통해 진짜 같은 가짜 이미지를 만들 수 있다. 특허문헌 1에서는 수정 GAN을 제공하며, 이의 생성기는 다수의 레이블 각각에 대응되는 유사 데이터를 생성하는 서브 생성기를 포함하고, 이러한 서브 생성기는 서브 생성기에 대응되는 레이블에 속한 유사 데이터를 생성한다. Conventional generative hostile neural networks can create authentic fake images through competition between models that generate authentic fakes and models that determine their authenticity.
또한, 특허문헌 1의 수정 GAN의 판별기는 그 판별기가 판별하는 대상인 대상 데이터가 실제 데이터인지 아닌지만 판별하는 것이 아니라, 다수의 레이블 중에서 대상 데이터가 속하는 레이블도 예측 내지 구분한다. In addition, the discriminator of the modified GAN of
그러나, 실질적으로 특허문헌 1의 수정 GAN에 의하면, 특정 레이블에 해당하는 유사 데이터를 생성하는 데에는 한계가 있다. 특허문헌 1의 수정 GAN은 실제 데이터 및 그 실제 데이터가 속한 레이블의 종류에 기초하여 학습된다는 점에서, 특정 레이블에 대해서 데이터를 생성하여 그 적은 수량을 보충하여 데이터 불균형을 해소할 수 있을 정도일 뿐, 적은 수량의 데이터 자체만으로 정확도 높은 기계 학습 모델을 학습시킬 수 없다는 점에서 한계가 있다. However, practically according to the modified GAN of
즉, 특허문헌 1은 데이터 불균형을 해소하기 위한 적은 수량을 보충할 수는 있겠으나, 결국 소정의 분류용 기계 학습 모델을 학습시키는 데에 충분하지 않을 수 있다. That is,
따라서, 현재는 데이터 확대 기술로서, 데이터 셋을 구성하기 위한 이미지 데이터가 한정되어 있을 경우에도 기존의 한정된 개수의 이미지를 기반으로 충분한 개수의 새로운 이미지를 생성하여 데이터 셋을 효율적이며 경제적으로 구성할 수 있는 기술이 필요한 실정이다. Therefore, as a data augmentation technology, it is possible to efficiently and economically construct a data set by generating a sufficient number of new images based on an existing limited number of images, even when image data for constructing the data set is limited. There is a need for a skill.
상기한 바와 같은 종래의 문제점을 해결하기 위한 본 발명은, 한정된 개수의 이미지를 기반으로 충분한 개수의 새로운 이미지를 생성하여 데이터 셋을 효율적이며 경제적으로 구성할 수 있는 기술을 제공하는 것을 목적으로 한다.The present invention for solving the conventional problems as described above, an object of the present invention is to provide a technique for efficiently and economically constructing a data set by generating a sufficient number of new images based on a limited number of images.
본 발명의 목적(들)은 이상에서 언급한 목적으로 제한되지 않으며 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고 본 발명의 실시 예에 의해 더욱 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The object(s) of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned can be understood by the following description and will be more clearly understood by embodiments of the present invention. . In addition, it will be readily appreciated that the objects and advantages of the present invention can be realized by means of the appended claims and combinations thereof.
상기 목적을 달성하기 위한 본 발명의 실시간 데이터 셋 확대 생성 시스템은, 기계 학습을 위해 적어도 하나의 입력 이미지를 포함하는 훈련 데이터 셋; 프로세서에 의해 상기 입력 이미지에 적어도 하나의 변조 방법을 적용시켜, 다수의 이미지를 생성하는 변조부; 상기 변조부로부터 변조된 상기 다수의 이미지의 화질을 개선시키는 제1 신경망; 및 상기 제1 신경망으로부터의 개선된 상기 다수의 이미지에 다양한 필터 효과를 적용시키는 비지도 생성 모델인 제2 신경망이 구비된 필터부;를 포함하는 것이 바람직하다. The real-time data set enlargement generation system of the present invention for achieving the above object includes: a training data set including at least one input image for machine learning; A modulator configured to generate a plurality of images by applying at least one modulation method to the input image by a processor; A first neural network for improving image quality of the plurality of images modulated by the modulator; And a filter unit provided with a second neural network which is an unmap generation model that applies various filter effects to the improved plurality of images from the first neural network.
또한, 상기 변조 방법은, 상기 프로세서에 의해 상기 입력 이미지를 회전하는 단계 및 상기 프로세서에 의해 회전된 상기 입력 이미지를 상하 대칭시키는 단계를 포함하는 것이 바람직하다.In addition, the modulation method preferably includes rotating the input image by the processor and symmetrically vertically rotating the input image rotated by the processor.
상기 변조 방법은 상기 회전하는 단계 및 대칭시키는 단계 후에 줌-인(zoom-in), 이동(translate), 부분 확대(region zoom-in), 및 아핀 변환(affine transformation) 단계 중 적어도 어느 하나를 더 포함하는 것이 바람직하다.The modulation method further comprises at least one of zoom-in, translation, region zoom-in, and affine transformation steps after the rotating and mirroring steps. It is preferred to include.
또한, 상기 제1 신경망으로서 오토 인코더(auto-encoder)가 사용되는 것이 바람직하다.In addition, it is preferable that an auto-encoder is used as the first neural network.
또한, 상기 제2 신경망은 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것이 바람직하다.In addition, the second neural network is preferably a generative adversarial network (GAN).
또한, 상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부에 가우스 노이즈(gaussian noise)를 부가시키는 제1 필터 알고리즘을 포함하는 것이 바람직하다.In addition, it is preferable that the filter unit includes a first filter algorithm that adds Gaussian noise to at least a portion of the plurality of images whose image quality is improved from the first neural network.
또한, 상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부의 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘을 포함하는 것이 바람직하다.Also, it is preferable that the filter unit includes a second filter algorithm that changes at least one of contrast, brightness, sharpness, and color of at least a portion of the plurality of images with improved image quality from the first neural network.
또한, 상기 제2 신경망, 상기 제1 필터 알고리즘 및 상기 제2 필터 알고리즘 중 적어도 하나가 선택적으로 상기 다수의 이미지에 적용되어 2차 다수의 이미지가 생성되는 것이 바람직하다.
Further, it is preferable that at least one of the second neural network, the first filter algorithm, and the second filter algorithm is selectively applied to the plurality of images to generate a second plurality of images.
상기 목적을 달성하기 위한 본 발명의 실시간 데이터 셋 확대 생성 방법은, 프로세서에 의해 기계 학습을 위해 적어도 하나의 입력 이미지를 포함하는 훈련 데이터 셋이 수신되는 단계; 상기 프로세서에 의해 상기 입력 이미지에 적어도 하나의 변조 방법이 적용되어 다수의 이미지가 생성되는 단계; 제1 신경망에 의해 상기 다수의 이미지의 화질이 개선되는 단계; 및 비지도 생성 모델인 제2 신경망이 구비된 필터부에 의해 상기 다수의 이미지에 필터 효과가 적용되어 2차 다수의 이미지가 생성되는 단계;를 포함하는 것이 바람직하다. The method for generating a real-time data set enlargement of the present invention for achieving the above object comprises: receiving, by a processor, a training data set including at least one input image for machine learning; Generating a plurality of images by applying at least one modulation method to the input image by the processor; Improving the image quality of the plurality of images by a first neural network; And generating a secondary multiple image by applying a filter effect to the multiple images by a filter unit equipped with a second neural network that is an unmap generation model.
또한, 상기 변조 방법은, 상기 프로세서에 의해 상기 입력 이미지를 회전하는 단계 및 상기 프로세서에 의해 회전된 상기 입력 이미지를 상하 대칭시키는 단계를 포함하고, 상기 회전하는 단계 및 대칭시키는 단계 후에 줌-인(zoom-in), 이동(translate), 부분 확대(region zoom-in), 및 아핀 변환(affine transformation) 단계 중 적어도 어느 하나를 더 포함하는 것이 바람직하다.In addition, the modulation method includes rotating the input image by the processor and flipping the input image rotated by the processor up and down, and zooming in after the rotating and mirroring steps ( It is preferred to further include at least one of the steps of zoom-in, translation, region zoom-in, and affine transformation.
또한, 상기 제1 신경망으로서 오토 인코더(auto-encoder)가 사용되고, 상기 제2 신경망은 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것이 바람직하다.In addition, it is preferable that an auto-encoder is used as the first neural network, and the second neural network is a generative adversarial network (GAN).
또한, 상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부에 가우스 노이즈(gaussian noise)를 부가시키는 제1 필터 알고리즘을 포함하는 것이 바람직하다.In addition, it is preferable that the filter unit includes a first filter algorithm that adds Gaussian noise to at least a portion of the plurality of images whose image quality is improved from the first neural network.
또한, 상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부의 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘을 포함하는 것이 바람직하다.Also, it is preferable that the filter unit includes a second filter algorithm that changes at least one of contrast, brightness, sharpness, and color of at least a portion of the plurality of images with improved image quality from the first neural network.
또한, 상기 제2 신경망, 상기 제1 필터 알고리즘 및 상기 제2 필터 알고리즘 중 적어도 하나가 선택적으로 상기 다수의 이미지에 적용되어 상기 2차 다수의 이미지가 생성되는 것이 바람직하다.
Further, it is preferable that at least one of the second neural network, the first filter algorithm, and the second filter algorithm is selectively applied to the plurality of images to generate the second plurality of images.
또한, 상기 목적을 달성하기 위한 본 발명의 컴퓨터 판독 가능한 기록 매체는, 실시간 데이터 셋 확대 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체인 것이 바람직하다.
Further, the computer-readable recording medium of the present invention for achieving the above object is preferably a computer-readable recording medium recording a program for executing a real-time data set enlargement generation method.
기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.Specific details of other embodiments are included in the "specific contents for carrying out the invention" and the accompanying "drawings".
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.Advantages and/or features of the present invention and methods for achieving them will be made clear by referring to various embodiments described below in detail together with the accompanying drawings.
그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.
However, the present invention is not limited to the configuration of each embodiment disclosed below, but may also be implemented in various different forms. Each embodiment disclosed in the present specification makes the disclosure of the present invention complete, and It is to be understood that the scope of the present invention is provided to those skilled in the art to which the present invention pertains, and the present invention is only defined by the scope of each claim of the claims.
이상에서 살펴본 바와 같이, 본 발명에 의하면, 기계학습을 할 수 있을 정도로 데이터가 충분하지 않을 경우에도 데이터 셋을 구성시킬 수 있어, 특별히 데이터가 부족하거나 수집이 어려운 이미지들에 대한 인공지능 모델도 생성가능하게 된다. As described above, according to the present invention, even if there is not enough data for machine learning, a data set can be constructed, and an artificial intelligence model for images that are particularly lacking or difficult to collect is also generated. It becomes possible.
또한, 본 발명에 의하면, 사용자가 보유하고 있는 데이터만으로 사용자가 원하는 만큼의 다양한 이미지들을 생성시킬 수 있어, 다양한 분야에서 정확도가 높은 기계학습이 가능하게 된다. In addition, according to the present invention, it is possible to generate as many images as desired by the user only with data held by the user, thereby enabling high-precision machine learning in various fields.
또한, 본 발명에 의하면, 제1 신경망 및 제2 신경망이 활용됨으로써, 새로운 이미지들이 실시간으로 신속하게 생성 가능하다.
In addition, according to the present invention, by using the first neural network and the second neural network, new images can be quickly generated in real time.
도 1은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템의 주요 구성을 설명하기 위한 개념도이다.
도 2는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 바람직한 일 실시 예에 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 이미지 회전 및 상하 대칭(뒤집기) 단계를 나타내는 개념도이다.
도 4는 본 발명의 바람직한 일 실시 예에 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 가우스 노이즈를 부가시키는 단계를 나타내는 개념도이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘이 적용된 단계를 나타내는 개념도이다.
도 6은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 제2 신경망이 이미지에 적용되어 2차 다수의 이미지가 생성되는 단계를 나타내는 개념도이다.
도 7a 및 도 7b는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 각각 이동(translation) 및 증강(augmentation)과 이동 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다.
도 8a 및 도 8b는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 각각 최고 크기의 입력의 줌-인 및 부분적 줌-인 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다.
도 9는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 아핀 변환 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다.
도 10은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템 및 방법에 의해 생성된 다수의 이미지를 나타내는 도면이다.
도 11은 본 발명의 다른 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템 및 방법에 의해 생성된 다수의 이미지를 나타내는 도면이다. 1 is a conceptual diagram illustrating the main configuration of a real-time data set expansion generation system according to an exemplary embodiment of the present invention.
2 is a flowchart for explaining a method of generating a real-time data set enlargement according to an exemplary embodiment of the present invention.
3 is a conceptual diagram illustrating an image rotation and vertical symmetry (reverse) step in a method for generating a real-time data set enlargement according to an embodiment of the present invention.
4 is a conceptual diagram showing a step of adding Gaussian noise in a real-time data set enlargement generation method according to an embodiment to a preferred embodiment of the present invention.
5 is a conceptual diagram illustrating a step in which a second filter algorithm for changing at least one of contrast, brightness, sharpness, and color is applied in a method for generating a real-time data set enlargement according to an exemplary embodiment of the present invention.
6 is a conceptual diagram illustrating a step in which a second neural network is applied to an image to generate a plurality of secondary images in a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
7A and 7B are conceptual diagrams illustrating steps in which a modulation method including translation and augmentation and movement steps is applied in a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
8A and 8B are conceptual diagrams illustrating steps in which a modulation method including a zoom-in and a partial zoom-in step of input of the highest size is applied to a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
9 is a conceptual diagram illustrating a step in which a modulation method including an affine transformation step is applied in a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
10 is a view showing a plurality of images generated by a real-time data set enlargement generation system and method according to an embodiment of the present invention.
11 is a view showing a plurality of images generated by a real-time data set enlargement generation system and method according to another preferred embodiment of the present invention.
본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Before describing the present invention in detail, the terms or words used in this specification should not be interpreted as being unconditionally limited in a conventional or dictionary meaning, and in order for the inventors of the present invention to explain their invention in the best way It should be understood that the concept of various terms can be properly defined and used, and furthermore, these terms or words should be interpreted as meanings and concepts consistent with the technical spirit of the present invention.
즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not intended to specifically limit the contents of the present invention, and these terms are used for various possibilities of the present invention. It should be understood that this is a term defined in consideration.
또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.In addition, in this specification, it is to be understood that a singular expression may include a plurality of expressions, unless similarly indicated in a different meaning in the context, and similarly, even if expressed in plural, may include the meaning of the singular. do.
본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.When describing a component as "comprising" another component throughout this specification, the component is further excluded from any other component unless specifically stated to the contrary. It could mean you can do it.
더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.Furthermore, when a component is described as being "existing in or connected to another component", the component may be installed directly connected to or in contact with another component, and may be It may be installed spaced apart from a distance, and when installed spaced apart from a certain distance, there may be a third component or means for fixing or connecting the component to other components. It should be understood that the description of the components or means of 3 may be omitted.
반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.On the other hand, if a component is described as being “directly connected” or “directly connected” to another component, it should be understood that the third component or means does not exist.
마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.Likewise, other expressions describing the relationship between each component, such as "between" and "immediately between", or "neighboring to" and "directly neighboring to", have the same effect. It should be interpreted as.
또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.In addition, in this specification, the terms "one side", "other side", "one side", "other side", "first", "second", etc., if used, this one component for one component It is used to clearly distinguish from other components, and it should be noted that the meanings of the components are not limited by these terms.
또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.Also, in this specification, terms related to positions such as “upper”, “lower”, “left”, and “right”, if used, should be understood as indicating relative positions in the corresponding drawings with respect to corresponding components, Unless an absolute position is specified for their position, these position-related terms should not be understood as referring to an absolute position.
더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.Moreover, in the specification of the present invention, terms such as “…unit”, “…group”, “module”, and “device”, if used, mean a unit capable of processing one or more functions or operations, which is hardware. Or it should be understood that it can be implemented in software, or a combination of hardware and software.
또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.In addition, in this specification, in designating reference numerals for each component of each drawing, for the same component, the component has the same reference number even though it is displayed in different drawings, that is, the same reference throughout the specification Reference numerals denote the same components.
본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.In the drawings attached to the present specification, the size, position, and coupling relationship of each component constituting the present invention are partially exaggerated, reduced, or omitted in order to sufficiently convey the spirit of the present invention or for convenience of explanation. It may be described, so its proportions or scale may not be strict.
또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.
In addition, in the following, in describing the present invention, a detailed description of a configuration determined to unnecessarily obscure the subject matter of the present invention, for example, a known technology including the conventional technology may be omitted.
먼저, 도 1을 참조하여 본 발명의 실시간 데이터 셋 확대 생성 시스템을 설명한다. First, the real-time data set enlargement generation system of the present invention will be described with reference to FIG. 1.
도 1은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템의 주요 구성을 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating the main configuration of a real-time data set expansion generation system according to an exemplary embodiment of the present invention.
도 1에 도시된 바와 같이, 입력 이미지(100)가 전처리부(200)에 입력되고, 변조부(300)로부터 전처리된 이미지가 제1 신경망(400) 및 제2 신경망(500)을 거쳐서 다수의 이미지(600)를 생성한다. As shown in FIG. 1, the
더 상세하게는, 본 발명은 입력 이미지(100)를 포함하는 데이터 셋, 입력 이미지(100)를 전처리하는 전처리부(200), 다수의 이미지를 일차적으로 생성하는 변조부(300), 변조부(300)로부터 생성된 이미지의 화질을 개선시키는 제1 신경망(400), 및 제2 신경망(500)을 포함하는 필터부를 포함하는 것이 바람직하다. More specifically, the present invention is a data set including an
입력 이미지(100)는 기계 학습을 위한 데이터로서, 훈련 데이터 셋에 입력 이미지(100)가 적어도 하나 포함된다. The
전처리부(200)는 프로세서에 의하여 적어도 하나의 이미지의 크기, 화질, 대비 등을 기 설정된 형식으로 정규화하는 유닛인 것이 바람직하다. 여기서 전처리는 데이터 전체에 공통적으로 적용되는 알고리즘으로서, 모든 데이터, 즉 입력 이미지(100)가 공통적으로 거치는 동일한 과정인 것이 바람직하다.The
전처리된 입력 이미지(100)에는 프로세서에 의해 적어도 하나의 변조 방법이 적용될 수 있다. 변조부(300)는 다수의 이미지를 생성하는 것으로서, 프로세서에 의해 전처리된 입력 이미지(100)를 회전시키고 및 프로세서에 의해 회전된 입력 이미지(100)를 상하 대칭시키는 것이 바람직하다. 이때, 회전 각도는 45도인 것이 바람직하다. At least one modulation method may be applied to the
각각의 회전된 이미지들은 상하 대칭됨으로써, 예를 들어 하나의 입력 이미지(100)로부터 15개의 다른 이미지를 더 생성할 수 있다(도 3 참조).Each rotated image is symmetrical up and down, for example, 15 different images may be generated from one input image 100 (see FIG. 3 ).
본 발명의 변조 방법은 회전하는 단계 및 대칭시키는 단계 후에 줌-인(zoom-in), 이동(translate), 부분 확대(region zoom-in), 및 아핀 변환(affine transformation) 단계 중 적어도 어느 하나를 더 포함하는 것이 바람직하다. The modulation method of the present invention can be performed by at least one of zoom-in, translation, region zoom-in, and affine transformation steps after the rotating and symmetrical steps. It is preferred to further include.
또한, 잘라내기(crop)를 포함할 수 있다. 이미지에서 중심 부분이 중요하다고 생각하는 경우 가장자리의 픽셀들을 잘라낼 수 있다.Also, it may include a crop. If you think the center part of the image is important, you can crop out the pixels at the edges.
이미지의 크기는 유지한 채로 상하좌우로 몇 픽셀씩을 이동(translate)시킬 경우 빈 공간이 생기는데, 0으로 채우기도 하고(zero filling), 가장 근접한 픽셀로 채우기도 하고(nearest neighbor), 밀려난 부분을 가져와 채워넣을 수도(rolling) 있다. If you move a few pixels up, down, left, and right while maintaining the size of the image, an empty space is created, zero filling, nearest neighboring pixels, and the pushed out parts. It can also be brought and filled.
제1 신경망(400)은 변조부(300)로부터 변조된 상기 다수의 이미지의 화질을 개선시킬 수 있다. 제1 신경망(400)으로서 오토 인코더(auto-encoder)가 사용되는 것이 바람직하다. 오토 인코더는 다차원의 입력 데이터를 저차원 부호로 바꾸고 다시 저차원 부호를 처음 입력한 다차원 데이터로 바꾸면서 특징점을 찾아낼 수 있는 신경망으로서, 레이블이 없는 비지도 학습에 사용될 수 있으며, 입력 데이터의 특징점을 효율적으로 찾을 수 있다. The first
필터부는 비지도 생성 모델인 제2 신경망(500)이 구비된 것으로, 제1 신경망(400)으로부터의 개선된 다수의 이미지에 다양한 필터 효과를 적용시킬 수 있다.The filter unit is provided with a second
여기서 필터부는 제1 신경망(400)으로부터 화질이 개선된 다수의 이미지의 적어도 일부에 가우스 노이즈(gaussian noise)를 부가시키는 제1 필터 알고리즘을 포함하는 것이 바람직하다(도 4 참조). 또한, 필터부는 제1 신경망(400)으로부터 화질이 개선된 다수의 이미지의 적어도 일부의 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘을 더 포함할 수 있다(도 5 참조). Here, it is preferable that the filter unit includes a first filter algorithm that adds Gaussian noise to at least a part of a plurality of images with improved image quality from the first neural network 400 (see FIG. 4 ). In addition, the filter unit may further include a second filter algorithm that changes at least one of contrast, brightness, sharpness, and color of at least a portion of a plurality of images with improved image quality from the first neural network 400 (see FIG. 5 ). ).
제2 신경망(500)은 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것이 바람직하다. 생성적 적대 신경망은 주어진 데이터를 학습하여 실제 데이터와 구분하기 어려울 정도의 가짜 데이터를 만들 수 있다 (도 6 참조).The second
또한, 제2 신경망(500)은 다양한 조건들, 예를 들면 야외 환경에서의 날씨, 계절, 시간 등에 따라 달라지는 눈, 비, 조도, 그림자, 대비, 밝기, 색상, 노이즈 등의 요소들이 반영된 다수의 필터 효과들을 각각의 생성된 이미지들에 적용시킬 수 있는 모델일 수 있다.In addition, the second
본 발명에 따른 바람직한 일 실시 예에서, 제2 신경망(500), 제1 필터 알고리즘 및 제2 필터 알고리즘 중 적어도 하나가 선택적으로 다수의 이미지에 적용되어 2차 다수의 이미지가 생성되는 것이 바람직하다.
In a preferred embodiment according to the present invention, it is preferable that at least one of the second
다음은 도 2를 참조하여, 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법을 설명한다. Next, with reference to FIG. 2, a method for generating real time data set expansion according to an exemplary embodiment of the present invention will be described.
도 2는, 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
도 2에 도시된 바와 같이, 단일 이미지가 입력(S100)되면, 이미지가 회전(S210)된 후, 회전된 이미지가 변조(S220)되어 기설정된 양의 데이터가 확보되었는지 판단(S230)되어 일련의 프로세스를 반복할 수 있다.2, when a single image is input (S100), after the image is rotated (S210), the rotated image is modulated (S220), and it is determined whether a predetermined amount of data is secured (S230). The process can be repeated.
여기서 추가적으로, 이미지가 변조(S220)되어 일차적으로 다수의 이미지가 생성되고, 이후에 제1 신경망(400) 및 제2 신경망(500) 및/또는 제1 필터 알고리즘 및 제2 필터 알고리즘을 통해 2차 다수의 이미지가 생성될 수 있다.Here, in addition, the image is modulated (S220) to primarily generate a plurality of images, after which the first
더 상세하게, 본 발명의 실시간 데이터 셋 확대 생성 방법은, 프로세서에 의해 기계 학습을 위해 적어도 하나의 입력 이미지를 포함하는 훈련 데이터 셋이 수신되는 단계(S100); 프로세서에 의해 상기 입력 이미지에 적어도 하나의 변조 방법이 적용되어 다수의 이미지가 생성되는 단계(S210 및 S220); 제1 신경망에 의해 상기 다수의 이미지의 화질이 개선되는 단계; 및 비지도 생성 모델인 제2 신경망이 구비된 필터부에 의해 상기 다수의 이미지에 필터 효과가 적용되어 2차 다수의 이미지가 생성되는 단계;를 포함하는 것이 바람직하다. More specifically, the real-time data set enlargement generation method of the present invention includes: receiving a training data set including at least one input image for machine learning by a processor (S100); Generating a plurality of images by applying at least one modulation method to the input image by a processor (S210 and S220); Improving the image quality of the plurality of images by a first neural network; And generating a secondary multiple image by applying a filter effect to the multiple images by a filter unit equipped with a second neural network that is an unmap generation model.
도 3 내지 도 9는 본 발명의 다양한 변조 방법 및 효과들이 적용된 이미지의 모습들을 나타낸다. 3 to 9 show images of an image to which various modulation methods and effects of the present invention are applied.
도 3은 본 발명의 바람직한 일 실시 예에 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 이미지 회전 및 상하 대칭(뒤집기) 단계를 나타내는 개념도이다.3 is a conceptual diagram illustrating an image rotation and vertical symmetry (reverse) step in a method for generating a real-time data set enlargement according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 45도로 회전된 후 상하 대칭됨으로써 하나의 이미지로부터 15개의 새로운 이미지가 생성될 수 있다.As shown in FIG. 3, 15 new images may be generated from one image by being rotated 45 degrees and symmetrical up and down.
도 4는 본 발명의 바람직한 일 실시 예에 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 가우스 노이즈를 부가시키는 단계를 나타내는 개념도이다. 4 is a conceptual diagram showing a step of adding Gaussian noise in a real-time data set enlargement generation method according to an embodiment to a preferred embodiment of the present invention.
도 4에 도시된 바와 같이, 가우스 노이즈를 다양한 방식으로 적용시킬 수 있다. 본 발명의 가우스 노이즈는 가우시안 히스토그램을 가진 형태의 잡음을 의미한다.As illustrated in FIG. 4, Gaussian noise can be applied in various ways. The Gaussian noise of the present invention means a noise having a Gaussian histogram.
도 5는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘이 적용된 단계를 나타내는 개념도이다. 5 is a conceptual diagram illustrating a step in which a second filter algorithm for changing at least one of contrast, brightness, sharpness, and color is applied in a method for generating a real-time data set enlargement according to an exemplary embodiment of the present invention.
도 6은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 제2 신경망(500)이 이미지에 적용되어 2차 다수의 이미지가 생성되는 단계를 나타내는 개념도이다. 6 is a conceptual diagram illustrating a step in which a second plurality of images are generated by applying a second
도 7a 및 도 7b는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 각각 이동(translation) 및 증강(augmentation)과 이동 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다. 7A and 7B are conceptual diagrams illustrating steps in which a modulation method including translation and augmentation and movement steps is applied in a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
도 8a 및 도 8b는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 각각 최소 크기의 입력의 줌-인 및 부분적 줌-인 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다. 8A and 8B are conceptual diagrams illustrating steps in which a modulation method including a zoom-in and a partial zoom-in step of input of a minimum size is applied to a real-time data set enlargement generation method according to an exemplary embodiment of the present invention.
이에 따라, 이미지로부터 식별하고자 하는 대상이 예를 들어, 특정 모양이나 숫자일 경우에도 모양이나 숫자의 일부만으로도 대상의 식별이 가능하도록 데이터 셋이 구성될 수 있다. Accordingly, even if a target to be identified from an image is, for example, a specific shape or number, the data set may be configured to identify the target with only a portion of the shape or number.
도 9는 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 방법에서 아핀 변환 단계를 포함하는 변조 방법이 적용된 단계를 나타내는 개념도이다. 9 is a conceptual diagram illustrating a step in which a modulation method including an affine transformation step is applied in a method for real-time data set enlargement generation according to a preferred embodiment of the present invention.
아핀 변환(affine transformation)은 직선을 직선으로 보내고 점들 사이의 거리의 비는 보존하는 변환이다. 더 상세하게는, 두 개의 아핀 공간 A와 B 사이의 변환이 다음 수학식을 만족하면 아핀 변환이라고 한다. Affine transformation is a transformation that sends a straight line in a straight line and preserves the ratio of distances between points. More specifically, if a transformation between two affine spaces A and B satisfies the following equation, it is called an affine transformation.
[수학식 1][Equation 1]
임의의 a, b ∈ A와 스칼라 t에 대하여 For any a, b ∈ A and scalar t
f((1-t)a + tb) = (1-t)f(a) + tf(b) f ((1- t )a + t b) = (1- t ) f (a) + tf (b)
도 9에 도시된 바와 같이, 변조 방법에 아핀 변환 단계가 포함됨으로써, 하나의 이미지로부터 다양한 구도의 이미지가 생성 가능하다. As shown in FIG. 9, since the affine transformation step is included in the modulation method, images of various compositions can be generated from one image.
도 10에 도시된 바와 같이, 특정 모델의 총의 입력 이미지(100) 하나를 입력하면, 본 발명의 실시간 데이터 셋 확대 생성 시스템 및 방법이 적용된 이미지 생성기(1000)를 통해, 800개의 새로운 이미지가 생성될 수 있다. As illustrated in FIG. 10, when one
도 10은 본 발명의 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템 및 방법에 의해 생성된 다수의 이미지를 나타내는 도면이다. 10 is a view showing a plurality of images generated by a real-time data set enlargement generation system and method according to an embodiment of the present invention.
도 11에 도시된 바와 같이, 음식 관련 사진들로 시험하여 정확도 및 속도가 검증되었다. 입력 이미지(100) 30개를 입력하면, 본 발명의 실시간 데이터 셋 확대 생성 시스템 및 방법이 적용된 이미지 생성기(1000)를 통해, 24000개의 새로운 이미지가 생성될 수 있다. As shown in FIG. 11, accuracy and speed were verified by testing with food-related photos. When 30
도 11은 본 발명의 다른 바람직한 일 실시 예에 따른 실시간 데이터 셋 확대 생성 시스템 및 방법에 의해 생성된 다수의 이미지를 나타내는 도면이다. 11 is a view showing a plurality of images generated by a real-time data set enlargement generation system and method according to another preferred embodiment of the present invention.
여기서 새로운 이미지란, 식별하고자 하는 대상이 포함된 이미지가 기존의 입력 이미지(100)와 일치하지 않는 것으로, 기 설정된 정도 이상의 차이가 있는 이미지를 의미한다.
Here, the new image means that the image including the object to be identified does not match the existing
본 발명의 시스템 및 방법에 의하면, 적어도 하나의 이미지 각각에 대해 이러한 일련의 단계들이 수행되면서 하나의 이미지로부터 다수의 새로운 이미지들이 생성될 수 있다. According to the system and method of the present invention, a number of new images can be generated from one image while these series of steps are performed for each of the at least one image.
특히 이미지가 회전된 후 상하 대칭됨으로써, 새로운 이미지들과 기존의 이미지와의 상이한 정도가 더욱 커질 수 있다. 또한, 회전, 상하 대칭, 및 이를 포함하는 변조 방법은 기 설정된 개수의 다양한 이미지들을 얻을 때까지 새롭게 생성된 이미지들에 대해서도 반복되어 수행될 수 있다.
In particular, after the image is rotated, the degree of differentiation between the new images and the existing images can be further increased by being symmetrical up and down. In addition, rotation, vertical symmetry, and a modulation method including the same may be repeatedly performed on newly generated images until a predetermined number of various images are obtained.
본 발명의 바람직한 일 실시 예에 따른 컴퓨터 판독 가능한 기록 매체는, 본 발명의 컴퓨터 판독 가능한 기록 매체는, 실시간 데이터 셋 확대 생성 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체인 것이 바람직하다. It is preferable that the computer-readable recording medium according to an exemplary embodiment of the present invention is a computer-readable recording medium in which a program for executing a real-time data set enlargement generation method is recorded.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floptical discs, and ROM, RAM, flash memory, etc. Hardware devices specifically configured to store and execute the same program instructions are included. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
본 발명의 실시 예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능한 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.Embodiments of the present invention include computer readable media including program instructions for performing various computer-implemented operations. The computer-readable medium may include program instructions, local data files, and local data structures, alone or in combination. The media may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software.
또한, 본 기술분야의 당업자는 컴퓨팅 장치가 펌웨어(예를 들면, 주문형 반도체(application-specific integrated circuit)), 하드웨어, 또는 소프트웨어, 펌웨어, 및 하드웨어의 조합을 통해 구현될 수 있음을 이해해야 한다. 본 기술분야의 당업자는 또한, 다양한 컴퓨팅 장치의 기능이 단일 컴퓨팅 장치로 조합 또는 통합되거나, 특정 컴퓨팅 장치의 기능이 본 발명의 예시적인 실시 예의 범위에서 벗어나지 않으면서 하나 또는 그 이상의 다른 컴퓨팅 장치로 분배될 수도 있다는 것을 이해해야 한다. 서버는 소프트웨어 모듈일 수 있으며, 또한, 단순히 모듈로 지칭될 수도 있다.
In addition, those skilled in the art should understand that the computing device may be implemented through firmware (eg, application-specific integrated circuit), hardware, or a combination of software, firmware, and hardware. Those skilled in the art can also combine or integrate the functions of various computing devices into a single computing device, or distribute the functions of a particular computing device to one or more other computing devices without departing from the scope of exemplary embodiments of the present invention. It should be understood that it may be. The server may be a software module, or simply referred to as a module.
이상에서 살펴본 바와 같이, 본 발명에 의하면, 이상에서 살펴본 바와 같이, 본 발명에 의하면, 한정된 양의 데이터만으로도 데이터를 확대 생성하여 데이터 셋을 구성할 수 있다.
As described above, according to the present invention, as described above, according to the present invention, the data set can be configured by expanding and generating data with only a limited amount of data.
이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.As described above, although various preferred embodiments of the present invention have been described with some examples, descriptions of various various embodiments described in the “Details for Carrying Out the Invention” section are merely illustrative, and the present invention Those of ordinary skill in the art to which they belong will understand well that from the above description, various modifications of the present invention can be carried out or equivalent implementation of the present invention.
또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.
In addition, since the present invention can be implemented in various other forms, the present invention is not limited by the above-described description, and the above description is intended to make the disclosure of the present invention complete, and it is common in the technical field to which the present invention pertains. It should be understood that the present invention is only provided to those who have knowledge of the present invention, and the present invention is only defined by each claim of the claims.
100: 입력 이미지
200: 전처리부
300: 변조부
400: 제1 신경망
500: 제2 신경망
600: 다수의 이미지100: input image
200: pre-processing unit
300: modulator
400: first neural network
500: second neural network
600: multiple images
Claims (15)
프로세서에 의해 상기 입력 이미지에 적어도 하나의 변조 방법을 적용시켜, 다수의 이미지를 생성하는 변조부;
상기 변조부로부터 변조된 상기 다수의 이미지의 화질을 개선시키는 제1 신경망; 및
상기 제1 신경망으로부터의 개선된 상기 다수의 이미지에 다양한 필터 효과를 적용시키는 비지도 생성 모델인 제2 신경망이 구비된 필터부;를 포함하는,
실시간 데이터 셋 확대 생성 시스템.
A training data set including at least one input image for machine learning;
A modulator configured to generate a plurality of images by applying at least one modulation method to the input image by a processor;
A first neural network for improving image quality of the plurality of images modulated by the modulator; And
Including; a filter unit equipped with a second neural network that is an unmap generation model that applies various filter effects to the improved plurality of images from the first neural network.
Real-time data set expansion generation system.
상기 변조 방법은,
상기 프로세서에 의해 상기 입력 이미지를 회전하는 단계; 및 상기 프로세서에 의해 회전된 상기 입력 이미지를 상하 대칭시키는 단계;를 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 1,
The modulation method,
Rotating the input image by the processor; And symmetrically vertically flipping the input image rotated by the processor.
Real-time data set expansion generation system.
상기 변조 방법은 상기 회전하는 단계 및 상기 상하 대칭시키는 단계 후에 줌-인(zoom-in), 이동(translate), 부분 확대(region zoom-in), 및 아핀 변환(affine transformation) 단계 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 2,
The modulation method may include at least one of zoom-in, translation, region zoom-in, and affine transformation steps after the rotating step and the vertically symmetric step. Characterized in that it further comprises,
Real-time data set expansion generation system.
상기 제1 신경망으로서 오토 인코더(auto-encoder)가 사용되는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 1,
Characterized in that an auto-encoder is used as the first neural network,
Real-time data set expansion generation system.
상기 제2 신경망은 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 1,
The second neural network is characterized in that the generative hostile neural network (Generative Adversarial Network, GAN),
Real-time data set expansion generation system.
상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부에 가우스 노이즈(gaussian noise)를 부가시키는 제1 필터 알고리즘을 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 1,
The filter unit may include a first filter algorithm that adds Gaussian noise to at least a portion of the plurality of images whose image quality is improved from the first neural network.
Real-time data set expansion generation system.
상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부의 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘을 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
According to claim 2,
The filter unit may include a second filter algorithm that changes at least one of contrast, brightness, sharpness, and color of at least a portion of the plurality of images with improved image quality from the first neural network.
Real-time data set expansion generation system.
상기 제2 신경망, 상기 제1 필터 알고리즘 및 상기 제2 필터 알고리즘 중 적어도 하나가 선택적으로 상기 다수의 이미지에 적용되어 2차 다수의 이미지가 생성되는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 시스템.
The method of claim 7,
At least one of the second neural network, the first filter algorithm, and the second filter algorithm is selectively applied to the plurality of images to generate a second plurality of images,
Real-time data set expansion generation system.
상기 프로세서에 의해 상기 입력 이미지에 적어도 하나의 변조 방법이 적용되어 다수의 이미지가 생성되는 단계;
제1 신경망에 의해 상기 다수의 이미지의 화질이 개선되는 단계; 및
비지도 생성 모델인 제2 신경망이 구비된 필터부에 의해 상기 다수의 이미지에 필터 효과가 적용되어 2차 다수의 이미지가 생성되는 단계;를 포함하는,
실시간 데이터 셋 확대 생성 방법.
Receiving, by the processor, a training data set including at least one input image for machine learning;
Generating a plurality of images by applying at least one modulation method to the input image by the processor;
Improving the image quality of the plurality of images by a first neural network; And
Containing; a filter effect is applied to the plurality of images by a filter unit equipped with a second neural network that is an unmap generation model to generate a second plurality of images.
How to create a real-time data set enlargement.
상기 변조 방법은,
상기 프로세서에 의해 상기 입력 이미지를 회전하는 단계; 및 상기 프로세서에 의해 회전된 상기 입력 이미지를 상하 대칭시키는 단계;를 포함하고,
상기 회전하는 단계 및 상기 상하 대칭시키는 단계 후에 줌-인(zoom-in), 이동(translate), 부분 확대(region zoom-in), 및 아핀 변환(affine transformation) 단계 중 적어도 어느 하나를 더 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 방법.
The method of claim 9,
The modulation method,
Rotating the input image by the processor; And symmetrically vertically flipping the input image rotated by the processor.
Further comprising at least one of a zoom-in, translation, region zoom-in, and affine transformation step after the rotating step and the vertically symmetric step. Characterized by,
How to create a real-time data set enlargement.
상기 제1 신경망으로서 오토 인코더(auto-encoder)가 사용되고,
상기 제2 신경망은 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 방법.
The method of claim 9,
An auto-encoder is used as the first neural network,
The second neural network is characterized in that the generative hostile neural network (Generative Adversarial Network, GAN),
How to create a real-time data set enlargement.
상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부에 가우스 노이즈(gaussian noise)를 부가시키는 제1 필터 알고리즘을 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 방법.
The method of claim 9,
The filter unit may include a first filter algorithm that adds Gaussian noise to at least a portion of the plurality of images whose image quality is improved from the first neural network.
How to create a real-time data set enlargement.
상기 필터부는 상기 제1 신경망으로부터 화질이 개선된 상기 다수의 이미지의 적어도 일부의 대비, 밝기, 선명도 및 색 중 적어도 어느 하나를 변화시키는 제2 필터 알고리즘을 포함하는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 방법.
The method of claim 12,
The filter unit may include a second filter algorithm that changes at least one of contrast, brightness, sharpness, and color of at least a portion of the plurality of images with improved image quality from the first neural network.
How to create a real-time data set enlargement.
상기 제2 신경망, 상기 제1 필터 알고리즘 및 상기 제2 필터 알고리즘 중 적어도 하나가 선택적으로 상기 다수의 이미지에 적용되어 상기 2차 다수의 이미지가 생성되는 것을 특징으로 하는,
실시간 데이터 셋 확대 생성 방법.
The method of claim 13,
At least one of the second neural network, the first filter algorithm, and the second filter algorithm is selectively applied to the plurality of images to generate the second plurality of images,
How to create a real-time data set enlargement.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180160823A KR20200075940A (en) | 2018-12-13 | 2018-12-13 | Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180160823A KR20200075940A (en) | 2018-12-13 | 2018-12-13 | Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200075940A true KR20200075940A (en) | 2020-06-29 |
Family
ID=71400947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180160823A KR20200075940A (en) | 2018-12-13 | 2018-12-13 | Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200075940A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220046247A (en) | 2020-10-07 | 2022-04-14 | 주식회사 오큐라이트 | Visualization apparatus and method of medical image based on artificial neural network |
| KR102424538B1 (en) * | 2021-01-26 | 2022-07-27 | 삼성전자주식회사 | Method and apparatus for image restoration |
| WO2022216590A1 (en) * | 2021-04-05 | 2022-10-13 | Nec Laboratories America, Inc. | Cell nuclei classification with artifact area avoidance |
| KR20230057753A (en) * | 2021-10-22 | 2023-05-02 | 포항공과대학교 산학협력단 | Holographic speckle pattern-based concentration prediction model of particulate matter and method for generating same |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101843066B1 (en) | 2017-08-23 | 2018-05-15 | 주식회사 뷰노 | Method for classifying data via data augmentation of the data for machine-learning and apparatus using the same |
-
2018
- 2018-12-13 KR KR1020180160823A patent/KR20200075940A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101843066B1 (en) | 2017-08-23 | 2018-05-15 | 주식회사 뷰노 | Method for classifying data via data augmentation of the data for machine-learning and apparatus using the same |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220046247A (en) | 2020-10-07 | 2022-04-14 | 주식회사 오큐라이트 | Visualization apparatus and method of medical image based on artificial neural network |
| KR102424538B1 (en) * | 2021-01-26 | 2022-07-27 | 삼성전자주식회사 | Method and apparatus for image restoration |
| WO2022216590A1 (en) * | 2021-04-05 | 2022-10-13 | Nec Laboratories America, Inc. | Cell nuclei classification with artifact area avoidance |
| KR20230057753A (en) * | 2021-10-22 | 2023-05-02 | 포항공과대학교 산학협력단 | Holographic speckle pattern-based concentration prediction model of particulate matter and method for generating same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210150203A1 (en) | Parametric top-view representation of complex road scenes | |
| KR20200075940A (en) | Real-time data set enlarging system, method of enlarging data set in real-time, and computer-readable medium having a program recorded therein for executing the same | |
| Kondapally et al. | Towards a Transitional Weather Scene Recognition Approach for Autonomous Vehicles | |
| JP2017162456A (en) | Training of restricted deconvolution network for semantic segmentation of road scene | |
| CN110766008A (en) | Text detection method facing any direction and shape | |
| Heyrani Nobari et al. | Creativegan: Editing generative adversarial networks for creative design synthesis | |
| CN110879960B (en) | Method and computing device for generating image data set for convolutional neural network learning | |
| Wang et al. | Learning deep conditional neural network for image segmentation | |
| CN113408584B (en) | RGB-D multi-modal feature fusion 3D target detection method | |
| Xu et al. | Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions | |
| Bittel et al. | Pixel-wise segmentation of street with neural networks | |
| Russo et al. | Towards multi-source adaptive semantic segmentation | |
| Sebanja et al. | Automatic detection and recognition of traffic road signs for intelligent autonomous unmanned vehicles for urban surveillance and rescue | |
| Wang et al. | Polynomial regression network for variable-number lane detection | |
| JP6389742B2 (en) | Image segmentation method, apparatus, and program | |
| Szemenyei et al. | ROBO: robust, fully neural object detection for robot soccer | |
| CN115331012A (en) | Joint generation type image instance segmentation method and system based on zero sample learning | |
| Yi et al. | Improving synthetic to realistic semantic segmentation with parallel generative ensembles for autonomous urban driving | |
| Mao et al. | City object detection from airborne Lidar data with OpenStreetMap‐tagged superpixels | |
| Divakarla et al. | Semantic Segmentation for Autonomous Driving | |
| Yao et al. | Pseudo-labelling-aided semantic segmentation on sparsely annotated 3D point clouds | |
| Redekop et al. | Medical image segmentation with imperfect 3D bounding boxes | |
| Matuszka et al. | A novel neural network training method for autonomous driving using semi-pseudo-labels and 3d data augmentations | |
| Dong et al. | SiameseDenseU‐Net‐based Semantic Segmentation of Urban Remote Sensing Images | |
| Niroshan et al. | Poly-GAN: Regularizing Polygons with Generative Adversarial Networks |