KR102364442B1 - Apparatus and method for generating camouflage pattern using cnn-based image generator model - Google Patents

Apparatus and method for generating camouflage pattern using cnn-based image generator model Download PDF

Info

Publication number
KR102364442B1
KR102364442B1 KR1020190153012A KR20190153012A KR102364442B1 KR 102364442 B1 KR102364442 B1 KR 102364442B1 KR 1020190153012 A KR1020190153012 A KR 1020190153012A KR 20190153012 A KR20190153012 A KR 20190153012A KR 102364442 B1 KR102364442 B1 KR 102364442B1
Authority
KR
South Korea
Prior art keywords
convolutional
encoder
image
color
processing unit
Prior art date
Application number
KR1020190153012A
Other languages
Korean (ko)
Other versions
KR20210064604A (en
Inventor
권주원
권순철
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190153012A priority Critical patent/KR102364442B1/en
Publication of KR20210064604A publication Critical patent/KR20210064604A/en
Application granted granted Critical
Publication of KR102364442B1 publication Critical patent/KR102364442B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

본 발명에 의하면, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서, 입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더, 및 컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 포함하고, 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 장치를 제공할 수 있다.According to the present invention, in an apparatus for generating a camouflage pattern using a convolutional neural network (CNN)-based image generation model, a convolutional encoder configured to receive an input image and a convolutional decoder configured to generate an output image A device for generating a camouflage pattern can be provided, comprising: a convolutional auto-encoder comprising a, and a clustering processing unit configured to receive a color-scale input image, wherein the convolutional auto-encoder uses a convolutional neural network. there is.

Description

CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING CAMOUFLAGE PATTERN USING CNN-BASED IMAGE GENERATOR MODEL}Apparatus and method for generating camouflage patterns using CNN-based image generation model

본 발명은 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬(camouflage, 위장) 패턴 생성 장치 및 방법에 관한 것이다. 보다 구체적으로, 오토 인코더(Auto Encoder)의 구조를 변형한 형태의 이미지 생성 모델을 사용하여, 그레이 스케일(gray-scale, 회색조) 카모플라쥬 이미지를 이용하여 원하는 환경과 비슷한 색상을 갖는 패턴을 생성하기 위한 방법 및 장치에 관한 것이다.The present invention relates to an apparatus and method for generating a camouflage (camouflage) pattern using a convolutional neural network (CNN)-based image generation model. More specifically, a pattern having a color similar to the desired environment is generated using a gray-scale camouflage image using an image generation model in the form of a modified structure of the Auto Encoder. It relates to a method and apparatus for doing so.

최근 딥러닝 기반의 이미지 생성 모델을 활용한 기술이 활발하게 연구되고 있다. 최근 생성 모델과 관련한 연구는 GAN(Generative Adversarial Networks)과 같이 생성자(Generator)와 구분자(Discriminator) 두 개의 모델이 적대적으로 학습하며 성능을 높이는 모델이 많이 연구되고 있다. 이러한 분야의 응용으로 컬러라이제이션(colorization)은 회색조 영상을 컬러 영상으로 바꾸어 주는 것이다. Recently, technologies using deep learning-based image generation models are being actively studied. Recently, in research related to generative models, two models, a generator and a discriminator, learn adversarially, such as GAN (Generative Adversarial Networks), and many models that improve performance are being studied. As an application in this field, colorization is to convert a grayscale image into a color image.

그러나, 이와 같이 생성자와 구분자를 동시에 학습을 시키기 위해서는 알맞은 데이터 셋(Dataset)이 필요하며, 현재 컬러라이제이션(colorization) 방법의 경우 딥러닝 네트워크 학습을 위해 회색조 이미지와 컬러 이미지가 쌍(Pair)으로 구성되어 있다. 하지만 카모플라쥬 패턴 이미지와 같은 특수한 데이터는 주변 환경에 맞는 회색조 이미지와 컬러 이미지가 쌍으로 획득하기가 쉽지 않다는 어려움이 있다.However, in order to learn the generator and the delimiter at the same time in this way, an appropriate dataset is required, and in the case of the current colorization method, grayscale images and color images are paired for deep learning network learning. Consists of. However, for special data such as camouflage pattern images, there is a difficulty in that it is not easy to acquire a grayscale image and a color image suitable for the surrounding environment in pairs.

KR 10-2014-0111858 A (2014. 09. 22.)KR 10-2014-0111858 A (2014. 09. 22.)

본 발명은 카모플라쥬 패턴 이미지와 같이 회색조 이미지와 컬러 이미지를 쌍으로 획득하기 쉽지 않은 경우에, 단일 회색조 이미지와 색상 정보를 얻을 환경 이미지로부터 카모플라쥬 패턴 영상을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.The present invention provides a method and apparatus for generating a camouflage pattern image from an environment image to obtain a single grayscale image and color information when it is not easy to acquire a grayscale image and a color image in pairs, such as a camouflage pattern image aim to

또한, 본 발명은 오토 인코더를 통해 생성된 특징맵과 클러스터링 처리를 통해 생성된 색상 정보를 이용하여 카모플라쥬 패턴 영상을 생성하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a method and apparatus for generating a camouflage pattern image using a feature map generated through an auto-encoder and color information generated through clustering processing.

또한, 본 발명은 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써 다양한 지역 및 환경에 따라 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에 위장 패턴을 제공할 뿐만 아니라 의류 및 디자인 산업 등 다양한 응용 어플리케이션에 적용하는 것을 목적으로 한다.In addition, the present invention provides a camouflage pattern to the defense field such as military uniforms, military vehicles, tanks, exterior walls of buildings, etc. according to various regions and environments by creating a camouflage pattern having a color distribution similar to that of the surrounding environment, as well as clothing and design It aims to be applied to various application applications such as industry.

본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved of the present invention are not limited to the above-mentioned contents, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에서, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서, 입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 장치를 제공할 수 있다.In an embodiment of the present invention, in the apparatus for generating a camouflage pattern using a convolutional neural network (CNN)-based image generating model, a convolutional encoder configured to receive an input image and a convolutional configured to generate an output image It is possible to provide an apparatus for generating a camouflage pattern, including a convolutional auto-encoder including a convolutional decoder, wherein the convolutional auto-encoder uses a convolutional neural network.

또한, 상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성될 수 있다.Further, the convolutional encoder may be configured to receive a gray-scale input image having a camouflage pattern.

또한, 상기 컨볼루션 인코더는 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공할 수 있다.Also, the convolutional encoder may extract a feature map using a plurality of convolutional layers and provide it as an input to the convolutional decoder.

또한, 컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 더 포함할 수 있다.In addition, it may further include a clustering processing unit configured to receive a color-scale input image.

또한, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함할 수 있다.Also, the color-scale input image may include a color image of a natural environment having desired color information.

또한, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용할 수 있다.Also, the clustering processing unit may use a k-means clustering algorithm.

또한, 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부를 더 포함할 수 있다.In addition, it may further include a fully connected layer (Fully Connected Layer) processing unit for processing the color information obtained through the clustering processing unit.

또한, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공될 수 있다.Also, a result value of the fully connected layer processing unit may be provided as an input of the convolutional decoder.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성될 수 있다.In addition, the convolutional encoder of the convolutional auto-encoder and the convolutional layers of the convolutional decoder may be configured to be concatenated with each other.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개일 수 있다.Also, the number of channels of each convolutional layer of the convolutional encoder of the convolutional auto encoder may be 64, 128, 256, and 512, respectively.

본 발명의 다른 실시예에 의하면, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법에 있어서, 컨볼루션 오토 인코더 내의 컨볼루션 인코더에서 입력 이미지를 수신하는 단계; 컨볼루션 오토 인코더 내의 컨볼루션 디코더에서 출력 이미지를 생성하는 단계를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 방법을 제공할 수 있다.According to another embodiment of the present invention, there is provided a method for generating a camouflage pattern using a convolutional neural network (CNN)-based image generation model, the method comprising: receiving an input image from a convolutional encoder in a convolutional autoencoder; It is possible to provide a method for generating a camouflage pattern, comprising the step of generating an output image in a convolutional decoder in a convolutional autoencoder, wherein the convolutional autoencoder uses a convolutional neural network.

또한, 상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성될 수 있다.Further, the convolutional encoder may be configured to receive a gray-scale input image having a camouflage pattern.

또한, 상기 컨볼루션 인코더에서 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 단계를 더 포함할 수 있다.The method may further include extracting a feature map using a plurality of convolutional layers in the convolutional encoder and providing the extracted feature map as an input to the convolutional decoder.

또한, 클러스터링 처리부에서 컬러 스케일(color-scale) 입력 이미지를 수신하는 단계를 더 포함할 수 있다.The method may further include receiving a color-scale input image from the clustering processing unit.

또한, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함할 수 있다.Also, the color-scale input image may include a color image of a natural environment having desired color information.

또한, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용할 수 있다.Also, the clustering processing unit may use a k-means clustering algorithm.

또한, 풀리 커넥티드 레이어(Fully Connected Layer) 처리부에서 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하는 단계를 더 포함할 수 있다.In addition, the method may further include processing the color information obtained through the clustering processing unit in a fully connected layer processing unit.

또한, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 단계를 더 포함할 수 있다.The method may further include providing a result value of the fully connected layer processing unit as an input of the convolutional decoder.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성될 수 있다.In addition, the convolutional encoder of the convolutional auto-encoder and the convolutional layers of the convolutional decoder may be configured to be concatenated with each other.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는, 64개, 128개, 256개, 512개일 수 있다.In addition, the number of channels of each convolutional layer of the convolutional encoder of the convolutional auto encoder may be 64, 128, 256, or 512.

본 발명의 다른 실시예에서, 상술한 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.In another embodiment of the present invention, a computer-readable recording medium storing a program for implementing the above-described method may be provided.

본 발명에 의하면 카모플라쥬 패턴 이미지와 같이 회색조 이미지와 컬러 이미지를 쌍으로 획득하기 쉽지 않은 경우에, 단일 회색조 이미지와 색상 정보를 얻을 환경 이미지로부터 카모플라쥬 패턴 영상을 생성하는 방법 및 장치를 제공할 수 있다.According to the present invention, when it is not easy to acquire a grayscale image and a color image in pairs, such as a camouflage pattern image, a method and apparatus for generating a camouflage pattern image from an environment image to obtain a single grayscale image and color information are provided. can do.

또한, 본 발명에 의하면, 오토 인코더를 통해 생성된 특징맵과 클러스터링 처리를 통해 생성된 색상 정보를 이용하여 카모플라쥬 패턴 영상을 생성하기 위한 방법 및 장치를 제공할 수 있다.Further, according to the present invention, it is possible to provide a method and an apparatus for generating a camouflage pattern image using a feature map generated through an auto-encoder and color information generated through clustering processing.

또한, 본 발명에 의하면, 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써 다양한 지역 및 환경에 따라 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에 위장 패턴을 제공할 뿐만 아니라 의류 및 디자인 산업 등 다양한 응용 어플리케이션에 적용할 수 있다.In addition, according to the present invention, by generating a camouflage pattern having a color distribution similar to that of the surrounding environment, it provides a camouflage pattern in the defense field such as military uniforms, military vehicles, tanks, and exterior walls of buildings according to various regions and environments, as well as clothing And it can be applied to various application applications such as the design industry.

본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned contents, and other technical effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 종래의 GAN에 기반한 이미지 생성 기법을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치의 구성을 나타내는 블록도이다.
도 3는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예예 따른 카모플라쥬 패턴 생성의 입력 이미지 및 출력 이미지를 보여주는 도면이다.1 is a block diagram for explaining an image generation technique based on a conventional GAN.
2 is a block diagram showing the configuration of an apparatus for generating a camouflage pattern using a CNN-based image generation model according to an embodiment of the present invention.
3 is an exemplary diagram for explaining a camouflage pattern generation method using a CNN-based image generation model according to an embodiment of the present invention.
4 is a flowchart illustrating a method for generating a camouflage pattern using a CNN-based image generation model according to an embodiment of the present invention.
5 is a view showing an input image and an output image of camouflage pattern generation according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And, in order to clearly describe the embodiment of the present invention in the drawings, parts irrelevant to the description are omitted.

본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression may include the plural expression unless the context clearly dictates otherwise.

본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.In this specification, terms such as "comprise", "have" or "include" are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, and one It may be understood that it does not preclude the possibility of the presence or addition of or more other features or numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the constituent units shown in the embodiment of the present invention are independently shown to represent different characteristic functions, and it does not mean that each constituent unit is composed of separate hardware or one software constituent unit. That is, each component is listed as each component for convenience of description, and at least two components of each component are combined to form one component, or one component can be divided into a plurality of components to perform a function. Integrated embodiments and separate embodiments of each of these components are also included in the scope of the present invention without departing from the essence of the present invention.

또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.In addition, the following embodiments are provided to more clearly explain to those of ordinary skill in the art, and the shapes and sizes of elements in the drawings may be exaggerated for more clear description.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment according to the present invention will be described.

도 1은 종래의 GAN에 기반한 이미지 생성 기법을 설명하기 위한 블록도이다.1 is a block diagram for explaining an image generation technique based on a conventional GAN.

도 1을 참조하면, 일반적인 종래의 GAN은 생성기(Generator, 10)와 판별기(Discriminator, 20)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델이다. 생성기(10)에는 입력 데이터가 입력되어 실제 이미지(12)와 유사한 가짜 이미지(11)를 만들어내도록 학습될 수 있다. 입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.Referring to FIG. 1 , a typical conventional GAN is an unsupervised learning-based generation model that adversarially trains two networks with a generator 10 and a discriminator 20 . The generator 10 may be trained to receive input data and generate a fake image 11 similar to the real image 12 . As the input data, a noise value may be input. The noise values may follow any probability distribution. For example, it may be data generated as a zero-mean Gaussian.

판별기(20)는 실제 이미지와 생성기(10)가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지(12)를 입력하면 높은 확률이 나오도록, 가짜 이미지(11)를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기(20)는 실제 이미지(12)와 가짜 이미지(11)를 잘 판별하도록 점진적으로 학습할 수 있다.The discriminator 20 may learn to discriminate between a real image and a fake image generated by the generator 10 . More specifically, it is possible to learn such that when the real image 12 is input, the probability is high, and when the fake image 11 is input, the probability is low. That is, the discriminator 20 may gradually learn to discriminate the real image 12 and the fake image 11 well.

생성기(10)와 판별기(20)가 충분히 학습하면, 생성기(10)는 생성한 가짜 이미지(11)의 데이터 분포가 실제 이미지(12)의 데이터 분포를 따르게 할 수 있다. 이럴 경우, 판별기(20)는 생성기(10)가 생성한 어떤 이미지(11)를 판별하든 1/2의 확률로 맞거나 틀릴 수 있다. 이런 상태는 판별기(20)가 가짜 이미지(11)에 대해 진짜인지 가짜인지 판별할 수 없는 상태이다. 이 상태에서 생성된 가짜 이미지(11)는 객체 검출을 위한 데이터셋에 추가되어 객체 검출을 위해 기계 학습에 사용될 수 있다.When the generator 10 and the discriminator 20 learn sufficiently, the generator 10 can make the data distribution of the generated fake image 11 follow the data distribution of the real image 12 . In this case, the discriminator 20 may be right or wrong with a probability of 1/2 regardless of which image 11 generated by the generator 10 is determined. In this state, the discriminator 20 cannot determine whether the fake image 11 is real or fake. The fake image 11 generated in this state may be added to a dataset for object detection and used for machine learning for object detection.

하지만, 이와 같이 생성자와 구분자를 동시에 학습을 시키기 위해서는 알맞은 데이터 셋(dataset)이 필요하나, 카모플라쥬 패턴 이미지와 같은 특수한 데이터는 주변 환경에 맞는 회색조 이미지와 컬러 이미지를 쌍으로 획득하기가 쉽지 않다는 어려움이 있다.However, in order to simultaneously learn the generator and the delimiter in this way, an appropriate dataset is required, but for special data such as camouflage pattern images, it is not easy to acquire a grayscale image and a color image suitable for the surrounding environment in pairs. There are difficulties.

도 2는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of an apparatus for generating a camouflage pattern using a CNN-based image generation model according to an embodiment of the present invention.

컨볼루션 오토 인코더(200)는 입력 이미지를 수신하도록 구성된 컨볼루션 인코더(211) 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더(212)를 포함하고, 컨볼루션 오토 인코더(200)는 컨볼루션 신경망(CNN)을 이용한다. 여기서, 컨볼루션 신경망(CNN)은 인간의 시신경 구조를 모방해 만들어진 인공 신경망 알고리즘으로서, 다수의 컨볼루션 레이어(convolutional layer)로부터 특징맵(Feature map)을 추출하는 기능을 수행할 수 있다.The convolutional auto-encoder 200 includes a convolutional encoder 211 configured to receive an input image and a convolutional decoder 212 configured to generate an output image, the convolutional auto-encoder 200 comprising a convolutional neural network (CNN) ) is used. Here, a convolutional neural network (CNN) is an artificial neural network algorithm created by mimicking the structure of a human optic nerve, and may perform a function of extracting a feature map from a plurality of convolutional layers.

컨볼루션 오토 인코더(200) 내의 컨볼루션 인코더(211)는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale, 회색조) 입력 이미지(110)를 수신하도록 구성될 수 있다. 컨볼루션 인코더(211)과 컨볼루션 디코더(212)의 컨볼루션 레이어들 사이가 서로 연결(concatenate)되어 인코더 부분의 레이어를 디코더 부분의 레이어에 연결되는 부분이 있다. 이와 같은 연결은 입력 이미지의 형태적인 특징을 추출하기 위함인데 컬러 이미지를 입력으로 넣을 경우 카모플라쥬 패턴의 컬러 정보가 남아 학습 결과에 영향을 끼칠 수 있기 때문에 그레이 스케일의 카모플라쥬 패턴 입력 이미지를 사용하는 것이 유리하다.The convolutional encoder 211 in the convolutional auto-encoder 200 may be configured to receive a gray-scale (grayscale) input image 110 having a camouflage pattern. There is a part in which the convolutional layers of the convolutional encoder 211 and the convolutional decoder 212 are concatenated with each other so that the layer of the encoder part is connected to the layer of the decoder part. This connection is to extract the morphological features of the input image, but when a color image is input, the color information of the camouflage pattern remains and can affect the learning result. It is advantageous to use

그레이 스케일 입력 이미지(110)는 컨볼루션 인코더(211)의 복수의 컨볼루션 레이어 처리를 통해 특징맵(feature map)을 추출하고, 추출된 특징맵이 컨볼루션 디코더(212)의 입력으로 제공된다.The gray scale input image 110 extracts a feature map through the processing of a plurality of convolutional layers by the convolutional encoder 211 , and the extracted feature map is provided as an input of the convolutional decoder 212 .

또한, 원하는 색상 정보를 얻기 위해 자연 환경 이미지 등의 컬러 스케일(color-scale) 입력 이미지(120)가 입력되고, 클러스터링 처리부(311)를 통해 클러스터링 처리되어 색상 정보가 획득될 수 있다. 예컨대, 클러스터링 처리부(311)는 k 평균(k-means) 클러스터링 알고리즘을 이용하여 색상 정보를 획득할 수 있다. 또한, 클러스터링 처리부(311)를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부(312)를 더 포함할 수 있다. 풀리 커넥티드 레이어 처리부(312)는 색상 정보를 나타내는 벡터의 길이와 컨볼루션 인코더(211)에서 생성된 특징맵의 벡터 길이를 매칭시키는 역할을 수행한다.In addition, a color-scale input image 120 such as a natural environment image may be input to obtain desired color information, and may be clustered through the clustering processing unit 311 to obtain color information. For example, the clustering processing unit 311 may obtain color information using a k-means clustering algorithm. In addition, a fully connected layer processing unit 312 for processing the color information obtained through the clustering processing unit 311 may be further included. The fully connected layer processing unit 312 matches the length of the vector representing color information with the vector length of the feature map generated by the convolutional encoder 211 .

이와 같이, 카모플라쥬 패턴의 그레이 스케일 입력 이미지(110)로부터 생성된 특징맵과 색상을 추출하고자 하는 자연 환경의 컬러 스케일 입력 이미지(120)로부터 생성된 색상 정보가 더해져 컨볼루션 디코더(212)의 입력으로 제공된다. 컨볼루션 디코더(212)의 복수의 컨볼루션 레이어 처리를 통해 출력 이미지가 생성되며, 이 출력 이미지는 추출된 색상을 갖는 카모플라쥬 패턴을 갖는 컬러 이미지이다.In this way, the feature map generated from the gray scale input image 110 of the camouflage pattern and color information generated from the color scale input image 120 of the natural environment from which the color is to be extracted are added to the convolution decoder 212 . provided as input. An output image is generated through processing of a plurality of convolutional layers of the convolutional decoder 212 , and the output image is a color image having a camouflage pattern having the extracted color.

본 발명과 유사한 목적을 갖는 GAN 구조를 활용한 컬러라이제이션(Colorization) 기법들은 생성자와 구분자를 동시에 학습하기 위해 그레이 스케일 이미지 데이터와 컬러 이미지 데이터가 쌍으로 필요하다. 그러나 카모플라쥬 패턴과 같이 데이터 셋 구성을 쌍으로 구성할 수 없는 특수한 경우에는 한 가지 종류의 영상 데이터만을 활용해야 하는 경우가 발생하며, 본 발명의 구성에 따르면 이와 같은 문제를 해결할 수 있다는 장점을 갖는다. 이에 따라, 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써, 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에서 위장 패턴의 색상을 환경에 따라 적절히 변경함으로써 위장 패턴을 생성할 수 있다. 또한, 국방 분야뿐만 아니라 의류 및 디자인 산업에도 카모플라쥬 패턴을 생성함으로써 다양한 응용 및 적용이 가능할 것이다.Colorization techniques using a GAN structure having a similar purpose to the present invention require grayscale image data and color image data in pairs to learn a generator and a separator at the same time. However, in a special case such as a camouflage pattern in which the data set configuration cannot be configured in pairs, only one type of image data needs to be used, and the configuration of the present invention has the advantage of solving such a problem. have Accordingly, by creating a camouflage pattern having a color distribution similar to that of the surrounding environment, a camouflage pattern can be created by appropriately changing the color of the camouflage pattern according to the environment in the defense field such as military uniforms, military vehicles, tanks, and exterior walls of buildings. there is. In addition, various applications and applications will be possible by creating a camouflage pattern not only in the defense field but also in the clothing and design industries.

도 3는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 예시도이다.3 is an exemplary diagram for explaining a camouflage pattern generation method using a CNN-based image generation model according to an embodiment of the present invention.

일 예시로서, 이미지 생성 모델의 입력으로서 임의의 모양을 가진 카모플라쥬 패턴의 그레이 스케일 이미지 및 색상을 추출하고자 하는 자연 환경의 컬러 이미지가 선택될 수 있다. As an example, as an input of the image generation model, a gray scale image of a camouflage pattern having an arbitrary shape and a color image of a natural environment from which a color is to be extracted may be selected.

그레이 스케일 입력 영상은 왼쪽 파란색 박스로 구성된 컨볼루션 레이어들을 거쳐 특징맵(Feature Map)을 추출한다. 파란색 박스로 구성된 컨볼루션 레이어들은 오토 인코더에서 인코더(encoder)에 해당하는 부분이다. 한편, 보라색 박스로 구성된 컨볼루션 레이어들은 오토 인코더에서 디코더(decoder)에 해당하는 부분이다. 예컨대, 컨볼루션 오토 인코더의 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개일 수 있으며, 컨볼루션 디코더의 각 컨볼루션 레이어들의 채널 개수도 이와 대응된다.From the gray scale input image, a feature map is extracted through convolutional layers composed of blue boxes on the left. Convolutional layers composed of blue boxes correspond to encoders in the auto-encoder. On the other hand, convolutional layers composed of purple boxes correspond to decoders in the auto-encoder. For example, the number of channels of each convolutional layer of the convolutional encoder of the convolutional auto encoder may be 64, 128, 256, and 512, respectively, and the number of channels of each convolutional layer of the convolutional decoder also corresponds to this .

또한, 자연 환경의 컬러 이미지에서 예컨대 K 평균 클러스터링(K-Means Clustering) 결과를 통해 얻어진 색상 정보는 풀리 커넥티드 레이어들(Fully Connected Layers)을 통과해 인코더의 결과인 특징맵과 더해져 디코더의 입력으로 들어간다. 또한, 컨볼루션 인코더 및 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)된 구조를 가짐으로써, 기존 그레이 스케일 입력 영상의 패턴 모양을 보존하도록 구성될 수 있다.In addition, color information obtained through, for example, K-Means Clustering results in a color image of a natural environment passes through Fully Connected Layers and is added to the feature map resulting from the encoder as input to the decoder. go in In addition, since the convolutional layers of the convolutional encoder and the convolutional decoder have a structure in which they are concatenated with each other, it may be configured to preserve the pattern shape of the existing grayscale input image.

여기서, 레이어들의 연결(concatenate)은 기준이 되는 차원의 축을 선정하고 그 축에 별다른 조정없이 연결하는 역할을 수행하며, 보다 구체적으로 기준이 되는 축은 채널에 해당하는 부분이며, 예컨대 64x64x512(512는 채널수)와 64x64x512의 특징맵(feature map)을 연결하면 64x64x1024의 결과를 얻을 수 있습니다. Here, the concatenation of the layers selects an axis of a standard dimension and connects to the axis without any special adjustment. More specifically, the reference axis is a part corresponding to a channel, for example, 64x64x512 (512 is a channel). number) and 64x64x512 feature map, you can get 64x64x1024 result.

도 4는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method for generating a camouflage pattern using a CNN-based image generation model according to an embodiment of the present invention.

먼저 좌측 흐름에서 카모플라쥬 패턴 이미지로부터 특징맵을 형성하기 위해, 그레이 스케일 입력 이미지가 수신된다.(S410)First, in order to form a feature map from the camouflage pattern image in the left flow, a gray scale input image is received (S410).

컨볼루션 오토 인코더(200) 내의 컨볼루션 인코더(211)에서 수신된 그레이 스케일 입력 이미지의 복수의 컨볼루션 레이어 처리를 통해 특징맵을 생성한다.(S411)A feature map is generated by processing a plurality of convolutional layers of the gray scale input image received by the convolutional encoder 211 in the convolutional auto-encoder 200 (S411).

또한, 우측 흐름에서 원하는 환경 영상 정보를 획득하기 위해 자연 환경 이미지 등의 컬러 스케일 입력 이미지가 수신된다.(S420)In addition, a color scale input image such as a natural environment image is received in order to obtain desired environment image information in the right flow. (S420)

컬러 스케일 입력 이미지의 클러스터링 처리를 통해 색상 정보를 획득한다.(S421)Color information is acquired through clustering processing of the color scale input image (S421).

획득한 색상 정보는 풀리 커넥티드 레이어 처리를 통해 특징맵과 매칭되도록 벡터 값의 길이가 조정될 수 있다.(S422)The length of the vector value may be adjusted so that the acquired color information matches the feature map through the fully connected layer processing (S422).

그레이 스케일 입력 이미지로부터 획득한 특징맵과 컬러 스케일 입력 이미지로부터 획득한 색상 정보가 함께 컨볼루션 오토 인코더(200) 내의 컨볼루션 디코더(212)로 입력된다.(S430)The feature map obtained from the gray scale input image and the color information obtained from the color scale input image are input to the convolution decoder 212 in the convolution auto encoder 200 together (S430).

컨볼루션 디코더(212)는 카모풀라쥬 패턴의 컬러 이미지를 출력한다.(S440)The convolutional decoder 212 outputs a color image of the camouflage pattern (S440).

도 5는 본 발명의 일 실시예예 따른 카모플라쥬 패턴 생성의 입력 이미지 및 출력 이미지를 보여주는 도면이다.5 is a view showing an input image and an output image of camouflage pattern generation according to an embodiment of the present invention.

도 5a는 예컨대 컨볼루션 인코더(211)에 입력되는 그레이 스케일의 입력 이미지로서, 카모풀라쥬 패턴을 갖는 그레이 스케일의 입력 이미지를 나타낸다. 5A is a gray scale input image input to the convolutional encoder 211, for example, and shows a gray scale input image having a camouflage pattern.

도 5b는 클러스터링 처리부(311)에 입력되는 컬러 스케일의 입력 이미지로서, 원하는 색상 정보를 획득하기 위한 주변 환경 이미지를 나타낸다.FIG. 5B is an input image of a color scale input to the clustering processing unit 311 and shows an image of a surrounding environment for obtaining desired color information.

도 5c는 컨볼루션 디코더(212)를 통해 출력되는 출력 이미지로서, 그레이 스케일의 입력 이미지의 색상을 주변 환경 이미지로부터 획득한 색상 정보와 유사하게 변경된 카모플라쥬 패턴을 갖는 컬러 이미지이다.FIG. 5C is an output image output through the convolution decoder 212, and is a color image having a camouflage pattern in which the color of the gray-scale input image is changed to be similar to color information obtained from the surrounding environment image.

본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.The various embodiments described herein may be implemented by hardware, middleware, microcode, software, and/or combinations thereof. For example, various embodiments may include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs). ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.Also, for example, the various embodiments may be embodied in or encoded on a computer-readable medium comprising instructions. The instructions embodied in or encoded on a computer-readable medium may cause a programmable processor or other processor to perform a method, eg, when the instructions are executed. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. A storage medium may be any available medium that can be accessed by a computer. For example, such computer-readable medium may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage medium, magnetic disk storage medium or other magnetic storage device or desired program code, instructions or data accessible by a computer. may include any other medium that can be used for transporting or storing in the form of structures.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.Such hardware, software, firmware, etc. may be implemented in the same device or in separate devices to support the various operations and functions described herein. Additionally, components, units, modules, components, etc. described as “parts” in the present invention may be implemented together or individually as separate but interoperable logic devices. Depictions of different features of modules, units, etc. are intended to emphasize different functional embodiments, and do not necessarily imply that they must be realized by separate hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or integrated within common or separate hardware or software components.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.Although acts are shown in the drawings in a particular order, it should not be understood that these acts need to be performed in the specific order, or sequential order, shown, or that all shown acts need to be performed to achieve a desired result. . In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the division of various components in the above-described embodiments should not be construed as requiring such division in all embodiments, and that the described components will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there can be

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is merely exemplary, it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

110: 그레이 스케일 입력 이미지
200: 컨볼루션 오토 인코더
211: 컨볼루션 인코더
212: 컨볼루션 디코더
120: 컬러 스케일 입력 이미지
311: 클러스터링 처리부
312: 풀리 커넥티드 레이어 처리부
310: 출력이미지110: gray scale input image
200: convolution auto encoder
211: convolutional encoder
212: convolution decoder
120: color scale input image
311: clustering processing unit
312: fully connected layer processing unit
310: output image

Claims (21)

컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서,
입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것이고,
상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성되는 것이고,
상기 컨볼루션 인코더는 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 것이고,
컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 더 포함하고, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함하고, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용하고,
상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부를 더 포함하고, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 것이고,
상기 컨볼루션 인코더에서 추출된 상기 카모플라쥬 패턴의 특징맵과 상기 풀리 커넥티드 레이어 처리부에서 획득한 상기 자연 환경의 색상 정보가 상기 컨볼루션 디코더에 입력됨으로써, 상기 컨볼루션 디코더의 상기 출력 이미지로서 상기 자연 환경의 색상 정보로부터 추출된 색상을 갖는 카모플라쥬 패턴을 갖는 컬러 이미지가 출력되는 것이고,
상기 풀리 커넥티드 레이어 처리부는 상기 색상 정보를 나타내는 벡터의 길이와 상기 컨볼루션 인코더에서 생성된 특징맵의 벡터 길이를 매칭시키도록 구성되는 것인, 카모플라쥬 패턴 생성 장치.In an apparatus for generating a camouflage pattern using a convolutional neural network (CNN)-based image generation model,
a convolutional autoencoder comprising a convolutional encoder configured to receive an input image and a convolutional decoder configured to generate an output image, wherein the convolutional autoencoder uses a convolutional neural network;
wherein the convolutional encoder is configured to receive a gray-scale input image having a camouflage pattern,
The convolutional encoder extracts a feature map using a plurality of convolutional layers and provides it as an input to the convolutional decoder,
further comprising a clustering processing unit configured to receive a color-scale input image, wherein the color-scale input image includes a color image of a natural environment having desired color information, and the clustering processing unit includes k Using the k-means clustering algorithm,
Further comprising a fully connected layer processing unit for processing the color information obtained through the clustering processing unit, wherein the result value of the fully connected layer processing unit is provided as an input of the convolutional decoder,
The feature map of the camouflage pattern extracted from the convolutional encoder and the color information of the natural environment obtained from the fully connected layer processing unit are input to the convolutional decoder, so that the output image of the convolutional decoder is the A color image having a camouflage pattern with a color extracted from color information in the natural environment is output,
The fully connected layer processing unit is configured to match the length of the vector representing the color information and the vector length of the feature map generated by the convolutional encoder, camouflage pattern generating apparatus. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성되는 것인, 카모플라쥬 패턴 생성 장치.The camouflage pattern generating apparatus according to claim 1, wherein the convolutional encoder of the convolutional auto-encoder and the convolutional layers of the convolutional decoder are configured to be concatenated with each other. 제1항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개인 것인, 카모플라쥬 패턴 생성 장치.The apparatus of claim 1, wherein the number of channels of each convolutional layer of the convolutional encoder of the convolutional auto-encoder is 64, 128, 256, and 512, respectively. 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법에 있어서,
컨볼루션 오토 인코더 내의 컨볼루션 인코더에서 입력 이미지를 수신하는 단계;
컨볼루션 오토 인코더 내의 컨볼루션 디코더에서 출력 이미지를 생성하는 단계
를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것이고,
상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성되는 것이고,
상기 컨볼루션 인코더에서 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 단계; 및
클러스터링 처리부에서 자연 환경의 컬러 스케일(color-scale) 입력 이미지를 수신하는 단계를 더 포함하고,
상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함하는 것이고, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용하는 것이고,
풀리 커넥티드 레이어(Fully Connected Layer) 처리부에서 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하는 단계; 및
상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 단계를 더 포함하는 것이며,
상기 컨볼루션 인코더에서 추출된 상기 카모플라쥬 패턴의 특징맵과 상기 풀리 커넥티드 레이어 처리부에서 획득한 상기 자연 환경의 색상 정보가 상기 컨볼루션 디코더에 입력됨으로써 상기 컨볼루션 디코더의 상기 출력 이미지로서 상기 자연 환경의 색상 정보로부터 추출된 색상을 갖는 카모플라쥬 패턴을 갖는 컬러 이미지가 출력되는 것이고,
상기 풀리 커넥티드 레이어 처리부는 상기 색상 정보를 나타내는 벡터의 길이와 상기 컨볼루션 인코더에서 생성된 특징맵의 벡터 길이를 매칭시키도록 구성되는 것인, 카모플라쥬 패턴 생성 방법.In a camouflage pattern generation method using a convolutional neural network (CNN)-based image generation model,
receiving an input image at a convolutional encoder within the convolutional autoencoder;
generating an output image from a convolutional decoder within a convolutional autoencoder
Including, the convolutional auto-encoder is to use a convolutional neural network,
wherein the convolutional encoder is configured to receive a gray-scale input image having a camouflage pattern,
extracting a feature map using a plurality of convolutional layers in the convolutional encoder and providing it as an input to the convolutional decoder; and
Further comprising the step of receiving a color-scale (color-scale) input image of the natural environment in the clustering processing unit,
The color-scale input image includes a color image of a natural environment having desired color information, and the clustering processing unit uses a k-means clustering algorithm,
processing the color information obtained through the clustering processing unit in a fully connected layer processing unit; and
The step of providing a result value of the fully connected layer processing unit as an input of the convolutional decoder,
The feature map of the camouflage pattern extracted from the convolutional encoder and the color information of the natural environment obtained from the fully connected layer processing unit are input to the convolutional decoder, so that the natural environment as the output image of the convolutional decoder A color image having a camouflage pattern having a color extracted from the color information of the environment is output,
The method for generating a camouflage pattern, wherein the fully connected layer processing unit is configured to match the length of the vector representing the color information and the vector length of the feature map generated by the convolutional encoder. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제11항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성되는 것인, 카모플라쥬 패턴 생성 방법.The method of claim 11 , wherein the convolutional encoder of the convolutional auto-encoder and the convolutional layers of the convolutional decoder are configured to be concatenated with each other. 제11항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개인 것인, 카모플라쥬 패턴 생성 방법.The method of claim 11 , wherein the number of channels of each convolutional layer of the convolutional encoder of the convolutional auto-encoder is 64, 128, 256, and 512, respectively. 제11항, 제19항 및 제20항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
A computer-readable recording medium storing a program for implementing the method according to any one of claims 11, 19 and 20.
KR1020190153012A 2019-11-26 2019-11-26 Apparatus and method for generating camouflage pattern using cnn-based image generator model KR102364442B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153012A KR102364442B1 (en) 2019-11-26 2019-11-26 Apparatus and method for generating camouflage pattern using cnn-based image generator model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153012A KR102364442B1 (en) 2019-11-26 2019-11-26 Apparatus and method for generating camouflage pattern using cnn-based image generator model

Publications (2)

Publication Number Publication Date
KR20210064604A KR20210064604A (en) 2021-06-03
KR102364442B1 true KR102364442B1 (en) 2022-02-16

Family

ID=76396998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153012A KR102364442B1 (en) 2019-11-26 2019-11-26 Apparatus and method for generating camouflage pattern using cnn-based image generator model

Country Status (1)

Country Link
KR (1) KR102364442B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631632B1 (en) * 2021-10-26 2024-02-01 한국광기술원 System for artificial intelligence-based camouflage pattern generation and Method thereof
KR102446697B1 (en) * 2022-02-22 2022-09-26 오드컨셉 주식회사 A discriminator for simultaneously evaluating the generated image and real image
KR102567128B1 (en) * 2023-01-30 2023-08-17 인빅 주식회사 Enhanced adversarial attention networks system and image generation method using the same
CN116740211B (en) * 2023-06-15 2024-01-30 云南大学 Near infrared image colorization method for edge equipment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926490B1 (en) 2013-03-12 2018-12-07 한화테크윈 주식회사 Apparatus and method for processing image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Auto-Encoder와 GAN을 이용한 Image to Image Translation의 성능 향상 기법 1부*
Automatic Sketch Colorization using DCGAN 1부*

Also Published As

Publication number Publication date
KR20210064604A (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102364442B1 (en) Apparatus and method for generating camouflage pattern using cnn-based image generator model
Hassan et al. Improving data hiding within colour images using hue component of HSV colour space
JP2020508522A (en) Periodic hostile generation networks for unsupervised cross-domain image generation
KR20180120478A (en) Method for learning Cross-domain Relations based on Generative Adversarial Network
CN111275784B (en) Method and device for generating image
Raikhlin et al. Reliable recognition of masked binary matrices. Connection to information security in map systems
Singh et al. Steganalysis of digital images using deep fractal network
CN110246197B (en) Verification codeword generation method and device, electronic equipment and storage medium
Ito et al. (1, 2) and weak (1, 3) homotopies on knot projections
US11501470B2 (en) Geometric encoding of data
CN114819614A (en) Data processing method, device, system and equipment
Rojas Deepest Neural Networks
KR102567128B1 (en) Enhanced adversarial attention networks system and image generation method using the same
Lisin et al. Order-preserving encryption as a tool for privacy-preserving machine learning
KR101427149B1 (en) A method of recognizing complex PRI modulation type of radar signals based on 2-layer SVM using exponential moving average
CN112561076B (en) Model processing method and device
KR20230061925A (en) Apparatus and Method for Training Network Intrusion Detection Model Based on Extended Training Data
Annabi et al. State representation learning with recurrent capsule networks
Izumi et al. Distributed Hybrid Controllers for Multi‐Agent Mass Games By A Variable Number of Player Agents
KR102239133B1 (en) Apparatus and method of defect classification using image transformation based on machine-learning
Martin The PW problem
KR20210078757A (en) Method and Apparatus for Anomaly Detection for Multiple Time Series Data
Chang et al. Cyber Vaccine for Deepfake Immunity
Mushtaq et al. Color separation in forensic image processing using interactive differential evolution
KR102320374B1 (en) A method for signed network embedding based on a adversarial training and an apparatus for the method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)