KR20210064604A

KR20210064604A - Cnn 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치 및 방법

Info

Publication number: KR20210064604A
Application number: KR1020190153012A
Authority: KR
Inventors: 권주원; 권순철; 유지상
Original assignee: 광운대학교 산학협력단
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-06-03
Also published as: KR102364442B1

Abstract

본 발명에 의하면, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서, 입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더, 및 컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 포함하고, 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 장치를 제공할 수 있다.

Description

CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING CAMOUFLAGE PATTERN USING CNN-BASED IMAGE GENERATOR MODEL}

본 발명은 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬(camouflage, 위장) 패턴 생성 장치 및 방법에 관한 것이다. 보다 구체적으로, 오토 인코더(Auto Encoder)의 구조를 변형한 형태의 이미지 생성 모델을 사용하여, 그레이 스케일(gray-scale, 회색조) 카모플라쥬 이미지를 이용하여 원하는 환경과 비슷한 색상을 갖는 패턴을 생성하기 위한 방법 및 장치에 관한 것이다.

최근 딥러닝 기반의 이미지 생성 모델을 활용한 기술이 활발하게 연구되고 있다. 최근 생성 모델과 관련한 연구는 GAN(Generative Adversarial Networks)과 같이 생성자(Generator)와 구분자(Discriminator) 두 개의 모델이 적대적으로 학습하며 성능을 높이는 모델이 많이 연구되고 있다. 이러한 분야의 응용으로 컬러라이제이션(colorization)은 회색조 영상을 컬러 영상으로 바꾸어 주는 것이다.

그러나, 이와 같이 생성자와 구분자를 동시에 학습을 시키기 위해서는 알맞은 데이터 셋(Dataset)이 필요하며, 현재 컬러라이제이션(colorization) 방법의 경우 딥러닝 네트워크 학습을 위해 회색조 이미지와 컬러 이미지가 쌍(Pair)으로 구성되어 있다. 하지만 카모플라쥬 패턴 이미지와 같은 특수한 데이터는 주변 환경에 맞는 회색조 이미지와 컬러 이미지가 쌍으로 획득하기가 쉽지 않다는 어려움이 있다.

KR 10-2014-0111858 A (2014. 09. 22.)

본 발명은 카모플라쥬 패턴 이미지와 같이 회색조 이미지와 컬러 이미지를 쌍으로 획득하기 쉽지 않은 경우에, 단일 회색조 이미지와 색상 정보를 얻을 환경 이미지로부터 카모플라쥬 패턴 영상을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 오토 인코더를 통해 생성된 특징맵과 클러스터링 처리를 통해 생성된 색상 정보를 이용하여 카모플라쥬 패턴 영상을 생성하기 위한 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써 다양한 지역 및 환경에 따라 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에 위장 패턴을 제공할 뿐만 아니라 의류 및 디자인 산업 등 다양한 응용 어플리케이션에 적용하는 것을 목적으로 한다.

본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에서, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서, 입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 장치를 제공할 수 있다.

또한, 상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성될 수 있다.

또한, 상기 컨볼루션 인코더는 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공할 수 있다.

또한, 컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 더 포함할 수 있다.

또한, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함할 수 있다.

또한, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용할 수 있다.

또한, 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부를 더 포함할 수 있다.

또한, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공될 수 있다.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성될 수 있다.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개일 수 있다.

본 발명의 다른 실시예에 의하면, 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법에 있어서, 컨볼루션 오토 인코더 내의 컨볼루션 인코더에서 입력 이미지를 수신하는 단계; 컨볼루션 오토 인코더 내의 컨볼루션 디코더에서 출력 이미지를 생성하는 단계를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 방법을 제공할 수 있다.

또한, 상기 컨볼루션 인코더에서 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 단계를 더 포함할 수 있다.

또한, 클러스터링 처리부에서 컬러 스케일(color-scale) 입력 이미지를 수신하는 단계를 더 포함할 수 있다.

또한, 풀리 커넥티드 레이어(Fully Connected Layer) 처리부에서 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하는 단계를 더 포함할 수 있다.

또한, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 단계를 더 포함할 수 있다.

또한, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는, 64개, 128개, 256개, 512개일 수 있다.

본 발명의 다른 실시예에서, 상술한 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.

본 발명에 의하면 카모플라쥬 패턴 이미지와 같이 회색조 이미지와 컬러 이미지를 쌍으로 획득하기 쉽지 않은 경우에, 단일 회색조 이미지와 색상 정보를 얻을 환경 이미지로부터 카모플라쥬 패턴 영상을 생성하는 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 오토 인코더를 통해 생성된 특징맵과 클러스터링 처리를 통해 생성된 색상 정보를 이용하여 카모플라쥬 패턴 영상을 생성하기 위한 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써 다양한 지역 및 환경에 따라 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에 위장 패턴을 제공할 뿐만 아니라 의류 및 디자인 산업 등 다양한 응용 어플리케이션에 적용할 수 있다.

본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 GAN에 기반한 이미지 생성 기법을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치의 구성을 나타내는 블록도이다.
도 3는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예예 따른 카모플라쥬 패턴 생성의 입력 이미지 및 출력 이미지를 보여주는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.

본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.

도 1은 종래의 GAN에 기반한 이미지 생성 기법을 설명하기 위한 블록도이다.

도 1을 참조하면, 일반적인 종래의 GAN은 생성기(Generator, 10)와 판별기(Discriminator, 20)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델이다. 생성기(10)에는 입력 데이터가 입력되어 실제 이미지(12)와 유사한 가짜 이미지(11)를 만들어내도록 학습될 수 있다. 입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.

판별기(20)는 실제 이미지와 생성기(10)가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지(12)를 입력하면 높은 확률이 나오도록, 가짜 이미지(11)를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기(20)는 실제 이미지(12)와 가짜 이미지(11)를 잘 판별하도록 점진적으로 학습할 수 있다.

생성기(10)와 판별기(20)가 충분히 학습하면, 생성기(10)는 생성한 가짜 이미지(11)의 데이터 분포가 실제 이미지(12)의 데이터 분포를 따르게 할 수 있다. 이럴 경우, 판별기(20)는 생성기(10)가 생성한 어떤 이미지(11)를 판별하든 1/2의 확률로 맞거나 틀릴 수 있다. 이런 상태는 판별기(20)가 가짜 이미지(11)에 대해 진짜인지 가짜인지 판별할 수 없는 상태이다. 이 상태에서 생성된 가짜 이미지(11)는 객체 검출을 위한 데이터셋에 추가되어 객체 검출을 위해 기계 학습에 사용될 수 있다.

하지만, 이와 같이 생성자와 구분자를 동시에 학습을 시키기 위해서는 알맞은 데이터 셋(dataset)이 필요하나, 카모플라쥬 패턴 이미지와 같은 특수한 데이터는 주변 환경에 맞는 회색조 이미지와 컬러 이미지를 쌍으로 획득하기가 쉽지 않다는 어려움이 있다.

도 2는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치의 구성을 나타내는 블록도이다.

컨볼루션 오토 인코더(200)는 입력 이미지를 수신하도록 구성된 컨볼루션 인코더(211) 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더(212)를 포함하고, 컨볼루션 오토 인코더(200)는 컨볼루션 신경망(CNN)을 이용한다. 여기서, 컨볼루션 신경망(CNN)은 인간의 시신경 구조를 모방해 만들어진 인공 신경망 알고리즘으로서, 다수의 컨볼루션 레이어(convolutional layer)로부터 특징맵(Feature map)을 추출하는 기능을 수행할 수 있다.

컨볼루션 오토 인코더(200) 내의 컨볼루션 인코더(211)는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale, 회색조) 입력 이미지(110)를 수신하도록 구성될 수 있다. 컨볼루션 인코더(211)과 컨볼루션 디코더(212)의 컨볼루션 레이어들 사이가 서로 연결(concatenate)되어 인코더 부분의 레이어를 디코더 부분의 레이어에 연결되는 부분이 있다. 이와 같은 연결은 입력 이미지의 형태적인 특징을 추출하기 위함인데 컬러 이미지를 입력으로 넣을 경우 카모플라쥬 패턴의 컬러 정보가 남아 학습 결과에 영향을 끼칠 수 있기 때문에 그레이 스케일의 카모플라쥬 패턴 입력 이미지를 사용하는 것이 유리하다.

그레이 스케일 입력 이미지(110)는 컨볼루션 인코더(211)의 복수의 컨볼루션 레이어 처리를 통해 특징맵(feature map)을 추출하고, 추출된 특징맵이 컨볼루션 디코더(212)의 입력으로 제공된다.

또한, 원하는 색상 정보를 얻기 위해 자연 환경 이미지 등의 컬러 스케일(color-scale) 입력 이미지(120)가 입력되고, 클러스터링 처리부(311)를 통해 클러스터링 처리되어 색상 정보가 획득될 수 있다. 예컨대, 클러스터링 처리부(311)는 k 평균(k-means) 클러스터링 알고리즘을 이용하여 색상 정보를 획득할 수 있다. 또한, 클러스터링 처리부(311)를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부(312)를 더 포함할 수 있다. 풀리 커넥티드 레이어 처리부(312)는 색상 정보를 나타내는 벡터의 길이와 컨볼루션 인코더(211)에서 생성된 특징맵의 벡터 길이를 매칭시키는 역할을 수행한다.

이와 같이, 카모플라쥬 패턴의 그레이 스케일 입력 이미지(110)로부터 생성된 특징맵과 색상을 추출하고자 하는 자연 환경의 컬러 스케일 입력 이미지(120)로부터 생성된 색상 정보가 더해져 컨볼루션 디코더(212)의 입력으로 제공된다. 컨볼루션 디코더(212)의 복수의 컨볼루션 레이어 처리를 통해 출력 이미지가 생성되며, 이 출력 이미지는 추출된 색상을 갖는 카모플라쥬 패턴을 갖는 컬러 이미지이다.

본 발명과 유사한 목적을 갖는 GAN 구조를 활용한 컬러라이제이션(Colorization) 기법들은 생성자와 구분자를 동시에 학습하기 위해 그레이 스케일 이미지 데이터와 컬러 이미지 데이터가 쌍으로 필요하다. 그러나 카모플라쥬 패턴과 같이 데이터 셋 구성을 쌍으로 구성할 수 없는 특수한 경우에는 한 가지 종류의 영상 데이터만을 활용해야 하는 경우가 발생하며, 본 발명의 구성에 따르면 이와 같은 문제를 해결할 수 있다는 장점을 갖는다. 이에 따라, 주변 환경과 비슷한 색상 분포를 갖는 카모플라쥬 패턴을 생성함으로써, 군복, 군용차, 전차, 건물의 외벽 등의 국방 분야에서 위장 패턴의 색상을 환경에 따라 적절히 변경함으로써 위장 패턴을 생성할 수 있다. 또한, 국방 분야뿐만 아니라 의류 및 디자인 산업에도 카모플라쥬 패턴을 생성함으로써 다양한 응용 및 적용이 가능할 것이다.

도 3는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 예시도이다.

일 예시로서, 이미지 생성 모델의 입력으로서 임의의 모양을 가진 카모플라쥬 패턴의 그레이 스케일 이미지 및 색상을 추출하고자 하는 자연 환경의 컬러 이미지가 선택될 수 있다.

그레이 스케일 입력 영상은 왼쪽 파란색 박스로 구성된 컨볼루션 레이어들을 거쳐 특징맵(Feature Map)을 추출한다. 파란색 박스로 구성된 컨볼루션 레이어들은 오토 인코더에서 인코더(encoder)에 해당하는 부분이다. 한편, 보라색 박스로 구성된 컨볼루션 레이어들은 오토 인코더에서 디코더(decoder)에 해당하는 부분이다. 예컨대, 컨볼루션 오토 인코더의 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개일 수 있으며, 컨볼루션 디코더의 각 컨볼루션 레이어들의 채널 개수도 이와 대응된다.

또한, 자연 환경의 컬러 이미지에서 예컨대 K 평균 클러스터링(K-Means Clustering) 결과를 통해 얻어진 색상 정보는 풀리 커넥티드 레이어들(Fully Connected Layers)을 통과해 인코더의 결과인 특징맵과 더해져 디코더의 입력으로 들어간다. 또한, 컨볼루션 인코더 및 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)된 구조를 가짐으로써, 기존 그레이 스케일 입력 영상의 패턴 모양을 보존하도록 구성될 수 있다.

여기서, 레이어들의 연결(concatenate)은 기준이 되는 차원의 축을 선정하고 그 축에 별다른 조정없이 연결하는 역할을 수행하며, 보다 구체적으로 기준이 되는 축은 채널에 해당하는 부분이며, 예컨대 64x64x512(512는 채널수)와 64x64x512의 특징맵(feature map)을 연결하면 64x64x1024의 결과를 얻을 수 있습니다.

도 4는 본 발명의 일 실시예에 따른 CNN 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법을 설명하기 위한 흐름도이다.

먼저 좌측 흐름에서 카모플라쥬 패턴 이미지로부터 특징맵을 형성하기 위해, 그레이 스케일 입력 이미지가 수신된다.(S410)

컨볼루션 오토 인코더(200) 내의 컨볼루션 인코더(211)에서 수신된 그레이 스케일 입력 이미지의 복수의 컨볼루션 레이어 처리를 통해 특징맵을 생성한다.(S411)

또한, 우측 흐름에서 원하는 환경 영상 정보를 획득하기 위해 자연 환경 이미지 등의 컬러 스케일 입력 이미지가 수신된다.(S420)

컬러 스케일 입력 이미지의 클러스터링 처리를 통해 색상 정보를 획득한다.(S421)

획득한 색상 정보는 풀리 커넥티드 레이어 처리를 통해 특징맵과 매칭되도록 벡터 값의 길이가 조정될 수 있다.(S422)

그레이 스케일 입력 이미지로부터 획득한 특징맵과 컬러 스케일 입력 이미지로부터 획득한 색상 정보가 함께 컨볼루션 오토 인코더(200) 내의 컨볼루션 디코더(212)로 입력된다.(S430)

컨볼루션 디코더(212)는 카모풀라쥬 패턴의 컬러 이미지를 출력한다.(S440)

도 5는 본 발명의 일 실시예예 따른 카모플라쥬 패턴 생성의 입력 이미지 및 출력 이미지를 보여주는 도면이다.

도 5a는 예컨대 컨볼루션 인코더(211)에 입력되는 그레이 스케일의 입력 이미지로서, 카모풀라쥬 패턴을 갖는 그레이 스케일의 입력 이미지를 나타낸다.

도 5b는 클러스터링 처리부(311)에 입력되는 컬러 스케일의 입력 이미지로서, 원하는 색상 정보를 획득하기 위한 주변 환경 이미지를 나타낸다.

도 5c는 컨볼루션 디코더(212)를 통해 출력되는 출력 이미지로서, 그레이 스케일의 입력 이미지의 색상을 주변 환경 이미지로부터 획득한 색상 정보와 유사하게 변경된 카모플라쥬 패턴을 갖는 컬러 이미지이다.

본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

110: 그레이 스케일 입력 이미지
200: 컨볼루션 오토 인코더
211: 컨볼루션 인코더
212: 컨볼루션 디코더
120: 컬러 스케일 입력 이미지
311: 클러스터링 처리부
312: 풀리 커넥티드 레이어 처리부
310: 출력이미지

Claims

컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치에 있어서,
입력 이미지를 수신하도록 구성된 컨볼루션 인코더 및 출력 이미지를 생성하도록 구성된 컨볼루션 디코더를 포함하는 컨볼루션 오토 인코더를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 장치.
제1항에 있어서, 상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성되는 것인, 카모플라쥬 패턴 생성 장치.
제2항에 있어서, 상기 컨볼루션 인코더는 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 것인, 카모플라쥬 패턴 생성 장치.
제1항에 있어서, 컬러 스케일(color-scale) 입력 이미지를 수신하도록 구성된 클러스터링 처리부를 더 포함하는 것인, 카모플라쥬 패턴 생성 장치.
제4항에 있어서, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함하는 것인, 카모플라쥬 패턴 생성 장치.
제4항에 있어서, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용하는 것인, 카모플라쥬 패턴 생성 장치.
제6항에 있어서, 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하기 위한 풀리 커넥티드 레이어(Fully Connected Layer) 처리부를 더 포함하는 것인, 카모플라쥬 패턴 생성 장치.
제7항에 있어서, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 것인, 카모플라쥬 패턴 생성 장치.
제1항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성되는 것인, 카모플라쥬 패턴 생성 장치.
제1항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개인 것인, 카모플라쥬 패턴 생성 장치.
컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 방법에 있어서,
컨볼루션 오토 인코더 내의 컨볼루션 인코더에서 입력 이미지를 수신하는 단계;
컨볼루션 오토 인코더 내의 컨볼루션 디코더에서 출력 이미지를 생성하는 단계
를 포함하고, 상기 컨볼루션 오토 인코더는 컨볼루션 신경망을 이용하는 것인, 카모플라쥬 패턴 생성 방법.
제11항에 있어서, 상기 컨볼루션 인코더는 카모플라쥬 패턴을 갖는 그레이 스케일(gray-scale) 입력 이미지를 수신하도록 구성되는 것인, 카모플라쥬 패턴 생성 방법.
제12항에 있어서, 상기 컨볼루션 인코더에서 복수의 컨볼루션 레이어를 이용하여 특징맵(feature map)을 추출하여 상기 컨볼루션 디코더의 입력으로 제공하는 단계를 더 포함하는 것인, 카모플라쥬 패턴 생성 방법.
제11항에 있어서, 클러스터링 처리부에서 컬러 스케일(color-scale) 입력 이미지를 수신하는 단계를 더 포함하는 것인, 카모플라쥬 패턴 생성 방법.
제14항에 있어서, 상기 컬러 스케일(color-scale) 입력 이미지는 원하는 색상 정보를 갖는 자연 환경의 컬러 이미지를 포함하는 것인, 카모플라쥬 패턴 생성 방법.
제14항에 있어서, 상기 클러스터링 처리부는 k 평균(k-means) 클러스터링 알고리즘을 이용하는 것인, 카모플라쥬 패턴 생성 방법.
제16항에 있어서, 풀리 커넥티드 레이어(Fully Connected Layer) 처리부에서 상기 클러스터링 처리부를 통해 획득한 색상 정보를 처리하는 단계를 더 포함하는 것인, 카모플라쥬 패턴 생성 방법.
제17항에 있어서, 상기 풀리 커넥티드 레이어 처리부의 결과값이 상기 컨볼루션 디코더의 입력으로 제공되는 단계를 더 포함하는 것인, 카모플라쥬 패턴 생성 방법.
제11항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더 및 상기 컨볼루션 디코더의 컨볼루션 레이어들이 서로 연결(concatenate)되도록 구성되는 것인, 카모플라쥬 패턴 생성 방법.
제11항에 있어서, 상기 컨볼루션 오토 인코더의 상기 컨볼루션 인코더의 각 컨볼루션 레이어들의 채널 개수는 각각, 64개, 128개, 256개, 512개인 것인, 카모플라쥬 패턴 생성 방법.
제11항 내지 제20항 중 어느 한 항에 기재된 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.