KR102283416B1 - Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치 - Google Patents

Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치 Download PDF

Info

Publication number
KR102283416B1
KR102283416B1 KR1020190039230A KR20190039230A KR102283416B1 KR 102283416 B1 KR102283416 B1 KR 102283416B1 KR 1020190039230 A KR1020190039230 A KR 1020190039230A KR 20190039230 A KR20190039230 A KR 20190039230A KR 102283416 B1 KR102283416 B1 KR 102283416B1
Authority
KR
South Korea
Prior art keywords
image
virtual
data
generating
virtual data
Prior art date
Application number
KR1020190039230A
Other languages
English (en)
Other versions
KR102283416B9 (ko
KR20200120970A (ko
Inventor
정호엽
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020190039230A priority Critical patent/KR102283416B1/ko
Publication of KR20200120970A publication Critical patent/KR20200120970A/ko
Application granted granted Critical
Publication of KR102283416B1 publication Critical patent/KR102283416B1/ko
Publication of KR102283416B9 publication Critical patent/KR102283416B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 GAN 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 이미지 생성 장치는 GAN(generative adversarial network) 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받고, 상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성하는 생성부(generator); 및 상기 적어도 하나의 가상 데이터와 실제 이미지에 대응하는 주파수 도메인의 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별하는 판별부(discriminator);를 포함하고, 상기 생성부는, 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다.

Description

GAN 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치{A method and apparatus for generating image using GAN based deep learning model}
본 발명은 이미지 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 GAN 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 이용한 요소 기술들로 구성된다. 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 이용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 이용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
한편, 멀티 미디어 기술 및 컴퓨터 기술이 발전함에 따라, 딥러닝 기법을 이용한 이미지 생성 기술이 개발되고 있으나, 학습 속도가 현저히 느리고 연산 복잡도가 높으며, 생성된 이미지의 해상도가 낮다는 문제점이 있다.
[특허문헌 1] 한국공개특허 제10-2018-0004898호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, GAN(generative adversarial network) 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 이미지를 픽셀 블록 단위로 주파수 도메인으로 변환하여 생성된 데이터들 중 일부를 제거하는 이미지 생성 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 GAN 기반 딥러닝 모델을 사용하여 단계별로 주파수 도메인의 가상 이미지에 대한 진폭의 실수를 생성하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 이미지 생성 장치는, GAN(generative adversarial network) 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받고, 상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성하는 생성부(generator); 및 상기 적어도 하나의 가상 데이터와 실제 이미지에 대응하는 주파수 도메인의 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별하는 판별부(discriminator);를 포함하고, 상기 생성부는, 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다.
실시예에서, 상기 이미지 생성 장치는 상기 실제 이미지를 상기 주파수 도메인으로 변환하여 다수의 실제 데이터를 생성하고, 상기 다수의 실제 데이터를 주파수 단위 정규화(frequency-wise normalize)시키고, 상기 다수의 실제 데이터를 진폭 편차 기준으로 정렬하며, 상기 다수의 실제 데이터 중 기설정된 임계값보다 큰 상기 적어도 하나의 실제 데이터를 추출하는 이미지 변환부;를 더 포함할 수 있다.
실시예에서, 상기 판별부와 생성부는, 상기 판별 결과를 피드백받아 상기 GAN 기반 딥러닝 모델의 학습을 수행할 수 있다.
실시예에서, 상기 판별 결과는, 0 내지 1 사이의 값을 포함할 수 있다.
실시예에서, 상기 생성부는, 상기 판별 결과가 0.5인 경우 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다.
실시예에서, 상기 생성부는, 상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터가 분간되지 못하는 경우, 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다.
실시예에서, 상기 생성부는, 제1 랜덤 정보를 입력받고, 상기 제1 랜덤 정보에 기반하여 상기 가상 이미지의 제1 픽셀 블록에 대응하는 주파수 도메인의 제1 가상 데이터를 생성하고, 제2 랜덤 정보를 입력받고, 상기 제1 가상 데이터 및 상기 제2 랜덤 정보에 기반하여 상기 가상 이미지의 제2 픽셀 블록에 대응하는 주파수 도메인의 제2 가상 데이터를 생성할 수 있다.
실시예에서, 상기 생성부는, 상기 제1 가상 데이터와 상기 제2 가상 데이터를 진폭 편차 기준으로 정렬하고, 상기 판별 결과에 따라 상기 정렬된 제1 가상 데이터와 제2 가상 데이터를 이용하여 상기 가상 이미지를 생성할 수 있다.
실시예에서, 이미지 생성 방법은 GAN(generative adversarial network) 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받는 단계; 상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성하는 단계; 상기 적어도 하나의 가상 데이터와 실제 이미지에 대응하는 주파수 도메인의 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별하는 단계; 및 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 이미지 생성 방법은 상기 적어도 하나의 가상 데이터의 진위를 판별하는 단계 이전에, 상기 실제 이미지를 상기 주파수 도메인으로 변환하여 다수의 실제 이미지를 생성하는 단계; 상기 다수의 실제 이미지를 주파수 단위 정규화(frequency-wise normalize)시키는 단계; 상기 다수의 실제 데이터를 진폭 편차 기준으로 정렬하는 단계; 및 상기 다수의 실제 데이터 중 기설정된 임계값보다 큰 상기 적어도 하나의 실제 데이터를 추출하는 단계;를 더 포함할 수 있다.
실시예에서, 상기 GAN 기반 딥러닝 모델은 상기 판별 결과에 기반하여 학습될 수 있다.
실시예에서, 상기 판별 결과는, 0 내지 1 사이의 값을 포함할 수 있다.
실시예에서, 상기 가상 이미지를 생성하는 단계는, 상기 판별 결과가 0.5인 경우 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 가상 이미지를 생성하는 단계는, 상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터가 분간되지 못하는 경우, 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 적어도 하나의 가상 데이터를 생성하는 단계는, 제1 랜덤 정보를 입력받고, 상기 제1 랜덤 정보에 기반하여 상기 가상 이미지의 제1 픽셀 블록에 대응하는 주파수 도메인의 제1 가상 데이터를 생성하는 단계; 및 제2 랜덤 정보를 입력받고, 상기 제1 가상 데이터 및 상기 제2 랜덤 정보에 기반하여 상기 가상 이미지의 제2 픽셀 블록에 대응하는 주파수 도메인의 제2 가상 데이터를 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 가상 이미지를 생성하는 단계는, 상기 제1 가상 데이터와 상기 제2 가상 데이터를 진폭 편자 기준으로 정렬하는 단계; 및 상기 판별 결과에 따라 상기 정렬된 제1 가상 데이터와 제2 가상 데이터를 이용하여 상기 가상 이미지를 생성하는 단계;를 포함할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, 이미지를 픽셀 블록 단위로 주파수 도메인으로 변환하여 생성된 데이터들 중 일부를 제거함으로써, 이미지의 너비와 높이를 줄이는 대신 채널의 수를 높여서 CNN(convolutional neural network)을 사용하기에 적합한 형태로 만들 수 있다.
또한, 본 발명의 일 실시예에 의하면, GAN 기반 딥러닝 모델은 단계별로 주파수 도메인의 가상 이미지에 대한 진폭의 실수를 생성함으로써, 작은 신경망으로도 큰 이미지를 생성하는 생성부를 학습시키면서도 생성된 이미지 크기에 변화가 없다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 생성 장치의 동작 방법을 도시한 도면이다.
도 2a 및 2b는 본 발명의 일 실시예에 따른 이미지 생성 장치의 이미지 생성 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 이미지 생성 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 GAN(generative adversarial network) 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치를 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 생성 장치(200)의 동작 방법을 도시한 도면이다. 도 2a 및 2b는 본 발명의 일 실시예에 따른 이미지 생성 장치(200)의 이미지 생성 과정을 도시한 도면이다.
도 1, 도 2a 및 2b를 참고하면, 이미지 생성 장치(200)는 생성부(generator)(210), 이미지 변환부(220) 및 판별부(discriminator)(230)를 포함할 수 있다.
S101 단계에서, 생성부(210)는 GAN 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받을 수 있다.
S103 단계에서, 생성부(210)는 입력된 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성할 수 있다. 여기서, 랜덤 정보는 랜덤 노이즈 입력(random noise input)을 포함할 수 있다.
예를 들어, 도 1a를 참고하면, 생성부(210)는 제1 랜덤 정보(201)를 입력받고, 제1 랜덤 정보(201)에 기반하여 가상 이미지(208)의 제1 픽셀 블록에 대응하는 주파수 도메인의 제1 가상 데이터(202)를 생성할 수 있다.
이후, 생성부(210)는 제2 랜덤 정보(203)를 입력받고, 제1 가상 데이터(202) 및 제2 랜덤 정보(203)에 기반하여 가상 이미지(208)의 제2 픽셀 블록에 대응하는 주파수 도메인의 제2 가상 데이터(204)를 생성할 수 있다.
이 경우, 종래의 라플라시안 피라미드(laplacian pyramid) 방식을 사용한 생성부에서 생성되는 결과는 실제 이미지 크기와 같아야 하기 때문에 큰 이미지를 생성하는 생성부는 크고 학습하기에 어려움이 있다. 반면, 본 발명의 일 실시예에 따른 GAN 기반 딥러닝 모델은 단계별로 주파수 도메인의 진폭의 실수를 생성함으로써, 작은 신경망으로도 큰 이미지를 생성하는 생성부(210)를 학습시키면서도 생성된 이미지 크기에 변화가 없다.
이미지 변환부(220)는 실제 이미지(205)를 주파수 도메인으로 변환하여 다수의 실제 데이터를 생성하고, 생성된 다수의 실제 데이터를 주파수 단위 정규화(frequency-wise nomalize)시킬 수 있다.
이후, 이미지 변환부(220)는 다수의 실제 데이터를 진폭 편차 기준으로 정렬하며, 다수의 실제 데이터 중 기설정된 임계값보다 큰 적어도 하나의 실제 데이터(206)를 추출할 수 있다. 즉, 다수의 실제 데이터 중 기설정된 임계값보다 작은 실제 데이터(207)는 제거될 수 있다.
여기서, 기설정된 임계값은 추출된 적어도 하나의 실제 데이터(206)를 다시 기존 이미지로 변환할 시 이미지가 훼손되지 않을 정도의 낮은 진폭 편차를 의미할 수 있다. 또한, 기설정된 임계값은 추출된 적어도 하나의 실제 데이터(206)에 기반하여 본 발명에 따른 GAN 기반 딥러닝 모델이 학습할 수 있는 진폭 편차를 의미할 수 있다.
이를 통해, 이미지 변환부(220)는 실제 이미지를 픽셀 블록 단위로 주파수 도메인으로 변환하여 생성된 데이터들 중 일부를 제거함으로써, 실제 이미지의 비트의 수를 감소시키는 것이 아니라, 실제 이미지의 실수의 수를 감소시킴에 따라, 이미지의 너비와 높이가 줄어들어 채널의 수가 높아지며, 이에 따라 작은 CNN(convolutional neural network)을 사용하기에 적합한 형태가 된다.
S105 단계에서, 판별부(230)는 적어도 하나의 가상 데이터와 실제 이미지에 대응하는 주파수 도메인의 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별할 수 있다.
일 실시예에서, 생성부(210)와 판별부(230)는, 상기 판별 결과를 피드백받아 GAN 기반 딥러닝 모델의 학습을 수행할 수 있다. 이는, 생성부(210)와 판별부(230) 간의 대립적 경쟁(adversarial competence)을 통해 서로의 능력, 즉, 생성부(210)는 실제 이미지에 최대한 가까운 가상 이미지를 생성해내는 능력, 판별부(230)는 가상 이미지를 실제 이미지로부터 구별해내는 능력을 개선시킬 수 있다. 이러한 대립적 경쟁을 통해 생성부(210)와 판별부(230)는 양자 각각을 속이고 분간하는 능력을 발전시키며 결과적으로 가상 이미지와 실제 이미지의 분간이 어려울 정도에 이르게 된다.
S107 단계에서, 생성부(210)는 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다. 예를 들어, 상기 판별 결과는, 0 내지 1 사이의 값을 포함할 수 있다. 이 경우, 생성부(210)는, 상기 판결 결과가 0.5인 경우 적어도 하나의 가상 데이터로부터 가상 이미지를 생성할 수 있다. 즉, 판별 결과가 0 또는 1에 근접하는 경우에는 결론적으로 구별이 가능하여 진위 판별에 성공했다는 의미이다. 만약 판별 결과가 0.5인 경우 생성된 가상 이미지와 실제 이미지가 서로 구별이 잘 되지 않는다는 의미이며 이는 진위 판별에 실패했다는 의미이다. 따라서, 진위 판별에 실패할 만큼 이미지 생성 능력이 개선되었기 때문에, 생성부(210)는 최종적인 가상 이미지를 생성할 수 있다.
예를 들어, 도 2b를 참고하면, 생성부(210)는 제1 가상 데이터(202)와 제2 가상 데이터(204)를 진폭 편차 기준으로 정렬하고, 상기 판별 결과에 따라 정렬된 제1 가상 데이터(202)와 제2 가상 데이터(204)를 이용하여 가상 이미지(208)를 생성할 수 있다.
일 실시예에서, 판별부(230)가 적어도 하나의 가상 데이터와 적어도 하나의 실제 데이터를 분간하지 못하는 경우, 생성부(210)는 적어도 하나의 가상 데이터로부터 가상 이미지를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 생성 장치(200)의 기능적 구성을 도시한 도면이다.
도 3을 참고하면, 이미지 생성 장치(200)는 제어부(310), 통신부(320) 및 저장부(330)를 포함할 수 있다.
제어부(330)는 생성부(210), 이미지 변환부(220) 및 판별부(230)를 포함할 수 있다. 일 실시예에서, 생성부(210)는 GAN 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받고, 상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성할 수 있다.
일 실시예에서, 이미지 변환부(220)는 상기 실제 이미지를 주파수 도메인으로 변환하여 다수의 실제 데이터를 생성하고, 상기 다수의 실제 데이터를 주파수 단위 정규화시키고, 상기 다수의 실제 데이터를 진폭 편차 기준으로 정렬하며, 상기 다수의 실제 데이터 중 기설정된 임계값보다 큰 상기 적어도 하나의 실제 데이터를 추출할 수 있다.
일 실시예에서, 판별부(230)는 상기 적어도 하나의 가상 데이터와 실제 이미지에 대응하는 주파수 도메인의 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별할 수 있다. 이후, 생성부(210)는, 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성할 수 있다.
일 실시예에서, 제어부(330)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(330)는 CP(communication processor)라 지칭될 수 있다. 일 실시예에서, 제어부(330)는 본 발명의 일 실시예에 따른 이미지 생성 장치(200)의 동작을 제어할 수 있다.
일 실시예에서, 통신부(310)는 외부 전자 장치로부터 실제 이미지를 입력받을 수 있다. 일 실시예에서, 통신부(310)는 일반 유/무선 통신 모듈 및 차량 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부(310)의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.
일 실시예에서, 저장부(320)는 실제 이미지, 가상 이미지 및 이미지 생성 장치(200)에 의해 생성된 데이터를 저장할 수 있다. 일 실시예에서, 저장부(320)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(320)는 제어부(330)의 요청에 따라 저장된 데이터를 제공할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
200: 이미지 생성 장치
201: 제1 랜덤 정보
202: 제1 가상 데이터
203: 제2 랜덤 정보
204: 제2 가상 데이터
205: 실제 이미지
206: 실제 데이터
207: 실제 데이터
208: 가상 이미지
210: 생성부
220: 판별부
230: 이미지 변환부
310: 제어부
320: 통신부
330: 저장부

Claims (16)

  1. GAN(generative adversarial network) 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받고, 상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성하는 생성부(generator);
    상기 가상 이미지에 대응하는 실제 이미지를 주파수 도메인으로 변환하여 다수의 실제 데이터를 생성하고, 상기 다수의 실제 데이터를 주파수 단위 정규화(frequency-wise normalize)시키고, 상기 다수의 실제 데이터를 진폭 편차 기준으로 정렬하며, 상기 다수의 실제 데이터 중 기설정된 임계값보다 큰 적어도 하나의 실제 데이터를 추출하는 이미지 변환부; 및
    상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별하는 판별부(discriminator);
    를 포함하고,
    상기 생성부는, 상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는,
    이미지 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 판별부와 생성부는, 상기 판별 결과를 피드백받아 상기 GAN 기반 딥러닝 모델의 학습을 수행하는,
    이미지 생성 장치.
  4. 제1항에 있어서,
    상기 판별 결과는, 0 내지 1 사이의 값을 포함하는,
    이미지 생성 장치.
  5. 제4항에 있어서,
    상기 생성부는, 상기 판별 결과가 0.5인 경우 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는,
    이미지 생성 장치.
  6. 제1항에 있어서,
    상기 생성부는, 상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터가 분간되지 못하는 경우, 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는,
    이미지 생성 장치.
  7. 제1항에 있어서,
    상기 생성부는,
    제1 랜덤 정보를 입력받고, 상기 제1 랜덤 정보에 기반하여 상기 가상 이미지의 제1 픽셀 블록에 대응하는 주파수 도메인의 제1 가상 데이터를 생성하고,
    제2 랜덤 정보를 입력받고, 상기 제1 가상 데이터 및 상기 제2 랜덤 정보에 기반하여 상기 가상 이미지의 제2 픽셀 블록에 대응하는 주파수 도메인의 제2 가상 데이터를 생성하는,
    이미지 생성 장치.
  8. 제7항에 있어서,
    상기 생성부는, 상기 제1 가상 데이터와 상기 제2 가상 데이터를 진폭 편차 기준으로 정렬하고,
    상기 판별 결과에 따라 상기 정렬된 제1 가상 데이터와 제2 가상 데이터를 이용하여 상기 가상 이미지를 생성하는,
    이미지 생성 장치.
  9. GAN(generative adversarial network) 기반 딥러닝 모델을 이용하여 랜덤 정보를 입력받는 단계;
    상기 랜덤 정보에 기반하여 가상 이미지에 대응하는 주파수 도메인의 적어도 하나의 가상 데이터를 생성하는 단계;
    상기 가상 이미지에 대응하는 실제 이미지를 상기 주파수 도메인으로 변환하여 다수의 실제 데이터를 생성하는 단계;
    상기 다수의 실제 데이터를 주파수 단위 정규화(frequency-wise normalize)시키는 단계;
    상기 다수의 실제 데이터를 진폭 편차 기준으로 정렬하는 단계;
    상기 다수의 실제 데이터 중 기설정된 임계값보다 큰 적어도 하나의 실제 데이터를 추출하는 단계;
    상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터의 분간 가능 여부를 판단하여 상기 적어도 하나의 가상 데이터의 진위를 판별하는 단계; 및
    상기 판별 결과에 따라 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;
    를 포함하는,
    이미지 생성 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 GAN 기반 딥러닝 모델은 상기 판별 결과에 기반하여 학습되는,
    이미지 생성 방법.
  12. 제9항에 있어서,
    상기 판별 결과는, 0 내지 1 사이의 값을 포함하는,
    이미지 생성 방법.
  13. 제12항에 있어서,
    상기 가상 이미지를 생성하는 단계는,
    상기 판별 결과가 0.5인 경우 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;
    를 포함하는,
    이미지 생성 방법.
  14. 제9항에 있어서,
    상기 가상 이미지를 생성하는 단계는,
    상기 적어도 하나의 가상 데이터와 상기 적어도 하나의 실제 데이터가 분간되지 못하는 경우, 상기 적어도 하나의 가상 데이터로부터 상기 가상 이미지를 생성하는 단계;
    를 포함하는,
    이미지 생성 방법.
  15. 제9항에 있어서,
    상기 적어도 하나의 가상 데이터를 생성하는 단계는,
    제1 랜덤 정보를 입력받고, 상기 제1 랜덤 정보에 기반하여 상기 가상 이미지의 제1 픽셀 블록에 대응하는 주파수 도메인의 제1 가상 데이터를 생성하는 단계; 및
    제2 랜덤 정보를 입력받고, 상기 제1 가상 데이터 및 상기 제2 랜덤 정보에 기반하여 상기 가상 이미지의 제2 픽셀 블록에 대응하는 주파수 도메인의 제2 가상 데이터를 생성하는 단계;
    를 포함하는,
    이미지 생성 방법.
  16. 제15항에 있어서,
    상기 가상 이미지를 생성하는 단계는,
    상기 제1 가상 데이터와 상기 제2 가상 데이터를 진폭 편자 기준으로 정렬하는 단계; 및
    상기 판별 결과에 따라 상기 정렬된 제1 가상 데이터와 제2 가상 데이터를 이용하여 상기 가상 이미지를 생성하는 단계;
    를 포함하는,
    이미지 생성 방법.
KR1020190039230A 2019-04-03 2019-04-03 Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치 KR102283416B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190039230A KR102283416B1 (ko) 2019-04-03 2019-04-03 Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190039230A KR102283416B1 (ko) 2019-04-03 2019-04-03 Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치

Publications (3)

Publication Number Publication Date
KR20200120970A KR20200120970A (ko) 2020-10-23
KR102283416B1 true KR102283416B1 (ko) 2021-07-28
KR102283416B9 KR102283416B9 (ko) 2021-09-17

Family

ID=73039396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190039230A KR102283416B1 (ko) 2019-04-03 2019-04-03 Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102283416B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027248A1 (ko) * 2021-08-26 2023-03-02 주식회사 뷰노 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
KR20230105181A (ko) 2022-01-03 2023-07-11 국방과학연구소 비행체의 플렉셔 데이터 학습 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치, 이를 이용한 플렉셔 데이터 생성 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치
WO2024029669A1 (ko) * 2022-08-03 2024-02-08 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022097855A1 (ko) * 2020-11-06 2022-05-12 코가플렉스 주식회사 로봇의 파지를 위한 학습 방법 및 훈련 데이터 생성 방법
KR102497737B1 (ko) * 2020-12-14 2023-02-09 한전케이디엔주식회사 생성적 적대 신경망을 활용해 미 발견 네트워크 침입 유형을 탐지하는 시스템 및 방법
KR20220120082A (ko) 2021-02-23 2022-08-30 부산가톨릭대학교 산학협력단 Gan을 활용한 인공지능 기반의 이미지 시안 생성 시스템 및 방법
KR102480582B1 (ko) * 2021-12-15 2022-12-23 주식회사 펜타게이트 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법
KR102672829B1 (ko) 2023-02-03 2024-06-10 조선대학교산학협력단 Gan 기반의 모델을 이용하여 흑백 이미지를 컬러링하기 위한 전자 장치 및 그 동작 방법
KR102676919B1 (ko) 2024-02-15 2024-06-24 주식회사 인피닉 인공지능을 이용한 이미지 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180004898A (ko) 2016-07-05 2018-01-15 주식회사 와플앱스 딥러닝 기반의 이미지 처리 기술 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027248A1 (ko) * 2021-08-26 2023-03-02 주식회사 뷰노 데이터 생성 방법 및 이를 이용한 학습방법 및 장치
KR20230105181A (ko) 2022-01-03 2023-07-11 국방과학연구소 비행체의 플렉셔 데이터 학습 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치, 이를 이용한 플렉셔 데이터 생성 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치
KR102663016B1 (ko) * 2022-01-03 2024-05-03 국방과학연구소 비행체의 플렉셔 데이터 학습 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치, 이를 이용한 플렉셔 데이터 생성 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치
WO2024029669A1 (ko) * 2022-08-03 2024-02-08 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법

Also Published As

Publication number Publication date
KR102283416B9 (ko) 2021-09-17
KR20200120970A (ko) 2020-10-23

Similar Documents

Publication Publication Date Title
KR102283416B1 (ko) Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치
US11783183B2 (en) Method and system for activity classification
US10417526B2 (en) Object recognition method and device
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
EP3404586A1 (en) Novelty detection using discriminator of generative adversarial network
Zhu et al. Context-aware modeling and recognition of activities in video
Song et al. Predicting human intention in visual observations of hand/object interactions
US20210192343A1 (en) Method and device for training generative adversarial network for converting between heterogeneous domain data
JP2000508805A (ja) オブジェクトを特徴付ける特性を抽出する方法及び装置並びにそれらの使用法
Wang et al. Towards realistic predictors
Cruz et al. Multi-modal integration of dynamic audiovisual patterns for an interactive reinforcement learning scenario
CN110795549B (zh) 短文本对话方法、装置、设备及存储介质
Freedman et al. Plan and activity recognition from a topic modeling perspective
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN113039555A (zh) 通过使用基于注意力的神经网络在视频剪辑中进行动作分类
KR20210033809A (ko) 인공 신경망을 이용하여 로봇을 제어하는 제어 서버 및 방법와, 이를 구현하는 로봇
Amiri et al. Multi-modal predicate identification using dynamically learned robot controllers
KR101456554B1 (ko) 클래스 확률 출력망에 기초한 불확실성 측도를 이용한 능동학습기능이 구비된 인공인지시스템 및 그 능동학습방법
CN111046655A (zh) 一种数据处理方法、装置及计算机可读存储介质
KR20200105056A (ko) 비디오 생성 장치 및 방법
KR102458783B1 (ko) 일반화된 제로샷 객체 인식 장치 및 일반화된 제로샷 객체 인식 방법
Kapuscinski et al. Using hierarchical temporal memory for recognition of signed polish words
Li et al. Hierarchical modeling and recognition of manipulative gesture
US20220156590A1 (en) Artificial intelligence system and artificial neural network learning method thereof
KR20230103257A (ko) Gan 기반 인공지능 고품질 이미지 압축 시스템

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction