KR102149184B1 - 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법 - Google Patents

처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR102149184B1
KR102149184B1 KR1020190049616A KR20190049616A KR102149184B1 KR 102149184 B1 KR102149184 B1 KR 102149184B1 KR 1020190049616 A KR1020190049616 A KR 1020190049616A KR 20190049616 A KR20190049616 A KR 20190049616A KR 102149184 B1 KR102149184 B1 KR 102149184B1
Authority
KR
South Korea
Prior art keywords
model
image
zero
hostile
loss function
Prior art date
Application number
KR1020190049616A
Other languages
English (en)
Inventor
변혜란
김호성
이제욱
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190049616A priority Critical patent/KR102149184B1/ko
Application granted granted Critical
Publication of KR102149184B1 publication Critical patent/KR102149184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예들은 시맨틱 코드를 이용하여 시맨틱 특징을 조절하고, 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 통하여 처음 보는(Unseen) 클래스의 이미지를 생성함으로써, 사용된(Seen) 클래스 및 처음 보는(Unseen) 클래스 간의 데이터 불균형 문제를 해결하고 제로샷 인식 성능을 향상시킬 수 있는 제로샷 이미지 생성 방법 및 장치를 제공한다.

Description

처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법 {Method and Apparatus for Generating Explainable Unseen Image}
본 실시예가 속하는 기술 분야는 제로샷 이미지 생성 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
제로샷 학습(Zero Shot Learning)은 학습 데이터에 포함되지 않은 처음 보는(Unseen) 클래스를 인식할 수 있는 기술이다. 제로샷 학습 기술의 원리는 학습에 사용된(Seen) 클래스의 데이터로부터 해당 클래스와 관련된 특성 정보(Attribute)를 올바르게 추론할 수 있도록 모델을 학습하면, 처음 보는 클래스의 데이터에 대해서도 해당 클래스의 특성 정보를 추론하여 처음 보는 클래스를 인식할 수 있다.
기존의 제로샷 학습은 학습 데이터에 포함되지 않은 처음 보는(Unseen) 클래스들이 학습에 사용된(Seen) 클래스로 편향(bias)되는 문제가 있다.
Ye et al. SR GAN Semantic Rectifying Generative Adversarial Network for Zero shot Learning. Arixiv, 2019년 4월 15일, pp. 1-6. Xian et al. f-VAEGAN-D2 A Feature Generating Framework for Any Shot Learning. Arxiv, 2019년 3월, pp. 1-10.
본 발명의 실시예들은 시맨틱 코드를 이용하여 시맨틱 특징을 조절하고, 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 통하여 처음 보는(Unseen) 클래스의 이미지를 생성함으로써, 사용된(Seen) 클래스 및 처음 보는(Unseen) 클래스 간의 데이터 불균형 문제를 해결하고 제로샷 인식 성능을 향상하는 데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 제로샷 이미지 생성 방법에 있어서, 시맨틱 특징을 가변한 시맨틱 코드를 생성하는 단계, 및 상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하는 단계를 포함하는 제로샷 이미지 생성 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 제로샷 이미지 생성 장치에 있어서, 상기 프로세서는 시맨틱 특징을 가변한 시맨틱 코드를 생성하고, 상기 프로세서는 상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 시맨틱 코드를 이용하여 시맨틱 특징을 조절하고, 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 통하여 처음 보는(Unseen) 클래스의 이미지를 생성함으로써, 사용된(Seen) 클래스 및 처음 보는(Unseen) 클래스 간의 데이터 불균형 문제를 해결하고 제로샷 인식 성능을 향상시킬 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 기존의 제로샷 학습 모델에 따른 시맨틱 특징 공간을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치를 예시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 제로샷 이미지 생성 모델을 예시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 시맨틱 코드 조절 모델을 예시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 적대적 이미지 생성 모델을 예시한 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 제로샷 이미지 생성 방법을 예시한 흐름도이다.
도 7 및 도 8은 본 발명의 실시예들에 따른 시뮬레이션 결과를 예시한 도면이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
기존의 딥러닝이 학습 데이터로 학습하지 않은 새로운 레이블을 인식할 수 없는 문제를 해결하기 위해 개발된 제로샷 학습은 다른 형식의 데이터를 이용하여 새로운 데이터를 인식할 수 있다.
기존의 제로샷 학습은 학습 데이터에 포함되지 않은 처음 보는(Unseen) 클래스들이 학습에 사용된(Seen) 클래스로 편향(Bias)되는 문제가 있다.
기존의 제로샷 학습 모델에 따른 시맨틱 특징 공간을 예시한 도 1을 참조하면, 테스트 과정에서 Groove-billed Ani라는 처음 보는(Unseen) 클래스의 새는 학습에 사용되지 않았기 때문에 사용된(Seen) 클래스인 Red-winged Blackbird로 오분류될 수 있다.
이를 해결하기 위하여 본 실시예들은 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성한다. 생성된 제로샷 이미지, 즉 생성된 처음 보는 클래스의 이미지를 실재의 이미지와 함께 입력받고 학습하여 제로샷 인식 성능을 향상시킬 수 있다.
본 실시예들은 특정 시맨틱 특징을 조절하여 설명 가능한 처음 보는 클래스의 이미지를 생성한다. 시맨틱 공간은 사용된 클래스와 처음 보는 클래스에 의해 공유될 수 있다. 시맨틱 코드는 처음 보는 클래스의 이미지를 생성하기 위해 조절된 시맨틱 특징이다.
시맨틱 특징은 특성 정보에 해당하며, 특성 정보(Attribute)는 클래스를 대표하는 주요 특성을 의미하다. 예를 들어, 새의 부리 길이, 날개 색상, 몸 크기 등이 있다. 또는 말의 다리 길이, 머리 모양, 꼬리 모양 등이 있다. 제로샷 학습 모델은 특성 정보를 핵심 단서로 사용하며 특성 정보는 클래스의 분류 기준으로 사용된다.
도 2는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치를 예시한 블록도이다.
제로샷 이미지 생성 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.
프로세서(120)는 제로샷 이미지 생성 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 제로샷 이미지 생성 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 제로샷 이미지 생성 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 제로샷 이미지 생성 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
제로샷 이미지 생성 장치(110)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(150)를 통해 제로샷 이미지 생성 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
제로샷 이미지 생성 장치(110)는 시맨틱 코드 조절 모델과 제로샷 이미지 생성 모델을 통하여 처음 보는 클래스의 이미지인 제로샷 이미지를 생성한다.
도 3은 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 제로샷 이미지 생성 모델을 예시한 블록도이다.
제로샷 이미지 생성 장치는 시맨틱 특징을 가변한 시맨틱 코드를 생성하는 시맨틱 코드 조절 모델을 포함하고, 제로샷 이미지를 생성하는 제로샷 이미지 생성 모델을 포함한다. 제로샷 이미지 생성 모델은 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는다.
제로샷 이미지 생성 모델에서 사용되는 용어를 먼저 정의한다.
Figure 112019043783302-pat00001
는 사용된 클래스의 학습 데이터 세트이다. x는 실제 이미지이다. y는
Figure 112019043783302-pat00002
내의 클래스 레이블이다. Cs는 사용된 클래스의 개수이다.
Figure 112019043783302-pat00003
는 클래스 y에 대응하는 특성 정보(Attribute)와 같은 시맨틱 특징이다.
Figure 112019043783302-pat00004
는 처음 보는 클래스의 테스트 데이터 세트이다.
Figure 112019043783302-pat00005
는
Figure 112019043783302-pat00006
내의 실제 이미지이다.
Figure 112019043783302-pat00007
는
Figure 112019043783302-pat00008
내의 클래스 레이블이다. Cu는 처음 보는 클래스의 개수이다.
Figure 112019043783302-pat00009
는 클래스
Figure 112019043783302-pat00010
와 관련된 시맨틱 특징이다.
Figure 112019043783302-pat00011
는 정의된 특성 정보 공간이다. GZSL(Generalized Zero-Shot Learning)은
Figure 112019043783302-pat00012
및
Figure 112019043783302-pat00013
조건에서 분류 모델
Figure 112019043783302-pat00014
을 학습한다. 학습 데이터와 평가 데이터의 클래스 간의 교집합이 공집합으로 서로 독립 집합인 경우, 학습되지 않은 데이터라도 클래스에 맞게 해당하는 처리를 수행한다.
적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망이다. 적대적 생성 신경망의 목적 함수는 수학식 1과 같이 표현된다.
Figure 112019043783302-pat00015
x는 실재 데이터의 분산 pdata로부터 추출되는 사용된 클래스 y의 진짜 이미지이다.
Figure 112019043783302-pat00016
는 사용된 클래스 y의 가짜 이미지이다. Z는 가우시안 분산 pz로부터 추출된 노이즈 벡터이다. ay는 추가적인 조건 변수인 특성 정보 벡터이다.
판별 모델 D는 다수의 레이어를 갖고 마지막 레이어는 시그모이드 함수를 갖는 퍼셉트론(Perceptron)으로 구현될 수 있다. 생성 모델 G의 목적은 손실을 최소화하고 판별 모델 D의 목적은 손실을 최대화한다.
제로샷 이미지 생성 장치는 시맨틱 코드를 생성하여 시맨틱 특징을 조절한다. 제로샷 이미지 생성 장치는 시맨틱 특징을 조절하여 시맨틱 특징의 무작위성을 증가시킨다.
도 4는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 시맨틱 코드 조절 모델을 예시한 블록도이다.
제로샷 이미지 생성 장치는 시맨틱 코드 조절 모델을 이용하여 시맨틱 코드를 생성한다. 시맨틱 코드 조절 모델은 특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 방식으로 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성한다.
시맨틱 코드 조절 모델은 쿨백-라이블러 발산(Kullback-Leibler Divergence, KLD)을 적용하여 정규 분포와 가우시안 분포 간의 엔트로피 변화를 산출한다.
시맨틱 코드 조절 모델은 수학식 2와 같이 표현된다.
Figure 112019043783302-pat00017
다시 도 3을 참조하면, 제로샷 이미지 생성 장치는 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 처음 보는 클래스의 이미지인 제로샷 이미지를 생성한다.
제로샷 이미지 생성 모델은 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 제로샷 이미지를 출력한다. 제로샷 이미지 생성 모델은 제1 적대적 이미지 생성 모델, 제2 적대적 이미지 생성 모델, 및 제3 적대적 이미지 생성 모델을 포함한다.
제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결된다.
제1 적대적 이미지 생성 모델, 제2 적대적 이미지 생성 모델, 및 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지는 고해상도의 이미지로 변환된다.
업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 이미지의 크기를 증가시킨다. 예컨대, 제1 적대적 이미지 생성 모델은 64x64 픽셀의 이미지를 처리하고, 제1 업샘플링 모델은 64x64 픽셀의 이미지를 128x128 픽셀의 이미지로 변환하고, 제2 적대적 이미지 생성 모델은 128x128 픽셀의 이미지를 처리하고, 제2 업샘플링 모델은 128x128 픽셀의 이미지를 256x256 픽셀의 이미지로 변환하고, 제3 적대적 이미지 생성 모델은 256x256 픽셀의 이미지를 처리할 수 있다. 즉, 제로샷 이미지 생성 모델을 통해 생성된 이미지가 크기가 커지면서 동시에 구체적으로 표현된다.
도 5는 본 발명의 일 실시예에 따른 제로샷 이미지 생성 장치의 적대적 이미지 생성 모델을 예시한 블록도이다.
적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 생성 모델의 생성 손실 함수와 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성한다.
생성 모델의 생성 손실 함수는 수학식 3과 같이 표현된다.
Figure 112019043783302-pat00018
Figure 112019043783302-pat00019
는 수학식 2의 시맨틱 코드 조절 모델에 해당하고, α는 KL 손실의 계수이고, k는 계층의 단계 수이다. 예컨대, α는 2이고, k는 3으로 설정될 수 있다.
생성 모델의 생성 손실 함수는 (i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수가 결합된다.
제1 조건부 생성 손실 함수와 제1 조건부 분류 손실 함수는 특성 정보가 조건부로 적용된다.
(i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수는 수학식 4와 같이 표현된다.
Figure 112019043783302-pat00020
Figure 112019043783302-pat00021
는 i번째 스케일에서의 생성 모델의 분산
Figure 112019043783302-pat00022
으로부터 추출된다.
판별 모델의 판별 손실 함수는 수학식 5와 같이 표현된다.
Figure 112019043783302-pat00023
판별 모델의 판별 손실 함수는 (i) 제2 조건부 생성 손실 함수, (ii) 제2 조건부 분류 손실 함수, (iii) 제2 무조건부 생성 손실 함수, 및 (iv) 제2 무조건부 분류 손실 함수가 결합된다.
제2 조건부 생성 손실 함수와 제2 조건부 분류 손실 함수는 특성 정보가 조건부로 적용된다.
P()는 클래스 레이블 y에 대해 예측되는
Figure 112019043783302-pat00024
또는
Figure 112019043783302-pat00025
의 확률이다. 확률은 양립 가능성 점수를 기반으로 산출된다.
Figure 112019043783302-pat00026
는 i번째 스케일의 진짜 이미지 분산 pdatai로부터 추출된다.
Figure 112019043783302-pat00027
는 i번째 스케일의 생성 모델의 분산 pGi로부터 추출된다. k는 계층의 단계 수이다.
적대적 이미지 생성 모델은 특성 공간
Figure 112019043783302-pat00028
을 임베딩 공간으로 활용하고 클래스 y의 양립 가능성 점수 s(y)는 내적으로 정의된다. 특성 공간은 데이터가 매핑된 특정 차원의 임베딩 공간을 의미할 수 있다.
양립 가능성 점수는 수학식 6과 같이 표현된다.
Figure 112019043783302-pat00029
Figure 112019043783302-pat00030
는 판별 모델 Di에 의해 획득된 이미지 표현 벡터이다.
Figure 112019043783302-pat00031
는 클래스 y의 특성 벡터에 대해 주어진 파라미터이다.
Figure 112019043783302-pat00032
는 조건부 손실을 위한 가중치 매트릭스이고
Figure 112019043783302-pat00033
는 무조건부 손실을 위한 가중치 매트릭스이다.
가중치 매트릭스는
Figure 112019043783302-pat00034
와
Figure 112019043783302-pat00035
을 특성 공간에 매핑한다. 주어진 이미지 xi에 대해서 확률
Figure 112019043783302-pat00036
와
Figure 112019043783302-pat00037
는 학습용 사용된 클래스의 양립 가능성 점수의 소프트맥스 값이다. 확률은 수학식 7과 같이 표현된다.
Figure 112019043783302-pat00038
Figure 112019043783302-pat00039
에 대해서도 수학식 7과 유사하게 확률을 산출할 수 있다.
판별 모델의 판별 손실 함수는 생성된 이미지가 실재 이미지에 수렴하도록 (i) 조건부 경사 페널티와 (ii) 무조건부 경사 페널티를 추가로 결합시켜, 생성된 이미지를 정규화한다. 실재 이미지와 생성된 이미지의 분산 유사도가 낮으면 적대적 이미지 생성 모델은 수렴할 수 없다.
적대적 이미지 생성 모델은 실재 이미지의 내시 균형(Nash Equilibrium)을 피하기 위해 판별 모델에 경사 패널티를 부과한다.
i번째 스케일에서 조건부 손실을 위한 정규화 지수인 조건부 경사 페널티와 무조건부 손실을 위한 정규화 지수인 무조건부 경사 페널티는 수학식 8과 같이 표현된다.
Figure 112019043783302-pat00040
최종적인 판별 모델의 판별 손실 함수는 수학식 9와 같이 표현된다.
Figure 112019043783302-pat00041
제로샷 이미지 생성 장치가 제로샷 이미지를 생성하면, 제로샷 학습 모델은 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식한다.
제로샷 이미지 생성 장치가 학습용 사용된 데이터 세트 S를 수렴시키면, 생성 모델 G와 처음 보는 클래스
Figure 112019043783302-pat00042
의 특성 정보
Figure 112019043783302-pat00043
를 이용하여 생성된 임의의 처음 보는 이미지
Figure 112019043783302-pat00044
를 생성한다.
생성된 처음 보는 데이터 세트
Figure 112019043783302-pat00045
에 사용된 데이터 세트 S를 결합하여 전체 데이터 세트
Figure 112019043783302-pat00046
를 생성한다.
제로샷 학습 모델은 특성 공간
Figure 112019043783302-pat00047
을 임베딩 공간으로 활용한다. 단일 클래스 y의 양립 가능성 점수 s(y)는 수학식 10과 같이 내적으로 정의된다.
Figure 112019043783302-pat00048
Figure 112019043783302-pat00049
는 분류 모델을 통해 추출된 이미지 표현 벡터이다.
Figure 112019043783302-pat00050
는 클래스 y의 특성 벡터이고,
Figure 112019043783302-pat00051
는 풀리 커넥티드 레이어(Fully Connected Layer)를 갖는 가중치 매트릭스이고, 특성 공간
Figure 112019043783302-pat00052
에
Figure 112019043783302-pat00053
가 매핑된다.
주어진 이미지 x의 클래스 레이블을 추론하기 위해서, 이미지는
Figure 112019043783302-pat00054
특성 표현에 투영된다. 양립 가능성 점수 s(y)는 최선의 매칭된 클래스를 선택하도록 사용될 수 있다.
Figure 112019043783302-pat00055
Figure 112019043783302-pat00056
로 GZSL를 설정할 수 있다. 가장 높은 양립 가능성 점수를 갖는 y*는 예측된 클래스이다.
제로샷 이미지 생성 장치는 시맨틱 코드를 이용하여 시맨틱 특징을 조절하고, 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 통하여 처음 보는(Unseen) 클래스의 이미지를 생성함으로써, 사용된(Seen) 클래스 및 처음 보는(Unseen) 클래스 간의 데이터 불균형 문제를 해결하고 제로샷 인식 성능을 향상시킬 수 있다.
도 6은 본 발명의 다른 실시예에 따른 제로샷 이미지 생성 방법을 예시한 흐름도이다. 제로샷 이미지 생성 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 제로샷 이미지 생성 장치와 동일한 방식으로 동작한다.
단계 S210에서 프로세서는 시맨틱 특징을 가변한 시맨틱 코드를 생성한다.
시맨틱 코드를 생성하는 단계(S210)는, 특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성한다.
단계 S220에서 프로세서는 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성한다. 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시킨다.
제로샷 이미지 생성 모델은 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 제1 적대적 이미지 생성 모델, 제2 적대적 이미지 생성 모델, 및 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환한다.
적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 생성 모델의 생성 손실 함수와 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성한다.
생성 모델의 생성 손실 함수는 (i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수가 결합되며, 제1 조건부 생성 손실 함수와 제1 조건부 분류 손실 함수는 특성 정보가 적용된다.
판별 모델의 판별 손실 함수는 (i) 제2 조건부 생성 손실 함수, (ii) 제2 조건부 분류 손실 함수, (iii) 제2 무조건부 생성 손실 함수, 및 (iv) 제2 무조건부 분류 손실 함수가 결합되며, 제2 조건부 생성 손실 함수와 제2 조건부 분류 손실 함수는 특성 정보가 적용된다.
판별 모델의 판별 손실 함수는 생성된 이미지가 실재 이미지에 수렴하도록 (i) 조건부 경사 페널티와 (ii) 무조건부 경사 페널티를 추가로 결합시켜, 생성된 이미지를 정규화한다.
제로샷 이미지를 생성하면, 제로샷 학습 모델은 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식한다.
도 7 및 도 8은 본 발명의 실시예들에 따른 시뮬레이션 결과를 예시한 도면이다. 도 7은 본 실시예들에 의해 생성된 설명 가능한 처음 보는 이미지의 예시이고, 도 8은 두 개의 특성 정보를 보간(Interpolation)하여 생성된 처음 보는 이미지의 예시이다. 도 8의 (a)는 외양 변화이고, 도 8의 (b)는 색깔 변화이고, 도 8의 (c)는 외양과 색깔 변화이다.
도 7와 도 8에 도시된 바와 같이, 생성된 처음 보는 클래스의 이미지는 실재 이미지와 매우 유사한 것을 쉽게 파악할 수 있다.
제로샷 이미지 생성 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
제로샷 이미지 생성 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컴퓨팅 디바이스에 의한 제로샷 이미지 생성 방법에 있어서,
    시맨틱 특징을 가변한 시맨틱 코드를 생성하는 단계; 및
    상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하는 단계를 포함하며,
    상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  2. 제1항에 있어서,
    상기 시맨틱 코드를 생성하는 단계는,
    특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  5. 제4항에 있어서,
    상기 생성 모델의 생성 손실 함수는 (i) 제1 조건부 생성 손실 함수, (ii) 제1 조건부 분류 손실 함수, (iii) 제1 무조건부 생성 손실 함수, 및 (iv) 제1 무조건부 분류 손실 함수가 결합되며,
    상기 제1 조건부 생성 손실 함수와 상기 제1 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법.
  6. 제4항에 있어서,
    상기 판별 모델의 판별 손실 함수는 (i) 제2 조건부 생성 손실 함수, (ii) 제2 조건부 분류 손실 함수, (iii) 제2 무조건부 생성 손실 함수, 및 (iv) 제2 무조건부 분류 손실 함수가 결합되며,
    상기 제2 조건부 생성 손실 함수와 상기 제2 조건부 분류 손실 함수는 특성 정보가 적용된 것을 특징으로 하는 제로샷 이미지 생성 방법.
  7. 제6항에 있어서,
    상기 판별 모델의 판별 손실 함수는 생성된 이미지가 실재 이미지에 수렴하도록 (i) 조건부 경사 페널티와 (ii) 무조건부 경사 페널티를 추가로 결합시켜, 상기 생성된 이미지를 정규화하는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  8. 제1항에 있어서,
    상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  9. 제1항에 있어서,
    상기 제로샷 이미지를 생성하면,
    제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 방법.
  10. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 제로샷 이미지 생성 장치에 있어서,
    상기 프로세서는 시맨틱 특징을 가변한 시맨틱 코드를 생성하고,
    상기 프로세서는 상기 시맨틱 코드를 입력받아 계층적으로 연결된 적대적 이미지 생성 모델과 업샘플링 모델을 갖는 제로샷 이미지 생성 모델을 통하여 제로샷 이미지를 생성하며,
    상기 제로샷 이미지 생성 모델은 상기 시맨틱 코드와 랜덤 노이즈 분포를 입력받고 상기 제로샷 이미지를 출력하며, 제1 적대적 이미지 생성 모델에 제1 업샘플링 모델이 연결되고, 상기 제1 업샘플링 모델에 제2 적대적 이미지 생성 모델이 연결되고, 상기 제2 적대적 이미지 생성 모델에 제2 업샘플링 모델이 연결되고, 상기 제2 업샘플링 모델에 제3 적대적 이미지 생성 모델이 연결되며, 상기 제1 적대적 이미지 생성 모델, 상기 제2 적대적 이미지 생성 모델, 및 상기 제3 적대적 이미지 생성 모델을 순차적으로 거치면서 저해상도의 이미지를 고해상도의 이미지로 변환하는 것을 특징으로 하는 제로샷 이미지 생성 장치.
  11. 제10항에 있어서,
    상기 프로세서는 특성 정보(Attribute)의 평균과 표준 편차를 산출하고, 정규 분포와 조절된 가우시안 분포 간의 엔트로피 변화를 산출하는 시맨틱 코드 조절 모델을 이용하여, 상기 특성 정보에 무작위성을 증가시킨 시맨틱 코드를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치.
  12. 삭제
  13. 제10항에 있어서,
    상기 적대적 이미지 생성 모델은 생성 모델과 판별 모델이 상호 작용하는 적대적 생성 신경망에서 상기 생성 모델의 생성 손실 함수와 상기 판별 모델의 판별 손실 함수를 최적화하여, 처음 보는 클래스의 이미지를 생성하는 것을 특징으로 하는 제로샷 이미지 생성 장치.
  14. 제10항에 있어서,
    상기 업샘플링 모델은 이미지의 열과 행에 픽셀을 추가하여 상기 이미지의 크기를 증가시키는 것을 특징으로 하는 제로샷 이미지 생성 장치.
  15. 제10항에 있어서,
    상기 프로세서는 상기 제로샷 이미지를 생성하면,
    제로샷 학습 모델은 상기 생성된 제로샷 이미지와 실재의 이미지를 입력받고 학습하여 처음 보는 클래스를 인식하는 것을 특징으로 하는 제로샷 이미지 생성 장치.
KR1020190049616A 2019-04-29 2019-04-29 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법 KR102149184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190049616A KR102149184B1 (ko) 2019-04-29 2019-04-29 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049616A KR102149184B1 (ko) 2019-04-29 2019-04-29 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102149184B1 true KR102149184B1 (ko) 2020-08-28

Family

ID=72265989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049616A KR102149184B1 (ko) 2019-04-29 2019-04-29 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102149184B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106541A (ko) * 2021-01-22 2022-07-29 네이버 주식회사 비편향 분류를 위한 파라미터 크기 불변 분류기를 이용하여 데이터를 분류하는 방법 및 시스템
KR20230067422A (ko) * 2021-11-08 2023-05-16 숭실대학교산학협력단 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램
WO2023096011A1 (ko) * 2021-11-26 2023-06-01 연세대학교 산학협력단 제로샷 시맨틱 분할 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190028235A (ko) * 2017-09-08 2019-03-18 삼성전자주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Xian et al. f-VAEGAN-D2 A Feature Generating Framework for Any Shot Learning. Arxiv, 2019년 3월, pp. 1-10.
Xian et al. f-VAEGAN-D2 A Feature Generating Framework for Any Shot Learning. Arxiv, 2019년 3월, pp. 1-10. 1부.* *
Ye et al. SR GAN Semantic Rectifying Generative Adversarial Network for Zero shot Learning. Arixiv, 2019년 4월 15일, pp. 1-6.
Ye et al. SR GAN Semantic Rectifying Generative Adversarial Network for Zero shot Learning. Arixiv, 2019년 4월 15일, pp. 1-6. 1부.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106541A (ko) * 2021-01-22 2022-07-29 네이버 주식회사 비편향 분류를 위한 파라미터 크기 불변 분류기를 이용하여 데이터를 분류하는 방법 및 시스템
KR102459971B1 (ko) * 2021-01-22 2022-10-27 네이버 주식회사 비편향 분류를 위한 파라미터 크기 불변 분류기를 이용하여 데이터를 분류하는 방법 및 시스템
KR20230067422A (ko) * 2021-11-08 2023-05-16 숭실대학교산학협력단 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램
KR102663350B1 (ko) * 2021-11-08 2024-05-07 숭실대학교산학협력단 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램
WO2023096011A1 (ko) * 2021-11-26 2023-06-01 연세대학교 산학협력단 제로샷 시맨틱 분할 장치 및 방법

Similar Documents

Publication Publication Date Title
US10325181B2 (en) Image classification method, electronic device, and storage medium
CN111724478B (zh) 一种基于深度学习的点云上采样方法
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR102149184B1 (ko) 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법
KR102185855B1 (ko) 데이터 세트에 정의되지 않은 특성 정보를 자동으로 생성하는 제로샷 인식 장치 및 방법
US20180122071A1 (en) Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US20200342306A1 (en) Autonomous modification of data
US20230230198A1 (en) Utilizing a generative neural network to interactively create and modify digital images based on natural language feedback
US20210319090A1 (en) Authenticator-integrated generative adversarial network (gan) for secure deepfake generation
CN111226258A (zh) 信号转换系统和信号转换方法
KR20210147507A (ko) 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법
KR102291111B1 (ko) 자기 지도 기반의 제로샷 인식 장치 및 방법
KR102236582B1 (ko) 영상 처리 장치 및 그 동작방법
KR102117654B1 (ko) 자연어 기반의 비디오 생성 방법 및 장치
US11847555B2 (en) Constraining neural networks for robustness through alternative encoding
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
KR102567128B1 (ko) 개선된 적대적 어텐션 네트워크 시스템 및 이를 이용한 이미지 생성 방법
KR102228128B1 (ko) 자기조직 생성망 학습 방법 및 시스템
TWI792560B (zh) 資訊處理裝置及資訊處理方法
US20240013357A1 (en) Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method
US11158059B1 (en) Image reconstruction based on edge loss
KR102245774B1 (ko) 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
KR20230102698A (ko) 적대적 생성 신경망을 이용하여 이미지를 합성하는 장치
JP7103987B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Viswanathan et al. Text to image translation using generative adversarial networks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant