KR102403494B1

KR102403494B1 - 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법

Info

Publication number: KR102403494B1
Application number: KR1020170054474A
Authority: KR
Inventors: 김택수; 차문수; 김지원
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2022-05-27
Also published as: KR20180120478A; KR20220066032A; KR102500635B1; US20180314716A1; US10275473B2; US10713294B2; US20190205334A1

Abstract

생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법을 개시한다. 제안된 아키텍처에서, 제1 GAN은 도메인 A의 이미지를 도메인 B의 이미지로 변환하는 것을 학습하고, 제2 GAN은 이미지를 도메인 B에서 도메인 A로 변환하는 것을 학습한다. 제1 GAN 및 제2 GAN으로 구성된 폐루프(closed loop)는 어느 도메인의 이미지가 변환된 후 원래의 도메인으로 재구성되도록 한다. 따라서 이미지의 재구성 손실을 나타내는 손실 함수가 변환모델들을 학습시키는 데 사용될 수 있다.

Description

생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법{Method for learning Cross-domain Relations based on Generative Adversarial Network}

본 발명은 생성적 대립 네트워크(Generative Adversarial Networks)에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

개념들, 객체들 또는 사람들이 연결되는 방식인 서로 다른 두 도메인 사이의 관계는 어디에서나 발생한다. 도메인 간 관계는 종종 사람에게 자연스러운 일이다. 예를 들어, 우리는 영어 문장과 프랑스어 문장의 번역 문장 사이의 관계를 인식한다. 또한, 우리는 동일한 스타일의 바지 또는 신발을 입은 정장 재킷을 선택한다.

컴퓨터가 두 가지 다른 이미지 도메인을 관련시키는 유사한 능력을 얻을 수 있는지에 관한 문제는 조건부 이미지 생성(conditional image generation) 문제로 재구성될 수 있다. 즉, 한 도메인에서 다른 도메인으로의 매핑 함수(mapping function)를 찾는 것은 한 도메인에서 이미지가 주어지면 다른 도메인에서 대응되는 이미지를 생성하는 것으로 생각할 수 있다. 종래 이러한 이미지-이미지 변환(image-to-image translation)은 서로 쌍을 이루는 이미지들로 구성된 트레이닝 세트를 사용하여, 입력 이미지와 출력 이미지 간에 매핑을 학습하는 기법들이 주로 연구되었다. 그러나 쌍을 이룬 트레이닝 데이터를 준비하는 것은 매우 수고로운 일이며, 많은 작업들의 경우 이들이 이용가능하지 않다. 근래 생성적 대립 네트워크(Generic Adversarial Networks; GAN)가 제안된 후 이를 조건부 이미지 생성에 적용하려는 시도가 활발한다.

도 1은 GAN의 개념을 도식화한 도면이다. GAN은, 비특허문헌 1에 의해 소개된, 신경 네트워크를 위한 비교적 새로운 기계 학습(machine learning) 아키텍처이다. GAN은 기계 학습에서 비지도 학습(unsupervised learning)의 한 부분에 속하며, 이미지를 만드는 데 사용되는 새로운 유형의 생성 모델이다. GAN의 개념은 discriminator 네트워크(D)를 도입하여 generator 네트워크(G)를 트레이닝하는 문제를 해결한다. "adversarial"이란 단어는 서로 대립하는 두 네트워크, 즉 "generator"와 "discriminator"를 의미한다. 도 1에 예시된 것처럼, G가 D를 속일 수 있는 더욱 사실적인 이미지를 만들려고 시도하는 동안, D는 G가 생성한 이미지를 진짜 이미자로부터 구별하기 위해 지속적으로 매개 변수를 조정한다. 게임 이론적 관점에서, 이들 네트워크들은 제로섬 게임에서 서로 경쟁한다.

비특허문헌 1: Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing Systems. 2014.

비특허문헌 2: Maas, A. L., Hannun, A. Y., and Ng, A. Y. Rectifier nonlinearities improve neural network acoustic models. In Proceedings of the 30th International Conference on Machine Learning (ICML), 2013.

비특허문헌 3: Xu, B., Wang, N., T., Chen, and Li, M. Empirical evaluation of rectified activations in convolutional network. In arXiv preprint arXiv:1505:00853, 2015.

본 발명은 도메인들을 대표하는 두 세트의 레이블이 없는 이미지들(unlabeled images)로부터 도메인 간 관계를 학습하는 새로운 GAN 기반 아키텍처를 제안한다.

제안된 아키텍처에서, 제1 GAN은 도메인 A의 이미지를 도메인 B의 이미지로 변환하는 것을 학습하고, 제2 GAN은 이미지를 도메인 B에서 도메인 A로 변환하는 것을 학습한다. 제1 GAN 및 제2 GAN으로 구성된 폐루프(closed loop)는 어느 도메인의 이미지가 변환된 후 재구성되도록 한다. 따라서 이미지의 재구성 손실을 나타내는 손실 함수가 변환모델들을 학습시키는 데 사용될 수 있다.

본 실시예의 일 측면에 의하면, 서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 GAN 기반 시스템을 제공한다. 상기 시스템은, 도메인 A의 이미지를 도메인 B의 이미지로 변환(translation)하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B의 이미지를 도메인 A의 이미지로 변환하는 모델을 비지도 학습하는 제2 GAN을 포함한다. 도메인 A의 샘플 이미지에 대한 상기 제1 GAN의 이미지 변환에 의해 생성된 변환 이미지는 상기 제2 GAN의 이미지 변환에 의해 원래 도메인인 도메인 A로 재구성되며, 도메인 B의 샘플 이미지에 대한 상기 제2 GAN의 이미지 변환에 의해 생성된 변환 이미지는 상기 제1 GAN의 이미지 변환에 의해 원래 도메인인 도메인 B로 재구성된다. 상기 제1 GAN 및 상기 제2 GAN은 도메인 간의 매핑 함수를 학습하기 위해, 원래 도메인으로 재구성된 이미지가 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 이용한다.

본 실시예의 또 다른 측면에 의하면, 서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 방법을 제공한다. 상기 방법은 도메인 A의 이미지를 도메인 B의 이미지로 변환(translation)하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B의 이미지를 도메인 A의 이미지로 변환하는 모델을 비지도 학습하는 제2 GAN을 제공하는 과정을 포함한다. 여기서, 상기 제1 GAN과 상기 제2 GAN은, 한 도메인의 이미지가 다른 도메인의 이미지로 변환된 후 원래 도메인으로 재구성되도록, 상기 제1 GAN과 상기 제2 GAN이 폐루프(closed loop)를 형성한다. 상기 방법은, 원래 도메인으로 재구성된 이미지가 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 상기 제1 GAN 및 상기 제2 GAN의 모델들을 학습시키는 데 사용한다.

본 실시예의 또 다른 측면에 의하면, 서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 방법을 제공한다. 상기 방법은 도메인 A의 이미지를 도메인 B의 이미지로 변환(translation)하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B의 이미지를 도메인 A의 이미지로 변환하는 모델을 비지도 학습하는 제2 GAN을 이용한다. 상기 방법은 도메인 A의 샘플 이미지에 대한 상기 제1 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제2 GAN의 이미지 변환에 의해 원래 도메인인 도메인 A로 재구성하고, 도메인 B의 샘플 이미지에 대한 상기 제2 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제1 GAN의 이미지 변환에 의해 원래 도메인인 도메인 B로 재구성한다. 상기 방법은, 원래 도메인으로 재구성된 이미지가 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 상기 제1 GAN 및 상기 제2 GAN의 모델들을 학습시키는 데 사용한다.

본 발명이 제안하는 아키텍처에 따른 네트워크들은, 도메인들을 대표하는 두 세트의 레이블이 없는 이미지들(unlabeled images)로부터 서로 다른 도메인 사이의 관계를 발견하는 것을 학습할 수 있다. 발견된 관계를 사용하여, 상기 네트워크들은 방향(orientation), 얼굴 정체성(face identity) 등과 같은 주요 속성을 보존하면서 한 도메인에서 다른 도메인으로 성공적으로 스타일을 전송할 수 있다.

제안된 아키텍처는 모드 붕괴(mode collapse) 문제와 모드 진동 mode oscillation 문제를 해결한다.

본 발명이 제안하는 아키텍처는, 각각 이미지 도메인을 나타내는 두 세트의 레이블이 지정되지 않은 이미지들을 입력으로 사용하여, 한 도메인에서 다른 도메인으로 이미지를 변환하는 두 개의 신뢰할 수 있는 이미지-이미지 변환기를 동시에 학습할 수 있으며, 다양한 이미지 변환 작업을 수행할 수 있다.

도 1은 생성적 대립 네트워크(Generic Adversarial Networks: GAN)의 개념을 도식화한 도면이다.
도 2는 (a) 64×64×3 사이즈의 이미지를 입력받아 64×64×3 사이즈의 변환된 이미지를 출력하는 생성기의 예시적인 구조와 (b) 64×64×3 사이즈의 이미지들을 평가하는 구별기의 예시적인 구조를 도시한 도면이다.
도 3은 관계 발견 작업을 위한 표준 GAN 모델에 따른 아키텍처를 도식화한 도면이다.
도 4는 재구성 손실(reconstruction loss)을 가진 GAN 아키텍처를 도식화한 도면이다.
도 5는 단순화된 1차원 도메인들에서, (a) 이상적인 매핑, (b) 표준 GAN의 매핑 실패 케이스, (c) 재구성 손실을 가진 GAN의 매핑 실패 케이스를 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 관계 발견을 위한 GAN 기반 모델의 전체적인 아키텍처를 도시한 도면이다.
도 7은 본 발명이 제안하는 GAN 기반의 모델을 이미지-이미지 변환에 적용한 결과를 예시한 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 발명은, 두 세트의 '레이블이 지정되지 않은 이미지들'(unlabeled images)로부터, 도메인 간 관계를 학습할 수 있는 새로운 GAN 기반 모델을 제안한다. 제안하는 모델은 레이블이 지정된 이미지들(즉, 쌍을 이룬 예제들)을 요하지 않으며, 사전 학습을 요하지도 않는다. 제안된 모델은 학습된 도메인 간 관계를 이용하여, 이미지를 하나의 도메인에서 다른 도메인로 변환(translation)할 수 있다.

본 발명의 핵심은 두 개의 다른 GAN을 결합하는 것이다. 각각의 생성기는 하나의 도메인을 다른 도메인에 매핑할 수 있다. 또한, 본 발명이 의지하는 핵심적인 직감은 한 도메인의 모든 이미지가 다른 도메인의 이미지로 표현가능하도록 제한하는 것이다. 예를 들어, 각각의 핸드백 이미지에 기초하여 신발 이미지를 생성하는 것을 학습할 때, 생성된 이미지가 재구성 손실을 통해 핸드백 이미지의 이미지-기반 표현이 되도록 하고 (그에 따라 핸드백 이미지를 재구성되도록 하고), 또한 생성된 이미지가 GAN 손실을 통해 가능한 한 신발 도메인의 이미지에 가깝게 만든다. 이 두 특성을 이용하여, 두 도메인 간의 매핑이 양방향으로 잘 적용되도록 조장한다.

이제, 도메인 간 관계(cross-domain relations)를 수학적으로 정의하고 서로 다른 두 영역에서 이러한 관계를 발견하는 학습 문제를 제시한다. 이러한 작업을 수행하는 데 있어서 (비특허문헌 1에 제안된) 표준 GAN 모델과 유사한 변형 모델의 한계를 설명하고, 도메인 간 관계를 발견하는 데 사용할 수 있는 GAN 기반의 새로운 아키텍처를 설명하기로 한다.

도메인 간 관계는, 수학적으로, 도메인 A의 요소를 그 대응되는 도메인 B의 요소에 매핑하는 함수 G _AB로 정의된다. G _BA도 유사하게 정의된다. 완전히 비지도된 설정(fully unsupervised setting)에서, G _AB 및 G _BA는 임의로 정의될 수 있다. 의미 있는 관계를 찾으려면, 관심 관계에 조건을 부과해야 한다. 여기서, 우리는 관계를 일대일 대응(즉, 전단사상; bijective mapping)으로 제한한다. 이는 G _AB은 G _BA의 역 매핑(inverse mapping)임을 의미한다. 즉, 함수 G _AB의 범위는(즉, 도메인 A의 모든 x_A에 대해 가능한 모든 결과값 G _AB(x_A)의 전체 집합은) 도메인 B에 포함되어야 하며, G _BA(x_B)의 경우에도 마찬가지이다.

본 발명은 이러한 제약들을 목적함수들(objective functions)과 관련시킨다. 이상적으로, 등식

이 만족되어야 하지만, 이러한 엄격한 제약은 최적화하기가 어렵기 때문에 완화된 제약이 최적화 관점에서 더 바람직하다. 이러한 이유로, 본 발명은 거리

를 최소화하는 모델을 제안한다. 여기서, 상기 거리함수 d()에는 어떠한 형태의 메트릭 함수(예컨대 L1, L2, Huber loss 등)가 사용되어도 무방하다. 유사하게, 제안된 모델은

를 최소화하도록 설계된다.

G _AB가 도메인 B에 매핑하는 것과 G _BA가 도메인 A에 매핑하는 것을 보장하는 것 역시 최적화하기 매우 어렵다. 본 발명은, 이러한 제약을 완화하여, 다음과 같은 수학식 1 및 수학식 2로 표현되는 2개의 생성적 대립 손실(generative adversarial loss)을 최소화한다.

여기서,

는 기대(expectation) 함수, x_A 및 x_B는 각각 도메임 A 및 B의 샘플들이다.

이제, 이들 손실 함수들로 학습하기 위한 몇몇 GAN 아키텍처들을 설명한다. 이하에서 GAN 아키텍처들에 대한 설명에는 다음과 같은 표기법이 사용된다.

생성기(generator)는 다음의 수학식 3과 같이 표기된다. 수학식 3에서, 아래첨자는 입력 도메인 및 출력 도메인을 나타내며, 위첨자는 입력 이미지 및 출력 이미지의 사이즈를 나타낸다. 구별기(discriminator)는 다음의 수학식 4과 같이 표기된다. 수학식 4에서, 아래첨자 B는 도메인 B에서 이미지들을 구별한다는 것을 나타낸다. 수학식 3 및 4에서는 도메인 A와 도메인 B의 이미지들의 사이즈가 64×64×3임을 가정하고 있다.

G _BA와 D _A도 각각 수학식 3 및 4와 유사하게 표기된다.

도 2는 (a) 64×64×3 사이즈의 이미지를 입력받아 64×64×3 사이즈의 변환된 이미지를 출력하는 생성기의 예시적인 구조와 (b) 64×64×3 사이즈의 이미지들을 평가하는 구별기의 예시적인 구조를 도시하고 있다.

각 생성기는 인코더-디코더 쌍으로 볼 수 있다. 각 생성기의 인코더 부분은 leacky ReLU가 뒤따르는 4×4 필터가 있는 컨벌루션 계층들(convolution layers)로 구성될 수 있다. 디코더 부분은 ReLU(Rectified Linear Unit)가 뒤따르는 4×4 필터를 갖는 디컨벌루션 계층들(deconvolution layers)로 구성될 수 있으며, 최종적으로 64×64×3 사이즈의 대상 도메인 이미지를 출력한다. 컨벌루션 및 디컨벌루션 계층의 수는 도메인에 따라 4에서 6에 이를 수 있으며, 예시된 컨볼루션 계층들 및 디컨볼루션 계층들의 차원들은 적절히 변형될 수 있다. ReLU 및 leacky ReLU에 관한 구체적인 사항은 비특허문헌 2 및 비특허문헌 3을 참조하기 바란다.

구별기는 생성기의 인코더 부분과 유사하다. 컨벌루션 계층들과 누설 ReLU 들 외에도, 구별기는 4×4 필터가 있는 추가 컨벌루션 계층과 [0, 1] 사이의 스칼라 출력을 출력하는 최종 시그모이드(sigmoid)를 포함한다.

도 3은 관계 발견 작업을 위한 표준 GAN 모델에 따른 아키텍처를 도식화한 도면이다.

표준 GAN 모델은 무작위 가우시안 노이즈 z를 취하여 이를 숨겨진 특징 h로 인코딩하여, MNIST DIGIT와 같은 이미지를 생성하도록 구성되어 있다. 이에, 표준 GAN 모델은 도메인간의 관계 발견 작업에 적합하도록 약간 수정될 필요가 있다. 도 3에 도시된 바와 같이, 도메인간의 관계 발견 작업을 위해, 수정된 모델은 잡음 대신 이미지를 입력으로 사용한다.

도 4는 재구성 손실(reconstruction loss)을 가진 GAN 아키텍처를 도식화한 도면이다.

도 3의 아키텍처가 도메인 A에서 도메인 B로의 매핑만을 학습하는 것과 달리, 도 4의 아키텍처는 도메인 B를 도메인 A로 다시 매핑하는 두 번째 생성기를 추가되어 있다. 또한, 도 4의 아키텍처는 입력 이미지와 재구성된 이미지를 비교하는 재구성 손실 인자(term)도 추가되어 있다. 이러한 추가 변경들을 가진 모델에서, 각 생성기(G _AB, G _BA)는 입력 도메인에서 출력 도메인으로의 매핑을 학습하고 이들 간의 관계를 발견할 수 있다.

생성기 G _AB는 도메인 A의 입력 이미지 x_A를 도메인 B의 x_AB로 변환한다(수학식 5 참조). 생성된 이미지 x_AB는, 원래 입력 이미지 x_A와 매칭되도록, 생성기 G _BA에 의해 도메인 A 이미지 x_ABA로 변환된다(수학식 6 참조). 다양한 형태의 거리 함수(예컨대, MSE, cosine distance, hinge-loss)는 재구성 손실 함수 “d”로 사용할 수 있다. 변환된 출력 x_AB는, 도메인 B의 실제 샘플 x_B에 변환된 출력 x_AB를 비교하는 구별기 D _B에 의해 스코어링 된다.

생성기 G _AB는, 수학식 9와 같이, 두 가지 유형의 손실을 수신한다. 첫 번째 손실은 수학식 8로 표현되는 표준 GAN 생성기 손실(

)로서, 생성된 이미지가 도메인 B에서 얼마나 사실적인지를 측정하는 것이다. 두 번째 손실은 수학식 7로 표현되는 재구성 손실(

)로서, 연속된 두 번의 생성 후에 원래의 입력이 얼마나 잘 재구성되었는지를 측정하는 것이다. 구별기 D _B는, 수학식 10로 표현되는, 표준 GAN 구별기 손실을 수신한다.

트레이닝 동안에, 생성기 G _AB는 두 가지 완화된 제약들(즉, 도메인 A가 도메인 B에 매핑되는 제약과, 도메인 B상의 매핑이 도메인 A로 재구성되는 제약)하에서, 도메인 A로부터 도메인 B로의 매핑을 학습한다. 그러나 이러한 모델은 도메인 B로부터 도메인 A로의 매핑에 제약(constraint)이 결여되어 있으며, 이들 제약조건들을 만족하는 매핑은 단방향(one-directional)이기 때문에, 이들 두 가지 조건만으로는 도메인 간 관계가 보장되지 않는다. 즉, 그 매핑은 단사(injection)이지 전단사(bijection)가 아니며, 일대일 대응이 보장되지 않는다.

두 가지 가능한 다중-모드 이미지 도메인 A 및 B를 고려하자. 도 5는 단순화된 1차원 표현의 두 가지 다중-모드 데이터 도메인들을 예시한다. 도 5의 (a)는 입력 도메인 A에서 도메인 B로의 이상적인 매핑을 보여준다. 여기서 데이터의 각 모드는 타겟 도메인의 개별 모드로 매핑된다. 대조적으로, 도 4의 (b)는 하나의 도메인의 여러 모드들의 데이터가 다른 도메인의 단일 모드로 매핑되는, 잘 알려져 있는, 모드 붕괴 문제(mode collapse problem)를 보여준다. 예를 들어, 매핑 G _AB는 두 가지 방향의 자동차 이미지들을 동일한 모드의 얼굴 이미지로 매핑한다.

어떤 면에서, 표준 GAN에 재구성 손실을 추가한 도 4의 아키텍처는 모드 붕괴 문제를 해결하기 위한 시도이다. 도 5의 (c)에서, 도메인 A의 두 모드들은 도메인 B의 동일한 모드와 매치되지만, 도메인 B의 그 모드는 도메인 A의 두 모드들 중 오직 하나로 매칭될 수 있다. 비록 추가적인 재구성 손실(

)은 재구성된 샘플이 원본과 매치되도록 강제하지만, 이러한 변경은 유사한 대칭적 문제로 이어질 뿐이다(도 5의 (c) 참조). 즉, 재구성 손실은 두 상태 사이의 진동(oscillation)을 유발하며, 모드 붕괴를 해결하지 못한다.

이제 도 6을 참조하여, 관계 발견을 위해 제안된 본 발명의 일 실시예에 따른 GAN 기반의 모델을 설명한다. 도 6은 본 발명의 일 실시예에 따른 관계 발견을 위한 GAN 기반 모델의 전체적인 아키텍처를 도시한 도면이다.

도 6에 도시된 바와 같이, 본 발명이 제안하는 모델은 (도 4에 예시된) 재구성 손실을 가진 두 개의 GAN 모델을 결합한 형태이다. 두 개의 결합된 모델들 각각은 한 도메인에서 다른 도메인으로의 매핑과 재구성을 위한 역매핑을 학습한다. 두 모델은 동시에 트레이닝된다. 도 6에는 두 개의 생성기 G _AB와 두 개의 생성기 G _BA가 도시되어 있으나, 이들은 각각 하나의 네트워크임에 유의하여야 한다. 즉, 생성기 G _AB의 기능을 수행하는 하나의 네트워크가, 도메인 A의 샘플 이미지를 도메인 B의 이미지로 변환하고, 도메인 생성기 G _AB에 의해 도메인 A로 변환된 샘플 이미지를 도메인 B의 이미지로 변환한다. 따라서, 생성기 G _AB는 도메인 A의 샘플 이미지를 도메인 B의 이미지로 변환에 사용된 파라미터를 생성기 G _AB에 의해 도메인 A로 변환된 샘플 이미지를 도메인 B의 이미지로 변환하는 데에도 적용한다.

생성기 G _AB와 생성기 G _BA에 의해 생성된 이미지 x_BA와 x_AB는 각각 구별기 D _B와 구별기 D _A로 공급된다.

도 4의 모델과의 주요 차이점 중 하나는 두 도메인으로부터의 입력 이미지가 각각 재구성되고, 그에 따라 두 개의 재구성 손실(

및

)이 존재한다는 것이다.

두 개의 GAN 모델을 결합한 결과, 총 생성기 손실은, 수학식 11과 같이, 각 부분 모델에 대한 표준 GAN 생성기 손실과 재구성 손실의 합이다. 유사하게, 총 구별기 손실(L_D)은, 수학식 12와 같이, 도메인 A와 도메인 B의 실제 및 가짜 이미지를 구별하는 두 구별기(D _A 및 D _B)에 대한 구별기 손실의 합이다.

이제, 이 모델은 두 개의 L_GAN 손실과 두 개의 L_CONST 손실에 의해 제약을 받는다. 그러므로 전단사상(bijective mapping)이 성립되고, 도메인간 관계로서 정의 되는 일대일 대응이 발견될 수 있다.

생성기들과 구별기들은, 교대로, 반복적으로 트레이닝된다. 예컨대, 한 단계에서는, 그들의 구별기 손실을 최소화하는 방향으로 구별기 D _B, D _A가 업데이트(예컨대, 디컨볼루션 계층들 사이에 전달되는 값의 가중치를 변경)되며, 다음 단계에서는, 업데이트된 구별기들에 의해 결정되는 수학식 11로 표현되는 총 생성기 손실을 최소화하는 방향으로, 생성기 G _AB, G _BA이 업데이트(예컨대, 컨볼루션 계층들 사이에 전달되는 값의 가중치를 변경)된다.

도 7은 본 발명이 제안하는 GAN 기반의 모델을 이미지-이미지 변환에 적용한 결과를 예시한 것이다. 본 발명이 제안하는 아키텍처는, 각각 이미지 도메인을 나타내는 두 세트의 레이블이 지정되지 않은 이미지들을 입력으로 사용하여, 한 도메인에서 다른 도메인으로 이미지를 변환하는 두 개의 신뢰할 수 있는 이미지-이미지 변환기를 동시에 학습할 수 있다(도 7의 (a) 참조). 예컨대, 2개의 생성기 중 하나(예컨대, G _AB)는, 신발 이미지가 입력되면 그 신발 이미지의 스타일을 가진 핸드백 이미지를 생성하는 이미지-이미지 변환기로서 동작할 수 있다(도 7의 (c) 참조), 다른 하나(예컨대, G _BA)는 핸드백 이미지가 입력되면 그 핸드백 이미지의 스타일을 가진 신발 이미지를 생성하는 이미지-이미지 변환기로서 동작할 수 있다(도 7의 (c) 참조).

이상에서 설명한 도메인간 관계를 발견하는 GAN 기반 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 GAN(generative adversarial networks) 기반 시스템으로서,
도메인 A로부터 도메인 B로의 이미지 변환(translation)을 수행하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B으로부터 도메인 A로의 이미지 변환을 수행하는 모델을 비지도 학습하는 제2 GAN을 포함하고,
도메인 A의 샘플 이미지에 대한 상기 제1 GAN의 이미지 변환에 의해 생성된 변환 이미지는 상기 제2 GAN의 이미지 변환에 의해 원래 도메인인 도메인 A로 재구성되며, 도메인 B의 샘플 이미지에 대한 상기 제2 GAN의 이미지 변환에 의해 생성된 변환 이미지는 상기 제1 GAN의 이미지 변환에 의해 원래 도메인인 도메인 B로 재구성되며,
상기 제1 GAN 및 상기 제2 GAN은 도메인 간의 매핑 함수를 학습하기 위해, 원래 도메인으로 재구성된 샘플 이미지들이 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 이용하는, 도메인 간의 관계를 발견하는 GAN 기반 시스템.
제1항에 있어서,
상기 재구성 손실은,
원래 이미지와 재구성된 이미지 간의 차이를 나타내는 거리 함수로 측정되는 것을 특징으로 하는, GAN 기반 시스템.
제1항에 있어서,
상기 제1 GAN 및 제2 GAN 각각은,
한 도메인의 이미지를 다른 도메인의 이미지로 변환하는 모델을 학습하는 생성기(generator)와, 상기 생성기에 의해 생성한 이미지와 상기 다른 도메인을 대표하는 샘플 이미지를 구별하는 모델을 학습하는 구별기(discriminator)를 포함하는 것을 특징으로 하는, GAN 기반 시스템.
제3항에 있어서,
상기 재구성 손실(reconstruction loss)과 표준 GAN 생성기 손실(generator loss)의 합이 최소화되도록, 상기 제1 GAN의 생성기와 상기 제2 GAN의 생성기를 학습시키되, 여기서 상기 표준 GAN 생성기 손실은 상기 변환된 이미지가 해당 도메인에서 얼마나 사실적인지를 나타내는 것을 특징으로 하는, GAN 기반 시스템.
제4항에 있어서,
상기 표준 GAN 생성기 손실은, 각 GAN에 대해,

및
로 정의되며, 여기서
는 기대(expectation) 함수, x_A 및 x_B는 각각 도메임 A 및 B의 샘플 이미지, G _AB 및 G _BA는 각각 상기 제1GAN 및 상기 제2GAN의 생성기 모델들, 그리고 D _A 및 D _B는 각각 상기 제2GAN 및 상기 제1GAN의 구별기 모델들인 것을 특징으로 하는, GAN 기반 시스템.
제3항에 있어서,
상기 생성기는,
복수의 컨볼루션 계층을 포함하는 인코더(encoder) 및 복수의 디컨볼루션 계층을 포함하는 디코더(decoder)로 구성된 것을 특징으로 하는, GAN 기반 시스템.
제3항에 있어서,
상기 구별기는,
복수의 디컨볼루션 계층 및 시그모이드(sigmoid)를 포함하는 인코더로 구성된 것을 특징으로 하는, GAN 기반 시스템.
서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 방법에 있어서,
도메인 A로부터 도메인 B로의 이미지 변환(translation)을 수행하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B로부터 도메인 A로의 이미지 변환을 수행하는 모델을 비지도 학습하는 제2 GAN을 제공하는 과정;
도메인 A의 샘플 이미지에 대한 상기 제1 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제2 GAN의 이미지 변환에 의해 원래 도메인인 도메인 A로 재구성하고, 도메인 B의 샘플 이미지에 대한 상기 제2 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제1 GAN의 이미지 변환에 의해 원래 도메인인 도메인 B로 재구성하는 과정; 및
원래 도메인으로 재구성된 샘플 이미지들이 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 상기 제1 GAN 및 상기 제2 GAN의 모델들을 학습시키는 데 사용하는 과정
을 포함하는, 도메인 간의 관계를 발견하는 방법.
서로 쌍을 이루지 않은 두 세트의 샘플 이미지들로부터 도메인 간의 관계를 발견하는 방법에 있어서,
도메인 A로부터 도메인 B로의 이미지 변환(translation)을 수행하는 모델을 비지도 학습하는 제1 GAN(generative adversarial networks)와, 도메인 B로부터 도메인 A로의 이미지 변환을 수행하는 모델을 비지도 학습하는 제2 GAN을 이용하여,
도메인 A의 샘플 이미지에 대한 상기 제1 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제2 GAN의 이미지 변환에 의해 원래 도메인인 도메인 A로 재구성하고, 도메인 B의 샘플 이미지에 대한 상기 제2 GAN의 이미지 변환에 의해 생성된 변환 이미지를 상기 제1 GAN의 이미지 변환에 의해 원래 도메인인 도메인 B로 재구성하고,
원래 도메인으로 재구성된 샘플 이미지들이 얼마나 잘 재구성되었는지를 나타내는 재구성 손실(reconstruction loss)을 상기 제1 GAN 및 상기 제2 GAN의 모델들을 학습시키는 데 사용하는 것을 특징으로 하는, 도메인 간의 관계를 발견하는 방법.