KR102260628B1

KR102260628B1 - 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법

Info

Publication number: KR102260628B1
Application number: KR1020200017351A
Authority: KR
Inventors: 이인현; 김진호
Original assignee: 이인현
Priority date: 2020-02-13
Filing date: 2020-02-13
Publication date: 2021-06-03
Anticipated expiration: 2040-02-13

Abstract

본 발명은 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법에 관한 것이다.
본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법은,원본 이미지를 입력부에 의해 입력받아 사전에 훈련된 소정의 신경망에 입력하는 단계와; 제어부에 의해 원본 이미지에 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하는 단계와; 제어부에 의해 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하는 단계와; 제어부에 의해 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지를 각각 적용하는 단계와; 제어부에 의해 서로 다른 스타일의 이미지가 각각 적용된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 협력적 스타일 트랜스퍼를 각각 적용하여 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리하는 단계; 및 이미지 합성부에 의해 제어부에 의한 처리 과정을 거쳐 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 단계를 포함한다.

Description

협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법{Image generating system and method using collaborative style transfer technology}

본 발명은 이미지 생성 시스템 및 방법에 관한 것으로서, 더 상세하게는 협력적 스타일 트랜스퍼라는 새로운 인공 신경망 구조를 도입하여 하나의 이미지에 두 가지의 서로 다른 스타일을 조화롭게 적용함으로써, 새로운 스타일의 이미지를 생성할 수 있는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법에 관한 것이다.

최근 인공지능 분야의 급속한 성장으로 다양한 산업 분야에서 인공지능을 실용적으로 적용하기 위한 시도가 다각도로 이루어지고 있다. 영상처리 분야에서는 CNN(Convolutional Neural Network), GAN(Generative Adversarial Network) 등의 인공 신경망을 활용하여 영상의 생성, 가공 등을 고도화 하고 있으며, 품질 수준에서 괄목할만한 성장을 이루어 내고 있다. 특히, CNN을 활용한 스타일 트랜스퍼(Image Style Transfer Using Convolutional Neural Network)라는 기술이 등장하여 사진과 같이 내용(content)을 담고 있는 이미지에 질감(style)을 담고 있는 그림 이미지의 질감을 자동으로 반영할 수 있게 되었다. 이러한 기술의 등장으로 실용적인 스타일 변환을 위한 다양한 방식의 후속 연구가 이루어졌다. 주로 스타일 트랜스퍼가 변환하는 이미지를 세부적으로 조절하는데 그 목적을 두고 있으며, 다음과 같은 종류의 기술들이 주를 이루고 있다. 첫 번째로, 원하는 영역에 스타일을 적용하기 위하여 원하는 영역을 분리하거나 가중치를 주어 해당 영역에 스타일 트랜스퍼를 적용하는 기술이 있다. 두 번째로, 결과물을 원하는 색상, 모양, 품질로 변환하기 위한 기술이 있다. 예를 들면, 스타일 변환 이후에 원본 스타일의 모양이 변하지 않게 하여 실제 사진을 찍은 것과 같은 효과를 나타내기 위한 기술이 있다. 세 번째로, 여러가지 스타일을 혼합하여 적용하려는 기술들도 제안되었다.

스타일 트랜스퍼 기술은 원하는 스타일의 이미지로부터 추출한 질감을 원본 이미지에 반영하여 질감이 반영된 이미지로 변환하는 기술을 말한다. 물론, 인공신경망을 활용하기 이전부터 명도의 제한, 고주파 질감 전달 등 다양한 방법의 시도가 있었다. 최근 인공신경망 기술의 발달과 함께 Gatys et al.(2016)이 제안한 스타일 트랜스퍼는 인공 신경망을 활용하여 스타일 변환의 품질을 획기적으로 향상시킨 방법이었다. 이는 VGG 네트워크라는 CNN 계열의 인공신경망을 활용하여 이미지의 특성을 추출하는 방법으로서, 3개의 VGG 네트워크를 병렬로 구성한다. 3개의 VGG 네트워크는 원본 이미지의 내용 특성을 추출하는 네트워크, 스타일의 특성을 추출하는 네트워크, 랜덤한 노이즈로부터 특성을 추출하는 네트워크에 활용된다. 특히 스타일의 특성을 추출하는 과정에서 그램 매트릭스(Gram Matrix)라는 기법을 적용함으로써, 스타일 적용에 있어서 공간적인 제약을 제거하였다. 스타일 트랜스퍼라는 획기적인 기술의 등장으로, 이를 실용적으로 활용하고자 하는 후속 기술들이 등장하게 되었다. 예를 들면, Huihuang Zhao et al.(2017), Wells et al.(2017), Henighan(2017)이 제안한 방식은 원하는 위치에 스타일 변환을 적용하는 기술로 변환 이미지의 품질을 개선할 수 있는 방식이다. Cui et al.(2017)이 제안한 "Multi-Style Transfer"는 다양한 스타일을 한 이미지에 적용하기 위한 기술이다. Luan et al.(2017), Tongtong Zhao et al.(2019)이 제안한 사진과 같은 현실감 있는 스타일 트랜스퍼는 원본 이미지의 내용을 보존하는 기술이라고 할 수 있다. 이러한 기술적인 진보에도 불구하고 하나의 이미지 안에 여러 가지 스타일을 원하는 영역에 적용할 때, 스타일 간의 이질적인 질감이 표현되어 어색함이 존재하는 문제점이 있다.

한편, 한국 공개특허공보 제10-2019-0083127호(특허문헌 1)에는 "단말 클러스터 내 이미지를 이용하여 컨볼루션 뉴럴 네트워크 모델을 학습시키기 위한 시스템 및 방법"이 개시되어 있는 바, 이에 따른 CNN 모델(Convolution Neural Network model) 학습 시스템은 단말들 각각에 저장된 하나 이상의 이미지들을 이용하여 초기 CNN 모델을 각각 학습시키고, 학습 결과값들을 결정하는 하나 이상의 워커 단말들과; 상기 학습 결과값들을 이용하여 상기 초기 CNN 모델을 업데이트하여 클러스터 CNN 모델을 생성하는 마스터 단말을 포함하며, 상기 학습 결과값들은 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 변화값들을 포함하고,상기 파라미터 변화값들은 상기 초기 CNN 모델과 상기 하나 이상의 이미지들을 이용하여 학습된 CNN 모델들의 파라미터 차이값들이며, 상기 마스터 단말은 상기 파라미터 차이값들의 평균값을 상기 초기 CNN 모델의 파라미터 값에 더함으로써 상기 클러스터 CNN 모델을 생성하는 것을 특징으로 한다.

이상과 같은 특허문헌 1의 경우, 단말의 클러스터 내에서 단말 클러스터 내 이미지를 이용하여 초기 CNN 모델에 대한 추가 학습을 수행함으로써, 오프로딩 방법에 소요되는 데이터 통신 비용 및 전송 시간을 줄일 수 있을 뿐만 아니라 외부 서버 이용시 발생할 수 있는 프라이버시 문제도 해결할 수 있고, 클러스터 내 단말이 저장하는 이미지의 특징을 반영하여 초기 CNN 모델을 학습시킴에 따라 단말에 저장된 이미지를 처리하는데 있어 정확도를 향상시킬 수 있는 장점이 있기는 하나, 이는 워커 단말들에 의해 CNN 모델을 학습시키고, 마스터 단말에 의해 클러스터 CNN 모델을 생성하는 기술에 한정하고 있어, 하나의 이미지에 두 가지의 서로 다른 스타일을 적용하고, 그와 같이 적용함에 따라 발생하는 이질감 및 원본 이미지의 훼손 문제를 해결할 수 없고, 각기 다른 두 가지 스타일을 통해 새로운 형태의 스타일을 창출할 수 없는 단점이 있다.

한국 공개특허공보 제10-2019-0083127호(2019.07.11. 공개)

본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 협력적 스타일 트랜스퍼라는 새로운 인공 신경망 구조를 도입하여 하나의 이미지에 두 가지의 서로 다른 스타일을 조화롭게 적용함으로써, 서로 다른 스타일을 하나의 이미지에 적용함에 따라 발생하는 이질감 및 원본 이미지의 훼손(왜곡)을 방지하고, 기존에 존재하지 않던 새로운 스타일의 이미지를 생성할 수 있는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템은,

사용자에 의해 입력된 명령과, 사용자에 의해 제공된 원본 이미지를 입력받아 후속 장치로 전달하는 입력부와;

상기 입력부를 통해 입력된 원본 이미지와, 최종 이미지 생성을 위한 재료로서의 다양한 질감의 다수의 이미지와, 최종 이미지를 생성하기까지의 중간 과정에서 생성되는 다양한 변형 이미지를 저장하는 저장부와;

제어부에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 이미지 합성부와;

상기 입력부를 통해 입력되는 원본 이미지와, 제어부 및 상기 이미지 합성부에 의해 원본 이미지를 바탕으로 새로운 스타일의 최종 이미지를 생성하기까지의 각 단계에서의 이미지 처리 과정 및 상태와 최종적으로 생성된 하나의 새로운 스타일의 이미지를 화면에 표시하는 디스플레이부; 및

상기 입력부, 저장부, 이미지 합성부 및 디스플레이부의 상태 체크 및 동작을 제어하며, 상기 입력부를 통해 입력된 원본 이미지를 전달받아 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하고, 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하며, 생성된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지 및 서로 다른 협력적 스타일 트랜스퍼(Collaborative Style Transfer)를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리하는 제어부를 포함하는 점에 그 특징이 있다.

여기서, 바람직하게는 외부의 기기와 유선 또는 무선으로 정보 및/또는 데이터를 송수신할 수 있는 유/무선 통신부를 더 포함할 수 있다.

또한, 상기 제어부가 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고, 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할할 수 있다.

또한, 상기 제어부가 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성할 수 있다.

또한, 상기 제어부가 서로 다른 협력적 스타일 트랜스퍼를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 협력적 스타일 트랜스퍼를 상호 병렬 연결한 후, 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성할 수 있다.

또한, 상기 이미지 합성부가 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성함에 있어서, 상기 제어부에 의한 처리 과정을 통해 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성할 수 있다.

또한, 상기 입력부와 디스플레이부는 입력 기능과 표시(출력) 기능을 겸비하는 하나의 일체화된 장치(예컨대, LCD 터치 패널)로 구성될 수 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법은,

입력부, 저장부, 이미지 합성부, 디스플레이부 및 제어부를 포함하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템을 기반으로 한 이미지 생성 방법으로서,

a) 사용자에 의해 제공된 원본 이미지를 상기 입력부에 의해 입력받아 사전에 훈련된 소정의 신경망에 입력하는 단계와;

b) 상기 제어부에 의해 상기 소정의 신경망에 입력된 원본 이미지에 영상 분할(segmentation) 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하는 단계와;

c) 상기 제어부에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하는 단계와;

d) 상기 제어부에 의해 상기 생성된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지를 각각 적용하는 단계와;

e) 상기 제어부에 의해 상기 서로 다른 스타일의 이미지가 각각 적용된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 협력적 스타일 트랜스퍼 (Collaborative Style Transfer)를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리하는 단계; 및

f) 상기 이미지 합성부에 의해 상기 제어부에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 단계를 포함하는 점에 그 특징이 있다.

여기서, 상기 단계 a)에서 상기 소정의 신경망은 Mask R-CNN 신경망일 수 있다.

또한, 상기 단계 b)에서 상기 제어부에 의해 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고, 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할할 수 있다.

또한, 상기 단계 c)에서 상기 제어부에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성할 수 있다.

또한, 상기 단계 e)에서 상기 제어부에 의해 서로 다른 협력적 스타일 트랜스퍼를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 협력적 스타일 트랜스퍼를 상호 병렬 연결한 후, 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성할 수 있다.

또한, 상기 단계 f)에서 상기 이미지 합성부에 의해 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성함에 있어서, 상기 제어부에 의한 처리 과정을 통해 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성할 수 있다.

이와 같은 본 발명에 의하면, 협력적 스타일 트랜스퍼라는 새로운 인공 신경망 구조를 도입하여 하나의 이미지에 두 가지의 서로 다른 스타일을 조화롭게 적용함으로써, 서로 다른 스타일을 하나의 이미지에 적용함에 따라 발생하는 이질감 및 원본 이미지의 훼손(왜곡)을 방지할 수 있고, 기존에 존재하지 않던 새로운 스타일의 이미지를 생성할 수 있는 장점이 있다.

도 1은 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명의 방법에 따른 원본 이미지 입력부터 새로운 스타일의 최종 이미지 생성까지의 프로세스를 나타낸 도면이다.
도 4a 및 4b는 Mask R-CNN을 이용한 원본 이미지에 대한 사물과 배경의 분리 과정을 나타낸 도면이다.
도 5는 본 발명에 채용되는 협력적 스타일 트랜스퍼(VGG 19)의 구조 및 명명 규칙을 나타낸 도면이다.
도 6은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 전체 구조를 나타낸 도면이다.
도 7은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 사물 이미지 훈련 구조를 나타낸 도면이다.
도 8은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 배경 이미지 훈련 구조를 나타낸 도면이다.
도 9는 본 발명에 채용되는 협력적 스타일 트랜스퍼의 전체 손실의 변화, 전체 컨텐츠 손실의 변화 및 전체 스타일 손실의 변화를 각각 나타낸 도면이다.
도 10은 본 발명에 채용되는 협력적 스타일 트랜스퍼를 통해 변환된 사물 이미지와 배경 이미지를 병합한 상태를 나타낸 도면이다.
도 11은 본 발명에 채용되는 협력적 스타일 트랜스퍼를 이용하여 특정 레이어의 상호 스타일 교환을 통해 새로운 스타일을 생성한 일 예를 나타낸 도면이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템(100)은 입력부(110), 저장부(120), 이미지 합성부(130), 디스플레이부(140) 및 제어부(150)를 포함하여 구성된다.

입력부(110)는 사용자에 의해 입력된 명령과, 사용자에 의해 제공된 원본 이미지를 입력받아 후속 장치로 전달한다. 이와 같은 입력부(110)는 오직 입력만 할 수 있는 독립적인 장치로 구성될 수도 있고, 입력도 하면서 또한 출력도 할 수 있는 두 가지 기능을 복합적으로 구비하는 장치로 구성될 수도 있다.

저장부(120)는 상기 입력부(110)를 통해 입력된 원본 이미지(예를 들면, 모터싸이클 경주 사진, 동물원이나 공원의 사진 등)와, 최종 이미지 생성을 위한 재료로서의 다양한 질감의 다수의 이미지, 예를 들면, 이중섭의 회화 작품('흰 소' 등), 박수근의 회화 작품('나목' 등), 반 고흐의 회화 작품('별이 빛나는 밤에' 등), 밀레의 회화 작품('이삭줍는 여인' 등), 피카소의 회화 작품('아비뇽의 처녀들' 등) 등과, 최종 이미지를 생성하기까지의 중간 과정에서 생성되는 다양한 변형 이미지를 저장한다. 이와 같은 저장부(120)는 방대한 데이터와 정보를 저장 및 관리하는 데이터베이스 형태로 구성될 수도 있고, 어느 정도의 필요한 데이터와 정보를 저장하는 일정 용량의 메모리로 구성될 수도 있다.

이미지 합성부(130)는 후술하는 제어부(150)에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성한다. 이와 같은 이미지 합성부(130)는 마이크로프로세서 혹은 그래픽 프로세싱 유닛으로 구성될 수 있다.

디스플레이부(140)는 상기 입력부(110)를 통해 입력되는 원본 이미지와, 제어부(150) 및 상기 이미지 합성부(130)에 의해 원본 이미지를 바탕으로 새로운 스타일의 최종 이미지를 생성하기까지의 각 단계에서의 이미지 처리 과정 및 상태와 최종적으로 생성된 하나의 새로운 스타일의 이미지를 화면에 표시한다. 여기서, 이와 같은 디스플레이부(140)는 LCD 패널로 구성될 수 있다.

제어부(150)는 상기 입력부(110), 저장부(120), 이미지 합성부(130) 및 디스플레이부(140)의 상태 체크 및 동작을 제어하며, 상기 입력부(110)를 통해 입력된 원본 이미지를 전달받아 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하고, 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하며, 생성된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지 및 서로 다른 협력적 스타일 트랜스퍼 (Collaborative Style Transfer)를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리한다.

여기서, 이상과 같은 구성을 가지는 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템(100)은 바람직하게는 외부의 기기(예를 들면, 컴퓨터 시스템, 스마트폰, 클라우드 형태의 각종 서버 또는 단말기)와 유선 또는 무선으로 정보 및/또는 데이터를 송수신할 수 있는 유/무선 통신부(160)를 더 포함할 수 있다.

또한, 상기 제어부(150)가 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고, 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할할 수 있다.

또한, 상기 제어부(150)가 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성할 수 있다.

또한, 상기 제어부(150)가 서로 다른 스타일 트랜스퍼를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 스타일 트랜스퍼를 상호 병렬 연결한 후, 두 개의 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성할 수 있다.

또한, 상기 이미지 합성부(130)가 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성함에 있어서, 상기 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성할 수 있다.

또한, 상기 입력부(110)와 디스플레이부(140)는 입력 기능과 표시(출력) 기능을 겸비하는 하나의 일체화된 장치(예컨대, LCD 터치 패널)로 구성될 수 있다.

이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템을 바탕으로 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법에 대하여 설명해 보기로 한다.

여기서, 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법에 대하여 본격적으로 설명하기에 앞서, 본 발명에 대한 이해를 돕기 위해 본 발명에 도입(채용)된 관련 기술 또는 사전 지식들에 대하여 먼저 설명해 보기로 한다.

< 영상분할(segmentation) 기술 >

이미지 내에서 원하는 영역을 추출하는 기술을 영상분할이라고 한다. 영상분할 기술은 연관된 영상처리 기술의 발달과 함께 최근 급속히 발전하였다. 영상처리 기술은 2000년도에서 2010년도에는 주로 군집화, 분류, 군집화와 분류의 조합을 활용한 기술이 주류를 이루었다. 2010년 이후로 신경망 모델이 개발되면서 다양한 영상처리 모델이 개발되었다. 특히 컨벌루션 신경망(Convolutional Neural Network; CNN) 기술을 활용한 인공 신경망이 뛰어난 성능을 나타내게 되었다. Ross Girshick et al.(2013)이 개발한 "R-CNN"은 이미지 내에서 사물이 존재하는 위치를 박스 형태로 찾아 낼 수 있으며, 박스 안의 사물의 종류를 구분할 수 있게 되었다. 이후 Ross Girshick(2015)이 개발한 "Fast R-CNN"은 중복 영역에 대하여 계속하여 컨벌루션이 진행되는 R-CNN의 비효율을 관심 영역에 대한 추출(Region of Interest Pool)이라는 기술을 통해 개선하였다. 또한 "Fast R-CNN"은 특징 추출, 분류, 박스 영역 회귀를 단 한 개의 네트워크에서 수행함으로써 성능을 개선할 수 있었다. 이러한 성능 개선에도 불구하고 수많은 사물의 후보 영역을 추천하는데 있어서 병목현상이 발생하는 문제가 있었다. Shaoqing Ren et al.(2015)이 개발한 "Faster R-CNN"은 분류에 활용한 특징 맵(Feature Map)을 사물의 후보 영역 추천에 공유함으로써 "Fast R-CNN"의 병목현상을 개선할 수 있었다. 이러한 기술적인 진전이 있게 된 이후 "Faster R-CNN" 기술을 활용하여 사물의 위치 영역을 찾아낸 뒤 픽셀 단위로 사물을 추출해 낼 수 있는 "Fully Convolutional Network" 기술을 결합하게 되었다. 이는 "Facebook AI Research" 그룹의 Kaiming He et al.(2018)이 제안한 "Mask R-CNN"이라는 기술로 각 사물의 영역을 구분할 수 있고, 각 사물이 어떠한 종류인지를 구분할 수 있으며, 해당 사물 내에서 사물의 위치를 픽셀단위로 찾아낼 수 있는 진보된 기술이다. 본 발명에서는 이 "Mask R-CNN"을 활용하여 스타일 변환을 위한 사물과 배경 영역을 분리한다.

< 스타일 변환을 위한 기술 >

원하는 스타일의 이미지로부터 추출한 질감을 원본 이미지에 반영하여 질감이 반영된 이미지로 변환하는 기술을 "스타일 트랜스퍼(Style Transfer)"라고 한다. 이는 인공 신경망을 활용하기 이전부터 명도의 제한, 고주파 질감 전달 등 다양한 방법의 시도가 존재하였다. 최근 인공 신경망 기술의 발달과 함께 Gatys et al.(2016)이 제안한 스타일 트랜스퍼는 인공 신경망을 활용하여 스타일 변환의 품질을 획기적으로 향상시킨 방법이었다. 이는 "VGG(Visual Geometry Group) network"라는 CNN 계열의 인공 신경망을 활용하여 이미지의 특성을 추출하는 방법이며, 3개의 VGG 네트워크를 병렬적으로 구성한다. 3개의 VGG 네트워크는 원본 이미지의 내용 특성을 추출하는 네트워크, 스타일의 특성을 추출하는 네트워크, 랜덤한 노이즈로부터 특성을 추출하는 네트워크에 활용된다. 특히 스타일의 특성을 추출하는 과정에서 "Gram Matrix"라는 기법을 적용함으로써 스타일 적용에 있어서 공간적인 제약을 제거하였다. 스타일 트랜스퍼라는 획기적인 기술의 등장으로, 이를실용적으로 활용하고자 하는 후속 기술들이 등장하게 되었다. 첫째로 Huihuang Zhao et al.(2017), Wells et al.(2017), Henighan(2017)이 제안한 방식은 원하는 위치에 스타일 변환을 적용하는 기술로 변환 이미지의 품질을 개선할 수 있는 방법이다. Cui et al.(2017)이 제안한 "Multi-Style Transfer"는 다양한 스타일을 한 이미지에 적용하기 위한 기술이다. Luan et al.(2017), Tongtong Zhao et al.(2019)이 제안한 사진과 같은 현실감 있는 스타일 트랜스퍼는 원본 이미지의 내용을 보존하는 기술이라고 할 수 있다. 그러나 이러한 기술적인 진보에도 불구하고 한 가지 이미지 안에 여러 가지 스타일을 원하는 영역에 적용할 때 스타일 간의 이질적인 질감이 표현되어 어색함이 존재하는 한계를 내포하고 있다.

그러면, 이상과 같은 사항을 바탕으로 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법에 대하여 본격적으로 설명해 보기로 한다.

도 2는 본 발명의 실시예에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법의 실행 과정을 나타낸 흐름도이고, 도 3은 본 발명의 방법에 따른 원본 이미지 입력부터 새로운 스타일의 최종 이미지 생성까지의 프로세스를 나타낸 도면이다.

도 2 및 도 3을 참조하면, 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법은, 전술한 바와 같은 입력부(110), 저장부(120), 이미지 합성부(130), 디스플레이부(140) 및 제어부(150)를 포함하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템(100)을 기반으로 한 이미지 생성 방법으로서, 먼저 사용자에 의해 제공된 원본 이미지(301)(예를 들면, 도 4a의 (A)와 같은 원본 이미지(사진))를 상기 입력부(110)에 의해 입력받아 사전에 훈련된 소정의 신경망(302)에 입력한다(단계 S201). 여기서, 상기 소정의 신경망(302)은 Mask R-CNN 신경망일 수 있다.

이렇게 하여 입력부(110)를 통해 원본 이미지(3010가 입력되면, 제어부(150)에 의해 상기 소정의 신경망(302)에 입력된 원본 이미지(301)에 영상 분할 (segmentation) 기술을 적용하여(즉, Mask R-CNN(302) 기술을 적용하여), 원본 이미지(301)를 사물 영역(즉, 사물 영역 마스크(303))과 배경 영역(즉, 배경 영역 마스크(304))로 분할한다(단계 S202). 여기서, 이와 같이 제어부(150)에 의해 영상 분할 기술을 적용하여 원본 이미지(301)를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지(301) 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지(301) 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고(도 4a의 (B) 참조), 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할할 수 있다(도 4b의 (C) 참조).

이상에 의해 원본 이미지(301)가 사물 영역과 배경 영역으로 분할된 후, 제어부(150)에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개(즉, 마스킹한 사물 사진(305))와, 배경 영역에 해당하는 이미지 한 개(즉, 마스킹한 배경 사진(307))를 각각 생성한다(단계 S203). 여기서, 이와 같이 제어부(150)에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지(301)에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지(301)에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성할 수 있다.

이렇게 하여 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개가 각각 생성되면, 제어부(150)는 상기 생성된 사물 영역 이미지(즉, 마스킹한 사물 사진(305))와 배경 영역 이미지(즉, 마스킹한 배경 사진(307))에 서로 다른 스타일의 이미지(예컨대, 스타일 이미지 1(306), 스타일 이미지 2(308))를 각각 적용한다(단계 S204).

그런 후, 상기 제어부(150)에 의해 상기 서로 다른 스타일의 이미지(306, 308)가 각각 적용된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 협력적 스타일 트랜스퍼(예를 들면, 협력적 스타일 트랜스퍼 1(309), 협력적 스타일 트랜스퍼 2(310))를 각각 적용하여, 하나의 원본 이미지(301)에 서로 다른 스타일의 이미지(306, 308)를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리한다(단계 S205). 여기서, 이와 같이 상기 제어부(150)에 의해 서로 다른 협력적 스타일 트랜스퍼(309, 310)를 각각 적용하여 하나의 원본 이미지(301)에 서로 다른 스타일의 이미지(306, 308)를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 협력적 스타일 트랜스퍼 (309, 310)를 상호 병렬 연결한 후, 두 개의 협력적 스타일 트랜스퍼(309, 310) 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지(311)와 배경 영역 이미지(312)를 각각 생성할 수 있다.

이후, 상기 이미지 합성부(130)에 의해 상기 제어부(150)에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지(311)와 배경 영역 이미지(312)를 합성하여 하나의 새로운 스타일의 최종 이미지(313)를 생성한다(단계 S206). 여기서, 이와 같이 이미지 합성부(130)에 의해 사물 영역 이미지(311)와 배경 영역 이미지(312)를 합성하여 하나의 새로운 스타일의 최종 이미지(313)를 생성함에 있어서, 상기 제어부(150)에 의한 처리 과정을 통해 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성할 수 있다.

이하에서는 이상과 같은 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법과 관련하여 부연 설명을 해보기로 한다.

도 4a 및 4b는 Mask R-CNN을 이용한 원본 이미지에 대한 사물과 배경의 분리 과정을 나타낸 도면이다.

도 4a 및 4b를 참조하면, 이는 위에서 설명한 도 2의 단계 S201∼S203과 관련된 것으로서, 협력적 스타일 트랜스퍼가 적용되기 전의 전처리 과정을 나타낸 것이다. 먼저, 도 4a의 (A)와 같은 원본 이미지를 사전 훈련된 Mask R-CNN 신경망에 입력하여 영상 분할 기술에 의해 사물 영역 이미지를 추출한다. 이때, (A)와 같이 사물 영역 이미지에 해당하는 사물 카테고리에 사람과 오토바이가 있을 경우 사람과 오토바이가 각각 검출되고, 이는 다시 (B)와 같이 사람 3명과 오토바이 3대로 세분화되어 검출된다.

그런 후, 분할된 6개의 마스크 영역(사람 3명에 대한 영역+오토바이 3대에 대한 영역)을 도 4b의 (C)와 같이 마스크 영역을 병합한다. 이는 사물의 이미지에 동일한 스타일을 반영하기 위한 것이다. 이후에는 도 4b의 (D)와 같이, 사물의 영역에 해당하는 이미지 한 개와, (E)와 같이 배경의 영역에 해당하는 이미지 한 개를 생성한다.

도 5는 본 발명에 채용되는 협력적 스타일 트랜스퍼(VGG 19)의 구조 및 명명 규칙을 나타낸 도면이다.

도 5를 참조하면, 본 발명에 채용되는 협력적 스타일 트랜스퍼는 "VGG(Visual Geometry Group) 19"라는 CNN(Convolutional Neural Network) 계열의 인공 신경망을 기반으로 하며, 이 VGG 19는 내용을 담고 있는 컨텐츠 이미지와 질감을 담고 있는 스타일 이미지의 특성을 추출하는 기능을 갖는다. 특히 본 발명에서는 스타일을 추출하는 과정에서는 컨벌루션을 통해 추출된 특성에 "Gram Maxtrix"라는 방식의 함수를 추가 적용하여 변환할 이미지의 위치적 특성에 상관없이 스타일을 적용할 수 있도록 하였다. (A)는 VGG 19 구조를 나타낸 것으로, 총 19개의 레이어(Layer)로 구성된다. (B)는 VGG 19 명명 규칙을 나타낸 것으로, 총 16개의 컨벌루션 레이어와 3개의 FCN(Fully Connected Network)으로 이루어진 신경망을 "Max Pooling" 단위로 구분한다. 이때, 컨벌루션 레이어에서 "Max Pooling" 이전 단계를 대단위로 그룹핑하여 표시하면 "Conv1", "Conv2", "Conv3", "Conv4", "Conv5"로 구분할 수 있으며, 각각의 그룹은 2개, 2개, 4개, 4개, 4개의 컨벌루션 레이어들로 구성된다. 컨벌루션 그룹내의 각각의 레이어는 언더 바(under bar) 다음에 나오는 숫자로 표시될 수 있다. 예를 들어, 첫 번째 컨벌루션 그룹내에서 첫 번째 레이어는 "Conv1_1"과 같이 표시될 수 있다. 같은 방식으로 컨벌루션 레이어 중 "Content Loss"를 활용하기 위하여 사용하였던 네 번째 컨벌루션 그룹 내의 두 번째 레이어는 "Conv4_2"와 같이 표현할 수 있다.

도 6은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 전체 구조를 나타낸 도면이다.

도 6을 참조하면, 이는 본 발명에 채용되는 협력적 스타일 트랜스퍼의 전체 구조를 보여주는 것으로서, 협력적 스타일 트랜스퍼에서 두 가지의 스타일을 적용하기 위하여 기존의 스타일 트랜스퍼, 즉 사물에 대한 스타일 트랜스퍼(A)와 배경에 대한 스타일 트랜스퍼(B) 신경망 두 개를 병렬 연결하였다. 사물 이미지에 대해서는 스타일1의 질감을 추출하는 5개의 레이어(Conv1_1, Conv2_1, Conv3_1, Conv4_1, Conv5_1) 중에서 한 개의 레이어(예컨대, Conv3_1)를 선택하여 타측의 배경에 대한 스타일 트랜스퍼(B)의 인공 신경망의 스타일 훈련에 적용하였다. 배경 이미지에 대한 스타일 적용 방식은 사물 이미지에 대한 스타일 적용 방식과 동일한 구조를 적용하였으며, 두 개의 신경망은 병렬적으로 동시에 훈련시킨다.

두 종류의 병렬 스타일 트랜스퍼(A)(B) 신경망을 학습시키고 이에 대해 역전파(back propogation) 수행을 위하여 전체의 손실(Total Loss)을 다음과 같은 수식 관계로 정의하였다.

이때, 상기 수학식 1에서의 Content1 loss는 다음과 같은 수식 관계로 정의될 수 있다.

그리고 Style1 loss는 다음과 같은 수식 관계로 정의될 수 있다.

또한, Content2 loss는 다음과 같은 수식 관계로 정의될 수 있다.

또한, Style2 loss는 다음과 같은 수식 관계로 정의될 수 있다.

위의 수학식 1에서와 같이, 전체 손실(Total Loss)을 사물 이미지에 대한 손실(loss)과 배경 이미지의 손실(loss)의 합으로 적용하였다. 사물 이미지의 손실은 컨텐츠 가중치에 사물의 컨텐츠 손실을 곱한값과 스타일 가중치와 사물의 스타일 loss(4개의 1번 스타일 레이어와 1개의 2번 스타일 레이어 적용)를 곱한 값을 합하여 정의하였다. 배경 이미지의 손실(loss)은 컨텐츠 가중치에 배경의 컨텐츠 손실을 곱한값과 스타일 가중치와 배경의 스타일 손실(4개의 1번 스타일 레이어와 1개의 2번 스타일 레이어 적용)의 곱을 합하여 정의하였다. 즉, 사물의 이미지를 포함한 부분에 대한 손실(loss)을 "content weight * content1 loss + style weight * style1 loss"으로 표현(정의)하였고, 배경의 이미지를 포함한 부분에 대한 손실(loss)을 "content weight * content2 loss + style weight * style2 loss"로 표현(정의)하였다.

도 7은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 사물 이미지 훈련 구조를 나타낸 도면이다.

도 7을 참조하면, 이는 협력적 스타일 트랜스퍼의 사물 이미지 훈련 구조(즉, 사물 부분의 스타일 트랜스퍼의 병렬 연결 및 교차 훈련)를 보여주는 것으로서, 기존의 스타일 트랜스퍼(스타일1) 구조에 스타일2의 신경망을 추가하여 한 개의 레이어(③)에서 훈련에 반영한다. 이때, 스타일과 컨텐츠의 가중치 비율은 특정 값, 예를 들면, 컨텐츠 가중치(contents weights; α)를 "1"로 설정하였을 때, 스타일 가중치(style weights; β)는 "10^-6"으로 설정할 수 있다. 또한, 스타일 가중치 간의 가중치 비율은 "①: 1", "②: 0.7", "③: 0.2", "④: 0.2", "⑤: 0.2"로 각각 설정할 수 있다.

도 8은 본 발명에 채용되는 협력적 스타일 트랜스퍼의 배경 이미지 훈련 구조를 나타낸 도면이다.

도 8을 참조하면, 이는 협력적 스타일 트랜스퍼의 배경 이미지 훈련 구조(즉, 배경 부분의 스타일 트랜스퍼의 병렬 연결 및 교차 훈련)를 보여주는 것으로서, 기존의 스타일 트랜스퍼(스타일2) 구조에 스타일1의 신경망을 추가하여 한 개의 레이어(③)에서 훈련에 반영한다. 이때, 스타일과 컨텐츠의 가중치 비율은 위의 도 7의 협력적 스타일 트랜스퍼의 사물 이미지 훈련 구조와 마찬가지로 특정 값, 예를 들면, 컨텐츠 가중치(contents weights; α)를 "1"로 설정하였을 때, 스타일 가중치(style weights; β)는 "10^-6"으로 설정할 수 있다. 또한, 스타일 가중치 간의 가중치 비율도 마찬가지로 "①: 1", "②: 0.7", "③: 0.2", "④: 0.2", "⑤: 0.2"로 각각 설정할 수 있다.

도 9는 본 발명에 채용되는 협력적 스타일 트랜스퍼의 전체 손실의 변화, 전체 스타일 손실의 변화 및 전체 컨텐츠 손실의 변화를 각각 나타낸 도면이다.

도 9를 참조하면, 이는 협력적 스타일 트랜스퍼의 전체 손실의 변화(A), 전체 컨텐츠 손실의 변화(B) 및 전체 스타일 손실의 변화(C)를 각각 나타낸 것으로서, (A)와 같이 사물에 대한 손실(object_total_loss)과 배경에 대한 손실 (background_total_loss)의 합계인 전체 손실(total_loss)이 최소화 되는 방향으로 수렴해 가는 것을 확인할 수 있다. 손실(loss)의 세부 요소들을 살펴보면, (B)의 컨텐츠 손실의 경우, 손실이 지속적으로 증가 추세를 보이다가 수렴하려는 양상을 보인다. 이는 원본 이미지에 질감이 더해지면서 나타나는 원본 이미지가 변경되는 현상에 대한 의미로 해석된다. (C)의 스타일 손실의 경우, 손실이 전반적으로 점차 감소하는 추세를 보인다. 다만, 초기의 스타일 2의 손실의 경우 다소 증가하다가 감소하는 추세를 보인다. 전체적으로 볼 때, 전체의 손실이 줄어드는 흐름으로 볼 수 있으며, 스타일 간의 상호 학습을 하는 과정을 포함하기 때문에 "style loss 2"의 경우 손실이 증가하는 구간이 발생하기도 하며, 이는 스타일 1과의 조화를 고려하고 있음을 알 수 있다.

도 10은 본 발명에 채용되는 협력적 스타일 트랜스퍼를 통해 변환된 사물 이미지와 배경 이미지를 병합한 상태를 나타낸 도면이다.

도 10을 참조하면, 이는 협력적 스타일 트랜스퍼를 통해 변환된 사물 이미지(A)와 배경 이미지(B)를 병합한 상태(C)를 보여주는 것으로서, 병렬로 연결된 협력적 스타일 트랜스퍼의 인공신경망을 통해 훈련된 사물 이미지(A)와 배경 이미지(B)를 결합하여 (C)와 같이 새로운 스타일의 최종 이미지를 완성하게 된다.

이상과 같이, 본 발명에서 도입한 협력적 스타일 트랜스퍼를 활용하면 여러 가지 스타일을 각기 다른 사물 또는 배경에 적용할 수 있다. 또한 어떤 레벨에서 상호 훈련할지도 선택할 수 있다. 다만, 서로 다른 스타일 간에 어떠한 정도로 스타일 강도의 균형을 조절할지에 대한 기술적 과제가 대두되는 바, 본 발명에서는 이에 대한 해결책으로 각각의 스타일에 대한 가중치 비율을 정하여 원하는 이미지를 만들 수 있는 방식을 도입하였다. 상기 수학식 1의 공식에서 "Object"의 "weight"를 10으로 설정하고, "Background"의 "weight"를 1로 설정하면 사물의 스타일이 강화된 이미지를 얻을 수 있다. 마찬가지로 "Object"의 "weight"를 "1"로 설정하고, "Background"의 "weight"를 "10"으로 설명하면 배경 스타일이 강화된 이미지를 얻을 수 있다.

도 11은 본 발명에 채용되는 협력적 스타일 트랜스퍼를 이용하여 특정 레이어의 상호 스타일 교환을 통해 새로운 스타일을 생성한 일 예를 나타낸 도면이다.

도 11을 참조하면, 협력적 스타일 트랜스퍼의 실용적인 적용을 위해 본 발명에서는 이중섭의 "흰 소"라는 작품과 고흐의 "별이 빛나는 밤에"라는 작품을 산을 배경으로 한 소의 풍경 사진에 적용시켰다. 즉, (A)와 같이 원본 이미지(소의 풍경 사진)에 마스크 R-CNN을 적용하여 사물 이미지와 배경 이미지를 생성한 후, (B)와 같이 사물 이미지에 스타일 1으로서 이중섭의 "흰 소"라는 작품을 적용하고, 배경 이미지에 스타일 2로서 고흐의 "별이 빛나는 밤에"라는 작품을 적용한 후, 전술한 바와 같이 사물 이미지와 배경 이미지에 서로 다른 협력적 스타일 트랜스퍼를 각각 적용시켜 상호 간의 학습(훈련)을 통해 이질감 및 원본 이미지 훼손(왜곡)을 최소화한 후, 최종적으로 얻은 사물 이미지와 배경 이미지를 결합하였다.

그 결과, (C)와 같이 자연스러운 이미지가 생성되었으며, 이중섭 작품의 질감과 고흐 작품의 질감이 사물과 배경에서 모두 표현되어 있음을 확인할 수 있다. 기존의 작업 방식은 각각의 화가가 각각 사물, 배경의 스타일을 별도로 작업한 후 오려 붙이는 방식으로 비유할 수 있다면, 협력적 스타일 트랜스퍼를 이용한 이와 같은 방식은 마치 두 화가가 미술 작품 작업을 하는 중간 과정에 상대방 작품의 질감을 참조하여 그림에 반영하는 것과 같은 효과를 나타낸다고 유추할 수 있다.

이상의 설명과 같이, 본 발명에 따른 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법은, 협력적 스타일 트랜스퍼라는 새로운 인공 신경망 구조를 도입하여 하나의 이미지에 두 가지의 서로 다른 스타일을 조화롭게 적용함으로써, 서로 다른 스타일을 하나의 이미지에 적용함에 따라 발생하는 이질감 및 원본 이미지의 훼손(왜곡)을 방지할 수 있고, 기존에 존재하지 않던 새로운 스타일의 이미지를 생성할 수 있는 장점이 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100: (본 발명)협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템
110: 입력부 120: 저장부
130: 이미지 합성부 140: 디스플레이부
150: 제어부 160: 유/무선 통신부

Claims

사용자에 의해 입력된 명령과, 사용자에 의해 제공된 원본 이미지를 입력받아 후속 장치로 전달하는 입력부와;
상기 입력부를 통해 입력된 원본 이미지와, 최종 이미지 생성을 위한 재료로서의 다양한 질감의 다수의 이미지와, 최종 이미지를 생성하기까지의 중간 과정에서 생성되는 다양한 변형 이미지를 저장하는 저장부와;
제어부에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 이미지 합성부와;
상기 입력부를 통해 입력되는 원본 이미지와, 제어부 및 상기 이미지 합성부에 의해 원본 이미지를 바탕으로 새로운 스타일의 최종 이미지를 생성하기까지의 각 단계에서의 이미지 처리 과정 및 상태와 최종적으로 생성된 하나의 새로운 스타일의 이미지를 화면에 표시하는 디스플레이부; 및
상기 입력부, 저장부, 이미지 합성부 및 디스플레이부의 상태 체크 및 동작을 제어하며, 상기 입력부를 통해 입력된 원본 이미지를 전달받아 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하고, 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하며, 생성된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지 및 서로 다른 협력적 스타일 트랜스퍼(Collaborative Style Transfer)를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리하는 제어부를 포함하고,
상기 제어부가 서로 다른 협력적 스타일 트랜스퍼를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 협력적 스타일 트랜스퍼를 상호 병렬 연결한 후, 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성하며,
상기 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성함에 있어서, 상기 두 개의 스타일 트랜스퍼 신경망을 학습시키고 이에 대해 역전파(back propogation) 수행을 위하여 전체의 손실(Total Loss)은 다음과 같은 수식 관계로 정의되고,
Total Loss = Object weight * (content weight * content1 loss + style weight * style1 loss) + Background weight * (content weight * content2 loss + style weight * style2 loss)
상기 전체 손실(Total Loss) 수식에서 상기 Content1 loss는 다음과 같은 수식 관계로 정의되며,

상기 Style1 loss는 다음과 같은 수식 관계로 정의되고,

상기 Content2 loss는 다음과 같은 수식 관계로 정의되며,

상기 Style2 loss는 다음과 같은 수식 관계로 정의되는

협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템.
제1항에 있어서,
상기 제어부가 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고, 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템.
제2항에 있어서,
상기 제어부가 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템.
삭제
삭제
제1항에 있어서,
상기 이미지 합성부가 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성함에 있어서, 상기 제어부에 의한 처리 과정을 통해 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템.
제1항에 있어서,
상기 입력부와 디스플레이부는 입력 기능과 표시(출력) 기능을 겸비하는 하나의 일체화된 장치로 구성된 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템.
입력부, 저장부, 이미지 합성부, 디스플레이부 및 제어부를 포함하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템을 기반으로 한 이미지 생성 방법으로서,
a) 사용자에 의해 제공된 원본 이미지를 상기 입력부에 의해 입력받아 사전에 훈련된 소정의 신경망에 입력하는 단계와;
b) 상기 제어부에 의해 상기 소정의 신경망에 입력된 원본 이미지에 영상 분할(segmentation) 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할하는 단계와;
c) 상기 제어부에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성하는 단계와;
d) 상기 제어부에 의해 상기 생성된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 스타일의 이미지를 각각 적용하는 단계와;
e) 상기 제어부에 의해 상기 서로 다른 스타일의 이미지가 각각 적용된 사물 영역 이미지와 배경 영역 이미지에 서로 다른 협력적 스타일 트랜스퍼 (Collaborative Style Transfer)를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리하는 단계; 및
f) 상기 이미지 합성부에 의해 상기 제어부에 의한 처리 과정을 거쳐 각각 획득된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 단계를 포함하고,
상기 단계 e)에서 상기 제어부에 의해 서로 다른 협력적 스타일 트랜스퍼를 각각 적용하여 하나의 원본 이미지에 서로 다른 스타일의 이미지를 적용함에 따른 이질감 및 원본 이미지 왜곡(훼손)이 최소화되도록 처리함에 있어서, 상기 서로 다른 협력적 스타일 트랜스퍼를 상호 병렬 연결한 후, 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성하며,
상기 두 개의 협력적 스타일 트랜스퍼 간에 상호 학습(훈련) 레이어(layer)를 적용하여 특성이 변환된 사물 영역 이미지와 배경 영역 이미지를 각각 생성함에 있어서, 상기 두 개의 스타일 트랜스퍼 신경망을 학습시키고 이에 대해 역전파(back propogation) 수행을 위하여 전체의 손실(Total Loss)은 다음과 같은 수식 관계로 정의되고,
Total Loss = Object weight * (content weight * content1 loss + style weight * style1 loss) + Background weight * (content weight * content2 loss + style weight * style2 loss)
상기 전체 손실(Total Loss) 수식에서 상기 Content1 loss는 다음과 같은 수식 관계로 정의되며,

상기 Style1 loss는 다음과 같은 수식 관계로 정의되고,

상기 Content2 loss는 다음과 같은 수식 관계로 정의되며,

상기 Style2 loss는 다음과 같은 수식 관계로 정의되는

협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법.
제8항에 있어서,
상기 단계 b)에서 상기 제어부에 의해 영상 분할 기술을 적용하여 원본 이미지를 사물 영역과 배경 영역으로 분할함에 있어서, 원본 이미지 내에 복수의 사람과 복수의 사물이 존재할 경우, 먼저 사전 학습된 모델을 이용하여 원본 이미지 내의 복수의 사람 및 사물에 해당하는 영역을 각각 검출하고, 검출된 복수의 사람 영역과 사물 영역을 전체적으로 병합하여 하나의 사물 영역으로 분할하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법.
제9항에 있어서,
상기 단계 c)에서 상기 제어부에 의해 상기 분할된 사물 영역에 해당하는 이미지 한 개와, 배경 영역에 해당하는 이미지 한 개를 각각 생성함에 있어서, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지만 남기고 배경 이미지가 배제된 이미지 한 개와, 원본 이미지에서 상기 병합된 사물의 영역에 해당하는 이미지는 배제되고, 배경 이미지만 남은 이미지 한 개를 생성하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법.
삭제
삭제
제8항에 있어서,
상기 단계 f)에서 상기 이미지 합성부에 의해 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성함에 있어서, 상기 제어부에 의한 처리 과정을 통해 특성이 변환되어 생성된 사물 영역 이미지와 배경 영역 이미지를 합성하여 하나의 새로운 스타일의 최종 이미지를 생성하는 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 방법.