KR20220027565A - 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법 - Google Patents

참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법 Download PDF

Info

Publication number
KR20220027565A
KR20220027565A KR1020200108591A KR20200108591A KR20220027565A KR 20220027565 A KR20220027565 A KR 20220027565A KR 1020200108591 A KR1020200108591 A KR 1020200108591A KR 20200108591 A KR20200108591 A KR 20200108591A KR 20220027565 A KR20220027565 A KR 20220027565A
Authority
KR
South Korea
Prior art keywords
image
domain
style
encoder
decoder
Prior art date
Application number
KR1020200108591A
Other languages
English (en)
Other versions
KR102401985B1 (ko
Inventor
변혜란
홍기범
김명진
전석규
도미래
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200108591A priority Critical patent/KR102401985B1/ko
Publication of KR20220027565A publication Critical patent/KR20220027565A/ko
Application granted granted Critical
Publication of KR102401985B1 publication Critical patent/KR102401985B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예들은 복수의 참고 이미지에 대한 정보량 비율 파라미터를 추출하고 정보량 비율 파라미터에 따라 하나의 학습된 스타일 변환 모델을 이용하여 복수의 도메인에 해당하는 다양한 스타일의 이미지로 변환하는 이미지 스타일 변환 방법 및 장치를 제공한다.

Description

참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법 {MULTIPLE DOMAIN ARBITRARY STYLE TRANSFER WITH SINGLE MODEL AND METHOD THEREOF}
본 발명이 속하는 기술 분야는 학습된 단일 모델을 통해 종합적 스타일 변환이 가능한 이미지 스타일 변환 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
기존의 이미지 스타일 변환 모델은 예술작품 이미지의 스타일을 변환하는 모델과 사진 이미지의 스타일을 변환하는 모델로 각각 나뉘어져 있다. 즉, 각 네트워크에 두 도메인(예술작품 또는 사진)의 이미지가 참고 이미지로 입력되면 한 쪽의 결과만으로 편향되어 생성하게 되는 문제가 있다.
한국공개특허공보 제10-2020-0065433호 (2020.06.09.) 한국등록특허공보 제10-0924689호 (2009.10.27.)
본 발명의 실시예들은 복수의 참고 이미지에 대한 정보량 비율 파라미터를 추출하고 정보량 비율 파라미터에 따라 하나의 학습된 스타일 변환 모델을 이용하여 복수의 도메인에 해당하는 다양한 스타일의 이미지로 변환하는 데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 컴퓨팅 디바이스에 의한 이미지 스타일 변환 방법에 있어서, 제1 도메인 이미지 또는 제2 도메인 이미지에 해당하는 참고 이미지를 입력받고 도메인 판별 모델을 통해 상기 참고 이미지에 대한 정보량 비율 파라미터를 추출하는 단계, 및 상기 참고 이미지와 콘텐츠 이미지를 입력받고 상기 정보량 비율 파라미터에 따라 상기 콘텐츠 이미지에서 보존될 정보량이 조절된 스타일 변환 모델을 통해 상기 콘텐츠 이미지의 스타일을 변환하는 단계를 포함하는 이미지 스타일 변환 방법을 제공한다.
상기 도메인 판별 모델은 상기 제1 도메인 이미지, 상기 제2 도메인 이미지, 및 중간 도메인 이미지를 입력받아 학습되며, 상기 중간 도메인 이미지는 상기 제1 도메인 이미지와 상기 제2 도메인 이미지가 일정 비율로 혼합된 이미지일 수 있다.
상기 도메인 판별 모델은 복수의 레이어가 연결된 학습 네트워크 구조이고, 제1 손실 함수 및 제2 손실 함수로 정의되며, 상기 제1 손실 함수는 제1 도메인 및 제2 도메인을 구분하도록 학습되고, 상기 제2 손실 함수는 중간 도메인을 찾도록 학습될 수 있다.
상기 제1 도메인은 사진 유형에 해당하고, 상기 제2 도메인은 예술작품 유형에 해당하고, 상기 중간 도메인은 카툰 유형에 해당할 수 있다.
상기 스타일 변환 모델은 인코더 및 디코더를 포함하는 학습 네트워크 구조이고, 상기 인코더의 출력이 상기 디코더에 입력되고, 상기 인코더에서 상기 디코더로 원본 이미지의 특징의 고주파수 정보를 전달하고, 상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달할 수 있다.
상기 스타일 변환 모델은 상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달하는 과정에서 상기 정보량 비율 파라미터에 따라 블러링 알고리즘을 가변적으로 적용할 수 있다.
상기 인코더는 제1 인코더, 제2 인코더, 및 제3 인코더를 포함하고, 상기 디코더는 제1 디코더, 제2 디코더, 및 제3 디코더를 포함하고, 상기 제1 인코더의 출력이 상기 제2 인코더에 입력되고, 상기 제2 인코더의 출력이 상기 제3 인코더에 입력되고, 상기 스타일 변환기의 출력이 상기 제3 디코더에 입력되고, 상기 제3 디코더의 출력이 상기 제2 디코더에 입력되고, 상기 제2 디코더의 출력이 상기 제1 인코더에 입력되고, 상기 제1 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제1 디코더로 전달하고, 상기 제2 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제2 디코더로 전달하고, 상기 제3 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제3 디코더로 전달하여, 대응하는 인코더와 디코더 간에 계층적으로 정보를 전달할 수 있다.
상기 고주파수 정보는 입력된 데이터의 특징 및 상기 입력된 데이터의 차원을 감소시키는 풀링을 통해 나온 특징 간의 차이를 이용하여 산출될 수 있다.
상기 스타일 변환 모델은 제3 손실 함수, 제4 손실 함수, 및 제5 손실 함수로 정의되며, 상기 제3 손실 함수는 검증 자료와 비교한 특징의 거리를 감소시키도록 학습되고, 상기 제4 손실 함수는 이미지 내의 특징의 분포가 고르도록 학습되고, 상기 제5 손실 함수는 상기 검증 자료와 비교한 특징의 유사도를 감소시키도록 학습될 수 있다.
본 실시예의 다른 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 이미지 스타일 변환 장치에 있어서, 상기 프로세서는, 제1 도메인 이미지 또는 제2 도메인 이미지에 해당하는 참고 이미지를 입력받고 도메인 판별 모델을 통해 상기 참고 이미지에 대한 정보량 비율 파라미터를 추출하고, 상기 참고 이미지와 콘텐츠 이미지를 입력받고 상기 정보량 비율 파라미터에 따라 상기 콘텐츠 이미지에서 보존될 정보량이 조절된 스타일 변환 모델을 통해 상기 콘텐츠 이미지의 스타일을 변환하는 것을 특징으로 하는 이미지 스타일 변환 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 복수의 참고 이미지에 대한 정보량 비율 파라미터를 추출하고 정보량 비율 파라미터에 따라 하나의 학습된 스타일 변환 모델을 이용하여 복수의 도메인에 해당하는 다양한 스타일의 이미지로 변환할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치가 혼합한 이미지를 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 도메인 판별 모델을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 도메인 판별 모델이 출력한 비율 파라미터를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 스타일 변환 모델을 예시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 스타일 변환 방법을 예시한 흐름도이다.
도 7은 본 발명의 실시예들에 따른 시뮬레이션 결과를 예시한 도면이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치를 예시한 블록도이다.
이미지 스타일 변환 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.
프로세서(120)는 이미지 스타일 변환 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 이미지 스타일 변환 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 이미지 스타일 변환 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(140)를 포함하여 이미지 스타일 변환 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
이미지 스타일 변환 장치(110)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(150)를 통해 이미지 스타일 변환 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
이미지 스타일 변환 장치(110)는 상이한 도메인에 해당하는 복수의 참고 이미지에 대한 정보량 비율 파라미터를 추출하여 하나의 학습된 스타일 변환 모델을 통해 복수의 도메인에 해당하는 다양한 스타일의 이미지로 변환한다.
이미지 스타일 변환 장치(110)는 도메인 판별 모델과 스타일 변환 모델을 포함한다.
이미지 스타일 변환 장치(110)에 적용된 도메인 판별 모델은 제1 도메인 이미지, 제2 도메인 이미지, 및 중간 도메인 이미지를 입력받아 학습되며, 중간 도메인 이미지는 제1 도메인 이미지와 제2 도메인 이미지가 일정 비율로 혼합된 이미지이다.
이미지 스타일 변환 장치(110)에 적용된 스타일 변환 모델은 인코더 및 디코더를 포함하는 학습 네트워크 구조이고, 인코더의 출력이 디코더에 입력된다. 인코더에서 디코더로 원본 이미지의 특징의 고주파수 정보를 전달하고, 인코더에서 디코더로 스타일 변환된 특징의 고주파수 정보를 전달한다.
도 2 내지 도 4를 참조하여 도메인 판별 모델을 설명한다.
도 2는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치가 혼합한 이미지를 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 도메인 판별 모델을 예시한 도면이다.
도메인 판별 모델은 복수의 레이어가 연결된 학습 네트워크 구조이고, 제1 손실 함수 및 제2 손실 함수로 정의된다. 제1 손실 함수는 제1 도메인 및 제2 도메인을 구분하도록 학습되고, 제2 손실 함수는 중간 도메인을 찾도록 학습된다.
도메인 판별 모델은 바이너리 분류자이며 제1 도메인이면 0, 제2 도메인이면 1이 되도록 학습을 진행한다. 예컨대, 사진 유형에 해당하면 0, 예술작품 유형에 해당하면 1이 되도록 학습을 진행할 수 있다.
도메인 판별 모델은 중간 도메인을 고려하도록 설계된다. 예컨대, 카툰 유형은 완전한 예술작품 유형이라고 볼 수 없고, 극사실주의 화풍 또는 예술주의 사진은 실제 사진 또는 예술 작품과는 거리가 멀어지도록 학습할 필요가 있다.
각 도메인에서 선택된 두 유형의 데이터와 중간 도메인을 정의하기 위해 혼합 방식으로 조작된(augmented) 데이터 3개를 미리 학습된 모델에 통과시켜 특징을 추출한다. 미리 학습된 네트워크 모델은 다수의 레이어가 네트워크로 연결되며 히든 레이어를 포함한다. 레이어는 파라미터를 포함할 수 있고, 레이어의 파라미터는 학습가능한 필터 집합을 포함한다. 파라미터는 노드 간의 가중치 및/또는 바이어스를 포함한다.
통과된 특징의 그램 행렬을 구한 후에 [FC(Fully connected) layer - ReLU - FC layer]로 구성된 도메인 지시자를 학습시킨다. 그램 행렬은 여러 레이어의 내적으로 만들어져 각 레이어 간의 상관 관계를 갖는다. 이러한 상관 관계가 이미지가 가진 스타일을 표현할 수 있다.
도메인 판별 모델은 손실 함수를 최소화하도록 학습되며, 도메인 판별 모델의 손실 함수는 제1 손실 함수 및 제2 손실 함수로 정의된다. 제1 도메인 및 제2 도메인을 구분하도록 학습되는 제1 손실 함수(Lclassification)와 중간 도메인을 찾도록 학습되는 제2 손실 함수(LDomain)는 수학식 1과 같이 표현된다.
Figure pat00001
g()는 gram matrix를, f는 pretrained VGG-19를 거쳐나온 특징을 의미한다. Z 는 mix-up의 정도를 의미한다. p는 확률이고, yphoto는 사진 도메인에 대한 검증 자료이고, yart는 예술작품 도메인에 대한 검증 자료이다.
학습시킨 도메인 지시자를 활용해 참고 이미지가 사진인지 예술작품인지 여부를 값으로 추출하게 된다.
도 4는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 도메인 판별 모델이 출력한 비율 파라미터를 예시한 도면이다.
제1 도메인은 사진 유형에 해당하고, 제2 도메인은 예술작품 유형에 해당하고, 중간 도메인은 카툰 유형에 해당할 수 있다. 참고 이미지의 도메인을 자동으로 판별하여서 알파 값을 추출한다.
0에 가까울수록 사진 유형에 해당하고, 1에 가까울수록 예술작품 유형에 해당한다. 자동으로 구해진 알파 값으로 스타일 변환 조절이 가능하다. 즉, 기존 모델들의 한계점을 보완해서 하나의 모델로 여러 도메인 스타일 변환을 진행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이미지 스타일 변환 장치의 스타일 변환 모델을 예시한 도면이다.
스타일 변환 모델은 인코더 및 디코더를 포함하는 학습 네트워크 구조이고, 인코더의 출력이 디코더에 입력된다. 인코더에서 디코더로 원본 이미지의 특징의 고주파수 정보를 전달하고, 인코더에서 디코더로 스타일 변환된 특징의 고주파수 정보를 전달한다.
인코더는 제1 인코더, 제2 인코더, 및 제3 인코더를 포함하고, 디코더는 제1 디코더, 제2 디코더, 및 제3 디코더를 포함할 수 있다. 디코더는 WCT(Whitening and Coloring Transforms 또는 Wavelet Corrected Transforms) 모듈을 포함할 수 있다.
제1 인코더의 출력이 제2 인코더에 입력되고, 제2 인코더의 출력이 제3 인코더에 입력되고, 스타일 변환기의 출력이 제3 디코더에 입력되고, 제3 디코더의 출력이 제2 디코더에 입력되고, 제2 디코더의 출력이 제1 인코더에 입력될 수 있다.
제1 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제1 디코더로 전달하고, 제2 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 제2 디코더로 전달하고, 제3 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 제3 디코더로 전달하여, 대응하는 인코더와 디코더 간에 계층적으로 정보를 전달할 수 있다.
스타일 변환 모델을 통해 스타일 변환된 출력의 스타일이 사진인지 예술작품인지의 차이는 생성 과정에서 원본 이미지(Content Image)의 정보량이 얼마나 많이 보존되면서 디코더 부분에 넘겨지는 차이에 의해 결정된다. 미리 학습된 도메인 판별 모델은 원본 이미지(Content Image)의 정보량을 얼마나 보존할지에 대한 양을 0과 1사이로 조절한다.
보존되는 정보는 전체 정보가 아닌 에지 등과 같은 고 주파수 정보만을 보존시켜서 넘겨준다. 고 주파수 정보는 원본 특징과 평균 풀링을 통해 나온 특징의 차이를 통해 구할 수 있다.
스타일 변환 모델에서 중간에 있는 3개의 파트가 각각 원본 이미지의 고 주파수 정보를 전달해주는 부분이다. 그러나 스타일 변환이 이루어지지 않는 원본 이미지의 고 주파수 정보를 전달하면 최종 결과물이 다소 어색해서 스타일 변환이 이루어진 특징의 고 주파수 정보를 전달하도록 설계한다.
예술적인 출력이 나오려면 고 주파수 정보를 최대한 손실시켜야 추상적인 결과를 얻을 수 있으므로, 블러링(예컨대, 가우시안 블러링)을 활용할 수 있다.
최종적으로 참고 이미지가 사진 유형이면 블러링의 커널 사이즈가 최소치(예컨대, 1로 설정)가 되어서 정보 손실 없이 고 주파수 정보를 디코더롤 넘겨줄 수 있고, 예술작품 유형이면 블러링의 커널 사이즈가 최대치(예컨대, 8로 설정)가 되어서 고 주파수 정보가 많이 손실된 상태로 디코더에 넘어가게 된다.
학습은 복원을 수행하는 방식으로 진행한다. 즉, 특징으로부터 RGB 이미지로 매핑하는 디코더를 학습한다.
스타일 변환 모델의 손실 함수는 제3 손실 함수(Lperceptual), 제4 손실 함수(LTV), 및 제5 손실 함수(LCX)로 정의되며, 수학식 2와 같이 표현된다.
Figure pat00002
제3 손실 함수는 검증 자료와 비교한 특징의 거리를 감소시키도록 학습된다. 제3 손실 함수는 특징 간의 L2 거리가 줄어들도록 설정할 수 있다.
제4 손실 함수는 이미지 내의 특징의 분포가 고르도록 학습된다. 제4 손실 함수는 이미지가 자연스럽도록 한 이미지 내의 특징의 분포가 고르도록 설정한다.
제5 손실 함수는 검증 자료와 비교한 특징의 유사도를 감소시키도록 학습된다. 제5 손실 함수에서 CX는 특징 간의 코사인 유사도가 줄어들도록 설정할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 이미지 스타일 변환 방법을 예시한 흐름도이다. 이미지 스타일 변환 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있으며, 이미지 스타일 변환 장치와 동일한 방식으로 동작한다.
단계 S210에서 프로세서는 제1 도메인 이미지 또는 제2 도메인 이미지에 해당하는 참고 이미지를 입력받고 도메인 판별 모델을 통해 참고 이미지에 대한 정보량 비율 파라미터를 추출한다.
단계 S220에서 프로세서는 참고 이미지와 콘텐츠 이미지를 입력받고 정보량 비율 파라미터에 따라 콘텐츠 이미지에서 보존될 정보량이 조절된 스타일 변환 모델을 통해 콘텐츠 이미지의 스타일을 변환한다.
도 7은 본 발명의 실시예들에 따른 시뮬레이션 결과를 예시한 도면이다.
도 7에 도시된 바와 같이 본 실시예에 따른 이미지 스타일 변환 장치가 변환한 이미지는 하나의 스타일 변환 모델을 통해서 참고 이미지가 예술작품이면 예술작품 스타일이 적용된 이미지를 올바르게 출력하고, 참고 이미지가 사진이면 사진 스타일이 적용된 이미지를 올바르게 출력한다. 즉, 두 도메인(예술작품 또는 사진)에 맞게 한 쪽의 결과만으로 편향되지 않고 스타일 변환을 올바르게 수행하는 것을 알 수 있다.
이미지 스타일 변환 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
이미지 스타일 변환 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컴퓨팅 디바이스에 의한 이미지 스타일 변환 방법에 있어서,
    제1 도메인 이미지 또는 제2 도메인 이미지에 해당하는 참고 이미지를 입력받고 도메인 판별 모델을 통해 상기 참고 이미지에 대한 정보량 비율 파라미터를 추출하는 단계; 및
    상기 참고 이미지와 콘텐츠 이미지를 입력받고 상기 정보량 비율 파라미터에 따라 상기 콘텐츠 이미지에서 보존될 정보량이 조절된 스타일 변환 모델을 통해 상기 콘텐츠 이미지의 스타일을 변환하는 단계
    를 포함하는 이미지 스타일 변환 방법.
  2. 제1항에 있어서,
    상기 도메인 판별 모델은 상기 제1 도메인 이미지, 상기 제2 도메인 이미지, 및 중간 도메인 이미지를 입력받아 학습되며, 상기 중간 도메인 이미지는 상기 제1 도메인 이미지와 상기 제2 도메인 이미지가 일정 비율로 혼합된 이미지인 것을 특징으로 하는 이미지 스타일 변환 방법.
  3. 제2항에 있어서,
    상기 도메인 판별 모델은 복수의 레이어가 연결된 학습 네트워크 구조이고, 제1 손실 함수 및 제2 손실 함수로 정의되며,
    상기 제1 손실 함수는 제1 도메인 및 제2 도메인을 구분하도록 학습되고,
    상기 제2 손실 함수는 중간 도메인을 찾도록 학습되는 것을 특징으로 하는 이미지 스타일 변환 방법.
  4. 제3항에 있어서,
    상기 제1 도메인은 사진 유형에 해당하고, 상기 제2 도메인은 예술작품 유형에 해당하고, 상기 중간 도메인은 카툰 유형에 해당하는 것을 특징으로 하는 이미지 스타일 변환 방법.
  5. 제1항에 있어서,
    상기 스타일 변환 모델은 인코더 및 디코더를 포함하는 학습 네트워크 구조이고, 상기 인코더의 출력이 상기 디코더에 입력되고,
    상기 인코더에서 상기 디코더로 원본 이미지의 특징의 고주파수 정보를 전달하고,
    상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달하는 것을 특징으로 하는 이미지 스타일 변환 방법.
  6. 제5항에 있어서,
    상기 스타일 변환 모델은 상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달하는 과정에서 상기 정보량 비율 파라미터에 따라 블러링 알고리즘을 가변적으로 적용하는 것을 특징으로 하는 이미지 스타일 변환 방법.
  7. 제5항에 있어서,
    상기 인코더는 제1 인코더, 제2 인코더, 및 제3 인코더를 포함하고,
    상기 디코더는 제1 디코더, 제2 디코더, 및 제3 디코더를 포함하고,
    상기 제1 인코더의 출력이 상기 제2 인코더에 입력되고, 상기 제2 인코더의 출력이 상기 제3 인코더에 입력되고,
    상기 스타일 변환기의 출력이 상기 제3 디코더에 입력되고, 상기 제3 디코더의 출력이 상기 제2 디코더에 입력되고, 상기 제2 디코더의 출력이 상기 제1 인코더에 입력되고,
    상기 제1 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제1 디코더로 전달하고,
    상기 제2 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제2 디코더로 전달하고,
    상기 제3 인코더가 추출한 원본 이미지의 특징의 고주파수 정보 및 스타일 변환된 특징의 고주파수 정보를 상기 제3 디코더로 전달하여,
    대응하는 인코더와 디코더 간에 계층적으로 정보를 전달하는 것을 특징으로 하는 이미지 스타일 변환 방법.
  8. 제5항에 있어서,
    상기 고주파수 정보는 입력된 데이터의 특징 및 상기 입력된 데이터의 차원을 감소시키는 풀링을 통해 나온 특징 간의 차이를 이용하여 산출되는 것을 특징으로 하는 이미지 스타일 변환 방법.
  9. 제5항에 있어서,
    상기 스타일 변환 모델은 제3 손실 함수, 제4 손실 함수, 및 제5 손실 함수로 정의되며,
    상기 제3 손실 함수는 검증 자료와 비교한 특징의 거리를 감소시키도록 학습되고,
    상기 제4 손실 함수는 이미지 내의 특징의 분포가 고르도록 학습되고,
    상기 제5 손실 함수는 상기 검증 자료와 비교한 특징의 유사도를 감소시키도록 학습되는 것을 특징으로 하는 이미지 스타일 변환 방법.
  10. 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 이미지 스타일 변환 장치에 있어서,
    상기 프로세서는,
    제1 도메인 이미지 또는 제2 도메인 이미지에 해당하는 참고 이미지를 입력받고 도메인 판별 모델을 통해 상기 참고 이미지에 대한 정보량 비율 파라미터를 추출하고,
    상기 참고 이미지와 콘텐츠 이미지를 입력받고 상기 정보량 비율 파라미터에 따라 상기 콘텐츠 이미지에서 보존될 정보량이 조절된 스타일 변환 모델을 통해 상기 콘텐츠 이미지의 스타일을 변환하는 것을 특징으로 하는 이미지 스타일 변환 장치.
  11. 제10항에 있어서,
    상기 도메인 판별 모델은 상기 제1 도메인 이미지, 상기 제2 도메인 이미지, 및 중간 도메인 이미지를 입력받아 학습되며, 상기 중간 도메인 이미지는 상기 제1 도메인 이미지와 상기 제2 도메인 이미지가 일정 비율로 혼합된 이미지인 것을 특징으로 하는 이미지 스타일 변환 장치.
  12. 제11항에 있어서,
    상기 도메인 판별 모델은 복수의 레이어가 연결된 학습 네트워크 구조이고, 제1 손실 함수 및 제2 손실 함수로 정의되며,
    상기 제1 손실 함수는 제1 도메인 및 제2 도메인을 구분하도록 학습되고, 상기 제2 손실 함수는 중간 도메인을 찾도록 학습되는 것을 특징으로 하는 이미지 스타일 변환 장치.
  13. 제10항에 있어서,
    상기 스타일 변환 모델은 인코더 및 디코더를 포함하는 학습 네트워크 구조이고, 상기 인코더의 출력이 상기 디코더에 입력되고,
    상기 인코더에서 상기 디코더로 원본 이미지의 특징의 고주파수 정보를 전달하고,
    상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달하는 것을 특징으로 하는 이미지 스타일 변환 장치.
  14. 제13항에 있어서,
    상기 스타일 변환 모델은 상기 인코더에서 상기 디코더로 스타일 변환된 특징의 고주파수 정보를 전달하는 과정에서 상기 정보량 비율 파라미터에 따라 블러링 알고리즘을 가변적으로 적용하는 것을 특징으로 하는 이미지 스타일 변환 장치.
  15. 제13항에 있어서,
    상기 스타일 변환 모델은 제3 손실 함수, 제4 손실 함수, 및 제5 손실 함수로 정의되며,
    상기 제3 손실 함수는 검증 자료와 비교한 특징의 거리를 감소시키도록 학습되고,
    상기 제4 손실 함수는 이미지 내의 특징의 분포가 고르도록 학습되고,
    상기 제5 손실 함수는 상기 검증 자료와 비교한 특징의 유사도를 감소시키도록 학습되는 것을 특징으로 하는 이미지 스타일 변환 장치.
KR1020200108591A 2020-08-27 2020-08-27 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법 KR102401985B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108591A KR102401985B1 (ko) 2020-08-27 2020-08-27 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108591A KR102401985B1 (ko) 2020-08-27 2020-08-27 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220027565A true KR20220027565A (ko) 2022-03-08
KR102401985B1 KR102401985B1 (ko) 2022-05-24

Family

ID=80812465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108591A KR102401985B1 (ko) 2020-08-27 2020-08-27 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102401985B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926568A (zh) * 2022-05-30 2022-08-19 京东科技信息技术有限公司 模型训练方法、图像生成方法和装置
KR102529214B1 (ko) * 2023-02-04 2023-05-08 주식회사 이너버즈 페이스 스와핑 딥러닝 시스템을 학습하는 방법 및 장치
KR102543451B1 (ko) * 2022-04-29 2023-06-13 주식회사 이너버즈 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법
KR20230137075A (ko) * 2022-03-21 2023-10-04 한국기술교육대학교 산학협력단 스타일 전이를 이용한 실시간 작품 생성 시스템 및 그 방법
WO2023195661A1 (ko) * 2022-04-04 2023-10-12 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924689B1 (ko) 2007-12-17 2009-11-03 한국전자통신연구원 모바일 기기의 이미지 변환 장치 및 방법
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
JP2019101789A (ja) * 2017-12-04 2019-06-24 日本電信電話株式会社 モデル学習装置、モデル学習方法、および、予測システム
KR20200065433A (ko) 2018-11-30 2020-06-09 주식회사 인공지능연구원 스타일 변환 모델 및 포토 몽타주 기반 합성 이미지의 스타일 변환 장치
JP2020112907A (ja) * 2019-01-09 2020-07-27 凸版印刷株式会社 画像スタイル変換装置、画像スタイル変換方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100924689B1 (ko) 2007-12-17 2009-11-03 한국전자통신연구원 모바일 기기의 이미지 변환 장치 및 방법
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
JP2019101789A (ja) * 2017-12-04 2019-06-24 日本電信電話株式会社 モデル学習装置、モデル学習方法、および、予測システム
KR20200065433A (ko) 2018-11-30 2020-06-09 주식회사 인공지능연구원 스타일 변환 모델 및 포토 몽타주 기반 합성 이미지의 스타일 변환 장치
JP2020112907A (ja) * 2019-01-09 2020-07-27 凸版印刷株式会社 画像スタイル変換装置、画像スタイル変換方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230137075A (ko) * 2022-03-21 2023-10-04 한국기술교육대학교 산학협력단 스타일 전이를 이용한 실시간 작품 생성 시스템 및 그 방법
WO2023195661A1 (ko) * 2022-04-04 2023-10-12 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법
KR102543451B1 (ko) * 2022-04-29 2023-06-13 주식회사 이너버즈 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법
KR102562386B1 (ko) * 2022-04-29 2023-08-01 주식회사 이너버즈 이미지 합성 시스템의 학습 방법
KR102562387B1 (ko) * 2022-04-29 2023-08-01 주식회사 이너버즈 이미지의 특징 추출 및 합성 시스템의 학습 방법
CN114926568A (zh) * 2022-05-30 2022-08-19 京东科技信息技术有限公司 模型训练方法、图像生成方法和装置
KR102529214B1 (ko) * 2023-02-04 2023-05-08 주식회사 이너버즈 페이스 스와핑 딥러닝 시스템을 학습하는 방법 및 장치

Also Published As

Publication number Publication date
KR102401985B1 (ko) 2022-05-24

Similar Documents

Publication Publication Date Title
KR102401985B1 (ko) 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법
JP7002404B2 (ja) データから潜在因子を発見するニューラルネットワーク
US20230177340A1 (en) Apparatus and method with neural network implementation of domain adaptation
US20210319240A1 (en) Generator exploitation for deepfake detection
KR102215101B1 (ko) 이미지로부터 획득한 객체의 특징을 이용한 포인트 클라우드 생성 장치 및 방법
EP4020317A1 (en) Methods and apparatus for high-fidelity vision tasks using deep neural networks
KR20210032945A (ko) 신호 변환 시스템 및 신호 변환 방법
KR20210034462A (ko) 픽셀 별 주석을 생성하는 생성적 적대 신경망(gan)을 학습시키는 방법
CA3090504A1 (en) Systems and methods for sensor-independent illuminant determination
KR102611121B1 (ko) 이미지 분류 모델 생성 방법 및 장치
KR102149184B1 (ko) 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법
CN112418345B (zh) 细粒度小目标快速识别的方法和装置
KR102464359B1 (ko) 합성 도메인에서 실제 도메인으로 적응하기 위한 이미지 변환 장치 및 방법
CN113239977A (zh) 多域图像转换模型的训练方法、装置、设备及存储介质
KR20230096901A (ko) 자율 주행 차량의 학습을 위한 데이터 증식 방법 및 그를 위한 장치
CN116796287A (zh) 图文理解模型的预训练方法、装置、设备及存储介质
CN113963428B (zh) 模型训练方法、遮挡检测方法、系统、电子设备及介质
KR102469710B1 (ko) 인공신경망을 학습시키기 위한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법
CN116109868A (zh) 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法
CN113378715B (zh) 一种基于彩色人脸图像的活体检测方法及相关设备
US11423308B1 (en) Classification for image creation
KR20210085403A (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
KR102416219B1 (ko) 보호 속성 표현 학습을 이용한 공정한 이미지 변환 장치 및 방법
WO2022133814A1 (en) Omni-scale convolution for convolutional neural networks
KR102467907B1 (ko) 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant