KR102562387B1 - 이미지의 특징 추출 및 합성 시스템의 학습 방법 - Google Patents

이미지의 특징 추출 및 합성 시스템의 학습 방법 Download PDF

Info

Publication number
KR102562387B1
KR102562387B1 KR1020230073819A KR20230073819A KR102562387B1 KR 102562387 B1 KR102562387 B1 KR 102562387B1 KR 1020230073819 A KR1020230073819 A KR 1020230073819A KR 20230073819 A KR20230073819 A KR 20230073819A KR 102562387 B1 KR102562387 B1 KR 102562387B1
Authority
KR
South Korea
Prior art keywords
learning
image
sketch
encoder
geometry
Prior art date
Application number
KR1020230073819A
Other languages
English (en)
Inventor
류원종
임정혁
정정영
김준혁
김활
Original Assignee
주식회사 이너버즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이너버즈 filed Critical 주식회사 이너버즈
Priority to KR1020230073819A priority Critical patent/KR102562387B1/ko
Application granted granted Critical
Publication of KR102562387B1 publication Critical patent/KR102562387B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템의 학습 방법에 대한 것으로, 제1 이미지(10)로부터 스타일 벡터(210)를 추출하는 스타일 인코더(200), 제2 이미지(20)로부터 지오메트리 벡터(110)를 추출하는 지오메트리 인코더(100) 및 상기 지오메트리 벡터(110)와 상기 스타일 벡터(210)를 합성하여 합성 이미지(310)를 생성하는 합성 디코더(300)를 포함하는 이미지 합성 시스템의 학습 방법에 있어서, 상기 지오메트리 인코더(100)는, (a) 스케치 인코더(400)가 상기 제1 이미지(10)로부터 추출한 제1 스케치(11)로부터 제1 학습용 지오메트리 벡터(410)를 생성하는 단계; 및 (b) 상기 제1 학습용 지오메트리 벡터(410)와 상기 지오메트리 벡터(110)의 오차인 제1 오차(1)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;를 통해 학습되고, 상기 (a) 단계는, (a-1) 스케치 디코더(500)가 상기 제1 학습용 지오메트리 백터로부터 제1 학습용 변환 스케치(411)를 생성하는 단계; 및 (a-2) 스케치 디코더(500)가 상기 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 단계;를 포함하고, 상기 (b) 단계는, (b-1) 상기 제1 학습용 변환 스케치(411)와 상기 제2 학습용 변환 스케치(421)의 오차인 제2 오차(2)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;를 포함하며, 상기 스타일 인코더(200) 및 상기 합성 디코더(300)는,(f) 상기 스타일 인코더(200)가 상기 합성 이미지로부터 제1 학습용 스타일 벡터(220)를 생성하는 단계;, (g) 상기 지오메트리 인코더(100)가 상기 제1 이미지(10)로부터 제3 학습용 지오메트리 벡터(230)를 생성하는 단계;, (h) 상기 합성 디코더(300)가 상기 제1 학습용 스타일 벡터(220)와 상기 제3 학습용 지오메트리 벡터(230)를 합성하여 제1 학습용 합성 이미지(211)를 생성하는 단계; 및 (i) 상기 제1 학습용 합성 이미지(211)와 상기 제1 이미지(10)의 오차인 제4 오차(4)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 통해 학습되고, 상기 지오메트리 인코더(100)는 특징값 오차를 감소시키는 방향으로도 학습되며, 상기 특징값 오차는 상기 (a-1) 단계에서 상기 스케치 디코더(500)가 상기 제1 학습용 지오메트리 벡터(410)로부터 제1 학습용 변환 스케치(411)를 생성하는 과정에서 연속적으로 추출되는 특징값(feature map)과 상기 (a-2) 단계에서 상기 스케치 디코더(500)가 상기 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 과정에서 연속적으로 추출되는 특징값(feature map)의 오차값으로 정의되고, 상기 (a)단계 및 상기 (b)단계를 반복 수행하여 상기 지오메트리 인코더(100)를 학습하며, 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)는 (c) 상기 스케치 인코더(400)가 인물 이미지로부터 추출한 인물 스케치(12)로부터 제2 학습용 지오메트리 벡터(420)를 생성하는 단계;, (d) 상기 스케치 디코더(500)가 상기 제2 학습용 지오메트리 벡터(420)로부터 제3 학습용 변환 스케치(431)를 생성하는 단계; 및 (e) 상기 인물 스케치와 상기 제3 학습용 변환 스케치(431)의 오차인 제3 오차(3)를 줄이는 방향으로 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)를 학습하는 단계;를 포함하는 방법으로 학습되는 구성으로 이루어진다.

Description

이미지의 특징 추출 및 합성 시스템의 학습 방법 {Learning method for image feature extraction and synthesis system}
본 발명은 딥 러닝을 이용하여 복수의 이미지의 특징들을 각각 추출하여 새로운 합성 이미지를 생성하는 시스템을 이루는 구성들을 학습하는 방법에 대한 것이다.
특허문헌 001은 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 대한 것으로, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 기술을 제시한다.
특허문헌 002는 이미지 보정방법 및 보정장치가 개시된다. 이미지 보정방법은, 필터 적용을 통한 이미지 보정, 필터 정보들의 저장, 필터 정보들을 이용한 심층 신경망 모델의 재훈련 및 심층 신경망 모델을 이용한 필터 정보 출력을 포함한다. 본 발명에 따르면, 5G 네트워크를 통한 인공지능(AI) 모델을 이용한 이미지 분석에 기반하여 이미지 보정이 가능한 기술을 제시한다.
특허문헌 003은 이미지 자동 생성 장치 및 생성 방법에 대한 것으로, 이미지 자동 생성 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하고, 상기 생성한 제2 이미지에 서 미리 설정된 파라미터를 추출하고 상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 기술을 제시한다.
특허문헌 004는 이미지를 합성하는 인공 지능 장치 및 그 방법에 대한 것으로, 이미지 데이터를 저장하는 메모리, 이미지 데이터로부터 인물 객체 이미지 및 사물 객체 이미지를 획득하고, 인물 객체 이미지와 매칭되는 3차원 인물 모델을 생성하고, 이미지 데이터의 좌표 정보를 추출하고, 좌표정보에 매칭되는 거리뷰 데이터를 획득하고, 거리뷰 데이터로부터 사물 객체 이미지의 사물 객체가 촬영된 기준 객체 이미지를 추출하고, 인물 객체 이미지 및 사물 객체 이미지의 배치 정보를 획득하고, 배치 정보 및 기준 객체 이미지를 이용하여 3차원 인물 모델을 거리뷰 데이터의 거리뷰 이미지에 배치하는 프로세서를 포함하는 인공지능 장치를 제시한다.
KR 10-2022-0011100 (공개일자:2022년 01월 27일) KR 10-2021-0054907 (공개일자:2021년 05월 14일) KR 10-2021-0062274 (공개일자:2021년 05월 31일) KR 10-2021-0078813 (공개일자:2021년 06월 29일)
본 발명은 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법에 대한 것으로, 복수 이미지의 각 특성들을 추출하여 새로운 합성 이미지를 생성하는 시스템을 제공하고자 한다.
또한, 본 발명의 시스템의 각각의 구성을 순차대로 학습함으로써, 보다 효율적인 학습 방법을 제공하여 시스템의 완성도를 확보하고자 한다.
또한, 본 발명의 각 구성인 복수의 인코더와 디코더들을 학습함에 있어, 학습 인물 이미지의 지오메트리 정보와 스타일 정보를 독립적으로 추출하는 방법을 수행하여 본 발명의 목적 및 효과를 확보하고자 한다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지의 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템에 대한 발명이며, 제1 이미지로부터 스타일 벡터를 추출하는 스타일 인코더;, 제2 이미지로부터 지오메트리 벡터를 추출하는 지오메트리 인코더; 및 상기 지오메트리 벡터와 상기 스타일 벡터를 합성하여 합성 이미지를 생성하는 합성 디코더;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 앞에서 제시한 발명을 학습하는 방법에 대한 발명이며, 상기 지오메트리 인코더는 (a) 스케치 인코더가 상기 제1 이미지로부터 추출한 제1 스케치로부터 제1 학습용 지오메트리 벡터를 생성하는 단계; 및 (b) 상기 제1 학습용 지오메트리 벡터와 상기 지오메트리 벡터의 오차인 제1 오차를 감소시키는 방향으로 상기 지오메트리 인코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 (a) 단계는 (a-1) 스케치 디코더가 상기 제1 학습용 지오메트리 백터로부터 제1 학습용 변환 스케치를 생성하는 단계;, (a-2) 스케치 디코더가 상기 지오메트리 벡터로부터 제2 학습용 변환 스케치를 생성하는 단계;를 포함하고, 상기 (b) 단계는 (b-1) 상기 제1 학습용 변환 스케치와 상기 제2 학습용 변환 스케치의 오차인 제2 오차 감소시키는 방향으로 상기 지오메트리 인코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 (a)단계 및 상기 (b)단계를 반복 수행하여 상기 지오메트리 인코더를 학습하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 스케치 인코더 및 상기 스케치 디코더는 (c) 상기 스케치 인코더가 인물 이미지로부터 추출한 인물 스케치(12)로부터 제2 학습용 지오메트리 벡터를 생성하는 단계;, (d) 상기 스케치 디코더가 상기 제2 학습용 지오메트리 벡터로부터 제3 학습용 변환 스케치를 생성하는 단계; 및 (e) 상기 인물 스케치와 상기 제3 학습용 변환 스케치의 오차인 제3 오차(3)를 줄이는 방향으로 상기 스케치 인코더 및 상기 스케치 디코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 스타일 인코더 및 상기 합성 디코더는 (f) 상기 스타일 인코더가 상기 합성 이미지로부터 제1 학습용 스타일 벡터를 생성하는 단계;, (g) 상기 지오메트리 인코더가 상기 제1 이미지로부터 제3 학습용 지오메트리 벡터를 생성하는 단계;, (h) 상기 합성 디코더가 상기 제1 학습용 스타일 벡터와 상기 제3 학습용 지오메트리 벡터를 합성하여 제1 학습용 합성 이미지를 생성하는 단계; 및 (i) 상기 제1 학습용 합성 이미지와 상기 제1 이미지의 오차인 제4 오차를 줄이는 방향으로 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 (f)단계 및 상기 (i)단계를 반복 수행하여 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 스타일 인코더 및 상기 합성 디코더는 (j) 상기 지오메트리 인코더가 상기 합성 이미지로부터 제4 학습용 지오메트리 벡터를 생성하는 단계;, (k) 상기 스타일 인코더가 상기 제2 이미지로부터 제2 학습용 스타일 벡터를 생성하는 단계;, (l) 상기 합성 디코더가 상기 제4 학습용 지오메트리 벡터와 상기 제2 학습용 스타일 벡터를 합성하여 제2 학습용 합성 이미지를 생성하는 단계; 및 (m) 상기 제2 학습용 합성 이미지와 상기 제2 이미지의 오차인 제5 오차를 줄이는 방향으로 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 (j)단계 및 상기 (m)단계를 반복 수행하여 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 스타일 인코더 및 상기 합성 디코더는 (n) 상기 지오메트리 인코더가 상기 합성 이미지로부터 제4 학습용 지오메트리 벡터를 생성하는 단계;, (o) 상기 스타일 인코더가 상기 제2 이미지로부터 제2 학습용 스타일 벡터를 생성하는 단계;, (p) 상기 합성 디코더가 상기 제4 학습용 지오메트리 벡터와 상기 제2 학습용 스타일 벡터를 합성하여 제2 학습용 합성 이미지를 생성하는 단계; 및 (q) 상기 제2 학습용 합성 이미지와 상기 제2 이미지의 오차인 제5 오차를 줄이는 방향으로 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥 러닝을 이용한 이미지 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템의 학습 방법에 대한 발명이며, 앞에서 제시한 학습 방법에 있어서, 상기 스타일 인코더 및 상기 합성 디코더는 (r) 상기 제1 이미지 및 제2 이미지를 동일한 이미지인 제3 이미지로 설정하는 단계;, (s) 상기 스타일 인코더가 상기 제3 이미지로부터 제3 학습용 스타일 벡터를 생성하는 단계;, (t) 상기 지오메트리 인코더가 상기 제3 이미지로부터 제5 학습용 지오메트리 벡터를 생성하는 단계;, (u) 상기 합성 디코더가 상기 제3 학습용 스타일 벡터와 상기 제5 학습용 지오메트리 벡터를 합성하여 제3 학습용 합성 이미지를 생성하는 단계; 및 (v) 상기 제3 학습용 합성 이미지와 상기 제3 이미지의 오차인 제6 오차를 줄이는 방향으로 상기 스타일 인코더 및 상기 합성 디코더를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명은 복수의 이미지 특징을 추출하여 하나의 합성 이미지를 생성할 수 있는 시스템과 이의 학습방법을 제공하여 이용자가 원하는 특징들을 내포하고 있는 가상의 이미지를 생성할 수 있다.
또한, 본 발명은 이미지 합성 시스템의 구성들을 순차적으로 학습하는 방법을 제시하여 효율적인 학습 방법을 제공할 수 있다.
또한, 합성 이미지를 생성하는 과정에서 이용자의 인위적인 보정을 통해 새로운 합성 이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수 인물 이미지의 합성예들을 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 인물 이미지와 그로부터 추출한 인물 스케치의 예시도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 합성 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 지오메트리 인코더를 학습 개념도이다.
도 5는 본 발명의 일 실시예에 따른 스케치 인코더 및 스케치 디코더의 학습 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 스타일 인코더 및 합성 디코더의 학습 개념도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 합성 시스템 및 학습 방법에 이용될 수 있는 컴퓨터 장치의 구성 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "통신", "통신망" 및 "네트워크"는 동일한 의미로 사용될 수 있다. 상기 세 용어 들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거 리 및 광역 데이터 송수신망을 포함할 수 있다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
(실시예 1-1) 본 발명은 딥 러닝을 이용한 이미지의 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템에 대한 발명이며, 구체적으로 제1 이미지(10)로부터 스타일 벡터(210)를 추출하는 스타일 인코더(200);, 제2 이미지(20)로부터 지오메트리 벡터(110)를 추출하는 지오메트리 인코더(100);, 상기 지오메트리 벡터(110)와 상기 스타일 벡터(210)를 합성하여 합성 이미지(310)를 생성하는 합성 디코더(300);를 포함한다.
도3을 참조하면, 본 발명은 딥 러닝을 이용하여 복수의 이미지들의 특징을 추출하고 그 특징들을 합성하여 가상의 합성 이미지를 생성하는 이미지 합성 시스템에 대한 발명일 수 있다. 본 발명은 지오메트리 인코더(100), 스타일 인코더(200), 합성 디코더(300)를 포함할 수 있다.
지오메트리 인코더(100)는 인물의 이미지인 제2 이미지(20)로부터 컬러가 제외된 도 2와 같은 외관 스케치 정보가 포함되어 있는 지오메트리 벡터(110)를 추출하는 구성일 수 있다.
스타일 인코더(200)는 제1 이미지(10)와는 다른 인물의 이미지인 제2 이미지(20)로부터 스타일, 컬러 등의 정보가 포함되어 있는 스타일 벡터(210)를 추출하는 구성일 수 있다.
합성 디코더(300)는 지오메트리 벡터(110)와 스타일 벡터를 합성하여 제1 이미지(10)의 스타일, 컬러 정보와 제2 이미지(20)의 지오메트리 정보 또는 스케치 정보가 합성된 새로운 인물의 이미지를 생성하는 구성일 수 있다.
본 발명은 위와 같이 서로 다른 두 이미지에서 각각 정보 일부를 추출하여 이들을 합성함으로써 새로운 이미지를 생성하는 시스템에 대한 것일 수 있다.
또한, 본 발명의 지오메트리 인코더(100), 스타일 인코더(200), 합성 디코더(300)는 후술하는 바와 같은 학습 방법에 의하여 학습되어 질 수 있다. 후술하는 학습방법에 의해서 본 발명을 이루는 각각의 구성들은 각각의 이미지로부터 원하는 정보들만을 추출하여 사용자의 의도에 맞게 새로운 이미지를 생성하는 구성조합으로 이루어지게 된다.
또한, 본 발명은 후술하는 학습 방법에 의해 학습될 수 있는데, 학습의 핵심적인 특징 중 하나는 인물 이미지로부터 지오메트리 정보와 스타일 정보를 추출함에 있어, 서로의 영향을 배재하여 독립적으로 추출하는 것일 수 있다. 이를 통해 추출 및 합성의 예측 가능성을 확보할 수 있다.
(실시예 2-1) 실시예 1-1의 이미지 합성 시스템의 학습 방법에 대한 것으로, 상기 지오메트리 인코더(100)는 (a) 스케치 인코더(400)가 상기 제1 이미지(10)로부터 추출한 제1 스케치(11)로부터 제1 학습용 지오메트리 벡터(410)를 생성하는 단계;, (b) 상기 제1 학습용 지오메트리 벡터(410)와 상기 지오메트리 벡터(110)의 오차인 제1 오차(1)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;, 를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 2-2) 실시예 2-1에 있어서, 상기 (a)단계 및 상기 (b)단계를 반복 수행하여 상기 지오메트리 인코더(100)를 학습하는 이미지 합성 시스템의 학습 방법
본 발명은 지오메트리 인코더(100)를 학습하는 방법에 대한 발명이다.
스케치 인코더(400)는 스케치를 투입하면 지오메트리 정보로 추출 및 변환하는 구성이며, 스케치 디코더(500)는 지오메트리 정보를 투입하면 스케치로 추출 및 변환하는 구성일 수 있다. 지오메트리 벡터(110)는 지오메트리 정보가 담겨져있고, 컴퓨터로 읽을 수 있는 객체일 수 있다.
이하 본 발명에 대해 구체적으로 설명한다.
본 발명에 의한 학습에 의하여 지오메트리 인코더(100)가 제1 이미지(10)로부터 추출한 지오메트리 벡터(110)와 스케치 인코더(400)가 제1 이미지(10)를 스케치한 제1 스케치(11)로부터 추출한 제1 학습용 지오메트리 벡터(410)의 오차가 줄어드는 방향으로 지오메트리 인코더(100)가 학습될 수 있다.
인물 이미지인 제1 이미지(10)와 이로부터 추출한 스케치 이미지인 제1 스케치(11)는 도2에서 도시하는 바와 같이 색상 등의 스타일 정보를 제외한 인물의 스케치정보만을 포함하고 있는 것일 수 있다.
포토샵 등의 일반적인 소프트웨어를 통해 이미지와 그 이미지에 대한 스케치 세트를 여러 세트를 준비한 후, 이미지는 지오메트리 인코더(100)에 투입하고, 스케치는 스케치 인코더(400)에 투입한 후, 각각에서 추출되는 지오메트리 벡터(110)와 제1 학습용 지오메트리 벡터(410)를 비교하여 그 오차를 감소시키는 방향으로 지오메트리 인코더(100)를 반복 학습하는 과정일 수 있다.
본 발명의 학습과정에서는 지오메트리 인코더(100)만이 학습되며, 스케치 인코더(400)는 학습되어지지 않고 내부 알고리즘이 고정되어진 상태일 수 있다. 스케치 인코더(400)와 스케치 디코더(500)는 후술할 바와 같이 별도의 학습과정을 통해 이미 충분히 학습된 상태일 수 있다.
본 발명에서 제1 이미지 및 제1 스케치를 이용하여 지오메트리 인코더(100)를 학습할 수 있는데, 제1 이미지 또는 제1 스케치는 특정한 이미지 또는 스케치를 의미하는 것이 아니며, 수 많은 이미지들과 그에 대응되는 스케치들을 학습 데이터로 하여 지오메트리 인코더(100)를 학습하는 것을 의미할 수 있다.
(실시예 2-3) 실시예 2-1에 있어서, 상기 (a) 단계는 (a-1) 스케치 디코더(500)가 상기 제1 학습용 지오메트리 백터(410)로부터 제1 학습용 변환 스케치(411)를 생성하는 단계;, (a-2) 스케치 디코더(500)가 상기 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 단계;, 를 포함하고, 상기 (b) 단계는 (b-1) 상기 제1 학습용 변환 스케치(411)와 상기 제2 학습용 변환 스케치(421)의 오차인 제2 오차(2)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 2-4) 실시예 2-3에 있어서, 상기 (a)단계 및 상기 (b)단계를 반복 수행하여 상기 지오메트리 인코더(100)를 학습하는 이미지 합성 시스템의 학습 방법
도 4를 참조하면, 본 발명은 지오메트리 인코더(100)를 학습하는 방법에 대한 것이다. 본 발명의 (a) 단계는 스케치 디코더(500)가 제1 학습용 지오메트리 벡터(410)로부터 제1 학습용 변환 스케치(411)를 생성하는 단계와 스케치 디코더(500)가 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 단계를 더 포함할 수 있다.
또한, (b) 단계는 제1 학습용 변환 스케치(411)와 제2 학습용 변환 스케치(421)를 비교하여 그 오차를 감소시키는 방향으로 지오메트리 인코더(100)를 학습하는 단계를 더 포함할 수 있다.
이를 통해 지오메트리 인코더(100)를 학습시키는 입력값으로는 지오메트리 벡터(110)와 제1 학습용 지오메트리 벡터(410)와의 오차값인 제1 오차(1), 그리고 제1 학습용 변환 스케치(411)와 제2 학습용 변환 스케치(421)와의 오차값인 제2 오차(2) 등이 될 수 있다.
또한, 지오메트리 인코더(100)를 학습시키는 입력값이 될 수 있는 것으로는 스케치 디코더(500)가 변환 스케치를 생성하는 중간 과정에서 생성되는 특징값(feature map)들의 오차일 수 있다. 보다 상세하게는 (a-1) 과정에서는 스케치 디코더(500)가 제1 학습용 지오메트리 벡터(410)로부터 제1 학습용 변환 스케치(411)를 생성하는데, 그 생성하는 과정에서 연속적으로 특징값들이 추출될 수 있다. 마찬가지로 (a-2) 과정에서도 스케치 디코더(500)가 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 과정에서 특징값들이 추출될 수 있으며, 이러한 두 특징값들의 오차값들을 특징값 오차로 하여 지오메트리 인코더(100)를 학습시키는 입력값으로 이용할 수 있다.
본 발명도 마찬가지로 지오메트리 인코더(100)를 학습하는 방법에 대한 것으로, 스케치 인코더(400)와 스케치 디코더(500)의 내부 알고리즘은 학습되거나 변화되지 않을 수 있다. 스케치 인코더(400)와 스케치 디코더(500)는 후술할 바와 같이 별도의 학습과정을 통해 충분히 학습된 상태일 수 있다.
(실시예 3-1) 실시예 2-4에 있어서, 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)는 (c) 상기 스케치 인코더(400)가 인물 이미지로부터 추출한 인물 스케치(12)로부터 제2 학습용 지오메트리 벡터(420)를 생성하는 단계;, (d) 상기 스케치 디코더(500)가 상기 제2 학습용 지오메트리 벡터(420)로부터 제3 학습용 변환 스케치(431)를 생성하는 단계;, (e) 상기 인물 스케치와 상기 제3 학습용 변환 스케치(431)의 오차인 제3 오차(3)를 줄이는 방향으로 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 3-2) 실시예 3-1에 있어서, 상기 (c) 단계 및 상기 (e) 단계를 반복 수행하여 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)를 학습하는 이미지 합성 시스템의 학습 방법.
전술한 실시예들에서는 스케치 인코더(400)와 스케치 디코더(500)를 학습하지는 않았다. 보다 상세하게는 전술한 실시예들에서는 이미 스케치 인코더(400)와 스케치 디코더(500)가 충분히 학습되어 있었으며, 이러한 스케치 인코더(400)와 스케치 디코더(500)를 이용하여 지오메트리 인코더(100)를 학습하는 방법에 대한 발명이라고 할 수 있다.
도 5를 참조하면, 본 발명은 스케치 인코더(400)와 스케치 디코더(500)를 학습하는 방법에 대한 것이다. 지오메트리 인코더(100)를 학습하기 위하여 스케치 인코더(400)와 스케치 디코더(500)는 이미 충분히 학습되어 있어야 하며, 본 발명은 지오메트리 인코더(100)의 학습보다 선결적으로 스케치 인코더(400) 및 디코더를 학습하는 발명에 대한 것이다.
스케치 인코더(400)는 인물 이미지로부터 추출한 인물 스케치(12)로부터 제2 학습용 지오메트리 벡터(420)를 생성하는 단계를 수행할 수 있다.
이후, 스케치 디코더(500)는 제2 학습용 지오메트리 벡터(420)로부터 제3 학습용 변환 스케치(431)를 생성하는 단계를 수행할 수 있다.
이후, 스케치 인코더(400)에 투입한 인물 스케치(12)와 스케치 디코더(500)가 생성한 제3 학습용 변환 스케치(431)를 비교하여 그 오차인 제3 오차(3)를 감소시키는 방향으로 스케치 인코더(400)와 스케치 디코더(500)를 학습할 수 있다.
위와 같은 과정들을 복수의 인물 스케치(12)를 투입하면서 반복수행하여 스케치 인코더(400)와 스케치 디코더(500)를 학습시킬 수 있다.
위의 과정들을 통해 충분히 학습된 스케치 인코더(400)와 스케치 디코더(500)를 이용하게 된다면, 인물 스케치(12)를 스케치 인코더(400)에 투입하여 제2 학습용 지오메트리 벡터(420)를 생성하고, 제2 학습용 지오메트리 벡터(420)를 제공받아 스케치 디코더(500)가 제3 학습용 변환 스케치(431)를 생성하게되면, 스케치 인코더(400)에 투입한 인물 스케치(12)와 제3 학습용 변환 스케치(431)의 오차는 무시할 수 있을 정도로 작은 값을 갖게된다.
학습용 지오메트리 벡터나 학습용 변환 스케치는 그 자체가 목적이 아니라, 사용자가 원하는 모델을 학습하기 위한 수단에 불과한 객체일 수 있다.
상술한 일련의 과정을 통해 스케치 인코더(400)와 스케치 디코더(500)를 충분히 학습한 후, 이를 이용하여 지오메트리 인코더(100)를 학습할 수 있다.
(실시예 4-1) 실시예 2-1에 있어서, 상기 스타일 인코더(200) 및 상기 합성 디코더(300)는 (f) 상기 스타일 인코더(200)가 상기 합성 이미지로부터 제1 학습용 스타일 벡터(220)를 생성하는 단계;, (g) 상기 지오메트리 인코더(100)가 상기 제1 이미지(10)로부터 제3 학습용 지오메트리 벡터(230)를 생성하는 단계;, (h) 상기 합성 디코더(300)가 상기 제1 학습용 스타일 벡터(220)와 상기 제3 학습용 지오메트리 벡터(230)를 합성하여 제1 학습용 합성 이미지(211)를 생성하는 단계;, (i) 상기 제1 학습용 합성 이미지(211)와 상기 제1 이미지(10)의 오차인 제4 오차(4)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 4-2) 실시예 4-1에 있어서, 상기 (f)단계 및 상기 (i)단계를 반복 수행하여 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 이미지 합성 시스템의 학습 방법.
본 발명은 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것이다. 스타일 인코더(200)는 합성 이미지로부터 제1 학습용 스타일 벡터(220)를 생성하는 단계를 수행할 수 있다.
이후, 지오메트리 인코더(100)는 제1 이미지(10)로부터 제3 학습용 지오메트리 벡터(230)를 생성할 수 있다.
이후, 합성 디코더(300)는 제1 학습용 스타일 벡터(220)와 제3 학습용 지오메트리 벡터(230)를 합성하여 제1 학습용 합성 이미지(211)를 생성할 수 있다.
이후, 제1 학습용 합성 이미지(211)와 제1 이미지(10)를 비교하여 그 오차를 줄이는 방향으로 스타일 인코더(200)와 합성 디코더(300)를 학습하는 단계를 수행한다.
전술한 학습 과정들에 대해 상세하게 설명하면, (f) 단계에서 투입되는 합성 이미지는 제1 이미지(10)의 스타일 벡터와 제2 이미지(20)의 지오메트리 벡터(110)를 합성한 이미지일 수 있다. (f) 단계에서는 스타일 인코더(200)가 이러한 합성 이미지를 투입받아 제1 학습용 스타일 벡터(220)를 생성하는 단계인데, 스타일 인코더(200)가 충분히 학습되었다면, 제1 학습용 스타일 벡터(220)는 제1 이미지(10)의 스타일 정보만을 함의하고 있는 벡터일 수 있다.
나아가 (g) 단계에서는 지오메트리 인코더(100)가 제1 이미지(10)를 투입받아 제3 학습용 지오메트리 벡터(230)를 생성하는 단계인데, 지오메트리 인코더(100)가 충분히 학습되어 있다면, 제3 학습용 지오메트리 벡터(230)는 제1 이미지(10)의 지오메트리 정보만을 함의하고 있는 벡터일 수 있다.
또한, (h) 단계에서는 합성 디코더(300)가 위에서 생성한 제1 학습용 스타일 벡터(220)와 제3 학습용 지오메트리 벡터(230)를 합성하여 제1 학습용 합성 이미지(211)를 생성할 수 있다. 마찬가지로 합성 디코더(300)가 충분히 학습되어 있다면, 제1 학습용 합성 이미지(211)는 제1 이미지(10)와 동일한 이미지일 수 있다.
다만, 스타일 인코더(200)와 합성 디코더(300)가 충분히 학습되기 전이라면 제1 학습용 합성 이미지(211)는 제1 이미지(10)와 오차가 존재할 것이다.
따라서, 본 발명은 (i) 단계에서와 같이 이러한 오차를 줄이는 방향으로 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것일 수 있다.
또한, 본 발명은 전술한 (f) 단계 내지 (i) 단계를 반복 수행하여 스타일 인코더(200)와 합성 디코더(300)를 충분히 학습시키는 방법에 대한 것일 수 있다. (f) 단계 내지 (i)단계를 반복 수행하기 위하여 제1 이미지(10) 및 제2 이미지(20)를 충분히 확보하여야 할 수 있다. 이미지를 준비하는 과정은 온라인 및/또는 오프라인상으로 수행될 수 있으나, 이러한 과정은 본 발명의 핵심적인 특징이 아닐 수 있으므로 생략하기로 한다.
(실시예 4-3) 실시예 4-2에 있어서, 상기 스타일 인코더(200) 및 상기 합성 디코더(300)는 (j) 상기 지오메트리 인코더(100)가 상기 합성 이미지로부터 제4 학습용 지오메트리 벡터(240)를 생성하는 단계;, (k) 상기 스타일 인코더(200)가 상기 제2 이미지(20)로부터 제2 학습용 스타일 벡터(250)를 생성하는 단계;, (l) 상기 합성 디코더(300)가 상기 제4 학습용 지오메트리 벡터(240)와 상기 제2 학습용 스타일 벡터(250)를 합성하여 제2 학습용 합성 이미지(221)를 생성하는 단계;, (m) 상기 제2 학습용 합성 이미지(221)와 상기 제2 이미지(20)의 오차인 제5 오차(5)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 4-4) 실시예 4-3에 있어서, 상기 (j)단계 및 상기 (m)단계를 반복 수행하여 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 이미지 합성 시스템의 학습 방법.
또한, 스타일 인코더(200)와 합성 디코더(300)를 학습하는 다른 네트워크도 수행될 수 있다. 전술한 (f) 단계 내지 (i) 단계에서는 제1 이미지(10)와 제1 학습용 합성 이미지(211)와의 오차값을 이용하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것이었다면, 본 발명은 제2 이미지(20)를 이용한 학습방법일 수 있다.
보다 구체적으로는, (j) 단계에서는 지오메트리 인코더(100)가 합성 이미지를 투입받아 제4 학습용 지오메트리 벡터(240)를 생성할 수 있다. 지오메트리 인코더(100)가 충분히 학습되어 있다면, 제4 학습용 지오메트리 벡터(240)는 제2 이미지(20)의 지오메트리 정보만을 함의하고 있는 벡터일 수 있다.
이후, (k) 단계에서는 스타일 인코더(200)가 제2 이미지(20)를 투입받아 제2 학습용 스타일 벡터(250)를 생성할 수 있다. 스타일 인코더(200)가 충분히 학습되어 있다면, 제2 학습용 스타일 벡터(250)는 제2 이미지(20)의 스타일 정보만을 포함하고 있는 벡터일 수 있다.
이후, (l) 단계에서는 합성 디코더(300)가 제4 학습용 지오메트리 벡터(240)와 제2 학습용 스타일 벡터(250)를 합성하여 제2 학습용 합성 이미지(221)를 생성할 수 있다. 합성 디코더(300)가 충분히 학습되어 있다면, 제2 학습용 합성 이미지(221)는 제2 이미지(20)와 동일한 이미지일 수 있다.
다만, 스타일 인코더(200)와 합성 디코더(300)가 충분히 학습되기 전이라면 제2 학습용 합성 이미지(221)는 제2 이미지(20)와 오차가 존재할 것이다. 그러한 오차값을 제5 오차(5)라고 한다.
따라서, 본 발명은 (m) 단계에서와 같이 이러한 오차를 줄이는 방향으로 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것일 수 있다.
또한, 본 발명은 전술한 (j) 단계 내지 (m) 단계를 반복 수행하여 스타일 인코더(200)와 합성 디코더(300)를 충분히 학습시키는 방법에 대한 것일 수 있다.
(실시예 4-1) 및 (실시예 4-2)는 제1 이미지(10)와 대비한 오차(제4 오차(4))를 이용하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것이라면, (실시예 4-3) 및 (실시예 4-4)는 제4 오차(4)와 더불어 제2 이미지(20)와 대비한 오차(제5 오차(5))를 이용하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것일 수 있다.
(실시예 5-1) 실시예 2-1에 있어서, 상기 스타일 인코더(200) 및 상기 합성 디코더(300)는 (n) 상기 지오메트리 인코더(100)가 상기 합성 이미지로부터 제4 학습용 지오메트리 벡터(240)를 생성하는 단계;, (o) 상기 스타일 인코더(200)가 상기 제2 이미지(20)로부터 제2 학습용 스타일 벡터(250)를 생성하는 단계;, (p) 상기 합성 디코더(300)가 상기 제4 학습용 지오메트리 벡터(240)와 상기 제2 학습용 스타일 벡터(250)를 합성하여 제2 학습용 합성 이미지(221)를 생성하는 단계;, (q) 상기 제2 학습용 합성 이미지(221)와 상기 제2 이미지(20)의 오차인 제5 오차(5)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
(실시예 5-2) 실시예 5-1에 있어서, 상기 (n)단계 및 상기 (q)단계를 반복 수행하여 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 이미지 합성 시스템의 학습 방법.
본 발명도 스타일 인코더(200) 및 합성 디코더(300)를 학습하는 방법에 대한 것이다. 이에 대한 설명은 (실시예 4-3) 및 (실시예 4-4)에서 기술한 것과 다름없으므로 그에 대한 설명으로 갈음할 수 있다. 다만, (실시예 4-3) 및 (실시예 4-4)는 제1 이미지(10)와 제1 학습용 합성 이미지(211)의 오차와 더불어서 제2 이미지(20)와 제2 학습용 합성 이미지(221)와의 오차를 모두 반영하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법이었다면, (실시예 5-1) 및 (실시예 5-2)는 제2 이미지(20)와 제2 학습용 합성 이미지(221)와의 오차만을 반영하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것일 수 있다.
본 발명은 딥 러닝을 이용한 이미지의 특징 추출 및 합성을 통해 가상의 이미지를 생성하는 이미지 합성 시스템에 대한 발명이며, 구체적으로
제1 이미지(10)로부터 지오메트리 벡터(110)를 추출하는 지오메트리 인코더(100);
제2 이미지(20)로부터 스타일 벡터를 추출하는 스타일 인코더(200);
상기 지오메트리 벡터(110)와 상기 스타일 벡터를 합성하여 합성 이미지를 생성하는 합성 디코더(300);를 포함한다.
(실시예 6-1) 실시예 2-1에 있어서, 상기 스타일 인코더(200) 및 상기 합성 디코더(300)는 (r) 상기 제1 이미지(10) 및 제2 이미지(20)를 동일한 이미지인 제3 이미지(30)로 설정하는 단계;, (s) 상기 스타일 인코더(200)가 상기 제3 이미지(30)로부터 제3 학습용 스타일 벡터(260)를 생성하는 단계;, (t) 상기 지오메트리 인코더(100)가 상기 제3 이미지(30)로부터 제5 학습용 지오메트리 벡터(270)를 생성하는 단계;, (u) 상기 합성 디코더(300)가 상기 제3 학습용 스타일 벡터(260)와 상기 제5 학습용 지오메트리 벡터(270)를 합성하여 제3 학습용 합성 이미지(231)를 생성하는 단계;, (v) 상기 제3 학습용 합성 이미지(231)와 상기 제3 이미지(30)의 오차인 제6 오차(6)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 포함하는 방법으로 학습되는 이미지 합성 시스템의 학습 방법.
도 6을 참조하면, 본 발명은 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것이다. 구체적으로는, 전술한 실시예 4 및 실시예 5와는 다른 방법에 의하여 학습하는 방법에 대한 것일 수 있다. 실시예 4 및 실시예 5에서는 서로 다른 제1 이미지(10)와 제2 이미지(20)를 이용하여 합성 이미지를 생성한 후, 합성 이미지를 이용하여 다시 제1 학습용 합성 이미지(211) 및/또는 제2 학습용 합성 이미지(221)를 생성하고 그들의 오차값인 제4 오차 및/또는 제5 오차(5)를 이용하여 스타일 인코더(200)와 합성 디코더(300)를 학습하는 방법에 대한 것일 수 있다.
그러나, 본 발명은 제1 이미지(10)와 제2 이미지(20)를 동일한 이미지인 제3 이미지(30)로 하고, 스타일 인코더(200)는 제3 이미지(30)로부터 제3 학습용 스타일 벡터(260)를 생성하고, 지오메트리 인코더(100)는 제3 이미지(30)로부터 제5 학습용 지오메트리 벡터(270)를 생성할 수 있다.
이렇게 생성된 제3 학습용 스타일 벡터(260)와 제5 학습용 지오메트리 벡터(270)를 합성 디코더(300)가 합성하여 제3 학습용 합성 이미지(231)를 생성할 수 있다.
제3 이미지(30)와 제3 학습용 합성 이미지(231)를 비교하여 그 오차값인 제6 오차(6)를 줄이는 방향으로 스타일 인코더(200)와 합성 디코더(300)를 학습할 수 있다.
위와 같은 방법은 실시예 4 및 실시예 5에 대비하여 네트워크 구조가 비교적 간단하므로, 학습과정이 가볍고, 그 학습의 소요시간을 절약할 수 있는 장점을 확보할 수 있다.
본 발명의 전체 명세서에서는 제1 오차(1) 내지 제6 오차(6)를 정의하였으며, 학습하고자 하는 구성, 예컨대, 지오메트리 인코더(100), 스타일 인코더(200), 합성 디코더(300) 등과 같은 구성을 학습시키는 원리는 오차들을 감소시키는 방향으로 피드백 작용을 수행하는 원리일 수 있다.
보다 구체적으로는 오차역전파(back propagation)방법을 이용하여 학습되어질 수 있으며, 이와 같은 방법은 당업자에게 알려져 있는 방법이므로, 구체적인 설명은 생략한다.
또한 최소제곱법(Least square method)을 이용할 수도 있으며, 이미지를 비교하여 그 오차값을 설정할 때, LAB 색차계산법을 이용할 수도 있다. 또한, 이미지 정보가 포함되어 있는 여러 벡터들의 인코딩, 디코딩, 합성 과정에서 생기는 특징맵(feature map)들을 연속적으로 비교하여 오차값을 계산하는 VGGNet(이하 "VGG")의 원리를 이용할 수도 있다. VGG오차 계산법은 이미지로 변환 또는 벡터로 변환되는 과정에서 레이어(layer)의 깊이를 늘리거나 줄이는 과정에서 생기는 특징맵들의 값들을 비교하는 것일 수 있다.
또한, 본 명세서에서 기재한 "학습용"은 그 자체가 목적이 아니라, 본 발명의 이미지 합성 시스템의 구성들을 학습시키기 위해 임시적으로 생성되는 객체일 수 있다.
궁극적으로 본 발명은 충분히 학습된 지오메트리 인코더(100), 스타일 인코더(200), 합성 디코더(300)를 이용하여 임의의 두 인물 이미지에 대하여 지오메트리 특징, 스타일 특징을 각각 추출하여 합성함으로써 각각의 특징들이 결합된 새로운 합성 이미지를 생성하는 시스템에 대한 것일 수 있다.
또한, 전술한 이미지 합성 시스템의 학습 방법에 대한 발명일 수 있으며, 본 발명에 의한 특징적인 학습 방법을 채용하여 이미지 합성 시스템을 학습할 수 있다.
마지막으로, 도 7은 본 발명에 따른 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법을 수행하기 위해 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다. 컴퓨터 장치(900)는 램(RAM: Random Access Memory)(920)과 롬(ROM: Read Only Memory)(930)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(910)를 포함한다. 프로세서(910)는 중앙처리장치(CPU)로 불리기도 한다. 프로세서는 학습 방법을 수행시키는 구성으로 학습의 주체가 될 수 있다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(930)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전송하는 역할을 하며, 램(920)은 통상적으로 데이터와 명령을 양방향성으로 전송하는데 사용된다. 램(920) 및 롬(930)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(940)는 양방향성으로 프로세서(910)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(940)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD 롬(960)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(910)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크 로폰, 터치스크린형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(950)와 연결된다. 마지막으로, 프로세서(910)는 네트워크 인터페이스(970)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다
10 : 제1 이미지 20 : 제2 이미지
30 : 제3 이미지 100 : 지오메트리 인코더
110 : 지오메트리 벡터 200 : 스타일 인코더
210 : 스타일 벡터 220 : 제1 학습용 스타일 벡터
230 : 제3 학습용 지오메트리 벡터 240 : 제4 학습용 지오메트리 벡터
250 : 제2 학습용 스타일 벡터 260 : 제3 학습용 스타일 벡터
270 : 제5 학습용 지오메트리 벡터 300 : 합성 디코더
400 : 스케치 인코더 410 : 제1 학습용 지오메트리 벡터
420 : 제2 학습용 지오메트리 벡터 411 : 제1 학습용 변환 스케치
421 : 제2 학습용 변환 스케치 431 : 제3 학습용 변환 스케치

Claims (1)

  1. 제1 이미지(10)로부터 스타일 벡터(210)를 추출하는 스타일 인코더(200), 제2 이미지(20)로부터 지오메트리 벡터(110)를 추출하는 지오메트리 인코더(100) 및 상기 지오메트리 벡터(110)와 상기 스타일 벡터(210)를 합성하여 합성 이미지(310)를 생성하는 합성 디코더(300)를 포함하는 이미지 합성 시스템의 학습 방법에 있어서,
    상기 지오메트리 인코더(100)는,
    (a) 스케치 인코더(400)가 상기 제1 이미지(10)로부터 추출한 제1 스케치(11)로부터 제1 학습용 지오메트리 벡터(410)를 생성하는 단계; 및
    (b) 상기 제1 학습용 지오메트리 벡터(410)와 상기 지오메트리 벡터(110)의 오차인 제1 오차(1)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;를 통해 학습되고,
    상기 (a) 단계는,
    (a-1) 스케치 디코더(500)가 상기 제1 학습용 지오메트리 백터로부터 제1 학습용 변환 스케치(411)를 생성하는 단계; 및
    (a-2) 스케치 디코더(500)가 상기 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 단계;를 포함하고,
    상기 (b) 단계는,
    (b-1) 상기 제1 학습용 변환 스케치(411)와 상기 제2 학습용 변환 스케치(421)의 오차인 제2 오차(2)를 감소시키는 방향으로 상기 지오메트리 인코더(100)를 학습하는 단계;를 포함하며,
    상기 스타일 인코더(200) 및 상기 합성 디코더(300)는,
    (f) 상기 스타일 인코더(200)가 상기 합성 이미지로부터 제1 학습용 스타일 벡터(220)를 생성하는 단계;
    (g) 상기 지오메트리 인코더(100)가 상기 제1 이미지(10)로부터 제3 학습용 지오메트리 벡터(230)를 생성하는 단계;
    (h) 상기 합성 디코더(300)가 상기 제1 학습용 스타일 벡터(220)와 상기 제3 학습용 지오메트리 벡터(230)를 합성하여 제1 학습용 합성 이미지(211)를 생성하는 단계; 및
    (i) 상기 제1 학습용 합성 이미지(211)와 상기 제1 이미지(10)의 오차인 제4 오차(4)를 줄이는 방향으로 상기 스타일 인코더(200) 및 상기 합성 디코더(300)를 학습하는 단계;를 통해 학습되고,
    상기 지오메트리 인코더(100)는 특징값 오차를 감소시키는 방향으로도 학습되며,
    상기 특징값 오차는 상기 (a-1) 단계에서 상기 스케치 디코더(500)가 상기 제1 학습용 지오메트리 벡터(410)로부터 제1 학습용 변환 스케치(411)를 생성하는 과정에서 연속적으로 추출되는 특징값(feature map)과 상기 (a-2) 단계에서 상기 스케치 디코더(500)가 상기 지오메트리 벡터(110)로부터 제2 학습용 변환 스케치(421)를 생성하는 과정에서 연속적으로 추출되는 특징값(feature map)의 오차값으로 정의되고,
    상기 (a)단계 및 상기 (b)단계를 반복 수행하여 상기 지오메트리 인코더(100)를 학습하며,
    상기 스케치 인코더(400) 및 상기 스케치 디코더(500)는
    (c) 상기 스케치 인코더(400)가 인물 이미지로부터 추출한 인물 스케치(12)로부터 제2 학습용 지오메트리 벡터(420)를 생성하는 단계;
    (d) 상기 스케치 디코더(500)가 상기 제2 학습용 지오메트리 벡터(420)로부터 제3 학습용 변환 스케치(431)를 생성하는 단계; 및
    (e) 상기 인물 스케치와 상기 제3 학습용 변환 스케치(431)의 오차인 제3 오차(3)를 줄이는 방향으로 상기 스케치 인코더(400) 및 상기 스케치 디코더(500)를 학습하는 단계;를 포함하는 방법으로 학습되는, 이미지 합성 시스템의 학습 방법.
KR1020230073819A 2022-04-29 2023-06-08 이미지의 특징 추출 및 합성 시스템의 학습 방법 KR102562387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230073819A KR102562387B1 (ko) 2022-04-29 2023-06-08 이미지의 특징 추출 및 합성 시스템의 학습 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220053447A KR102543451B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법
KR1020230073819A KR102562387B1 (ko) 2022-04-29 2023-06-08 이미지의 특징 추출 및 합성 시스템의 학습 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220053447A Division KR102543451B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법

Publications (1)

Publication Number Publication Date
KR102562387B1 true KR102562387B1 (ko) 2023-08-01

Family

ID=86762470

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020220053447A KR102543451B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법
KR1020230073819A KR102562387B1 (ko) 2022-04-29 2023-06-08 이미지의 특징 추출 및 합성 시스템의 학습 방법
KR1020230073814A KR102562386B1 (ko) 2022-04-29 2023-06-08 이미지 합성 시스템의 학습 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020220053447A KR102543451B1 (ko) 2022-04-29 2022-04-29 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230073814A KR102562386B1 (ko) 2022-04-29 2023-06-08 이미지 합성 시스템의 학습 방법

Country Status (1)

Country Link
KR (3) KR102543451B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611953B (zh) * 2024-01-18 2024-08-13 深圳思谋信息科技有限公司 图形码生成方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229572B1 (ko) * 2019-11-28 2021-03-18 영남대학교 산학협력단 영상 스타일 변환 장치 및 방법
KR20210054907A (ko) 2019-11-06 2021-05-14 엘지전자 주식회사 이미지 보정방법 및 보정장치
KR20210062274A (ko) 2019-11-21 2021-05-31 주식회사 엔씨소프트 이미지 자동 생성 장치 및 생성 방법
KR20210078813A (ko) 2019-12-19 2021-06-29 엘지전자 주식회사 이미지를 합성하는 인공 지능 장치 및 그 방법
KR20210108529A (ko) * 2020-02-25 2021-09-03 주식회사 하이퍼커넥트 이미지 변형 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102332114B1 (ko) * 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치
KR20210147507A (ko) * 2020-05-29 2021-12-07 네이버 주식회사 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법
KR20220011100A (ko) 2020-07-20 2022-01-27 펄스나인 주식회사 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법
KR20220027565A (ko) * 2020-08-27 2022-03-08 연세대학교 산학협력단 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210054907A (ko) 2019-11-06 2021-05-14 엘지전자 주식회사 이미지 보정방법 및 보정장치
KR20210062274A (ko) 2019-11-21 2021-05-31 주식회사 엔씨소프트 이미지 자동 생성 장치 및 생성 방법
KR102229572B1 (ko) * 2019-11-28 2021-03-18 영남대학교 산학협력단 영상 스타일 변환 장치 및 방법
KR20210078813A (ko) 2019-12-19 2021-06-29 엘지전자 주식회사 이미지를 합성하는 인공 지능 장치 및 그 방법
KR20210108529A (ko) * 2020-02-25 2021-09-03 주식회사 하이퍼커넥트 이미지 변형 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20210147507A (ko) * 2020-05-29 2021-12-07 네이버 주식회사 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법
KR20220011100A (ko) 2020-07-20 2022-01-27 펄스나인 주식회사 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법
KR20220027565A (ko) * 2020-08-27 2022-03-08 연세대학교 산학협력단 참고 이미지의 특성을 고려한 종합적 스타일 변환 장치 및 방법
KR102332114B1 (ko) * 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치

Also Published As

Publication number Publication date
KR102543451B1 (ko) 2023-06-13
KR102562386B1 (ko) 2023-08-01

Similar Documents

Publication Publication Date Title
JP7395686B2 (ja) 画像処理方法、画像処理モデルのトレーニング方法、装置及び記憶媒体
CN111127304B (zh) 跨域图像转换
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
US11928957B2 (en) Audiovisual secondary haptic signal reconstruction method based on cloud-edge collaboration
CN115205949B (zh) 图像生成方法以及相关设备
CN111860759A (zh) 数据的自主修改的方法和系统
KR20200065433A (ko) 스타일 변환 모델 및 포토 몽타주 기반 합성 이미지의 스타일 변환 장치
KR20200059993A (ko) 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
JP6962747B2 (ja) データ合成装置および方法
CN111489405B (zh) 基于条件增强生成对抗网络的人脸草图合成系统
KR102562387B1 (ko) 이미지의 특징 추출 및 합성 시스템의 학습 방법
CN111930894A (zh) 长文本匹配方法及装置、存储介质、电子设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
KR102192015B1 (ko) 자연어 문장을 기반으로 하는 변환 이미지 생성 장치, 방법 및 이를 이용하는 변환 이미지 생성 시스템
CN117633707B (zh) 一种细粒度多模态中文大语言模型构建方法及计算机存储介质
CN118334100A (zh) 基于clip模型和生成式模型的街道深度图生成方法
CN110033077A (zh) 神经网络训练方法以及装置
Watanabe et al. Generative adversarial network including referring image segmentation for text-guided image manipulation
CN113065417A (zh) 基于生成对抗式风格迁移的场景文本识别方法
Chae et al. Semantic image synthesis with unconditional generator
CN117274728A (zh) 一种模型训练方法及相关装置
Viswanathan et al. Text to image translation using generative adversarial networks
CN109739970A (zh) 信息处理方法及装置、以及电子设备
CN116884077B (zh) 一种人脸图像类别确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant