KR102593001B1 - 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 - Google Patents
딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 Download PDFInfo
- Publication number
- KR102593001B1 KR102593001B1 KR1020230055457A KR20230055457A KR102593001B1 KR 102593001 B1 KR102593001 B1 KR 102593001B1 KR 1020230055457 A KR1020230055457 A KR 1020230055457A KR 20230055457 A KR20230055457 A KR 20230055457A KR 102593001 B1 KR102593001 B1 KR 102593001B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- style
- vector
- convolution
- style embedding
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 6
- 239000013598 vector Substances 0.000 claims abstract description 129
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000013136 deep learning model Methods 0.000 claims abstract description 38
- 238000002156 mixing Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 2
- WZFUQSJFWNHZHM-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 WZFUQSJFWNHZHM-UHFFFAOYSA-N 0.000 description 2
- CONKBQPVFMXDOV-QHCPKHFHSA-N 6-[(5S)-5-[[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]methyl]-2-oxo-1,3-oxazolidin-3-yl]-3H-1,3-benzoxazol-2-one Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C[C@H]1CN(C(O1)=O)C1=CC2=C(NC(O2)=O)C=C1 CONKBQPVFMXDOV-QHCPKHFHSA-N 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- LDXJRKWFNNFDSA-UHFFFAOYSA-N 2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound C1CN(CC2=NNN=C21)CC(=O)N3CCN(CC3)C4=CN=C(N=C4)NCC5=CC(=CC=C5)OC(F)(F)F LDXJRKWFNNFDSA-UHFFFAOYSA-N 0.000 description 1
- JQMFQLVAJGZSQS-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-N-(2-oxo-3H-1,3-benzoxazol-6-yl)acetamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)NC1=CC2=C(NC(O2)=O)C=C1 JQMFQLVAJGZSQS-UHFFFAOYSA-N 0.000 description 1
- YJLUBHOZZTYQIP-UHFFFAOYSA-N 2-[5-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-1,3,4-oxadiazol-2-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1=NN=C(O1)CC(=O)N1CC2=C(CC1)NN=N2 YJLUBHOZZTYQIP-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G06T3/0056—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
본 발명은 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템으로서, 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하며, 상기 프로세서를 통해 실행되는 상기 명령은; (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하고, 상기 (b) 단계는 (b-1-1) 상기 시드벡터(10)가 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 합성곱 단계; 및 (b-1-2) 컨볼루션 레이어를 통해 상기 출력 데이터(102)를 RGB 이미지로 변환하는 단계;를 포함하고, 상기 (b-1-1)단계는 각각의 상기 컨볼루션 블럭(40)을 통과할 때마다 상기 영역 데이터(110)가 입력되고, 상기 (b-1-1) 단계에서 상기 시드벡터(10)는 상기 컨볼루션 블럭(40)을 통과할 때마다 새로운 특징벡터로 변환되고, 상기 컨볼루션 블럭(40)은 알파-블렌딩 방법을 통해 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성하고, 상기 컨볼루션 블럭(40)은 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한 후, 업샘플링 레이어(42)를 통해 그 결과값을 확장하고, 상기 (b)단계는 (b-1-0) 스타일 임베딩 네트워크(50)를 통해 제1 스타일 레퍼런스 이미지(201)에서부터 제1 스타일 임베딩 벡터(211)를 생성하고, 상기 시드벡터(10)를 상기 제1 스타일 임베딩 벡터(211)로 대체하는 단계;를 포함하고, 상기 로스(30)는 상기 출력 데이터(102)를 상기 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 상기 제1 스타일 임베딩 벡터(211)와 차이인 제2 오차(32)를 반영하고, 상기 (a)단계는 상기 영역 데이터(110)가 영역별로 구분되어 N개의 세부영역 데이터(111)로 구분생성되고, 상기 (b)단계는 (b-2-1) 스타일 임베딩 네트워크(50)를 통해, 제1 스타일 레퍼런스 이미지(201)에서부터 N개의 제1 세부스타일 임베딩 벡터(221)를 추출하는 단계; 및 (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터(221)와 상기 N개의 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성하고, 상기 스타일 맵(300)을 상기 제1 데이터(101)로 대체하는 단계;를 포함하고, 상기 업샘플링 레이어(42)가 결과값을 확장하는 것은, 이웃한 픽셀 사이를 벌리고, 그 사이의 값을 상기 이웃한 픽셀 사이의 중간값으로 채워넣으며, 상기 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습하는 학습의 주기를 4회 또는 8회의 순환을 통해 얻은 로스(30)들의 평균을 감소시키는 방향으로 학습을 수행하는 단계;를 포함한다.
Description
본 발명은 딥러닝을 기반으로 하여 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템에 대한 것이다. 보다 상세하게는, 사람의 영역 데이터 또는 마스크 데이터만으로 온전한 사람의 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법이 적용된 컴퓨터 구현 학습 시스템에 대한 것이다.
특허문헌 001은 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 대한 것으로, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 기술을 제시한다.
특허문헌 002는 이미지 보정방법 및 보정장치가 개시된다. 이미지 보정방법은, 필터 적용을 통한 이미지 보정, 필터 정보들의 저장, 필터 정보들을 이용한 심층 신경망 모델의 재훈련 및 심층 신경망 모델을 이용한 필터 정보 출력을 포함한다. 본 발명에 따르면, 5G 네트워크를 통한 인공지능(AI) 모델을 이용한 이미지 분석에 기반하여 이미지 보정이 가능한 기술을 제시한다.
특허문헌 003은 이미지 자동 생성 장치 및 생성 방법에 대한 것으로, 이미지 자동 생성 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하고, 상기 생성한 제2 이미지에 서 미리 설정된 파라미터를 추출하고 상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 기술을 제시한다.
특허문헌 004는 이미지를 합성하는 인공 지능 장치 및 그 방법에 대한 것으로, 이미지 데이터를 저장하는 메모리, 이미지 데이터로부터 인물 객체 이미지 및 사물 객체 이미지를 획득하고, 인물 객체 이미지와 매칭되는 3차원 인물 모델을 생성하고, 이미지 데이터의 좌표 정보를 추출하고, 좌표정보에 매칭되는 거리뷰 데이터를 획득하고, 거리뷰 데이터로부터 사물 객체 이미지의 사물 객체가 촬영된 기준 객체 이미지를 추출하고, 인물 객체 이미지 및 사물 객체 이미지의 배치 정보를 획득하고, 배치 정보 및 기준 객체 이미지를 이용하여 3차원 인물 모델을 거리뷰 데이터의 거리뷰 이미지에 배치하는 프로세서를 포함하는 인공지능 장치를 제시한다.
본 발명은 많은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것으로, 영역 데이터를 입력함으로써, 그와 매칭되는 가상 인물의 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법을 제공하고자 한다.
또한, 영역 데이터뿐 아니라, 스타일 데이터도 학습용 데이터로 활용함으로써 원하는 스타일의 인물 이미지를 생성하는 학습방법도 제공하고자 한다.
또한, 스타일 데이터를 세분화한 세부스타일 임베딩 벡터를 학습용 데이터로 활용하여 스타일의 세부적인 조절을 가능하게 하는 학습방법을 제공하고자 한다.
상술한 바와 같은 학습방법이 적용된 컴퓨터 구현 학습 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, (a) 영역 레퍼런스 이미지로부터 영역 데이터를 추출하는 단계;, (b) 시드벡터와 상기 영역 데이터를 포함하는 제1 데이터를 입력받아서 출력 데이터를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터의 차이인 제1 오차를 반영한 로스를 계산하는 단계; 및 (d) 상기 제1 오차를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b) 단계는 (b-1-1) 상기 시드벡터가 복수의 컨볼루션 블럭을 순차적으로 통과하는 합성곱 단계; 및 (b-1-2) 컨볼루션 레이어를 통해 상기 출력 데이터를 RGB 이미지로 변환하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-1-1)단계는 각각의 상기 컨볼루션 블럭을 통과할 때마다 상기 영역 데이터가 입력되는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-1-1) 단계에서 상기 시드벡터는 상기 컨볼루션 블럭을 통과할 때마다 새로운 특징벡터로 변환되는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 컨볼루션 블럭은 알파-블렌딩 방법을 통해 상기 시드벡터 또는 특징벡터와 상기 영역 데이터를 합성하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 컨볼루션 블럭은 상기 시드벡터 또는 특징벡터와 상기 영역 데이터를 합성한 후, 업샘플링 레이어를 통해, 그 결과값을 확장하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b)단계는 (b-1-0) 스타일 임베딩 네트워크를 통해 제1 스타일 레퍼런스 이미지에서부터 제1 스타일 임베딩 벡터를 생성하고, 상기 시드벡터를 상기 제1 스타일 임베딩 벡터로 대체하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 로스는 상기 출력 데이터를 상기 스타일 임베딩 네트워크에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터와 상기 제1 스타일 임베딩 벡터와 차이인 제2 오차를 반영하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (a)단계는 상기 영역 데이터가 영역별로 구분되어 N개의 세부영역 데이터로 구분생성되고, 상기 (b)단계는 (b-2-1) 스타일 임베딩 네트워크를 통해, 제1 스타일 레퍼런스 이미지에서부터 N개의 제1 세부스타일 임베딩 벡터를 추출하는 단계; 및 (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터와 상기 N개의 세부영역 데이터를 합성하여 스타일 맵을 생성하고, 상기 스타일 맵을 상기 제1 데이터로 대체하는 단계;를 포함하는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-2-1)단계에서 상기 N개의 제1 세부스타일 임베딩 벡터 중 적어도 어느 하나가 제2 스타일 레퍼런스 이미지에서부터 추출된 제2 세부스타일 임베딩 벡터로 대체되는 구성으로 이루어진다.
본 발명의 일 실시예에 따른 발명은 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 시스템에 대한 발명이며, 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 프로세서를 통해 실행되는 상기 명령은; (a) 영역 레퍼런스 이미지로부터 영역 데이터를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터를 포함하는 제1 데이터를 입력받아서 출력 데이터를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터의 차이인 제1 오차를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하는 구성으로 이루어진다.
본 발명은 영역 데이터를 입력함으로써, 그와 매칭되는 가상 인물의 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법을 제공할 수 있다.
또한, 본 발명은 영역 데이터뿐 아니라, 스타일 데이터도 학습용 데이터로 활용함으로써 원하는 스타일의 인물 이미지를 생성하는 학습방법도 제공할 수 있다.
또한, 스타일 데이터를 세분화하여 학습데이터로 활용하여, 스타일을 세밀하게 조절할 수 있는 딥러닝 모델의 학습방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영역 레퍼런스 이미지 및 영역 데이터를 표현한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지 및 영역 데이터를 간략하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 스타일 레퍼런스 이미지를 간략하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스타일 레퍼런스 이미지를 이용한 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 세부 스타일 임베딩 벡터를 간략하게 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 스타일 맵을 생성하는 과정을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지 및 영역 데이터를 간략하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 스타일 레퍼런스 이미지를 간략하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스타일 레퍼런스 이미지를 이용한 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 세부 스타일 임베딩 벡터를 간략하게 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 스타일 맵을 생성하는 과정을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
(실시예 1-1) 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법은 (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함한다.
시드벡터(10)는 랜덤으로 샘플링된 노이즈일 수 있다. 시드벡터(10)는 특정한 경향성이 있는 것이 아닐 수 있다. 딥러닝 모델의 학습 방향성은 얼굴 생성 딥러닝 모델이 입력받는 다수의 영역 데이터(110)에 따라 결정되어질 수 있다. 상기 영역 데이터(110)를 통해 출력 데이터(102)의 결과가 영역 레퍼런스 이미지(100)와 근접하게 도출될 수 있도록 딥러닝 모델이 학습되어지는 것일 수 있다.
본 발명에서 영역 데이터(110)란 도 1와 같이 사람의 얼굴에 대하여 코, 눈썹, 입, 머리카락 등의 위치와 크기에 대한 데이터를 의미할 수 있다. 이는 후술할 바와 같이 스타일 데이터와 대비되는 개념일 수 있다. 영역 데이터(110)는 당업자들에게 마스크 데이터로 인식될 수 있다. 후술할 바와 같이 영역 데이터(110)는 세부 영역 데이터로 분류될 수 있고, 본 발명의 예시적인 실시예에서는 도 1과 같이 19개의 세부 영역 데이터로 분류하였다.
본 발명의 예시적인 실시예는 영역 레퍼런스 이미지(100)로부터 추출된 영역 데이터(110)를 딥러닝 모델에 입력한 후, 그에 대한 출력 데이터(102)가 영역 레퍼런스 이미지(100)와 유사하게 도출되는 방향으로 딥러닝 모델을 학습시키는 방법에 대한 것일 수 있다. 본 발명의 예시적인 실시예에서 기준 데이터는 영역 레퍼런스 이미지(100)일 수 있다. 보다 구체적인 학습방법에 대해서는 후술하기로 한다.
(실시예 2-1)실시예 1-1에 있어서, 상기 (b) 단계는 (b-1-1) 상기 시드벡터(10)가 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 합성곱 단계; 및 (b-1-2) 컨볼루션 레이어(41)를 통해 상기 출력 데이터(102)를 RGB 이미지로 변환하는 단계;를 포함한다.
시드벡터(10)는 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 단계를 거친다. 통과한다는 것은 입력된 후, 새로운 결과값으로 출력되는 과정을 의미할 수 있다. 또한 본 발명에서 이 단계는 임의의 시드벡터(10)로부터 사람의 얼굴 이미지인 출력 데이터(102)를 생성하는 과정을 의미할 수 있다. 시드벡터(10)는 각각의 컨볼루션 블럭(40)에 입력되어 출력될 때마다 새로운 특징벡터(20)로 변환될 수 있다.
도 3을 참조하면, 본 발명의 예시적인 실시예는 시드벡터(10)에서 출발하여 각각의 컨볼루션 블럭(40)을 통과할 때마다 제1 특징벡터(21), 제2 특징벡터(22) 등으로 순차적으로 변환되어질 수 있다. 몇 개의 컨볼루션 블럭(40)을 통과하는지는 이용자의 필요에 따라 선택되어질 수 있다. 각각의 특징벡터(20)들은 컨볼루션 블럭(40)을 통과할 때마다 사람의 얼굴 이미지로 점차 변환되어가는 데이터일 수 있다.
본 명세서에서 기재되는 특징벡터(20)는 당업자들에게 특징맵(feature map)의 개념일 수 있다.
특징벡터(20)들은 컴퓨터만이 인식할 수 있는 데이터로 구성될 수 있으므로, 최종적으로 특징벡터를 통해 사람의 얼굴 이미지를 생성하기 위해서는 모든 합성곱 단계를 거친 후의 특징벡터를 컨볼루션 레이어(41)에 입력하여 RGB의 3채널로 이루어진 이미지로 최종 변환하여야 할 수 있다. 컨볼루션 레이어(41)까지 통과한 이미지 데이터가 출력 데이터(102)일 수 있다.
(실시예 3-1) 실시예 2-1에 있어서, 상기 (b-1-1)단계는 각각의 상기 컨볼루션 블럭(40)을 통과할 때마다 상기 영역 데이터(110)가 입력된다.
본 발명의 예시적인 실시예에 따라, 컨볼루션 블럭(40)을 통과한다는 것은, 시드벡터(10) 또는 특징벡터(20)가 영역 데이터(110)와 합성 또는 섞인다는 것을 의미할 수 있다.
출력 데이터(102)는 모든 컨볼루션 블럭(40) 및 컨볼루션 레이어(41)를 모두 통과한 후의 특징벡터(20)를 의미할 수 있다.
(실시예 3-2) 실시예 3-1에 있어서, 상기 (b-1-1) 단계에서 상기 시드벡터(10)는 상기 컨볼루션 블럭(40)을 통과할 때마다 새로운 특징벡터로 변환된다.
도 3을 참조하면, 본 발명에서 시드벡터(10)는 복수의 컨볼루션 블럭(40)을 순차적으로 통과할 수 있는데, 통과할 때마다 시드벡터(10)는 제1 특징벡터(21), 제2 특징벡터(22), 제3 특징벡터(23) 등등으로 새로운 특징벡터들로 변환될 수 있다.
충분히 학습된 얼굴 생성 딥러닝 모델에서는 특징벡터들은 점차 사람의 얼굴 이미지가 되어가는 데이터로 변화되어질 수 있다.
(실시예 3-3) 실시예 3-1에 있어서, 상기 컨볼루션 블럭(40)은 알파-블렌딩 방법을 통해 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한다.
여기서, 알파 블렌딩(Alpha Blending)이란, 이미지를 합성할 때 각 이미지를 표현하는 픽셀들의 색상표현 값 'RGB'에 'a(알파)'라는 새로운 값을 할당하고, 할당된 a(알파) 값이 적용된 배경 이미지의 RGB 값과 그 위에 합성되는 이미지의 RGB 값을 혼합하는 방법을 말한다.
보다 구체적으로 서술하면, 시드벡터(10) 또는 특징벡터의 픽셀값을 X로 하고, 영역 데이터(110)의 픽셀값을 Y로 할 때, 컨볼루션 블럭(40)은 X와 Y를 알파 블렌딩 방법을 이용하여 합성할 수 있다. 합성된 출력값을 Z라고 한다면,
의 관계식을 통해 출력값을 결정할 수 있다.
본 발명의 예시적인 실시예에서, 컨볼루션 블럭(40)을 학습한다는 것은 값을 학습시킨다는 것을 포함하는 개념일 수 있다.
(실시예 3-4) 실시예 3-3에 있어서, 상기 컨볼루션 블럭(40)은 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한 후, 업샘플링 레이어(42)를 통해, 그 결과값을 확장한다.
업샘플링 레이어는 픽셀 사이를 벌리고, 그 사이의 값을 두 픽셀 사이의 중간값으로 채워넣는 모듈을 의미할 수 있다.
위와 같은 작업은 비교적 간단한 작업이며, 수행되는 시간이 비교적 짧을 수 있다. 이와 같이 중간값을 채워넣는다는 것은 가성비적으로 최고의 효율을 확보할 수 있다.
도 3을 참조하면, 제1 특징벡터(21)는 의 크기를 갖는 데이터이나, 컨볼루션 블럭(40)을 통과한 후의 제2 특징벡터(22)는 의 크기를 갖는 데이터가 되고, 이는 업샘플링 레이어(42)를 통해 그 결과값이 확장된 것을 의미할 수 있다.
(실시예 3-4) 실시예 3-3에 있어서, 상기 컨볼루션 블럭(40)은 입력되는 상기 영역 데이터와 입력되는 상기 시드벡터(10) 또는 특징벡터(20)의 크기를 일치시킨다.
본 발명의 예시적인 실시예에 의하면, 각각의 컨볼루션 블럭(40)은 특징벡터(20)와 영역 데이터(110)를 합성하는데, 전술한 바와 같이 알파 블렌딩 방법을 통해 합성하기 위해서는 픽셀의 규모(개수)가 동일하여야 한다. 또한, 각각의 컨볼루션 블럭(40)은 특징벡터(20)들이 입력된 후, 출력되기 전에 업샘플링 레이어(42)를 통해 픽셀의 전체 개수를 확장할 수 있으므로, 영역 데이터(110)를 그 다음 컨볼루션 블럭(40)이 입력할 때에는 영역 데이터(110)의 크기를 확장된 특징벡터와 동일하게 일치시켜주어야 한다. 즉, 상술한 과정은 알파 블렌딩을 적용하여 두 데이터를 합성하기 위한 필수 단계일 수 있다.
(실시예 4-1) 실시예 2-1에 있어서, 상기 (b)단계는 (b-1-0) 스타일 임베딩 네트워크(50)를 통해 제1 스타일 레퍼런스 이미지(201)에서부터 제1 스타일 임베딩 벡터(211)를 생성하고, 상기 시드벡터(10)를 상기 제1 스타일 임베딩 벡터(211)로 대체하는 단계;를 포함한다.
본 발명의 예시적인 실시예는 임의의 벡터인 시드벡터(10)로부터 각각의 컨볼루션 블럭(40)을 통과하면서 사람의 얼굴 이미지인 출력 데이터(102)를 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것이다. 다만, 임의의 벡터인 시드벡터(10)가 입력되는 것보다는 머리카락의 색, 코의 오똑함 등의 정보를 포함하는 스타일 정보를 함의하고 있는 스타일 임베딩 벡터가 영역 데이터(110)와 함께 학습용 데이터로 이용되면서 본 발명의 얼굴 생성 딥러닝 모델을 학습할 수 있다.
본 발명의 예시적인 실시예에 따라, 스타일 임베딩 네트워크(50)를 컨볼루션 블럭(40)과 함께 학습시킬 수 있다.
컨볼루션 블럭(40)과 스타일 임베딩 네트워크(50)가 충분히 학습이 된다면, 스타일임베딩 벡터와 영역 데이터(110)를 각각 별개의 이미지로부터 추출받아서 본 발명의 딥러닝 모델에 입력한다면, 스타일 레퍼런스 이미지의 스타일과 영역 레퍼런스 이미지(100)의 영역을 모두 반영한 새로운 사람의 얼굴을 생성할 수 있다.
(실시예 4-2) 실시예 4-1에 있어서, 상기 로스(30)는 상기 출력 데이터(102)를 상기 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 상기 제1 스타일 임베딩 벡터(211)와 차이인 제2 오차(32)를 포함한다.
본 발명의 예시적인 실시예에 따르면, 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 동시에 학습시킬 수 있다. 로스(30)를 감소시키는 방향으로 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습시킬 수 있다. 로스(30)는 제1 오차(31)와 제2 오차(32)를 포함할 수 있다. 제1 오차(31)는 출력 데이터(102)가 영역 레퍼런스 이미지(100)와 출력 데이터(102)와의 차이를 반영하였으며, 제2 오차(32)는 출력 데이터(102)를 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 스타일 레퍼런스 이미지를 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제1 스타일 임베딩 벡터(211)와의 차이이다.
로스(30)는 이러한 제1 오차(31) 및 제2 오차(32)를 감소시키는 방향으로 딥러닝 모델을 학습시킬 수 있다. 딥러닝 모델을 학습시킨다는 것은 컨볼루션 블럭(40) 및 스타일 임베딩 네트워크(50)를 트레이닝하는 것을 포함하는 개념일 수 있다.
(실시예 5-1) 실시예 2-1에 있어서, 상기 (a)단계는 상기 영역 데이터(110)가 영역별로 구분되어 N개의 세부영역 데이터(111)로 구분생성되고, 상기 (b)단계는 (b-2-1) 스타일 임베딩 네트워크(50)를 통해, 제1 스타일 레퍼런스 이미지(201)에서부터 N개의 제1 세부스타일 임베딩 벡터(221)를 추출하는 단계;, (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터(221)와 상기 N개의 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성하고, 상기 스타일 맵(300)을 상기 제1 데이터(101)로 대체하는 단계;를 포함한다.
(실시예 5-2) 실시예 5-1에 있어서, 상기 (b-2-1)단계에서 상기 N개의 제1 세부스타일 임베딩 벡터(221) 중 적어도 어느 하나가 제2 스타일 레퍼런스 이미지(202)에서부터 추출된 제2 세부스타일 임베딩 벡터(222)로 대체된다.
본 발명의 예시적인 실시예는, 제1 및 제2 스타일 레퍼런스 이미지(202)는 사람의 얼굴 이미지일 수 있다. 제1 스타일 레퍼런스 이미지(201)는 N개의 스타일, 예를들면, 코, 이마, 입, 헤어 등등의 각 영역별 스타일로 구분되어질 수 있다. 따라서, 스타일 임베딩 네트워크(50)를 통해 스타일 레퍼런스 이미지로부터 스타일 임베딩 벡터를 추출할 수 있다. 나아가, 각 세부영역별 스타일 임베딩 벡터인 세부 스타일 임베딩 벡터가 N개 추출될 수 있다.
도 7을 참조하면, 본 발명의 예시적인 실시예는 제1 스타일 레퍼런스 이미지(201)에서 추출된 N개의 제1 세부스타일 임베딩 벡터(221)를 전부 활용하는 것이 아니라, 이 중 일부를 제1 스타일 레퍼런스 이미지(201)와는 다른 사람의 얼굴 데이터인 제2 스타일 레퍼런스 이미지(202)로부터 추출된 제2 세부스타일 임베딩 벡터(222)로 치환할 수 있다.
따라서, 제1 세부스타일 임베딩 벡터(221)와 제2 세부스타일 임베딩 벡터(222)의 조합과 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성할 수 있다. 이렇게 생성된 스타일 맵(300)은 본 발명의 얼굴 생성 딥러닝 모델을 학습하는 과정에서 학습용 데이터로 이용될 수 있다.
보다 구체적으로는, 본 발명의 제1 데이터(101)는 시드벡터(10)와 함께 출력 데이터(102)를 생성하는 과정에서 입력되는 데이터일 수 있다. 이렇게 생성된 출력 데이터(102)는 기준 데이터와 비교하여 그 차이를 반영한 로스(30)를 계산하고, 이러한 로스(30)를 감소시키는 방향으로 본 발명의 얼굴 생성 딥러닝 모델을 트레이닝 시킬 수 있다.
얼굴 생성 딥러닝 모델을 트레이닝 시키는 과정은 1회 순환만으로 학습되는 것은 아니며, 수 많은 영역 레퍼런스 이미지(100), 제1 스타일 레퍼런스 이미지(201), 제2 스타일 레퍼런스 이미지(202) 등을 준비한 후, 각각 입력하여 출력 데이터(102)를 얻고 해당 출력 데이터(102)로부터 로스(30)를 계산한 후, 로스(30)를 줄이는 방향으로 많은 횟수를 학습하여야 한다.
본 명세서에서 1회 순환이라는 것은 한 쌍의 영역 레퍼런스 이미지(100), 제1 및 제2 스타일 레퍼런스 이미지(202) 중 적어도 어느 하나를 이용하여 출력 데이터(102)를 얻고, 출력 데이터(102)의 로스(30)를 계산하는 단계를 포함하는 것일 수 있다.
스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습하는 학습의 주기를 1회 순환마다 수행할 수도 있고, 4번 또는 8번의 순환을 통해 얻은 로스(30)들의 평균을 감소시키는 방향으로 학습을 수행할 수도 있다.
이와 같은 학습의 주기는 이용자의 학습 방향성에 따라 다양하게 결정되어질 수 있다.
(실시예 6-1) 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템으로서,
명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 프로세서를 통해 실행되는 상기 명령은; (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;,(b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;,(c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계;,(d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;,를 포함하는 것인 컴퓨터 구현 학습 시스템.
본 발명의 예시적인 실시예에 있어서, 본 발명의 컴퓨터 구현 시스템은 (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계, 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계, 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계, 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계를 포함하는 명령을 수행하는 프로세서와 이러한 명령을 저장하는 메모리를 포함하는 시스템일 수 있다.
또한, 본 발명의 예시적인 실시예인 컴퓨터 구현 시스템은 전술한 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 내용을 그대로 준용할 수 있다.
이하 본 발명의 컴퓨터 구현 학습 시스템에 대한 자세한 설명은 생략하기로 한다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다
10 : 시드벡터 20 : 특징벡터
40 : 컨볼루션 블럭 50 : 스타일 임베딩 네트워크
100 : 영역 레퍼런스 이미지 110 : 영역 데이터
111 : 세부 영역 데이터 201 : 제1 스타일 레퍼런스 이미지
211 : 제1 스타일 임베딩 벡터 202 : 제2 스타일 레퍼런스 이미지
212 : 제2 스타일 임베딩 벡터 221 : 제1 세부스타일 임베딩 벡터
222 : 제2 세부스타일 임베딩 벡터 300 : 스타일 맵
40 : 컨볼루션 블럭 50 : 스타일 임베딩 네트워크
100 : 영역 레퍼런스 이미지 110 : 영역 데이터
111 : 세부 영역 데이터 201 : 제1 스타일 레퍼런스 이미지
211 : 제1 스타일 임베딩 벡터 202 : 제2 스타일 레퍼런스 이미지
212 : 제2 스타일 임베딩 벡터 221 : 제1 세부스타일 임베딩 벡터
222 : 제2 세부스타일 임베딩 벡터 300 : 스타일 맵
Claims (3)
- 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템으로서,
명령을 저장하는 메모리; 및
상기 명령을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하며,
상기 프로세서를 통해 실행되는 상기 명령은;
(a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;
(b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;
(c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및
(d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하고,
상기 (b) 단계는
(b-1-1) 상기 시드벡터(10)가 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 합성곱 단계; 및
(b-1-2) 컨볼루션 레이어를 통해 상기 출력 데이터(102)를 RGB 이미지로 변환하는 단계;를 포함하고,
상기 (b-1-1)단계는
각각의 상기 컨볼루션 블럭(40)을 통과할 때마다 상기 영역 데이터(110)가 입력되고,
상기 (b-1-1) 단계에서 상기 시드벡터(10)는 상기 컨볼루션 블럭(40)을 통과할 때마다 새로운 특징벡터로 변환되고,
상기 컨볼루션 블럭(40)은 알파-블렌딩 방법을 통해 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성하고,
상기 컨볼루션 블럭(40)은 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한 후, 업샘플링 레이어(42)를 통해 그 결과값을 확장하고,
상기 (b)단계는
(b-1-0) 스타일 임베딩 네트워크(50)를 통해 제1 스타일 레퍼런스 이미지(201)에서부터 제1 스타일 임베딩 벡터(211)를 생성하고, 상기 시드벡터(10)를 상기 제1 스타일 임베딩 벡터(211)로 대체하는 단계;를 포함하고,
상기 로스(30)는 상기 출력 데이터(102)를 상기 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 상기 제1 스타일 임베딩 벡터(211)와 차이인 제2 오차(32)를 반영하고,
상기 (a)단계는 상기 영역 데이터(110)가 영역별로 구분되어 N개의 세부영역 데이터(111)로 구분생성되고,
상기 (b)단계는
(b-2-1) 스타일 임베딩 네트워크(50)를 통해, 제1 스타일 레퍼런스 이미지(201)에서부터 N개의 제1 세부스타일 임베딩 벡터(221)를 추출하는 단계; 및
(b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터(221)와 상기 N개의 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성하고, 상기 스타일 맵(300)을 상기 제1 데이터(101)로 대체하는 단계;를 포함하고,
상기 업샘플링 레이어(42)가 결과값을 확장하는 것은, 이웃한 픽셀 사이를 벌리고, 그 사이의 값을 상기 이웃한 픽셀 사이의 중간값으로 채워넣으며,
상기 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습하는 학습의 주기를 4회 또는 8회의 순환을 통해 얻은 로스(30)들의 평균을 감소시키는 방향으로 학습을 수행하는 단계;를 포함하고,
상기 컨볼루션 블록(40)은 입력되는 상기 영역 데이터와 입력되는 상기 시드벡터(10) 또는 특징벡터(20)의 크기를 일치시키는 컴퓨터 구현 학습 시스템. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230055457A KR102593001B1 (ko) | 2023-02-04 | 2023-04-27 | 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230015237A KR102529216B1 (ko) | 2023-02-04 | 2023-02-04 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
| KR1020230055457A KR102593001B1 (ko) | 2023-02-04 | 2023-04-27 | 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230015237A Division KR102529216B1 (ko) | 2023-02-04 | 2023-02-04 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102593001B1 true KR102593001B1 (ko) | 2023-10-23 |
Family
ID=86381207
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230015237A KR102529216B1 (ko) | 2023-02-04 | 2023-02-04 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
| KR1020230055450A KR102593000B1 (ko) | 2023-02-04 | 2023-04-27 | 복수의 인물 이미지로부터 추출된 특성을 반영한 가상인물 생성 딥러닝 모델의 학습방법 |
| KR1020230055457A KR102593001B1 (ko) | 2023-02-04 | 2023-04-27 | 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230015237A KR102529216B1 (ko) | 2023-02-04 | 2023-02-04 | 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 |
| KR1020230055450A KR102593000B1 (ko) | 2023-02-04 | 2023-04-27 | 복수의 인물 이미지로부터 추출된 특성을 반영한 가상인물 생성 딥러닝 모델의 학습방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (3) | KR102529216B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200115706A (ko) * | 2019-03-11 | 2020-10-08 | 엔에이치엔 주식회사 | 딥러닝 기반의 이미지 영역화 방법 및 그 장치 |
| KR20210054907A (ko) | 2019-11-06 | 2021-05-14 | 엘지전자 주식회사 | 이미지 보정방법 및 보정장치 |
| KR20210062274A (ko) | 2019-11-21 | 2021-05-31 | 주식회사 엔씨소프트 | 이미지 자동 생성 장치 및 생성 방법 |
| KR20210078813A (ko) | 2019-12-19 | 2021-06-29 | 엘지전자 주식회사 | 이미지를 합성하는 인공 지능 장치 및 그 방법 |
| KR20220011100A (ko) | 2020-07-20 | 2022-01-27 | 펄스나인 주식회사 | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 |
| KR102409988B1 (ko) * | 2021-11-03 | 2022-06-16 | 주식회사 클레온 | 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치 |
-
2023
- 2023-02-04 KR KR1020230015237A patent/KR102529216B1/ko active IP Right Grant
- 2023-04-27 KR KR1020230055450A patent/KR102593000B1/ko active IP Right Grant
- 2023-04-27 KR KR1020230055457A patent/KR102593001B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200115706A (ko) * | 2019-03-11 | 2020-10-08 | 엔에이치엔 주식회사 | 딥러닝 기반의 이미지 영역화 방법 및 그 장치 |
| KR20210054907A (ko) | 2019-11-06 | 2021-05-14 | 엘지전자 주식회사 | 이미지 보정방법 및 보정장치 |
| KR20210062274A (ko) | 2019-11-21 | 2021-05-31 | 주식회사 엔씨소프트 | 이미지 자동 생성 장치 및 생성 방법 |
| KR20210078813A (ko) | 2019-12-19 | 2021-06-29 | 엘지전자 주식회사 | 이미지를 합성하는 인공 지능 장치 및 그 방법 |
| KR20220011100A (ko) | 2020-07-20 | 2022-01-27 | 펄스나인 주식회사 | 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 |
| KR102409988B1 (ko) * | 2021-11-03 | 2022-06-16 | 주식회사 클레온 | 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102529216B1 (ko) | 2023-05-08 |
| KR102593000B1 (ko) | 2023-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Deep generation of face images from sketches | |
| CN111489287B (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
| Jiang et al. | Psgan: Pose and expression robust spatial-aware gan for customizable makeup transfer | |
| US11915133B2 (en) | Techniques for smooth region merging in image editing | |
| US10789453B2 (en) | Face reenactment | |
| CN111127304B (zh) | 跨域图像转换 | |
| KR102286037B1 (ko) | 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법 | |
| KR101635730B1 (ko) | 몽타주 생성 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 | |
| CN111199531B (zh) | 基于泊松图像融合及图像风格化的交互式数据扩展方法 | |
| Wang et al. | A survey on face data augmentation | |
| US11024060B1 (en) | Generating neutral-pose transformations of self-portrait images | |
| CN108550176A (zh) | 图像处理方法、设备及存储介质 | |
| CN111275057B (zh) | 图像处理方法、装置及设备 | |
| Singh et al. | Neural style transfer: A critical review | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| Tang et al. | Local and global GANs with semantic-aware upsampling for image generation | |
| JP2024503794A (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| KR20220054955A (ko) | 사용자 얼굴을 대상 얼굴로 교체하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN111275778B (zh) | 人脸简笔画生成方法及装置 | |
| CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
| Thengane et al. | Cycle face aging generative adversarial networks | |
| US20240078773A1 (en) | Electronic device generating 3d model of human and its operation method | |
| KR102593001B1 (ko) | 딥러닝을 기반으로하는 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템 | |
| KR101856426B1 (ko) | 3차원 기하 증강 방법 및 그 장치 | |
| Chae et al. | Semantic image synthesis with unconditional generator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |