KR102529216B1 - 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 - Google Patents

Abstract

본 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것으로, (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함한다.

Description

가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템 {Learning method of face generation deep learning model generating virtual human face and system using the same}

본 발명은 사람의 영역 데이터 또는 마스크 데이터만으로 온전한 사람 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법 및 이를 적용한 컴퓨터 구현 시스템에 대한 것이다.

특허문헌 001은 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 대한 것으로, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 기술을 제시한다.

특허문헌 002는 이미지 보정방법 및 보정장치가 개시된다. 이미지 보정방법은, 필터 적용을 통한 이미지 보정, 필터 정보들의 저장, 필터 정보들을 이용한 심층 신경망 모델의 재훈련 및 심층 신경망 모델을 이용한 필터 정보 출력을 포함한다. 본 발명에 따르면, 5G 네트워크를 통한 인공지능(AI) 모델을 이용한 이미지 분석에 기반하여 이미지 보정이 가능한 기술을 제시한다.

특허문헌 003은 이미지 자동 생성 장치 및 생성 방법에 대한 것으로, 이미지 자동 생성 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지를 기초로 상이한 도메인의 제2 이미지를 생성하고, 상기 생성한 제2 이미지에 서 미리 설정된 파라미터를 추출하고 상기 추출한 파라미터를 기초로 제3 이미지를 생성하는 기술을 제시한다.

특허문헌 004는 이미지를 합성하는 인공 지능 장치 및 그 방법에 대한 것으로, 이미지 데이터를 저장하는 메모리, 이미지 데이터로부터 인물 객체 이미지 및 사물 객체 이미지를 획득하고, 인물 객체 이미지와 매칭되는 3차원 인물 모델을 생성하고, 이미지 데이터의 좌표 정보를 추출하고, 좌표정보에 매칭되는 거리뷰 데이터를 획득하고, 거리뷰 데이터로부터 사물 객체 이미지의 사물 객체가 촬영된 기준 객체 이미지를 추출하고, 인물 객체 이미지 및 사물 객체 이미지의 배치 정보를 획득하고, 배치 정보 및 기준 객체 이미지를 이용하여 3차원 인물 모델을 거리뷰 데이터의 거리뷰 이미지에 배치하는 프로세서를 포함하는 인공지능 장치를 제시한다.

KR 10-2022-0011100 (공개일자:2022년 01월 27일) KR 10-2021-0054907 (공개일자:2021년 05월 14일) KR 10-2021-0062274 (공개일자:2021년 05월 31일) KR 10-2021-0078813 (공개일자:2021년 06월 29일)

본 발명은 많은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것으로, 영역 데이터를 입력함으로써, 그와 매칭되는 가상 인물의 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법을 제공하고자 한다.

또한, 영역 데이터뿐 아니라, 스타일 데이터도 학습용 데이터로 활용함으로써 원하는 스타일의 인물 이미지를 생성하는 학습방법도 제공하고자 한다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, (a) 영역 레퍼런스 이미지로부터 영역 데이터를 추출하는 단계;, (b) 시드벡터와 상기 영역 데이터를 포함하는 제1 데이터를 입력받아서 출력 데이터를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터의 차이인 제1 오차를 반영한 로스를 계산하는 단계; 및 (d) 상기 제1 오차를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b) 단계는 (b-1-1) 상기 시드벡터가 복수의 컨볼루션 블럭을 순차적으로 통과하는 합성곱 단계; 및 (b-1-2) 컨볼루션 레이어를 통해 상기 출력 데이터를 RGB 이미지로 변환하는 단계;를 포함하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-1-1)단계는 각각의 상기 컨볼루션 블럭을 통과할 때마다 상기 영역 데이터가 입력되는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-1-1) 단계에서 상기 시드벡터는 상기 컨볼루션 블럭을 통과할 때마다 새로운 특징벡터로 변환되는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 컨볼루션 블럭은 알파-블렌딩 방법을 통해 상기 시드벡터 또는 특징벡터와 상기 영역 데이터를 합성하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 컨볼루션 블럭은 상기 시드벡터 또는 특징벡터와 상기 영역 데이터를 합성한 후, 업샘플링 레이어를 통해, 그 결과값을 확장하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b)단계는 (b-1-0) 스타일 임베딩 네트워크를 통해 제1 스타일 레퍼런스 이미지에서부터 제1 스타일 임베딩 벡터를 생성하고, 상기 시드벡터를 상기 제1 스타일 임베딩 벡터로 대체하는 단계;를 포함하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 로스는 상기 출력 데이터를 상기 스타일 임베딩 네트워크에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터와 상기 제1 스타일 임베딩 벡터와 차이인 제2 오차를 반영하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (a)단계는 상기 영역 데이터가 영역별로 구분되어 N개의 세부영역 데이터로 구분생성되고, 상기 (b)단계는 (b-2-1) 스타일 임베딩 네트워크를 통해, 제1 스타일 레퍼런스 이미지에서부터 N개의 제1 세부스타일 임베딩 벡터를 추출하는 단계; 및 (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터와 상기 N개의 세부영역 데이터를 합성하여 스타일 맵을 생성하고, 상기 스타일 맵을 상기 제1 데이터로 대체하는 단계;를 포함하는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 발명이며, 앞에서 제시한 발명에 있어서, 상기 (b-2-1)단계에서 상기 N개의 제1 세부스타일 임베딩 벡터 중 적어도 어느 하나가 제2 스타일 레퍼런스 이미지에서부터 추출된 제2 세부스타일 임베딩 벡터로 대체되는 구성으로 이루어진다.

본 발명의 일 실시예에 따른 발명은 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 시스템에 대한 발명이며, 명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 프로세서를 통해 실행되는 상기 명령은; (a) 영역 레퍼런스 이미지로부터 영역 데이터를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터를 포함하는 제1 데이터를 입력받아서 출력 데이터를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터의 차이인 제1 오차를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하는 구성으로 이루어진다.

본 발명은 영역 데이터를 입력함으로써, 그와 매칭되는 가상 인물의 얼굴 이미지를 생성할 수 있는 딥러닝 모델의 학습방법을 제공할 수 있다.

또한, 본 발명은 영역 데이터뿐 아니라, 스타일 데이터도 학습용 데이터로 활용함으로써 원하는 스타일의 인물 이미지를 생성하는 학습방법도 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영역 레퍼런스 이미지 및 영역 데이터를 표현한 도면이다.
도 2는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지 및 영역 데이터를 간략하게 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 스타일 레퍼런스 이미지를 간략하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스타일 레퍼런스 이미지를 이용한 가상 이미지를 생성하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 학습의 준비 데이터인 영역 레퍼런스 이미지, 영역 데이터 및 세부 스타일 임베딩 벡터를 간략하게 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 스타일 맵을 생성하는 과정을 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

아래에 제시되는 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발 명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

(실시예 1-1) 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법은 (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;, (b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;, (c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및 (d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함한다.

시드벡터(10)는 랜덤으로 샘플링된 노이즈일 수 있다. 시드벡터(10)는 특정한 경향성이 있는 것이 아닐 수 있다. 딥러닝 모델의 학습 방향성은 얼굴 생성 딥러닝 모델이 입력받는 다수의 영역 데이터(110)에 따라 결정되어질 수 있다. 상기 영역 데이터(110)를 통해 출력 데이터(102)의 결과가 영역 레퍼런스 이미지(100)와 근접하게 도출될 수 있도록 딥러닝 모델이 학습되어지는 것일 수 있다.

본 발명에서 영역 데이터(110)란 도 1와 같이 사람의 얼굴에 대하여 코, 눈썹, 입, 머리카락 등의 위치와 크기에 대한 데이터를 의미할 수 있다. 이는 후술할 바와 같이 스타일 데이터와 대비되는 개념일 수 있다. 영역 데이터(110)는 당업자들에게 마스크 데이터로 인식될 수 있다. 후술할 바와 같이 영역 데이터(110)는 세부 영역 데이터로 분류될 수 있고, 본 발명의 예시적인 실시예에서는 도 1과 같이 19개의 세부 영역 데이터로 분류하였다.

본 발명의 예시적인 실시예는 영역 레퍼런스 이미지(100)로부터 추출된 영역 데이터(110)를 딥러닝 모델에 입력한 후, 그에 대한 출력 데이터(102)가 영역 레퍼런스 이미지(100)와 유사하게 도출되는 방향으로 딥러닝 모델을 학습시키는 방법에 대한 것일 수 있다. 본 발명의 예시적인 실시예에서 기준 데이터는 영역 레퍼런스 이미지(100)일 수 있다. 보다 구체적인 학습방법에 대해서는 후술하기로 한다.

(실시예 2-1)실시예 1-1에 있어서, 상기 (b) 단계는 (b-1-1) 상기 시드벡터(10)가 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 합성곱 단계; 및 (b-1-2) 컨볼루션 레이어(41)를 통해 상기 출력 데이터(102)를 RGB 이미지로 변환하는 단계;를 포함한다.

시드벡터(10)는 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 단계를 거친다. 통과한다는 것은 입력된 후, 새로운 결과값으로 출력되는 과정을 의미할 수 있다. 또한 본 발명에서 이 단계는 임의의 시드벡터(10)로부터 사람의 얼굴 이미지인 출력 데이터(102)를 생성하는 과정을 의미할 수 있다. 시드벡터(10)는 각각의 컨볼루션 블럭(40)에 입력되어 출력될 때마다 새로운 특징벡터(20)로 변환될 수 있다.

도 3을 참조하면, 본 발명의 예시적인 실시예는 시드벡터(10)에서 출발하여 각각의 컨볼루션 블럭(40)을 통과할 때마다 제1 특징벡터(21), 제2 특징벡터(22) 등으로 순차적으로 변환되어질 수 있다. 몇 개의 컨볼루션 블럭(40)을 통과하는지는 이용자의 필요에 따라 선택되어질 수 있다. 각각의 특징벡터(20)들은 컨볼루션 블럭(40)을 통과할 때마다 사람의 얼굴 이미지로 점차 변환되어가는 데이터일 수 있다.

본 명세서에서 기재되는 특징벡터(20)는 당업자들에게 특징맵(feature map)의 개념일 수 있다.

특징벡터(20)들은 컴퓨터만이 인식할 수 있는 데이터로 구성될 수 있으므로, 최종적으로 특징벡터를 통해 사람의 얼굴 이미지를 생성하기 위해서는 모든 합성곱 단계를 거친 후의 특징벡터를 컨볼루션 레이어(41)에 입력하여 RGB의 3채널로 이루어진 이미지로 최종 변환하여야 할 수 있다. 컨볼루션 레이어(41)까지 통과한 이미지 데이터가 출력 데이터(102)일 수 있다.

(실시예 3-1) 실시예 2-1에 있어서, 상기 (b-1-1)단계는 각각의 상기 컨볼루션 블럭(40)을 통과할 때마다 상기 영역 데이터(110)가 입력된다.

본 발명의 예시적인 실시예에 따라, 컨볼루션 블럭(40)을 통과한다는 것은, 시드벡터(10) 또는 특징벡터(20)가 영역 데이터(110)와 합성 또는 섞인다는 것을 의미할 수 있다.

출력 데이터(102)는 모든 컨볼루션 블럭(40) 및 컨볼루션 레이어(41)를 모두 통과한 후의 특징벡터(20)를 의미할 수 있다.

(실시예 3-2) 실시예 3-1에 있어서, 상기 (b-1-1) 단계에서 상기 시드벡터(10)는 상기 컨볼루션 블럭(40)을 통과할 때마다 새로운 특징벡터로 변환된다.

도 3을 참조하면, 본 발명에서 시드벡터(10)는 복수의 컨볼루션 블럭(40)을 순차적으로 통과할 수 있는데, 통과할 때마다 시드벡터(10)는 제1 특징벡터(21), 제2 특징벡터(22), 제3 특징벡터(23) 등등으로 새로운 특징벡터들로 변환될 수 있다.

충분히 학습된 얼굴 생성 딥러닝 모델에서는 특징벡터들은 점차 사람의 얼굴 이미지가 되어가는 데이터로 변화되어질 수 있다.

(실시예 3-3) 실시예 3-1에 있어서, 상기 컨볼루션 블럭(40)은 알파-블렌딩 방법을 통해 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한다.

여기서, 알파 블렌딩(Alpha Blending)이란, 이미지를 합성할 때 각 이미지를 표현하는 픽셀들의 색상표현 값 'RGB'에 'a(알파)'라는 새로운 값을 할당하고, 할당된 a(알파) 값이 적용된 배경 이미지의 RGB 값과 그 위에 합성되는 이미지의 RGB 값을 혼합하는 방법을 말한다.

보다 구체적으로 서술하면, 시드벡터(10) 또는 특징벡터의 픽셀값을 X로 하고, 영역 데이터(110)의 픽셀값을 Y로 할 때, 컨볼루션 블럭(40)은 X와 Y를 알파 블렌딩 방법을 이용하여 합성할 수 있다. 합성된 출력값을 Z라고 한다면,

의 관계식을 통해 출력값을 결정할 수 있다.

본 발명의 예시적인 실시예에서, 컨볼루션 블럭(40)을 학습한다는 것은

값을 학습시킨다는 것을 포함하는 개념일 수 있다.

(실시예 3-4) 실시예 3-3에 있어서, 상기 컨볼루션 블럭(40)은 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한 후, 업샘플링 레이어(42)를 통해, 그 결과값을 확장한다.

업샘플링 레이어는 픽셀 사이를 벌리고, 그 사이의 값을 두 픽셀 사이의 중간값으로 채워넣는 모듈을 의미할 수 있다.

위와 같은 작업은 비교적 간단한 작업이며, 수행되는 시간이 비교적 짧을 수 있다. 이와 같이 중간값을 채워넣는다는 것은 가성비적으로 최고의 효율을 확보할 수 있다.

도 3을 참조하면, 제1 특징벡터(21)는

의 크기를 갖는 데이터이나, 컨볼루션 블럭(40)을 통과한 후의 제2 특징벡터(22)는

의 크기를 갖는 데이터가 되고, 이는 업샘플링 레이어(42)를 통해 그 결과값이 확장된 것을 의미할 수 있다.

(실시예 3-4) 실시예 3-3에 있어서, 상기 컨볼루션 블럭(40)은 입력되는 상기 영역 데이터와 입력되는 상기 시드벡터(10) 또는 특징벡터(20)의 크기를 일치시킨다.

본 발명의 예시적인 실시예에 의하면, 각각의 컨볼루션 블럭(40)은 특징벡터(20)와 영역 데이터(110)를 합성하는데, 전술한 바와 같이 알파 블렌딩 방법을 통해 합성하기 위해서는 픽셀의 규모(개수)가 동일하여야 한다. 또한, 각각의 컨볼루션 블럭(40)은 특징벡터(20)들이 입력된 후, 출력되기 전에 업샘플링 레이어(42)를 통해 픽셀의 전체 개수를 확장할 수 있으므로, 영역 데이터(110)를 그 다음 컨볼루션 블럭(40)이 입력할 때에는 영역 데이터(110)의 크기를 확장된 특징벡터와 동일하게 일치시켜주어야 한다. 즉, 상술한 과정은 알파 블렌딩을 적용하여 두 데이터를 합성하기 위한 필수 단계일 수 있다.

(실시예 4-1) 실시예 2-1에 있어서, 상기 (b)단계는 (b-1-0) 스타일 임베딩 네트워크(50)를 통해 제1 스타일 레퍼런스 이미지(201)에서부터 제1 스타일 임베딩 벡터(211)를 생성하고, 상기 시드벡터(10)를 상기 제1 스타일 임베딩 벡터(211)로 대체하는 단계;를 포함한다.

본 발명의 예시적인 실시예는 임의의 벡터인 시드벡터(10)로부터 각각의 컨볼루션 블럭(40)을 통과하면서 사람의 얼굴 이미지인 출력 데이터(102)를 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것이다. 다만, 임의의 벡터인 시드벡터(10)가 입력되는 것보다는 머리카락의 색, 코의 오똑함 등의 정보를 포함하는 스타일 정보를 함의하고 있는 스타일 임베딩 벡터가 영역 데이터(110)와 함께 학습용 데이터로 이용되면서 본 발명의 얼굴 생성 딥러닝 모델을 학습할 수 있다.

본 발명의 예시적인 실시예에 따라, 스타일 임베딩 네트워크(50)를 컨볼루션 블럭(40)과 함께 학습시킬 수 있다.

컨볼루션 블럭(40)과 스타일 임베딩 네트워크(50)가 충분히 학습이 된다면, 스타일임베딩 벡터와 영역 데이터(110)를 각각 별개의 이미지로부터 추출받아서 본 발명의 딥러닝 모델에 입력한다면, 스타일 레퍼런스 이미지의 스타일과 영역 레퍼런스 이미지(100)의 영역을 모두 반영한 새로운 사람의 얼굴을 생성할 수 있다.

(실시예 4-2) 실시예 4-1에 있어서, 상기 로스(30)는 상기 출력 데이터(102)를 상기 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 상기 제1 스타일 임베딩 벡터(211)와 차이인 제2 오차(32)를 포함한다.

본 발명의 예시적인 실시예에 따르면, 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 동시에 학습시킬 수 있다. 로스(30)를 감소시키는 방향으로 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습시킬 수 있다. 로스(30)는 제1 오차(31)와 제2 오차(32)를 포함할 수 있다. 제1 오차(31)는 출력 데이터(102)가 영역 레퍼런스 이미지(100)와 출력 데이터(102)와의 차이를 반영하였으며, 제2 오차(32)는 출력 데이터(102)를 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 스타일 레퍼런스 이미지를 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제1 스타일 임베딩 벡터(211)와의 차이이다.

로스(30)는 이러한 제1 오차(31) 및 제2 오차(32)를 감소시키는 방향으로 딥러닝 모델을 학습시킬 수 있다. 딥러닝 모델을 학습시킨다는 것은 컨볼루션 블럭(40) 및 스타일 임베딩 네트워크(50)를 트레이닝하는 것을 포함하는 개념일 수 있다.

(실시예 5-1) 실시예 2-1에 있어서, 상기 (a)단계는 상기 영역 데이터(110)가 영역별로 구분되어 N개의 세부영역 데이터(111)로 구분생성되고, 상기 (b)단계는 (b-2-1) 스타일 임베딩 네트워크(50)를 통해, 제1 스타일 레퍼런스 이미지(201)에서부터 N개의 제1 세부스타일 임베딩 벡터(221)를 추출하는 단계;, (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터(221)와 상기 N개의 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성하고, 상기 스타일 맵(300)을 상기 제1 데이터(101)로 대체하는 단계;를 포함한다.

(실시예 5-2) 실시예 5-1에 있어서, 상기 (b-2-1)단계에서 상기 N개의 제1 세부스타일 임베딩 벡터(221) 중 적어도 어느 하나가 제2 스타일 레퍼런스 이미지(202)에서부터 추출된 제2 세부스타일 임베딩 벡터(222)로 대체된다.

본 발명의 예시적인 실시예는, 제1 및 제2 스타일 레퍼런스 이미지(202)는 사람의 얼굴 이미지일 수 있다. 제1 스타일 레퍼런스 이미지(201)는 N개의 스타일, 예를들면, 코, 이마, 입, 헤어 등등의 각 영역별 스타일로 구분되어질 수 있다. 따라서, 스타일 임베딩 네트워크(50)를 통해 스타일 레퍼런스 이미지로부터 스타일 임베딩 벡터를 추출할 수 있다. 나아가, 각 세부영역별 스타일 임베딩 벡터인 세부 스타일 임베딩 벡터가 N개 추출될 수 있다.

도 7을 참조하면, 본 발명의 예시적인 실시예는 제1 스타일 레퍼런스 이미지(201)에서 추출된 N개의 제1 세부스타일 임베딩 벡터(221)를 전부 활용하는 것이 아니라, 이 중 일부를 제1 스타일 레퍼런스 이미지(201)와는 다른 사람의 얼굴 데이터인 제2 스타일 레퍼런스 이미지(202)로부터 추출된 제2 세부스타일 임베딩 벡터(222)로 치환할 수 있다.

따라서, 제1 세부스타일 임베딩 벡터(221)와 제2 세부스타일 임베딩 벡터(222)의 조합과 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성할 수 있다. 이렇게 생성된 스타일 맵(300)은 본 발명의 얼굴 생성 딥러닝 모델을 학습하는 과정에서 학습용 데이터로 이용될 수 있다.

보다 구체적으로는, 본 발명의 제1 데이터(101)는 시드벡터(10)와 함께 출력 데이터(102)를 생성하는 과정에서 입력되는 데이터일 수 있다. 이렇게 생성된 출력 데이터(102)는 기준 데이터와 비교하여 그 차이를 반영한 로스(30)를 계산하고, 이러한 로스(30)를 감소시키는 방향으로 본 발명의 얼굴 생성 딥러닝 모델을 트레이닝 시킬 수 있다.

얼굴 생성 딥러닝 모델을 트레이닝 시키는 과정은 1회 순환만으로 학습되는 것은 아니며, 수 많은 영역 레퍼런스 이미지(100), 제1 스타일 레퍼런스 이미지(201), 제2 스타일 레퍼런스 이미지(202) 등을 준비한 후, 각각 입력하여 출력 데이터(102)를 얻고 해당 출력 데이터(102)로부터 로스(30)를 계산한 후, 로스(30)를 줄이는 방향으로 많은 횟수를 학습하여야 한다.

본 명세서에서 1회 순환이라는 것은 한 쌍의 영역 레퍼런스 이미지(100), 제1 및 제2 스타일 레퍼런스 이미지(202) 중 적어도 어느 하나를 이용하여 출력 데이터(102)를 얻고, 출력 데이터(102)의 로스(30)를 계산하는 단계를 포함하는 것일 수 있다.

스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습하는 학습의 주기를 1회 순환마다 수행할 수도 있고, 4번 또는 8번의 순환을 통해 얻은 로스(30)들의 평균을 감소시키는 방향으로 학습을 수행할 수도 있다.

이와 같은 학습의 주기는 이용자의 학습 방향성에 따라 다양하게 결정되어질 수 있다.

(실시예 6-1) 딥러닝 기반 사람 얼굴을 생성하는 컴퓨터 구현 학습 시스템으로서,

명령을 저장하는 메모리; 및 상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며, 상기 프로세서를 통해 실행되는 상기 명령은; (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;,(b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;,(c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계;,(d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;,를 포함하는 것인 컴퓨터 구현 학습 시스템.

본 발명의 예시적인 실시예에 있어서, 본 발명의 컴퓨터 구현 시스템은 (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계, 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계, 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계, 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계를 포함하는 명령을 수행하는 프로세서와 이러한 명령을 저장하는 메모리를 포함하는 시스템일 수 있다.

또한, 본 발명의 예시적인 실시예인 컴퓨터 구현 시스템은 전술한 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 내용을 그대로 준용할 수 있다.

이하 본 발명의 컴퓨터 구현 학습 시스템에 대한 자세한 설명은 생략하기로 한다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다

10 : 시드벡터 20 : 특징벡터
40 : 컨볼루션 블럭 50 : 스타일 임베딩 네트워크
100 : 영역 레퍼런스 이미지 110 : 영역 데이터
111 : 세부 영역 데이터 201 : 제1 스타일 레퍼런스 이미지
211 : 제1 스타일 임베딩 벡터 202 : 제2 스타일 레퍼런스 이미지
212 : 제2 스타일 임베딩 벡터 221 : 제1 세부스타일 임베딩 벡터
222 : 제2 세부스타일 임베딩 벡터 300 : 스타일 맵

Claims (11)

1. 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법에 대한 것으로,
   (a) 영역 레퍼런스 이미지(100)로부터 영역 데이터(110)를 추출하는 단계;
   (b) 시드벡터(10)와 상기 영역 데이터(110)를 포함하는 제1 데이터(101)를 입력받아서 출력 데이터(102)를 생성하는 단계;
   (c) 기준 데이터와 상기 출력 데이터(102)의 차이인 제1 오차(31)를 반영한 로스(30)를 계산하는 단계; 및
   (d) 상기 제1 오차(31)를 감소하는 방향으로 상기 얼굴 생성 딥러닝 모델의 가중치를 학습하는 단계;를 포함하고,
   상기 (b) 단계는
   (b-1-1) 상기 시드벡터(10)가 복수의 컨볼루션 블럭(40)을 순차적으로 통과하는 합성곱 단계; 및
   (b-1-2) 컨볼루션 레이어를 통해 상기 출력 데이터(102)를 RGB 이미지로 변환하는 단계;를 포함하고,
   상기 (b-1-1)단계는
   각각의 상기 컨볼루션 블럭(40)을 통과할 때마다 상기 영역 데이터(110)가 입력되고,
   상기 (b-1-1) 단계에서 상기 시드벡터(10)는 상기 컨볼루션 블럭(40)을 통과할 때마다 새로운 특징벡터로 변환되고,
   상기 컨볼루션 블럭(40)은 알파-블렌딩 방법을 통해 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성하고,
   상기 컨볼루션 블럭(40)은 상기 시드벡터(10) 또는 특징벡터와 상기 영역 데이터(110)를 합성한 후, 업샘플링 레이어(42)를 통해 그 결과값을 확장하고,
   상기 (b)단계는
   (b-1-0) 스타일 임베딩 네트워크(50)를 통해 제1 스타일 레퍼런스 이미지(201)에서부터 제1 스타일 임베딩 벡터(211)를 생성하고, 상기 시드벡터(10)를 상기 제1 스타일 임베딩 벡터(211)로 대체하는 단계;를 포함하고,
   상기 로스(30)는 상기 출력 데이터(102)를 상기 스타일 임베딩 네트워크(50)에 입력하였을 때 출력되는 제2 스타일 임베딩 벡터(212)와 상기 제1 스타일 임베딩 벡터(211)와 차이인 제2 오차(32)를 반영하고,
   상기 (a)단계는 상기 영역 데이터(110)가 영역별로 구분되어 N개의 세부영역 데이터(111)로 구분생성되고,
   상기 (b)단계는
   (b-2-1) 스타일 임베딩 네트워크(50)를 통해, 제1 스타일 레퍼런스 이미지(201)에서부터 N개의 제1 세부스타일 임베딩 벡터(221)를 추출하는 단계; 및
   (b-2-1) 상기 N개의 제1 세부스타일 임베딩 벡터(221)와 상기 N개의 세부영역 데이터(111)를 합성하여 스타일 맵(300)을 생성하고, 상기 스타일 맵(300)을 상기 제1 데이터(101)로 대체하는 단계;를 포함하고,
   상기 업샘플링 레이어(42)가 결과값을 확장하는 것은, 이웃한 픽셀 사이를 벌리고, 그 사이의 값을 상기 이웃한 픽셀 사이의 중간값으로 채워넣으며,
   상기 스타일 임베딩 네트워크(50)와 컨볼루션 블럭(40)을 학습하는 학습의 주기를 4회 또는 8회의 순환을 통해 얻은 로스(30)들의 평균을 감소시키는 방향으로 학습을 수행하는, 얼굴 생성 딥러닝 모델의 학습방법.
   
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images