KR102584900B1 - 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 - Google Patents

얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 Download PDF

Info

Publication number
KR102584900B1
KR102584900B1 KR1020210093968A KR20210093968A KR102584900B1 KR 102584900 B1 KR102584900 B1 KR 102584900B1 KR 1020210093968 A KR1020210093968 A KR 1020210093968A KR 20210093968 A KR20210093968 A KR 20210093968A KR 102584900 B1 KR102584900 B1 KR 102584900B1
Authority
KR
South Korea
Prior art keywords
image
virtual character
virtual
image search
face
Prior art date
Application number
KR1020210093968A
Other languages
English (en)
Other versions
KR20220011100A (ko
Inventor
박지은
이진호
Original Assignee
펄스나인 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 펄스나인 주식회사 filed Critical 펄스나인 주식회사
Publication of KR20220011100A publication Critical patent/KR20220011100A/ko
Application granted granted Critical
Publication of KR102584900B1 publication Critical patent/KR102584900B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 관한 것이다.
본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은, 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와; 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와; 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함한다.
이와 같은 본 발명에 의하면, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있다.

Description

얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법{Digital human generation system and method through face image search}
본 발명은 가상 인물 생성 시스템 및 방법에 관한 것으로서, 더 상세하게는 가상 인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하면 텍스트 또는 실제 인물 사진과 유사한 가상 인물이 검색되고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법에 관한 것이다.
일반적으로 딥러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고 방식을 컴퓨터에게 가르치는 기계학습의 한 분야이다.
어떠한 데이터가 있을 때 이를 컴퓨터가 인식할 수 있는 형태(예를 들면, 이미지의 경우 픽셀 정보를 열 벡터로 표현하는 툴)로 표현하고, 이를 학습에 적용하기 위해 많은 연구가 진행되고 있다.
DNN(deep neural networks), CNN(convolutional neural network), RNN(recurrent neural network) 등과 같은 다양한 딥러닝 기법들이 음성 신호 처리, 자연 언어 처리, 이미지(영상) 처리 등의 분야에 적용되어 우수한 성능의 응용프로그램들이 개발되고 있다.
한편, 사후 등 초상권이 만료된 유명인의 경우, 창작의 자유로운 소재가 되나 기존 사진을 활용하지 못하는 문제가 있다. 초상권 제한은 없으나 사진기록 등 기록 콘텐츠에 대한 재산권의 제한이 있어 여전히 창작의 발전에 한계가 있다. 또한 가상 캐릭터 비즈니스에서 이상형 얼굴을 데이터를 기반으로 분석하거나 생성하지 못하는 문제가 있다.
한국 공개특허공보 제10-2012-0130627호(특허문헌 1)에는 "아바타를 이용한 애니메이션 생성 장치 및 방법"이 개시되어 있는바, 이에 따른 아바타를 이용한 애니메이션 생성 장치는, 이차원 얼굴 영상으로부터 추출된 복수 개의 특징점들을 이용하여 표정의 변형이 가능한 매개변수 모델을 생성하고, 텍스트 데이터에서 추출된 특징 단어와 상기 복수 개의 특징점들에 대응되는 표정 매개변수를 미리 저장된 데이터베이스에서 검색하는 모델 생성부; 상기 텍스트 데이터에 포함된 단어의 음성학적 특성을 이용하여 상기 텍스트 데이터를 음성으로 표현할 때 상기 복수 개의 특징점들의 위치 변화를 나타내는 벡터를 생성하고, 상기 매개변수 모델에 상기 표정 매개변수 및 상기 벡터를 적용하여 상기 텍스트 데이터를 음성으로 표현하는 동안의 표정 변화를 반영한 애니메이션을 생성하는 애니메이션 생성부; 및 가상공간에서 상기 이차원 얼굴 영상에 대응되는 아바타를 이용하여 상기 애니메이션을 출력하는 출력부를 포함하는 것을 특징으로 한다.
이와 같은 특허문헌 1의 경우, 하나의 이차원 영상과 텍스트를 이용하여 가상공간에서 사용자들을 대신하는 아바타를 통해 애니메이션을 합성할 수 있는 효과가 있으나, 가상 캐릭터 비즈니스에서 이상형 얼굴을 데이터를 기반으로 분석하거나 생성하지는 못하는 문제점을 내포하고 있다.
한국 공개특허공보 제10-2012-0130627호(2012.12.03.)
본 발명은 이상과 같은 사항을 종합적으로 감안하여 창출된 것으로서, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하면 텍스트 또는 실제 인물 사진과 유사한 가상 인물이 검색되고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템은,
외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하여 얼굴 랜드마크 기반 유사도 비교를 통해 유사한 이미지를 추출하는 이미지 검색부와;
상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 가상 인물 생성부; 및
인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 포함하는 점에 그 특징이 있다.
여기서, 상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 고객이 원하는 가상 인물의 특징에 부합하는 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성될 수 있다.
또한, 상기 이미지 데이터베이스는 빠른 검색을 위한 목업 부분과, 실제 고화질 활용을 위한 로우(raw) 부분으로 구성될 수 있다.
이때, 상기 로우(raw) 부분은 유연한 고객 맞춤형을 위해 잠재 벡터(latent vector) 형태로 구성될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법은,
a) 컴퓨터 시스템에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스에 저장하는 단계와;
b) 이미지 검색부에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하는 단계와;
c) 상기 이미지 검색부에 의해 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스로부터 유사한 이미지를 추출하는 단계; 및
d) 가상 인물 생성부가 상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 d)에서 상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 고객이 원하는 가상 인물의 특징에 부합하는 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 단계 d)에서 상기 가상 인물 생성부에 의해 생성된 가상 인물을 다양한 각도로 2D 또는 3D 렌더링하는 단계를 더 포함할 수 있다.
이와 같은 본 발명에 의하면, 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있는 장점이 있다.
도 1은 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 도 1에 도시된 시스템의 이미지 데이터베이스의 목업 부분의 목업 데이터에 저장되어 있는 얼굴 랜드마크의 종류를 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템(100)은 이미지 검색부(110), 가상 인물 생성부(120) 및 이미지 데이터베이스(130)를 포함하여 구성된다.
이미지 검색부(110)는 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스(130)를 검색하여, 도 3의 (B), (C), (D)와 같은 얼굴 랜드마크를 기반으로 유사도 비교를 통해 유사한 이미지를 추출한다.
가상 인물 생성부(120)는 상기 이미지 검색부(110)에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성한다.
이미지 데이터베이스(130)에는 인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있다.
여기서, 상기 가상 인물 생성부(120)는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 고객이 원하는 가상 인물의 특징에 부합하는(예를 들면, 눈동자, 머리카락, 피부 등의 색과 표현에 대하여 고객 맞춤형으로) 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부(120)에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성될 수 있다.
또한, 상기 이미지 데이터베이스(130)는 빠른 검색을 위한 목업 부분(131)과, 실제 고화질 활용을 위한 로우(raw) 부분(132)으로 구성될 수 있다. 여기서, 목업 부분(131)에 저장되어 있는 목업 데이터는 얼굴 랜드마크 기반 유사도 판정시 로우 데이터가 지나치게 큰 용량이어서 유사도 계산시 컴퓨팅 자원의 절약 및 시간의 절약을 위해 사용한다. 로우(raw) 부분(132)에 저장되어 있는 로우 데이터는 손실이 되지 않은 무손실 이미지 데이터이다. 목업 데이터에는 얼굴 랜드마크가 저장되어 있고, 랜드마크의 종류는 여러 가지이며, 예를 들면 도 3의 (B), (C), (D)와 같은 종류가 있을 수 있다.
이때, 상기 로우(raw) 부분(132)은 유연한 고객 맞춤형을 위해 잠재 벡터 (latent vector) 형태로 구성될 수 있다.
여기서, 또한 이상과 같은 이미지 검색부(110), 가상 인물 생성부(120) 및 이미지 데이터베이스(130)는 전체적으로 하나의 컴퓨터 시스템으로 통합되어 구성될 수도 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템을 바탕으로 한 얼굴 이미지 검색을 통한 가상 인물 생성 방법에 대하여 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 방법에 따라, 먼저 컴퓨터 시스템(미도시)에 의해 인공지능 기법을 기반으로 다양한 모습의 가상 캐릭터 얼굴 이미지를 생성하여 이미지 데이터베이스(130)에 저장한다(단계 S201). 이때, "StyleGAN2" 등의 생성 모델(generative model)을 이용하여 가상 인물 이미지(가상 캐릭터 얼굴 이미지)를 생성하여 이미지 데이터베이스(130)에 저장할 수 있다.
이후, 이미지 검색부(110)에 의해 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스(130)를 검색한다(단계 S202). 여기서, 이미지 검색부(110)에 입력되는 소스는 2D 이미지로 한정되는 것은 아니며, 경우에 따라서는 텍스트(키워드)(예를 들면, 30대, 여자, 계란형, 고양이상)가 입력될 수도 있다. 이와 같은 텍스트(키워드)에 의한 검색에 대해서는 뒤에서 다시 설명하기로 한다.
이렇게 하여 이미지 검색부(110)가 이미지 데이터베이스(130)를 검색한 후,이미지 검색부(110)는 얼굴 랜드마크 기반 유사도 비교를 통해 이미지 데이터베이스(130)로부터 유사한 이미지를 추출한다(단계 S203). 여기서, 만일 이미지 검색부(110)에 2D 이미지가 아닌 텍스트(키워드)(예를 들면, 30대, 여자, 계란형, 고양이상)가 입력된 경우에는, 이미지 검색부(110)는 유사도 비교를 통해 이미지 데이터베이스(130)로부터 유사한 이미지를 추출하지 않는다. 이때는 대신 위와 같은 특정 텍스트(키워드)(30대, 여자, 계란형, 고양이상)에 대하여 미리 작성하여 데이터베이스(130)에 저장해 놓은 일종의 룩업 테이블(look-up table)과 같은 하나의 기준 테이블을 검색하여 유사한 이미지를 추출하게 된다.
상기 단계 S203에서 유사한 이미지의 추출이 완료되면, 가상 인물 생성부(120)가 상기 이미지 검색부(110)에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운 가상 인물을 생성한다(단계 S204). 여기서, 상기 가상 인물 생성부(120)는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 고객이 원하는 가상 인물의 특징에 부합하는(예를 들면, 눈동자, 머리카락, 피부 등의 색과 표현에 대하여 고객 맞춤형으로) 2D 및/또는 3D 가상 인물을 생성할 수 있다.
이때, 또한 상기 가상 인물 생성부(120)는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 등 감정의 정도가 표현된 가상 인물을 생성할 수 있다.
또한, 상기 가상 인물 생성부(120)에 의해 생성된 가상 인물을 다양한 각도로 2D 또는 3D 렌더링하는 단계를 더 포함할 수 있다.
이상과 같은 일련의 과정에서, 상기 단계 S202에서의 이미지 검색부(110)에 의해 이미지 데이터베이스(130)를 검색하는 것과 관련하여 조금 더 설명을 부가해 보기로 한다.
먼저, 이미지 데이터베이스에서 실제 얼굴 이미지를 이용한 검색 방법에 대해 설명해 보기로 한다.
이 검색 방법을 위해 "StyleGAN2" 등의 생성 모델(generative model)을 이용하여 생성한 가상 인물 이미지가 이미지 데이터베이스(130)에 저장되어 있는 것으로 가정한다. 이 이미지 데이터 베이스(130)에는 전술한 바와 같은 로우(raw) 데이터와 목업(mock up) 데이터 형태가 모두 저장되어 있다. 목업 데이터에는 얼굴 랜드마크도 저장되어 있다.
사용자(고객)가 실제 사람 얼굴이 들어간 얼굴 이미지를 입력하면, 이미지 검색부(110)는 이미지 데이터베이스(130)를 검색한 후, 얼굴의 랜드마크를 PRNet 등의 알고리즘을 통해 추출한다. 여기서, PRNet 알고리즘은 얼굴 3D 정보를 UV 맵핑을 통해 2D로 표현하는 알고리즘이다. 이와 같은 PRNet 알고리즘에 대해서는 논문 "Y. Feng, F. Wu, X. Shao, Y. Wang, and X. Zhou. Joint 3D face reconstruction and dense alignment with position map regression network. In ECCV, 2018. 2, 3, 7"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
이미지 검색부(110)는 이미지 데이터 베이스(130)의 목업 데이터에 있는 얼굴 랜드마크와, 사용자(고객)가 입력한 이미지의 랜드마크 사이의 유사도를 계산하여, 이미지 데이터베이스(130)에 저장되어 있는 이미지 중 가장 유사한 이미지를 검색한다. 이때, 유사도 계산은 예를 들어, 2차원 얼굴 이미지 랜드마크의 정확도와 관련된 "mean error", "cumulative error"에 의해 수행될 수 있다.
"mean error"를 수식으로 표현하면 다음과 같다.
여기서 는 i번째 얼굴 이미지의 랜드마크를 예측하는 머신러닝 모델이 예측한 모양, 는 실제 모양, 는 두 눈 사이의 거리, p는 랜드마크의 갯수, n은 전체 얼굴 이미지 개수이다.
또한, "cumulative error"와 관련된 CED(cumulative errors distribution)는, 라고 할 때, 가 보다 작거나 같은 이미지의 갯수를 n 으로 나눈 값이다. 즉, CED는 평균 오차가 이하인 이미지 개수의 비율이다. 이를 수식으로 표현하면 아래와 같다.
이상과 같은 "mean error", "CED"에 대해서는 논문 "Lai, H.; Xiao, S.; Pan, Y.; Cui, Z.; Feng, J.; Xu, C.; Yin, J.; Yan, S. Deep recurrent regression for facial landmark detection. IEEE Trans. Circuits Syst. Video Technol. 2018, 28, 1144-1157"에 자세히 설명되어 있으므로, 그것을 참고하는 것으로 갈음하기로 하고, 본 명세서에서는 이에 대한 상세한 설명은 생략하기로 한다.
다음으로, 이미지 데이터베이스에서 키워드(텍스트)로 검색하는 방법에 대해 설명해 보기로 한다.
이 방법에서도 마찬가지로 StyleGAN2 등의 생성 모델(generative model)을 이용하여 생성한 가상 인물 이미지가 이미지 데이터베이스(130)에 저장되어 있는 것으로 가정한다.
먼저, “Amazon Rekognition” 또는 사전 훈련된 머신 러닝 모델을 활용하여 이미지 데이터베이스(130)에 있는 이미지들의 특징들을 추출하여 저장한다. 예를 들면, 나이, 성별, 안경 유무, 스마트함 등의 결과값 텍스트를 새로운 데이터베이스(DB)에 저장한다. 그런 후, 사용자가 키워드로 검색을 하면, 이미지 검색부(110)는 위의 새로운 데이터베이스(DB)에서 검색을 하며, 이에 따라 해당하는 이미지가 검색된다. 이때, 해당하는 이미지가 다수 개 있는 경우 하나를 선택하게 되고, 검색이 되지 않는 경우는 결과가 없음을 사용자에게 알려준다.
이상의 설명과 같이, 본 발명에 따른 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법은 가상인물 데이터가 저장되어 있는 데이터베이스에 텍스트 또는 실제 인물 사진을 입력하여 텍스트 또는 실제 인물 사진과 유사한 가상 인물을 검색하고, 검색된 가상 인물을 기반으로 새로운 가상 인물을 생성함으로써, 종래의 캐릭터 비즈니스의 문제를 보완하고, 인공지능 얼굴 이미지 생성 시스템을 활용하여 가상 캐릭터 비즈니스의 자유도를 높일 수 있는 장점이 있다.
이상, 바람직한 실시 예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
110: 이미지 검색부 120: 가상 인물 생성부
130: 이미지 데이터베이스 131: 목업 부분
132: 로우 부분

Claims (12)

  1. 외부로부터 2D 이미지를 입력받아 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 검색하여 얼굴 랜드마크 기반 유사도 비교를 통해 유사한 이미지를 추출하는 이미지 검색부와;
    상기 이미지 검색부에 의해 추출된 이미지를 전송받아 그를 기반으로 새로운가상 인물을 생성하는 가상 인물 생성부; 및
    인공지능 기법을 기반으로 생성된 다양한 모습의 가상 캐릭터 얼굴 이미지가 저장되어 있는 이미지 데이터베이스를 포함하고,
    상기 이미지 데이터베이스는 빠른 검색을 위한 목업 부분과, 실제 고화질 활용을 위한 로우(raw) 부분으로 구성되며,
    상기 로우(raw) 부분은 유연한 고객 맞춤형을 위해 잠재 벡터(latent vector) 형태로 구성된 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
  2. 제1항에 있어서,
    상기 가상 인물 생성부는 전송받은 이미지를 기반으로 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
  3. 제2항에 있어서,
    상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 고객이 원하는 가상 인물의 특징에 부합하는 2D 및/또는 3D 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
  4. 제2항에 있어서,
    상기 가상 인물 생성부는 2D 및/또는 3D 가상 인물을 생성함에 있어서, 다양한 눈 크기, 얼굴의 상하좌우 각도와, 슬픔, 기쁨, 화남 중 적어도 하나를 포함하는 감정의 정도가 표현된 가상 인물을 생성하는 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
  5. 제1항에 있어서,
    상기 가상 인물 생성부에 의해 생성된 가상 인물은 다양한 각도로 2D 또는 3D 렌더링이 가능하도록 구성된 얼굴 이미지 검색을 통한 가상 인물 생성 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020210093968A 2020-07-20 2021-07-19 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법 KR102584900B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200089811 2020-07-20
KR1020200089811 2020-07-20

Publications (2)

Publication Number Publication Date
KR20220011100A KR20220011100A (ko) 2022-01-27
KR102584900B1 true KR102584900B1 (ko) 2023-10-05

Family

ID=80049591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093968A KR102584900B1 (ko) 2020-07-20 2021-07-19 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102584900B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543451B1 (ko) 2022-04-29 2023-06-13 주식회사 이너버즈 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법
KR102529216B1 (ko) 2023-02-04 2023-05-08 주식회사 이너버즈 가상의 사람 얼굴을 생성하는 얼굴 생성 딥러닝 모델의 학습방법 및 이를 이용한 시스템
CN116543082A (zh) * 2023-05-18 2023-08-04 无锡捷通数智科技有限公司 数字人的生成方法、装置和数字人的生成系统
CN117076755A (zh) * 2023-10-16 2023-11-17 北京中科汇联科技股份有限公司 一种多用途数字人的控制系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558202B1 (ko) 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
KR101839515B1 (ko) * 2016-10-27 2018-03-16 에스케이플래닛 주식회사 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체
KR20180082171A (ko) * 2017-01-10 2018-07-18 트라이큐빅스 인크. 3차원 캐릭터 생성 방법 및 시스템
KR20200071838A (ko) * 2018-12-03 2020-06-22 한국전자통신연구원 특징 벡터를 이용한 얼굴 검색이 가능한 얼굴 인식 방법 및 장치

Also Published As

Publication number Publication date
KR20220011100A (ko) 2022-01-27

Similar Documents

Publication Publication Date Title
KR102584900B1 (ko) 얼굴 이미지 검색을 통한 가상 인물 생성 시스템 및 방법
CN111368996B (zh) 可传递自然语言表示的重新训练投影网络
Hui et al. Linguistic structure guided context modeling for referring image segmentation
CN112487182B (zh) 文本处理模型的训练方法、文本处理方法及装置
WO2020228376A1 (zh) 文本处理方法、模型训练方法和装置
JP7193252B2 (ja) 画像の領域のキャプション付加
US11263259B2 (en) Compositing aware digital image search
US11328172B2 (en) Method for fine-grained sketch-based scene image retrieval
CN116888602A (zh) 可解释转导器变换器
CN112084331A (zh) 文本处理、模型训练方法、装置、计算机设备和存储介质
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110633577B (zh) 文本脱敏方法以及装置
Li et al. CLMLF: A contrastive learning and multi-layer fusion method for multimodal sentiment detection
WO2022140900A1 (zh) 个人知识图谱构建方法、装置及相关设备
Chen et al. Harnessing semantic segmentation masks for accurate facial attribute editing
Pan et al. K-Same-Siamese-GAN: K-same algorithm with generative adversarial network for facial image De-identification with hyperparameter tuning and mixed precision training
CN114417823A (zh) 一种基于句法和图卷积网络的方面级情感分析方法及装置
US20230065965A1 (en) Text processing method and apparatus
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN117078790A (zh) 图像生成方法、装置、计算机设备和存储介质
US20220358158A1 (en) Methods for searching images and for indexing images, and electronic device
CN113988201B (zh) 一种基于神经网络的多模态情感分类方法
CN116186312A (zh) 用于数据敏感信息发现模型的多模态数据增强方法
KR102334666B1 (ko) 얼굴 이미지 생성 방법
KR102504722B1 (ko) 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant