KR20240050463A - 얼굴 재연을 위한 시스템 및 방법 - Google Patents

얼굴 재연을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20240050463A
KR20240050463A KR1020247011271A KR20247011271A KR20240050463A KR 20240050463 A KR20240050463 A KR 20240050463A KR 1020247011271 A KR1020247011271 A KR 1020247011271A KR 20247011271 A KR20247011271 A KR 20247011271A KR 20240050463 A KR20240050463 A KR 20240050463A
Authority
KR
South Korea
Prior art keywords
target
face
facial
source
user
Prior art date
Application number
KR1020247011271A
Other languages
English (en)
Inventor
파벨 사브첸코프
드미트리 마토프
알렉산더 마스라보프
엘렉세이 프첼니코프
Original Assignee
스냅 아이엔씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 아이엔씨 filed Critical 스냅 아이엔씨
Publication of KR20240050463A publication Critical patent/KR20240050463A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

사실적인 실시간 얼굴 재연을 위한 시스템 및 방법이 제공된다. 예시적인 방법은 목표 얼굴을 포함하는 목표 비디오 및 소스 얼굴을 포함하는 소스 비디오를 수신하는 것을 포함한다. 방법은 목표 얼굴에 기초하여 목표 얼굴 표정을 결정하는 단계를 포함한다. 방법은 소스 얼굴에 기초하여 소스 얼굴 표정을 결정하는 단계를 포함한다. 방법은 파라메트릭 얼굴 모델을 사용하여 출력 얼굴을 합성하는 단계를 포함한다. 목표 얼굴을 포함하는 출력 얼굴로서, 목표 얼굴 표정은 소스 얼굴 표정을 모방하도록 수정된다. 이 방법은 심층 신경망, 입 및 눈 영역에 기초하여 생성하고 출력 얼굴, 입 및 눈 영역을 결합하여 출력 비디오의 프레임을 생성하는 단계를 포함한다.

Description

얼굴 재연을 위한 시스템 및 방법{SYSTEMS AND METHoDS FOR FACE REENACTMENT}
본 개시는 일반적으로 디지털 이미지 처리(digital image processing)에 관한 것이다. 보다 구체적으로, 본 개시는 얼굴 재연(face reenactment)을 위한 방법 및 시스템에 관한 것이다.
얼굴 재연은 소스 비디오에서 소스 개인의 얼굴 표정(facial expression)을 목표 비디오 또는 목표 이미지에서 목표 개인에게 이송하는(transfer) 단계를 포함할 수 있다. 얼굴 재연은 엔터테인먼트 쇼, 컴퓨터 게임, 비디오 대화, 가상 현실, 증강 현실 등과 같은 많은 응용 프로그램에서 얼굴의 조작 및 애니메이션에 사용될 수 있다.
얼굴 재연을 위한 일부 현재 기술은 변형 가능한 얼굴 모델을 사용하여 다른 얼굴 표정으로 목표 얼굴을 다시 렌더링 한다. 변형 가능한 얼굴 모델로 얼굴을 생성하는 것은 빠르지만 생성된 얼굴은 사실적(photorealistic)이지 않을 수 있다. 얼굴 재연을 위한 다른 현재 기술은 목표 얼굴을 다시 렌더링 하는 딥 러닝 방법에 기초하여 할 수 있다. 딥 러닝 방법을 사용하면 사실적인 결과를 얻을 수 있다. 그러나 딥 러닝 방법은 시간이 많이 걸리며 일반 모바일 장치에서 실시간 얼굴 재연을 수행하는 데 적합하지 않을 수 있다.
이 섹션은 아래의 자세한 설명 섹션에서 자세히 설명하는 단순화된 형태의 개념 선택을 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징이나 필수 특징을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는 데 도움을 주기 위한 것도 아니다.
본 개시의 일 실시 예에 따르면, 얼굴 재연을 위한 방법이 제공된다. 방법은 컴퓨팅 장치(computing device)에 의해 목표 비디오(target video)를 수신하는 단계를 포함할 수 있다. 목표 비디오는 적어도 하나의 목표 프레임(target frame)을 포함할 수 있다. 적어도 하나의 목표 프레임은 목표 얼굴(target face)을 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 소스 비디오(source video)를 수신하는 단계를 더 포함할 수 있다. 소스 비디오는 소스 얼굴(source face)을 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 그리고 목표 비디오의 적어도 하나의 프레임 내의 목표 얼굴에 기초하여 적어도 목표 얼굴 표정(target facial expression)을 결정하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 소스 비디오의 프레임 내의 소스 얼굴에 기초하여 적어도 소스 얼굴 표정(source facial expression)을 결정하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 그리고 파라메트릭 얼굴 모델(parametric face model)을 사용하여 출력 얼굴을 합성하는 단계를 더 포함할 수 있다. 출력 얼굴은 목표 얼굴을 포함할 수 있으며, 목표 얼굴 표정은 소스 얼굴 표정을 모방하도록 수정된다. 방법은 컴퓨팅 장치에 의해 그리고 심층 신경망(deep neural network)(DNN)에 기초하여, 입 영역(mouth region) 및 눈 영역(eyes region)에 기초하여 생성(generate)하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해, 출력 비디오의 프레임을 생성하기 위해 출력 얼굴, 입 영역 및 눈 영역을 결합(combine)하는 단계를 더 포함할 수 있다.
일부 실시 예에서, 파라메트릭 얼굴 모델은 얼굴 표정(facial expression), 얼굴 아이덴티티(facial identity) 및 얼굴 텍스처(facial texture)에 의존할 수 있다.
일부 실시 예에서, 파라메트릭 얼굴 모델은 복수의 개인들의 얼굴들의 과거 이미지들(historical images of faces of a plurality of individuals)에 기초하여 미리 생성된 템플릿 메시(template mesh)를 포함할 수 있다. 템플릿 메시(template mesh)는 미리 결정된 개수의 정점들(pre-determined number of vertices)을 포함할 수 있다. 특정 실시 예에서, 텍스처 모델(texture model)은 정점과 연관된 색상 세트(set of colors)를 포함한다.
일부 실시 양태에서, 개인들은 상이한 연령(ages), 성별(gender) 및 민족(ethnicity)일 수 있다. 특정 실시 예에서, 얼굴의 과거 이미지는 미리 결정된 개수의 얼굴 표정들(pre-determined number of facial expressions)을 갖는 단일 개인에 속하는 적어도 하나의 사진 세트(at least one set of pictures)를 포함할 수 있다. 얼굴 표정은 중립적인 표정(neutral expression), 입을 벌린 표정(mouth-open expression), 미소(smile), 화난 표정(angry expression) 중 적어도 하나를 포함한다.
일부 실시 예에서, 파라메트릭 얼굴 모델은 블렌드 형상들(blend shapes)의 세트를 더 포함할 수 있고, 상기 블렌드 형상들(blend shapes)은 상기 얼굴 표정들을 나타낸다.
일부 실시 예에서, DNN의 입력은 적어도 파라메트릭 얼굴 모델과 연관된 파라미터를 포함할 수 있다.
특정 실시 예에서, DNN의 입력은 이전 입 영역(previous mouth region) 및 이전 눈 영역을 포함할 수 있다. 이전 입 영역 및 이전 눈 영역(previous eyes region)은 목표 비디오의 적어도 하나의 이전 프레임(previous frame)과 연관될 수 있다.
일부 실시 예에서, DNN은 복수의 개인들의 얼굴들의 과거 이미지들(historical images)를 사용하여 훈련될 수 있다.
다른 실시 예에 따르면, 얼굴 재연을 위한 시스템이 제공된다. 시스템은 적어도 하나의 프로세서 및 프로세서 실행 코드를 저장하는 메모리를 포함할 수 있으며, 적어도 하나의 프로세서는 프로세서 실행 코드 실행 시 전술한 얼굴 재연 방법의 동작을 구현하도록 구성될 수 있다.
본 개시의 또 다른 양상에 따르면, 프로세서 판독 가능 명령(instruction)을 저장하는 비 일시적 프로세서 판독 가능 매체가 제공된다. 프로세서가 판독 가능한 명령이 프로세서에 의해 실행될 때, 프로세서가 위에서 언급한 얼굴 재연 방법을 구현하도록 한다.
일 실시 예에 따르면, 개인화된(personalized) 광고를 제공하기 위한 시스템이 개시된다. 시스템은 하나 이상의 광고 비디오를 저장하도록 구성된 데이터베이스를 포함할 수 있다. 광고 비디오는 적어도 목표 얼굴을 포함할 수 있다. 목표 얼굴은 제1 개인과 연관될 수 있다. 시스템은 사용자와 관련된 사용자 데이터를 수신하도록 구성된 사용자 정보 수집 모듈을 더 포함할 수 있다. 사용자 데이터는 적어도 소스 얼굴의 이미지를 포함할 수 있다. 소스 얼굴(source face)은 제1 개인과 다른 제2 개인과 연관될 수 있다. 사용자 정보 수집 모듈은 사용자 데이터에 기초하여 소스 얼굴의 파라미터를 결정할 수 있다. 시스템은 개인화된 비디오 생성 모듈(personalized video generation module)을 더 포함할 수 있다. 개인화된 비디오 생성 모듈은 하나 이상의 광고 비디오의 프레임을 제1 부분 및 제2 부분으로 분할하도록 구성될 수 있다. 제1 부분은 목표 얼굴을 포함할 수 있고, 제2 부분은 배경을 포함할 수 있다. 개인화된 비디오 생성 모듈은 소스 얼굴의 파라미터에 따라 프레임의 제1 부분을 수정하여 목표 얼굴을 소스 얼굴로 대체할 수 있다. 개인화된 비디오 생성 모듈은 출력 광고 비디오의 출력 프레임을 획득하기 위해 수정된 제1 부분 및 제2 부분을 더 결합할 수 있다.
데이터베이스에 저장된 광고 비디오의 프레임은 목표 얼굴을 포함하는 제1 부분과 배경을 포함하는 제2 부분으로 분할되도록 전처리될 수 있다.
소스 얼굴의 파라미터는 소스 얼굴 표정, 소스 얼굴 아이덴티티 및 소스 얼굴 텍스처를 포함할 수 있다. 프레임의 제1 부분을 수정하는 단계는 목표 얼굴, 목표 얼굴 표정, 목표 얼굴 아이덴티티 및 목표 얼굴 텍스처에 기초하여 결정하는 단계뿐만 아니라 목표 얼굴 아이덴티티를 소스 얼굴 아이덴티티 및 목표 얼굴 텍스처로 대체하는 단계를 포함할 수 있다. 소스 얼굴 텍스처로. 데이터베이스에 저장된 광고 비디오의 프레임은 목표 얼굴의 파라미터, 목표 얼굴 표정을 포함하는 목표 얼굴의 파라미터, 목표 얼굴 아이덴티티 및 목표 얼굴 텍스처를 포함하도록 전처리될 수 있다.
사용자 정보 수집 모듈은 하나 이상의 소셜 미디어 플랫폼에서 사용자의 컴퓨팅 장치 또는 사용자의 하나 이상의 계정으로부터 사용자 데이터를 판독하도록 구성될 수 있다. 사용자 데이터는 사용자의 관심사 및 사용자의 하나 이상의 이미지, 사용자의 하나 이상의 친구 및 사용자의 하나 이상의 좋아하는 유명인(celebrity)에 관한 정보를 포함할 수 있다. 사용자 정보 수집 모듈은 사용자 데이터를 분석하여 사용자, 사용자의 하나 이상의 친구 또는 사용자의 하나 이상의 좋아하는 유명인의 하나 이상의 이미지를 선택할 수 있다. 사용자 정보 수집 모듈(user information collection module)은 하나 이상의 선택된 이미지에 기초하여 소스 얼굴의 파라미터를 결정할 수 있다.
사용자 정보 수집 모듈은 사용자로부터 사용자 입력을 수신하도록 구성될 수 있다. 사용자 입력은 목표 얼굴의 대체에 사용할 이미지의 목록을 나타낼 수 있다. 사용자 정보 수집 모듈은 이미지 목록에 기초하여 소스 얼굴의 파라미터를 결정할 수 있다.
개인화된 비디오 생성 모듈은 출력 광고 비디오를 하나 이상의 소셜 미디어 플랫폼에서 사용자의 하나 이상의 계정에 게시(post)하도록 구성될 수 있다.
다른 실시 예에 따르면, 개인화된 광고를 제공하는 방법이 개시된다. 이 방법은 하나 이상의 광고 비디오를 데이터베이스에 저장하는 단계를 포함할 수 있다. 광고 비디오는 제1 개인이 있는 목표 얼굴을 포함할 수 있다. 방법은 사용자 정보 수집 모듈에 의해 사용자와 관련된 사용자 데이터를 수신하는 단계를 포함할 수 있다. 사용자 데이터는 적어도 소스 얼굴의 이미지를 포함할 수 있다. 소스 얼굴은 제1 개인과 다른 제2 개인과 연관될 수 있다. 방법은 사용자 정보 수집에 의해 그리고 사용자 데이터에 기초하여 소스 얼굴의 파라미터를 결정하는 단계를 포함할 수 있다. 방법은 또한 개인화된 비디오 생성 모듈에 의해 하나 이상의 광고 비디오의 프레임을 제1 부분 및 제2 부분으로 분할하는 단계를 포함할 수 있다. 제1 부분은 목표 얼굴을 포함할 수 있고, 제2 부분은 배경을 포함할 수 있다. 방법은 개인화된 비디오 생성 모듈에 의해 소스 얼굴의 파라미터에 기초하여 프레임의 제1 부분을 수정하여 목표 얼굴을 소스 얼굴로 대체하는 단계를 포함할 수 있다. 상기 방법은 또한 개인화된 비디오 생성 모듈에 의해, 출력 광고 비디오의 출력 프레임을 획득하기 위해 수정된 제1 부분 및 제2 부분을 결합하는 단계를 포함할 수 있다.
실시 예의 추가 목적, 이점 및 신규 한 특징은 부분적으로 다음 설명에서 설명될 것이며, 부분적으로는 다음 설명 및 첨부 도면을 검토할 때 당업자에게 명백하거나 다음에 의해 학습될 수 있다. 예제의 생산 또는 운영. 개념의 목적 및 장점은 첨부된 청구 범위에서 특히 지적된 방법론, 수단 및 조합에 의해 실현되고 달성될 수 있다.
실시 예는 유사한 참조가 유사한 요소를 나타내는 첨부 도면의 도면에서 제한이 아니라 예로서 예시된다.
도 1은 얼굴 재연을 위한 방법이 구현될 수 있는 예시적인 환경을 나타내는 블록도이다.
도 2는 얼굴 재연을 위한 방법을 구현하기 위한 컴퓨팅 장치의 예시적인 실시 예를 보여주는 블록도이다.
도 3은 일 실시 예에 따른 얼굴 재연 과정의 개략도이다
도 4는 예시적인 실시 예에 따른 얼굴 재연을 위한 시스템의 블록도를 도시한다.
도 5는 예시적인 실시 예에 따른 얼굴 재연을 위한 방법의 프로세스 흐름도를 도시한다.
도 6은 예시적인 실시 예에 따른 개인화된 비디오의 생성을 보여주는 개략도이다.
도 7은 본 개시의 일부 예시적인 실시 예에 따른 개인화된 광고를 제공하기 위한 시스템의 블록도이다.
도 9는 얼굴 재연을 위한 방법을 구현하는데 사용될 수 있는 예시적인 컴퓨터 시스템을 도시한다.
이하의 실시 예의 상세한 설명은 상세한 설명의 일부를 형성하는 첨부 도면에 대한 참조를 포함한다. 이 섹션에 설명된 접근 방식은 청구 범위에 대한 선행 기술이 아니며 이 섹션에 포함됨으로써 선행 기술이 인정되지 않는다. 도면은 예시적인 실시 예에 따른 예시를 보여준다. 본 명세서에서 "예" 라고도 지칭되는 이러한 예시적인 실시 예는 당업자가 본 주제를 실시할 수 있도록 충분히 상세하게 설명된다. 실시 예가 결합될 수 있고, 다른 실시 예가 이용될 수 있거나, 청구된 범위를 벗어나지 않고 구조적, 논리적 및 작동 적 변경이 이루어질 수 있다. 따라서, 다음의 상세한 설명은 제한적인 의미로 받아들여서는 안되며, 그 범위는 첨부된 청구 범위 및 그 균등물에 의해 정의된다.
본 개시는 얼굴 재연을 위한 방법 및 시스템에 관한 것이다. 본 개시에 제공된 실시 예는 공지된 기술의 적어도 일부 문제를 해결한다. 본 개시 내용은 스마트 폰, 태블릿 컴퓨터 또는 휴대폰과 같은 모바일 장치에서 실시간으로 인터넷에 연결하지 않고 또는 서버 측 계산 리소스를 사용할 필요없이 작동하도록 설계될 수 있지만, 실시 예는 웹 서비스 또는 클라우드 기반 리소스와 관련된 접근 방식으로 확장될 수 있다.
본 개시의 일부 실시 예는 소스 비디오에서 소스 얼굴에 속하는 얼굴 표정을 갖는 목표 비디오 또는 목표 이미지에서 목표 얼굴의 애니메이션을 허용할 수 있다. 실시간으로 소스 얼굴의 얼굴 표정으로 목표 얼굴을 조작할 수 있다. 본 발명의 실시 예는 이전에 기록된 서로 다른 개인의 얼굴 이미지를 사용하여 통계적 얼굴 변형 가능 모델을 구축하고, 입과 눈 영역을 합성하는 딥 러닝 모델을 훈련하고, 실시간 얼굴 재연을 수행하는 것을 포함한다. 일부 실시 예는 사실적 얼굴 재연(photorealistic facial reenactment)을 위한 계산 시간을 상당히 감소시키고 모바일 장치에서 사실적 얼굴 재연을 수행할 수 있게 한다.
본 개시의 일부 실시 예는 광고에 있는 배우의 얼굴을 다른 개인의 얼굴로 대체함으로써 사용자를 위한 개인화된 광고를 생성하는 것을 허용할 수 있다. 표준 광고(Standard advertisement)는 특정 사용자를 목표로 하는 경우에도 사용자의 관심을 끌지 못하거나 기억하기 쉽지 않기 때문에 사용자가 건너 뛰는 경우가 많다. 그러나 광고에 사용자의 친구나 좋아하는 유명인이 등장하는 경우, 이러한 광고는 사용자의 관심을 끌고 사용자가 끝까지 광고를 보게 할 수 있다. 본 개시는 다양한 기술을 사용하여 구현될 수 있다. 예를 들어, 여기에 설명된 방법은 컴퓨터 시스템에서 실행되는 소프트웨어 및/또는 마이크로 프로세서의 조합 또는 기타 특별히 설계된 애플리케이션 특정 집적 회로(application-specific integrated circuit) (ASIC), 프로그램 가능 논리 장치 또는 이들의 임의의 조합을 사용하는 하드웨어에 의해 구현될 수 있다. 특히, 여기에 설명된 방법은 디스크 드라이브 또는 컴퓨터 판독 가능 매체와 같은 비 일시적 저장 매체에 상주하는 일련의 컴퓨터 실행 가능 명령에 의해 구현될 수 있다. 본 명세서에 개시된 방법은 모바일 장치, 개인용 컴퓨터, 서버, 네트워크 노드 등과 같은 컴퓨팅 장치에 의해 구현될 수 있다는 점에 유의해야 한다.
이 특허 문서의 목적을 위해, 용어 "또는" 및 "및"은 달리 명시되지 않는 한 "및/또는"을 의미한다. 용어 "a"는 달리 명시되지 않거나 "하나 이상"의 사용이 명백히 부적절하지 않는 한 "하나 이상"을 의미한다. "포함하다(comprise)", "포함하는(comprising)", "포함하다(include)" 및 "포함하는(including)"이라는 용어는 상호 교환 가능하며 제한하려는 의도가 아니다. 예를 들어, "포함하는(including)"이라는 용어는 "포함하지만 이에 제한되지 않는"을 의미하는 것으로 해석되어야 한다.
본 개시의 일 실시 예에 따르면, 얼굴 재연(face reenactment)을 위한 예시적인 방법은 컴퓨팅 장치(computing device)에 의해, 목표 비디오(target video)를 수신하는 단계 포함할 수 있다. 목표 비디오는 적어도 하나의 목표 프레임(target frame)을 포함할 수 있다. 적어도 하나의 목표 프레임은 목표 얼굴(target face)을 포함할 수 있다. 방법은 컴퓨팅 장치에 의해, 소스 비디오(source video)를 수신하는 단계를 더 포함할 수 있다. 소스 비디오는 소스 얼굴(source face)을 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 그리고 목표 비디오의 적어도 하나의 프레임 내의 목표 얼굴에 기초하여, 적어도 목표 얼굴 표정(target facial expression)을 결정하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 소스 비디오의 프레임 내의 소스 얼굴에 기초하여, 적어도 소스 얼굴 표정(source facial expression)을 결정하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해 그리고 파라메트릭 얼굴 모델(parametric face model) 및 텍스처 모델(texture model)을 사용하여, 출력 얼굴(output face)을 합성하는 단계를 더 포함할 수 있다. 출력 얼굴은 목표 얼굴을 포함할 수 있고, 목표 얼굴 표정은 소스 얼굴 표정을 모방하도록 수정된다. 방법은 컴퓨팅 장치에 의해 그리고 DNN에 기초하여, 입 영역(mouth region) 및 눈 영역(eyes region)을 생성하는 단계를 더 포함할 수 있다. 방법은 컴퓨팅 장치에 의해, 출력 비디오의 프레임을 생성하기 위해 출력 얼굴, 입 영역 및 눈 영역을 결합하는 단계를 더 포함할 수 있다.
도면을 참조하여, 예시적인 실시 예가 설명된다. 도면은 이상적인 예시적인 실시 예의 개략도이다. 따라서, 본 명세서에서 논의된 예시적인 실시 예는 본 명세서에 제시된 특정 예시로 제한되는 것으로 이해되어서는 안되며, 오히려 이러한 예시적인 실시 예는 편차를 포함할 수 있고 당업자에게 자명한 바와 같이 본 명세서에 제시된 예시와 상이할 수 있다.
도 1은 얼굴 재연을 위한 방법이 실행될 수 있는 예시적인 환경(example environment)(100)을 도시한다. 환경(100)은 컴퓨팅 장치(computing device)(110), 사용자(user)(130) 및 클라우드 기반 컴퓨팅 리소스(cloud-based computing resource)(170)(컴퓨팅 클라우드(computing cloud)(170)라고도 함)를 포함할 수 있다. 컴퓨팅 장치(110)는 카메라(camera)(115) 및 그래픽 디스플레이 시스템(graphical display system)(120)을 포함할 수 있다. 컴퓨팅 장치(110)는 휴대폰, 스마트 폰 또는 태블릿 컴퓨터와 같은 모바일 장치를 의미할 수 있다. 그러나, 추가 실시 예에서, 컴퓨팅 장치(110)는 개인용 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스, 텔레비전 장치, 멀티미디어 장치, 개인용 디지털 비서, 게임 콘솔, 엔터테인먼트 시스템, 인포테인먼트 시스템, 차량 컴퓨터, 또는 다른 컴퓨팅 장치. 컴퓨팅 장치(110)는 데이터 네트워크를 통해 컴퓨팅 클라우드(170)에 통신 가능하게 연결될 수 있다. 클라우드 기반 컴퓨팅 리소스(170)는 원격 위치에서 이용 가능하고 네트워크(예를 들어, 인터넷)를 통해 액세스 가능한 컴퓨팅 리소스(하드웨어 및 소프트웨어)를 포함할 수 있다. 클라우드 기반 컴퓨팅 리소스는 여러 사용자가 공유할 수 있으며 수요에 따라 동적으로 재할당될 수 있다. 클라우드 기반 컴퓨팅 리소스는 네트워크 스위치 및/또는 라우터와 함께 배치될 수 있는 컴퓨터 서버 모음(collection)을 포함하는 하나 이상의 서버 팜(server farm)/클러스터(cluster)를 포함할 수 있다. 본 개시의 일부 실시 예에서, 컴퓨팅 장치(110)는 목표 비디오(target video)(125)를 디스플레이 하도록 구성될 수 있다. 목표 비디오(125)는 목표 얼굴(140)을 포함하는 적어도 하나의 프레임을 포함할 수 있다. 일부 실시 예에서, 목표 비디오(125)는 단일 이미지를 포함할 수 있다. 일부 실시 예에서, 목표 비디오(125)는 컴퓨팅 장치(110)의 메모리 저장소 또는 컴퓨터에 미리 녹화되어 저장될 수 있다. 클라우드 기반 컴퓨팅 리소스 컴퓨팅 장치(110)가 통신 가능하게 연결된다.
특정 실시 예에서, 컴퓨팅 장치(110)는 예를 들어 카메라(115)를 통해 소스 비디오를 캡처하도록 구성될 수 있다. 소스 비디오는 적어도 사용자(130)의 얼굴(소스 얼굴이라고도 함)을 포함할 수 있다. 일부 다른 실시 예에서, 소스 비디오는 컴퓨팅 장치(110)의 메모리 저장소 또는 컴퓨팅 클라우드(170)에 저장될 수 있다.
일부 다른 실시 예에서, 여러 목표 비디오 또는 이미지가 사전 기록되어 컴퓨팅 장치(110)의 메모리 또는 컴퓨팅 클라우드(170)에 저장될 수 있다. 사용자는 조작할 목표 비디오 또는 이미지와 목표 비디오 또는 이미지를 조작하는 데 사용할 소스 비디오 중 하나를 선택할 수 있다. 본 개시의 다양한 실시 예에 따르면, 컴퓨팅 장치(110)는 사용자(130)의 얼굴 표정의 파라미터를 추출하기 위해 소스 비디오를 분석하도록 구성될 수 있다. 컴퓨팅 장치(110)는 소스 얼굴의 얼굴 표정의 파라미터에 기초하여, 목표 얼굴(140)이 실시간으로 소스 얼굴의 얼굴 표정을 반복하도록 하기 위해 목표 비디오(125)를 수정하도록 추가로 구성될 수 있다. 추가 실시 예에서, 컴퓨팅 장치는 목표 얼굴(140)이 사용자(130)의 음성을 반복하도록 하기 위해 목표 비디오(125)를 수정하도록 추가로 구성될 수 있다.
본 개시의 일부 실시 예에서, 컴퓨팅 장치는 사용자 입력을 수신하도록 구성될 수 있다. 사용자 입력은 목표 얼굴의 얼굴 파라미터를 제어하는 방법을 나타내는 하나 이상의 시나리오(scenario)를 포함할 수 있다. 시나리오는 사용자(130)가 수정된 목표 비디오(125)에서 보고 싶어하는 목표 얼굴(140)의 일련의 얼굴 표정 유형(type) 및 움직임(movement) 유형을 포함할 수 있다. 사용자 입력은 또한 수정된 비디오를 생성하기 위한 컴퓨팅 장치(예를 들어, 모바일 장치 또는 데스크톱)의 유형을 나타내는 환경 변수를 포함할 수 있다.
본 개시의 일부 추가 실시 예에서, 컴퓨팅 장치(110) 또는 클라우드 기반 컴퓨팅 리소스(170)는 사용자(130)의 하나 이상의 이미지를 저장할 수 있다. 이미지는 사용자(130)의 얼굴을 포함할 수 있다. 이미지에는 여러 조건에서 찍은 사진 세트(set of photographs) 또는 비디오 세트(set of videos)가 포함될 수도 있다. 예를 들어, 사진 및 비디오는 사용자(130)의 얼굴에 대해 상이한 각도 및 상이한 조명 조건에서 촬영될 수 있다. 일부 실시 예에서, 컴퓨팅 장치(110) 또는 컴퓨팅 클라우드(170)는 다른 개인, 예를 들어 사용자(130)의 친구 또는 사용자(130)의 좋아하는 유명인의 하나 이상의 이미지를 저장할 수 있다.
본 개시의 일부 실시 예에 따르면, 컴퓨팅 장치(110) 또는 클라우드 기반 컴퓨팅 리소스(170)는 사용자(130)의 얼굴 파라미터를 추출하기 위해 저장된 사용자(130)의 이미지를 분석하도록 구성될 수 있다. 컴퓨팅 장치(110) 또는 클라우드 기반 컴퓨팅 리소스(170)는 사용자(130)의 얼굴 파라미터에 기초하여 목표 비디오(125)의 목표 얼굴(140)을 사용자(130)의 얼굴로 대체함으로써 목표 비디오(125)를 수정하도록 추가로 구성될 수 있다.
유사하게, 컴퓨팅 장치(110) 또는 클라우드 기반 컴퓨팅 리소스(170)는 다른 개인, 예를 들어, 사용자(130)의 친구 또는 사용자(130)의 좋아하는 유명인의 얼굴 파라미터를 추출하기 위해 사용자(130)의 저장된 이미지를 분석하도록 구성될 수 있다. 컴퓨팅 장치(110)는 개인의 얼굴 파라미터에 기초하여, 목표 비디오(125)의 목표 얼굴(140)을 개인의 얼굴로 대체함으로써 목표 비디오(125)를 수정하도록 추가로 구성될 수 있다. 일부 실시 예에서, 컴퓨팅 장치(110) 또는 클라우드 기반 컴퓨팅 리소스(170)는 목표 얼굴을 사용자(130) 또는 다른 개인의 얼굴로 대체하는 동안 목표 얼굴(140)의 얼굴 표정을 변경하지 않고 유지하도록 구성될 수 있다. 도 2에 도시된 예에서, 컴퓨팅 장치(110)는 하드웨어 구성 요소(hardware component) 및 소프트웨어 구성 요소(software component) 모두를 포함한다. 특히, 컴퓨팅 장치(110)는 디지털 이미지를 획득하기 위해 카메라(115) 또는 임의의 다른 이미지 캡처 장치 또는 스캐너를 포함한다. 컴퓨팅 장치(110)는 프로세서 모듈(processor module)(210) 및 프로세서 모듈(210)에 의해 수행될 때 컴퓨팅 장치(200)가 여기에 설명된 얼굴 재연을 위한 적어도 몇 단계의 방법을 수행하게 하는, 프로세서 판독 가능(기계 판독 가능) 명령 또는 코드를 저장하기 위한 프로세서 모듈(210) 및 저장 모듈(storage module)(215)을 더 포함할 수 있다.
컴퓨팅 장치(110)는 얼굴 재연 시스템(face reenactment system)(220)을 더 포함할 수 있으며, 이는 차례로 하드웨어 구성 요소(예를 들어, 별도의 처리 모듈 및 메모리), 소프트웨어 구성 요소, 또는 이들의 조합을 포함할 수 있다. 얼굴 재연 시스템(220)은 본 명세서에 설명된 바와 같이 얼굴 재연을 수행하도록 구성될 수 있다. 얼굴 재연 시스템(220)은 도 4를 참조하여 아래에서 더 상세히 설명된다.
컴퓨팅 장치(110)는 개인화된 광고를 제공하기 위한 시스템(700)을 더 포함할 수 있다. 시스템(700)은 도 7을 참조하여 아래에서 더 상세히 설명된다.
도 3은 일 예시적인 실시 예에 따른 얼굴 재연 시스템(220)의 기능 (300)을 보여주는 개략도이다. 본 개시의 다양한 실시 예들에 따르면, 얼굴 재연 시스템(220)은 소스 비디오(305) 및 목표 비디오(125)를 수신할 수 있다. 소스 비디오(305)는 하나 이상의 프레임(310)을 포함할 수 있다. 프레임(310)은 소스 얼굴(315)를 포함할 수 있다. 목표 비디오(125)는 하나 이상의 프레임(320)을 포함할 수 있다. 프레임(320)은 목표 얼굴(140)을 포함할 수 있다. 일부 실시 예에서, 목표 비디오(125)는 하나의 프레임(즉, 단일 사진)만을 포함할 수 있다. 소스 얼굴(315)과 목표 얼굴(140)의 얼굴 표정은 다를 수 있다.
본 개시의 일부 실시 예에서, 얼굴 재연 시스템(220)은 소스 파라미터(source parameter)(330)를 추출하기 위해 소스 비디오(305)의 프레임(frame)(310)을 분석하도록 구성될 수 있다. 소스 파라미터(330)는 파라메트릭 얼굴 모델을 소스 얼굴(315)에 피팅함으로써 추출될 수 있다. 파라메트릭 얼굴 모델(parametric face model)은 템플릿 메시(template mesh)를 포함할 수 있다. 템플릿 메시의 정점 좌표는 얼굴 아이덴티티와 얼굴 표정이라는 두 가지 파라미터에 따라 달라질 수 있다. 따라서, 소스 파라미터(330)는 소스 얼굴(315)에 대응하는 얼굴 아이덴티티 및 얼굴 표정을 포함할 수 있다. 소스 파라미터(330)는 소스 얼굴(315)의 텍스처를 더 포함할 수 있다. 텍스처에는 템플릿 메시의 정점에 색상이 포함될 수 있다. 일부 실시 예에서, 템플릿 메시와 연관된 텍스처 모델은 소스 얼굴(315)의 텍스처를 결정하기 위해 사용될 수 있다.
본 개시의 일부 실시 예에서, 얼굴 재연 시스템(220)은 목표 파라미터(target parameter)(335)를 추출하기 위해 목표 비디오(305)의 프레임(320)을 분석하도록 구성될 수 있다. 목표 파라미터(335)는 파라메트릭 얼굴 모델을 목표 얼굴(140)에 피팅함으로써 추출될 수 있다. 목표 파라미터(335)는 목표 얼굴(140)에 대응하는 얼굴 아이덴티티 및 얼굴 표정을 포함할 수 있다. 소스 파라미터(330)는 목표 얼굴(140)의 텍스처를 더 포함할 수 있다. 텍스처 모델(texture model)을 이용하여 목표 얼굴(140)의 텍스쳐를 얻을 수 있다.
본 개시의 일부 실시 예에서, 얼굴 재연 시스템(220)은 목표 파라미터(335)의 얼굴 표정을 소스 파라미터(330)의 얼굴 표정으로 대체하도록 추가로 구성될 수 있다. 얼굴 재연 시스템(220)은 파라메트릭 얼굴 모델, 텍스처 모듈, 및 대체된 얼굴 표정으로 목표 파라미터(335)를 사용하여 출력 얼굴(output face)(350)을 합성하도록 추가로 구성될 수 있다. 출력 얼굴(350)은 출력 비디오(output video)(340)의 프레임(345)을 획득하기 위해 목표 비디오(125)의 프레임에서 목표 얼굴(140)을 대체하는 데 사용될 수 있다.
도 4는 일 실시 예에 따른 얼굴 재연 시스템(220)의 블록도이다. 얼굴 재연 시스템(220)은 파라메트릭 얼굴 모델(parametric face model)(405), 텍스처 모델(410), DNN(415), 전처리 모듈(pre-processing module)(420), 파라미터 추출 모듈(parameter extracting module)(425), 얼굴 합성 모듈(face synthesis module)(4325) 및 입과 눈 생성 모듈(mouth and eyes generation module)(430)을 포함할 수 있다. 모듈(405-430)은 컴퓨팅 장치(110), 서버 등과 같은 하드웨어 장치와 함께 사용하기 위한 소프트웨어 구성 요소로 구현될 수 있다.
본 개시의 일부 실시 예에서, 파라메트릭 얼굴 모델(405)은 상이한 연령, 성별 및 민족적 배경을 갖는 미리 정의된 수의 개인의 이미지에 기초하여 미리 생성될 수 있다. 각각의 개인에 대해, 이미지는 중립적인 얼굴 표정을 갖는 개인의 이미지와 상이한 얼굴 표정을 갖는 개인의 하나 이상의 이미지를 포함할 수 있다. 얼굴 표정에는 입을 벌리고, 웃고, 화를 내고, 놀라는 등이 포함될 수 있다.
파라메트릭 얼굴 모델(405)은 미리 결정된 개수의 정점들을 갖는 템플릿 메시를 포함할 수 있다. 템플릿 메시는 머리 모양을 정의하는 3 차원 삼각 측량으로 표현될 수 있다. 각 개인은 개인별 블렌드 형상과 연관될 수 있다. 개별 특정 블렌드 형상(individual-specific blend shape)은 템플릿 메시에 맞게 조정할 수 있다. 개별 특정 블렌드 형상은 템플릿 메시에 있는 정점의 특정 좌표에 해당할 수 있다. 따라서, 개인의 다른 이미지는 동일한 구조의 템플릿 메시에 대응할 수 있다. 그러나 템플릿 메시의 정점 좌표는 이미지에 따라 다르다.
본 개시의 일부 실시 예에서, 파라메트릭 얼굴 모델은 얼굴 아이덴티티(facial identity) 및 얼굴 표정(facial expression)의 두 파라미터에 따라 이중 선형 얼굴 모델(bilinear face model)을 포함할 수 있다. 이중 선형 얼굴 모델은 개인의 이미지에 해당하는 블렌드 형상에 기초하여 구축할 수 있다. 따라서, 파라메트릭 얼굴 모델은 미리 결정된 구조의 템플릿 메시를 포함하며, 정점의 좌표는 얼굴 아이덴티티와 얼굴 표정에 따라 달라진다.
본 개시의 일부 실시 예에서, 텍스처 모델(410)은 개인의 이미지에 대응하는 텍스처 벡터의 선형 공간을 포함할 수 있다. 텍스처 벡터(texture vector)는 템플릿 메시의 정점에서 색상으로 결정될 수 있다.
파라메트릭 얼굴 모델(405) 및 텍스처 모델(texture model)(410)은 얼굴 아이덴티티, 얼굴 표정 및 텍스처의 알려진 파라미터에 기초하여 얼굴을 합성하는 데 사용될 수 있다. 파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)은 또한 새로운 얼굴의 새로운 이미지에 기초하여 얼굴 아이덴티티, 얼굴 표정 및 텍스처의 알려지지 않은 파라미터를 결정하는데 사용될 수 있다.
파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)을 사용하는 얼굴의 합성은 시간이 많이 걸리지 않는다. 그러나 합성된 얼굴은 특히 입과 눈 영역에서 사실적이지 않을 수 있다. 본 개시의 일부 실시 예에서, DNN(415)은 얼굴의 입 및 눈 영역의 사실적 이미지를 생성하도록 훈련될 수 있다. DNN(415)는 말하는 사람의 비디오 모음을 사용하여 훈련할 수 있다. 말하는 사람의 입과 눈 영역은 비디오 프레임에서 캡처할 수 있다. DNN(415)은 입과 눈 영역의 미리 결정된 개수의 이전 프레임 수와 현재 프레임의 원하는 얼굴 표정에 기초하여 얼굴의 입과 눈 영역을 예측하기 위해 생성적 적대 네트워크(generative adversarial network)(GAN)를 사용하여 훈련될 수 있다. 입과 눈 영역의 이전 프레임은 얼굴 표정을 위한 특정 순간 파라미터에서 추출할 수 있다. DNN(415)은 얼굴 표정을 위한 원하는 파라미터로 입 및 눈 영역을 합성할 수 있다. DNN(415)은 또한 공간 일관성을 얻기 위해 이전 프레임을 이용하는 것을 허용할 수 있다.
GAN은 얼굴 모델에서 렌더링 된 입 및 눈 영역, 현재 표정 파라미터 및 이전에 생성된 이미지의 임베딩 기능에 대한 컨디셔닝을 수행하고 동일한 영역을 생성하지만 더 사실적이다. DNN(415)을 사용하여 생성된 입 및 눈 영역은 파라메트릭 얼굴 모델(405)에 의해 합성된 입 및 눈 영역을 대체하는 데 사용될 수 있다. DNN으로 입과 눈 영역을 합성하는 단계는 DNN으로 얼굴 전체를 합성하는 단계보다 시간이 덜 소요될 수 있다는 점에 유의해야 한다. 따라서, DNN을 이용한 입과 눈 영역의 생성은 예를 들어 스마트 폰 또는 태블릿과 같은 모바일 장치의 하나 이상의 프로세서에 의해 실시간으로 수행될 수 있다.
일부 실시 예에서, 전처리 모듈(420)은 목표 비디오(125) 및 소스 비디오(305)를 수신하도록 구성될 수 있다. 목표 비디오(125)는 목표 얼굴을 포함할 수 있고 소스 비디오는 소스 얼굴을 포함할 수 있다. 전처리 유닛(420)은 목표 얼굴(140) 및 목표 배경의 이미지를 획득하기 위해 목표 비디오의 적어도 하나의 프레임의 분할을 수행하도록 추가로 구성될 수 있다. 분할(segmentation)은 신경망, 매트 및 스무딩을 사용하여 수행할 수 있다. 유사하게, 전처리 유닛은 소스 얼굴(315) 및 소스 배경의 이미지를 얻기 위해 소스 비디오 소스 비디오(305)의 분할 프레임(segmentation frame)을 수행하도록 구성될 수 있다.
일부 실시 예에서, 전처리 모듈(420)은 파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)을 사용하여 목표 비디오(125)의 적어도 하나의 프레임에 기초한 목표 파라미터들의 세트(set of target parameters)를 결정하도록 추가로 구성될 수 있다. 일부 실시 예에서, 파라미터들의 목표 세트(target set of parameters)는 목표 얼굴 아이덴티티, 목표 얼굴 표정 및 목표 텍스처를 포함할 수 있다. 일부 실시 예에서, 전처리 모듈(420)은 파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)을 사용하여 소스 비디오(305)의 적어도 하나의 프레임에 기초한 파라미터들의 소스 세트(source set of parameter)를 결정하도록 추가로 구성될 수 있다. 파라미터들의 소스 세트는 소스 얼굴 아이덴티티, 소스 얼굴 표정 및 소스 텍스처를 포함할 수 있다.
일부 실시 예에서, 얼굴 합성 모듈(425)은 소스 비디오(305)의 프레임에서 소스 얼굴(310)의 얼굴 표정을 목표 비디오의 목표 얼굴(140)로 이송하도록 구성될 수 있다. 일부 실시 예에서, 얼굴 합성 모듈(425)은 파라메트릭 얼굴 모델과 연관된 파라미터들의 출력 세트(output set of parameters)를 결정하도록 구성될 수 있다. 특정 실시 예에서, 변형 이송(deformation transfer)은 소스 얼굴(310)의 얼굴 표정을 설명하기 위해 파라미터의 목표 세트(target set of parameters)에 적용될 수 있고, 이에 의해 파라미터의 출력 세트(output set of parameters)를 획득할 수 있다.
일부 실시 예에서, 얼굴 합성 모듈(425)은 파라미터의 출력 세트를 획득하기 위해 목표 파라미터 세트 내의 목표 얼굴 표정을 소스 얼굴 표정으로 대체하도록 구성될 수 있다. 얼굴 합성 모듈(425)은 파라미터의 출력 세트와 파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)을 사용하여 출력 얼굴을 합성하도록 추가로 구성될 수 있다.
일부 실시 예에서, 2 차원(2D) 변형은 목표 얼굴에 가려진 출력 얼굴의 영역의 사실적 이미지를 얻기 위해 목표 얼굴에 적용될 수 있다. 2D 변형의 파라미터는 파라미터 얼굴 모델의 파라미터의 소스 세트에 기초하여 결정될 수 있다.
일부 실시 예에서, 입 및 눈 생성 모듈(430)은 소스 얼굴 표정 및 목표 비디오(125)의 적어도 하나의 이전 프레임에 기초하여 DNN(415)을 사용하여 입 및 눈 영역을 생성하도록 구성될 수 있다. 입 및 눈 생성 모듈은 파라메트릭 얼굴 모델(405) 및 텍스처 모델(410)로 합성된 출력 얼굴의 입 및 눈 영역을 DNN(415)으로 합성된 입 및 눈 영역으로 대체하도록 추가로 구성될 수 있다.
다른 실시 예에서, 얼굴 재연 시스템(220)은 목표 비디오의 배경을 변경하기 위한 모듈, 목표 얼굴의 헤어 스타일 또는 외모를 변경하기 위한 모듈, 및 목표 비디오에 시각 효과를 추가하기 위한 모듈을 포함할 수 있다. 일부 추가 실시 예는 소스 비디오(305)로부터 목표 비디오(125)로 추가 파라미터를 이송하는 것을 포함할 수 있으며, 추가 파라미터는 머리 움직임, 신체 자세 및 방향, 및 음성을 포함하지만 이에 제한되지 않는다.
도 5는 예시적인 실시 예에 따른 얼굴 재연을 위한 방법(500)을 보여주는 흐름도이다. 방법(500)은 컴퓨팅 장치(110)에 의해 수행될 수 있다.
방법(500)은 컴퓨팅 장치(110)에 의해, 목표 비디오를 수신하는 단계로 블록(505)에서 시작할 수 있다. 목표 비디오는 적어도 하나의 목표 프레임을 포함할 수 있다. 적어도 하나의 목표 프레임은 목표 얼굴을 포함할 수 있다.
블록 510에서, 방법(500)은 컴퓨팅 장치(110)에 의해 소스 비디오를 수신하는 단계를 포함할 수 있다. 소스 비디오는 소스 얼굴을 포함할 수 있다.
블록 515에서, 방법(500)은 컴퓨팅 장치(110)에 의해 및 목표 비디오의 적어도 하나의 프레임 내의 목표 얼굴에 기초하여, 적어도 목표 얼굴 표정을 결정하는 단계를 포함할 수 있다.
블록 520에서, 방법(500)은 컴퓨팅 장치(110)에 의해 및 소스 비디오의 프레임 내의 소스 얼굴에 기초하여, 적어도 소스 얼굴 표정을 결정하는 단계를 포함할 수 있다.
블록(525)에서, 방법(500)은 컴퓨팅 장치(110)에 의해 및 파라메트릭 모델 및 텍스처 모델(410)을 사용하여, 출력 얼굴을 합성하는 단계를 포함할 수 있다. 출력 얼굴은 목표 얼굴을 포함할 수 있으며, 목표 얼굴 표정은 소스 얼굴 표정을 모방하도록 수정된다.
블록 530에서, 방법(500)은 컴퓨팅 장치에 의해 및 DNN(415)에 기초하여, 입 영역 및 눈 영역을 생성하는 단계를 포함할 수 있다.
블록 535에서, 방법(500)은 컴퓨팅 장치(110)에 의해, 출력 얼굴, 입 영역 및 눈 영역을 결합하여 출력 비디오의 프레임을 생성하는 단계를 포함할 수 있다.
도 6은 예시적인 실시 예에 따른 개인화된 비디오의 생성을 보여주는 개략도(600)이다. 도 6의 예에서, 목표 비디오(610)는 배우(actor)(615)를 특징으로 하는 광고를 포함한다. 얼굴 재연 시스템(220)은 광고에서 배우(615)의 얼굴을 소스 이미지(620)에서 개인(individual)(625)의 얼굴로 대체하는데 사용될 수 있다. 출력 비디오(630)는 목표 비디오(610)에 표시된 광고를 포함할 수 있으며, 여기서 배우(615)의 얼굴은 소스 이미지(620)에서 개인(625)의 얼굴로 대체된다.
도 7은 도 1은 본 개시의 일부 예시적인 실시 예에 따른 개인화된 광고를 제공하기 위한 시스템(700)의 블록도이다. 시스템(700)은 비디오 데이터베이스(video database)(710), 사용자 정보 수집 모듈(user information collection module)(720) 및 개인화된 비디오 생성 모듈(personalized video generation module)(730)을 포함할 수 있다. 시스템(700)의 모듈은 컴퓨팅 장치(110) 및/또는 컴퓨팅 클라우드(170)의 하나 이상의 프로세서에 의해 실행될 컴퓨팅 장치(110) 및/또는 컴퓨팅 클라우드(170)의 메모리에 저장된 명령으로서 구현될 수 있다. 예를 들어, 시스템(700)은 하나 이상의 소셜 네트워크를 위한 모바일 애플리케이션, 데스크탑 애플리케이션 또는 웹 기반 애플리케이션에서 구현될 수 있다.
비디오 데이터베이스(710)는 하나 이상의 비디오를 저장할 수 있다. 비디오에는 한 배우 또는 여러 배우가 등장하는 이전에 녹화된 고품질 비디오 광고가 포함될 수 있다. 비디오에는 2D 비디오 또는 3D 장면이 포함될 수 있다. 비디오는 각 프레임에서 배우의 얼굴과 배경을 분할하고 배우의 얼굴 대신 소스 얼굴의 추가 삽입에 사용할 수 있는 파라미터 세트를 식별하기 위해 전처리될 수 있다. 파라미터 세트는 얼굴 텍스처, 얼굴 표정, 얼굴 색상, 얼굴 아이덴티티, 얼굴의 위치 및 각도 등을 포함할 수 있다. 파라미터 세트는 또한 사실적인 방식으로 수행되는 배우의 얼굴의 대체와 같이 배우의 얼굴에서 수행될 수 있는 조작(manipulation) 및 동작(operation)의 목록을 포함할 수 있다.
사용자 정보 수집 모듈(720)은 개인화에 사용될 개인에 대한 정보를 수신할 수 있다. 일부 실시 예에서, 사용자 정보 수집 모듈(720)은 시각적 정보, 예를 들어 개인의 하나 이상의 사진 또는 하나 이상의 비디오를 수신할 수 있다. 바람직하게는, 사진 및 비디오는 개인의 얼굴에 대한 다른 위치 및 각도 및 다른 조명 조건과 같은 다른 조건에서 촬영될 수 있다. 사용자 정보 수집 모듈(720)은 개인과 관련된 파라미터 세트를 결정하기 위해 개인의 하나 이상의 사진 또는 하나 이상의 비디오를 처리할 수 있다. 파라미터 세트는 개인과 관련된 얼굴 텍스처, 얼굴 표정, 얼굴 색상 및 얼굴 아이덴티티를 포함할 수 있다. 일부 실시 예에서, 모듈(720)은 개인의 사진 또는 비디오에서 가려진 개인 얼굴의 숨겨진 부분을 생성할 수 있다. 예를 들어, 개인은 안경을 착용할 수 있다. 숨겨진 부분과 관련된 숨겨진 부분 또는 파라미터(얼굴 텍스처, 얼굴 표정, 얼굴 색상 및 얼굴 아이덴티티)는 DNN을 사용하여 생성할 수 있다. DNN은 GAN을 사용하여 개인 얼굴의 숨겨진 부분(예를 들어, 입 영역, 눈 영역 및 머리 영역)을 예측하도록 훈련될 수 있다.
일부 실시 예에서, 시스템(700)은 소셜 네트워크에 사용될 수 있다. 이러한 실시 예에서, 정보 수집 모듈(720)은 사용자의 소셜 네트워크 계정으로부터 개인에 관한 정보를 얻을 수 있다. 소셜 네트워크로부터 획득되는 정보는 사용자의 사진 및 비디오, 사용자의 친구 및 관심사 목록, 사용자의 친구의 사진을 포함할 수 있다. 사용자는 또한 광고에서 배우를 대체하는 데 사용할 사진과 비디오를 업로드 할 수 있다. 사용자는 광고에서 배우의 얼굴을 대체할 사진과 비디오를 선택할 수도 있다. 특정 실시 예에서, 정보 수집 모듈(720)은 사용자의 컴퓨팅 장치(110)에 저장된 데이터로부터 사용자의 사진 및 비디오, 사용자의 친구 및 관심사 목록, 사용자의 친구의 사진과 같은 정보를 획득할 수 있다. 일부 실시 예에서, 모듈(700)은(사용자의 친구 및 관심사 목록에 기초하여) 광고에 얼굴이 표시될 개인을 선택할 수 있다. 개인은 사용자, 사용자의 친구 또는 사용자가 좋아하는 유명인이 될 수 있다.
개인화된 비디오 생성 모듈(personalized video generation module)(730)은 사용자 정보에 기초하여 데이터베이스(710)에 저장된 하나 이상의 비디오로부터 개인화된 광고를 생성할 수 있다. 일부 실시 예에서, 모듈(730)은 개인화된 광고의 생성에 사용할 사용자 정보를 자동으로 결정하고 결과적인 개인화된 광고를 사용자에게 보여줄 수 있다. 특정 실시 예에서, 사용자는 사용할 사용자 정보(특정 개인의 특정 사진 또는 비디오)를 표시하고, 선택된 개인의 얼굴을 비디오에 삽입하여 개인화된 광고 생성을 요청할 수 있다. 예를 들어, 사용자는 자신의 얼굴로 개인화된 광고를 만든 다음 소셜 네트워크에 게시하여 모든 사용자의 팔로워가 사용자가 등장하는 광고를 볼 수 있도록 할 수 있다. 모듈(730)은 또한 사용자 요청에 따라 개인화된 광고를 사용자의 컴퓨팅 장치(110)의 메모리 저장소에 저장할 수 있다. 모듈(730)은 개인화된 광고의 시청 빈도에 관한 정보를 더 수신할 수 있다.
모듈(730)은 도 3 및 도 4를 참조하여 전술한 얼굴 재연 시스템을 이용하여 광고 속 배우의 얼굴을 선택된 사람의 얼굴로 대체할 수 있다. 모듈(730)은 배우의 얼굴 텍스처, 얼굴 색상 및 얼굴 아이덴티티를 선택된 인물의 얼굴 텍스처, 얼굴 색상 및 얼굴 아이덴티티로 대체할 수 있다. 모듈(730)은 또한 사람의 머리카락, 옷 등을 새로운 이미지 또는 비디오로 이송할 수 있다. 모듈(730)은 또한 새로운 이미지 또는 비디오에서 선택된 사람의 얼굴의 눈 영역 위에 안경 이미지를 추가할 수 있다. 유사하게, 모듈(730)은 새로운 이미지 또는 비디오에서 선택된 사람의 머리 위에 모자(예를 들어, 모자, 모자, 헬멧 등)의 이미지를 추가할 수 있다. 안경 및 모자의 이미지(들)는 사용자의 컴퓨팅 장치(110)에 미리 저장되거나 생성될 수 있다. 안경과 모자의 이미지는 DNN을 사용하여 생성할 수 있다. 모듈(730)은 또한 새로운 이미지의 얼굴에 색상을 적용할 수 있다. 예를 들어, 모듈(730)은 선택된 인물의 얼굴에 선탠을 추가할 수 있다.
도 8은 본 개시의 일부 예시적인 실시 예에 따른 개인화된 광고를 제공하기 위한 방법(500)을 보여주는 흐름도이다. 방법(800)은 도 7에 설명된 시스템(700)에 의해 수행될 수 있다.
방법(800)은 하나 이상의 광고 비디오를 데이터베이스에 저장하면서 블록(805)에서 시작할 수 있다. 광고 비디오는 적어도 제1 개인과 연관된 목표 얼굴을 포함할 수 있다.
블록 810에서, 방법(700)은 사용자 정보 수집 모듈에 의해 사용자와 관련된 사용자 데이터를 수신하는 것으로 진행할 수 있다. 사용자 데이터는 적어도 소스 얼굴의 이미지를 포함할 수 있다. 소스 얼굴은 제1 개인과 다른 제2 개인과 연관될 수 있다.
블록 815에서, 방법(800)은 사용자 정보 수집에 의해 및 사용자 데이터에 기초하여, 소스 얼굴의 파라미터를 결정하는 단계를 포함할 수 있다.
블록 820에서, 방법(800)은 개인화된 비디오 생성 모듈에 의해, 광고 비디오의 프레임을 제1 부분 및 제2 부분으로 분할할 수 있다. 제1 부분은 목표 얼굴을 포함할 수 있고, 제2 부분은 배경을 포함할 수 있다.
블록 825에서, 방법(800)은 개인화된 비디오 생성 모듈에 의해 및 소스 얼굴의 파라미터에 기초하여, 프레임의 제1 부분을 수정하여 목표 얼굴을 소스 얼굴로 대체할 수 있다.
선택적 블록(830)에서, 방법(800)은 개인화된 비디오 생성 모듈에 의해, 하나 이상의 특수 효과를 프레임의 수정된 제1 부분에 적용할 수 있다. 예를 들어, 방법(800)은 수정된 제1 부분의 얼굴에 선탠(suntan)을 적용하고, 얼굴의 눈 영역 또는 머리 위에 안경을 추가하고, 및/또는 모자(cap) 또는 모자(hat), 헬멧(helmet) 또는 기타 모자를 머리 또는 얼굴 위에 추가할 수 있다.
블록 835에서, 방법(800)은 출력 광고 비디오의 출력 프레임을 획득하기 위해 개인화된 비디오 생성 모듈에 의해 수정된 제1 부분 및 제2 부분을 결합할 수 있다.
도 9는 여기에 설명된 방법을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 시스템(computing system)(900)을 도시한다. 컴퓨팅 시스템(900)은 컴퓨팅 장치(110), 얼굴 재연 시스템(220), 파라메트릭 얼굴 모델(405), 텍스처 모델(410), DNN(415), 전처리 모듈(420), 얼굴 합성 모듈(425) 및 입과 눈 생성 모듈(430)과 같은 컨텍스트에서 구현될 수 있다.
도 9에 도시된 바와 같이, 컴퓨팅 시스템(900)의 하드웨어 구성 요소는 하나 이상의 프로세서(910) 및 메모리(920)를 포함할 수 있다. 메모리(920)는 프로세서(910)에 의한 실행을 위해 명령 및 데이터를 부분적으로 저장한다. 메모리(920)는 시스템(900)이 동작 중일 때 실행 가능한 코드를 저장할 수 있다. 시스템(900)은 선택적 대용량 저장 장치(930), 선택적 휴대용 저장 매체 드라이브(들)( optional portable storage medium drive(s))(940), 하나 이상의 선택적 출력 장치(optional output device)(950), 하나 이상의 선택적 입력 장치(optional input device)(960), 선택적 네트워크 인터페이스(optional network interface)(970), 및 하나 이상의 선택적 주변 장치(980)를 더 포함할 수 있다. 컴퓨팅 시스템(900)은 또한 하나 이상의 소프트웨어 구성 요소(software component)(995)(예를 들어, 본 명세서에 설명된 얼굴 재연을 위한 방법을 구현할 수 있는 것들)를 포함할 수 있다.
도 9에 도시된 구성 요소는 단일 버스(single bus)(990)를 통해 연결되는 것으로 도시되어 있다. 구성 요소는 하나 이상의 데이터 전송 수단 또는 데이터 네트워크를 통해 연결될 수 있다. 프로세서(processor)(910) 및 메모리(memory)(920)는 로컬 마이크로 프로세서 버스를 통해 연결될 수 있고, 대용량 저장 장치(mass storage device)(930), 주변 장치(들)( peripheral device(s))(980), 휴대용 저장 장치(portable storage device)(940) 및 네트워크 인터페이스(network interface)(970)는 하나 이상의 입력/출력(I/O) 버스(nput/output (I/O) bus)를 통해 연결될 수 있다.
자기 디스크 드라이브, 솔리드 스테이트 디스크 드라이브 또는 광 디스크 드라이브로 구현될 수 있는 대용량 저장 장치(930)는 프로세서(910)에 의해 사용되는 데이터 및 명령을 저장하기 위한 비 휘발성 저장 장치이다. 대용량 저장 장치(930)는 본 명세서에 설명된 실시 예를 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 구성 요소(995))를 저장할 수 있다.
휴대용 저장 매체 드라이브(들)(940)은 컴팩트 디스크(CD) 또는 디지털 비디오 디스크(DVD)와 같은 휴대용 비 휘발성 저장 매체와 함께 작동하여 컴퓨팅 시스템(900)에 데이터 및 코드를 입력 및 출력한다. 본 명세서에 설명된 실시 예를 구현하기 위한 시스템 소프트웨어(예를 들어, 소프트웨어 구성 요소(995))는 그러한 휴대용 매체에 저장될 수 있고 휴대용 저장 매체 드라이브(들)(940)를 통해 컴퓨팅 시스템(900)에 입력될 수 있다.
선택적 입력 장치(960)는 사용자 인터페이스의 일부를 제공한다. 입력 장치(960)는 영숫자 및 기타 정보를 입력하기 위한 키보드와 같은 영숫자 키패드, 또는 마우스, 트랙볼, 스타일러스 또는 커서 방향 키와 같은 포인팅 장치를 포함할 수 있다. 입력 장치(960)는 또한 카메라 또는 스캐너를 포함할 수 있다. 추가로, 도 9에 도시된 시스템(900)은 선택적인 출력 장치(950)를 포함한다. 적합한 출력 장치에는 스피커, 프린터, 네트워크 인터페이스 및 모니터가 포함된다.
네트워크 인터페이스(970)는 예를 들어 인터넷, 인트라넷을 포함하는 하나 이상의 유선, 무선 또는 광 네트워크와 같은 하나 이상의 통신 네트워크를 통해 외부 장치, 외부 컴퓨팅 장치, 서버 및 네트워크 시스템과 통신하는 데 사용될 수 있다. LAN, WAN, 휴대폰 네트워크, 블루투스(Bluetooth) 무선 및 IEEE 802.11 기반 무선 주파수 네트워크 등이 있다. 네트워크 인터페이스(970)는 이더넷 카드, 광 트랜시버, 무선 주파수 트랜시버 또는 정보를 송수신할 수 있는 임의의 다른 유형의 장치와 같은 네트워크 인터페이스 카드 일 수 있다. 선택적인 주변 장치(optional peripheral)(980)는 컴퓨터 시스템에 추가 기능을 추가하기 위해 임의의 유형의 컴퓨터 지원 장치를 포함할 수 있다.
컴퓨팅 시스템(900)에 포함된 구성 요소는 광범위한 범주의 컴퓨터 구성 요소를 나타내도록 의도된다. 따라서, 컴퓨팅 시스템(900)은 서버, 개인용 컴퓨터, 핸드 헬드 컴퓨팅 장치, 전화, 모바일 컴퓨팅 장치, 워크 스테이션, 미니 컴퓨터, 메인 프레임 컴퓨터, 네트워크 노드 또는 임의의 다른 컴퓨팅 장치 일 수 있다. 컴퓨팅 시스템(900)은 또한 상이한 버스 구성, 네트워크화 된 플랫폼, 다중 프로세서 플랫폼 등을 포함할 수 있다. 유닉스(UNIX), 니눅스(Linux), 윈도우(Windows), 멕킨토시(Macintosh) OS, 팜(Palm) OS 및 기타 적합한 운영 체제를 포함한 다양한 운영 체제(OS)를 사용할 수 있다.
전술한 기능 중 일부는 저장 매체(예를 들어, 컴퓨터 판독 가능 매체 또는 프로세서 판독 가능 매체)에 저장된 명령으로 구성될 수 있다. 명령(instruction)은 프로세서에 의해 검색되고 실행될 수 있다. 저장 매체의 예로는 메모리 장치, 테이프, 디스크 등이 있다. 명령은 프로세서가 본 발명에 따라 동작하도록 지시하기 위해 프로세서에 의해 실행될 때 동작한다. 당업자는 명령, 프로세서(들) 및 저장 매체에 익숙하다.
여기에 설명된 처리를 수행하기에 적합한 임의의 하드웨어 플랫폼이 본 발명과 함께 사용하기에 적합하다는 것은 주목할 만하다. 본 명세서에서 사용되는 용어 "컴퓨터 판독 가능 저장 매체"및 "컴퓨터 판독 가능 저장 매체"는 실행을 위해 프로세서에 명령을 제공하는 데 참여하는 임의의 매체 또는 매체를 지칭한다. 이러한 매체는 비 휘발성 매체, 휘발성 매체 및 전송 매체를 포함하지만 이에 제한되지 않는 다양한 형태를 취할 수 있다. 비 휘발성 매체는 예를 들어 고정 디스크와 같은 광학 또는 자기 디스크를 포함한다. 휘발성 매체에는 시스템 랜덤 액세스 메모리 (Random Access Memory) (RAM)와 같은 동적 메모리가 포함된다. 전송 매체(Transmission media)는 버스의 일 실시 예를 포함하는 와이어를 포함하여 무엇보다도 동축 케이블, 구리 와이어 및 광섬유를 포함한다. 전송 매체는 또한 무선 주파수(RF) 및 적외선(IR) 데이터 통신 중에 생성되는 것과 같은 음향 또는 광파의 형태를 취할 수 있다. 컴퓨터 판독 가능 매체의 일반적인 형태는 예를 들어 플로피 디스크, 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 기타 자기 매체, CD 읽기 전용 메모리(ROM) 디스크, 디블이디(DVD), 기타 광학 매체, 마크 또는 구멍 패턴이 있는 기타 물리적 매체, 램(RAM), 피롬(PROM), 이피롬(EPROM), 이이피롬(EEPROM), 기타 메모리 칩 또는 카트리지, 반송파 또는 컴퓨터가 판독 가능한 기타 매체 가 포함된다.
다양한 형태의 컴퓨터 판독 가능 매체가 실행을 위해 하나 이상의 명령의 하나 이상의 시퀀스를 프로세서에 전달하는 데 관련될 수 있다. 버스는 프로세서가 명령을 검색하고 실행하는 시스템 램(RAM)으로 데이터를 전달한다. 시스템 프로세서에 의해 수신된 명령은 프로세서에 의해 실행되기 전후에 고정 디스크에 선택적으로 저장될 수 있다.
따라서, 얼굴 재연을 위한 방법 및 시스템이 설명되었다. 실시 예가 특정 예시적인 실시 예를 참조하여 설명되었지만, 본 출원의 더 넓은 사상 및 범위를 벗어나지 않고 이러한 예시적인 실시 예에 대해 다양한 수정 및 변경이 이루어질 수 있음이 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 의미가 아닌 예시적인 의미로 간주되어야 한다.

Claims (34)

  1. 얼굴 재연을 위한 방법에 있어서,
    컴퓨팅 장치에 의해, 목표 비디오를 수신하는 단계 - 상기 목표 비디오는 적어도 하나의 목표 프레임을 포함하고, 상기 적어도 하나의 목표 프레임은 목표 얼굴을 포함함 -;
    상기 컴퓨팅 장치에 의해, 일련의 소스 얼굴 표정들을 포함하는 시나리오를 수신하는 단계;
    상기 컴퓨팅 장치에 의해 및 상기 목표 비디오의 상기 적어도 하나의 프레임의 목표 얼굴에 기초하여, 하나 이상의 목표 얼굴 표정을 결정하는 단계;
    상기 컴퓨팅 장치에 의해 및 파라메트릭 얼굴 모델 및 텍스처 모델을 사용하여, 출력 얼굴을 합성하는 단계 - 상기 출력 얼굴은 상기 목표 얼굴을 포함하고, 상기 하나 이상의 목표 얼굴 표정은 상기 일련의 소스 얼굴 표정들의 소스 얼굴 표정들을 모방하도록 수정됨 -;
    상기 컴퓨팅 장치에 의해 및 심층 신경망(DNN) 및 상기 목표 비디오의 적어도 하나의 이전 프레임에 기초하여, 입 영역 및 눈 영역을 생성하는 단계; 및
    상기 컴퓨팅 장치에 의해, 출력 비디오의 프레임을 생성하기 위해, 상기 출력 얼굴, 상기 입 영역 및 상기 눈 영역을 결합하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 파라메트릭 얼굴 모델은,
    얼굴 표정, 얼굴 아이덴티티, 및 얼굴 텍스처에 의존하는
    방법.
  3. 제1항에 있어서,
    상기 파라메트릭 얼굴 모델은,
    복수의 개인들의 얼굴들의 과거 이미지들에 기초하여 미리 생성된 템플릿 메시를 포함하고,
    상기 템플릿 메시는,
    미리 결정된 개수의 정점들을 포함하는
    방법.
  4. 제3항에 있어서,
    상기 텍스처 모델은,
    정점과 연관된 색상 세트를 포함하는
    방법.
  5. 제3항에 있어서,
    상기 개인들은,
    상이한 연령, 성별 및 민족인
    방법.
  6. 제3항에 있어서,
    상기 얼굴들의 과거 이미지들은,
    미리 결정된 개수의 얼굴 표정들을 갖는 단일 개인에 속하는 적어도 하나의 사진 세트를 포함하는
    방법.
  7. 제6항에 있어서,
    상기 얼굴 표정들은,
    중립적인 표정, 입을 벌린 표정, 미소, 화난 표정 중 적어도 하나를 포함하는
    방법.
  8. 제7항에 있어서,
    상기 파라메트릭 얼굴 모델은,
    블렌드 형상들의 세트를 포함하고,
    상기 블렌드 형상들은,
    상기 얼굴 표정들을 나타내는
    방법.
  9. 제1항에있어서,
    상기 DNN의 입력은,
    상기 파라메트릭 얼굴 모델과 연관된 파라미터를 적어도 포함하는
    방법.
  10. 제1항에 있어서,
    상기 DNN의 입력은,
    이전 입 영역 및 이전 눈 영역을 포함하고,
    상기 이전 입 영역 및 상기 이전 눈 영역은,
    상기 목표 비디오의 상기 적어도 하나의 이전 프레임과 연관되는
    방법.
  11. 제1항에 있어서,
    상기 DNN은,
    복수의 개인들의 얼굴들의 과거 이미지들을 사용하여 훈련되는
    방법.
  12. 얼굴 재연을 위한 시스템에 있어서,
    상기 시스템은,
    적어도 하나의 프로세서,
    프로세서 실행 가능 코드들을 저장하는 메모리
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 프로세서 실행 가능 코드들을 실행할 때, 다음의 동작들을 구현하도록 구성되고,
    상기 다음의 동작들은,
    목표 비디오를 수신하는 동작 - 상기 목표 비디오는 적어도 하나의 목표 프레임을 포함하고, 상기 적어도 하나의 목표 프레임은 목표 얼굴을 포함함 -;
    일련의 소스 얼굴 표정들을 포함하는 시나리오를 수신하는 동작;
    상기 목표 비디오의 상기 적어도 하나의 프레임의 목표 얼굴에 기초하여, 적어도 하나 이상의 목표 얼굴 표정을 결정하는 동작;
    파라메트릭 얼굴 모델 및 텍스처 모델을 사용하여, 출력 얼굴을 합성하는 동작 - 상기 출력 얼굴은 상기 목표 얼굴을 포함하고, 상기 하나 이상의 목표 얼굴 표정은 상기 일련의 소스 얼굴 표정들의 소스 얼굴 표정들을 모방하도록 수정됨 -;
    심층 신경망(DNN) 및 상기 목표 비디오의 적어도 하나의 이전 프레임에 기초하여, 입 영역 및 눈 영역을 생성하는 동작; 및
    출력 비디오의 프레임을 생성하기 위해, 상기 출력 얼굴, 상기 입 영역 및 상기 눈 영역을 결합하는 동작
    를 포함하는 시스템.
  13. 제12항에 있어서,
    상기 파라메트릭 얼굴 모델은,
    얼굴 표정, 얼굴 아이덴티티, 및 얼굴 텍스처에 의존하는
    시스템.
  14. 제12항에 있어서,
    상기 파라메트릭 얼굴 모델은,
    복수의 개인들의 얼굴들의 과거 이미지들에 기초하여 미리 생성된 템플릿 메시를 포함하고,
    상기 템플릿 메시는,
    미리 결정된 개수의 정점들을 포함하고,
    상기 개인들은,
    연령, 성별, 및 민족이 상이한
    시스템.
  15. 제14항에 있어서,
    상기 텍스처 모델은,
    상기 정점과 연관된 색상 세트를 포함하는
    시스템.
  16. 제14항에 있어서,
    상기 얼굴들의 과거 이미지들은,
    미리 결정된 개수의 얼굴 표정들을 갖는 단일 개인에 속하는 적어도 하나의 사진 세트를 포함하는
    시스템.
  17. 제16항에 있어서,
    상기 얼굴 표정들은,
    중립적 표정, 입을 벌린 표정, 미소 및 화난 표정 중 적어도 하나를 포함하고,
    상기 파라메트릭 얼굴 모델은,
    블렌드 형상들의 세트를 포함하고,
    상기 블렌드 형상들은,
    상기 얼굴 표정들을 나타내는
    시스템.
  18. 제12항에 있어서,
    상기 DNN의 입력은,
    상기 파라메트릭 얼굴 모델과 연관된 파라미터, 및
    이전 입 영역 및 이전 눈 영역
    을 포함하고,
    상기 이전 입 영역 및 상기 이전 눈 영역은,
    상기 목표 비디오의 상기 적어도 하나의 이전 프레임과 연관되는
    시스템.
  19. 제12항에 있어서,
    상기 DNN은,
    복수의 개인들의 얼굴들의 과거 이미지들을 사용하여 훈련되는
    시스템.
  20. 비 일시적 프로세서 판독 가능 매체에 있어서,
    하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서로 하여금 얼굴 재연을 위한 방법을 구현하도록 하는 명령들을 저장하고,
    상기 방법은,
    컴퓨팅 장치에 의해, 목표 비디오를 수신하는 단계 - 상기 목표 비디오는 적어도 하나의 목표 프레임을 포함하고, 상기 적어도 하나의 목표 프레임은 목표 얼굴을 포함함 -;
    상기 컴퓨팅 장치에 의해, 일련의 소스 얼굴 표정들을 포함하는 시나리오를 수신하는 단계;
    상기 컴퓨팅 장치에 의해 및 상기 목표 비디오의 상기 적어도 하나의 프레임의 목표 얼굴에 기초하여, 적어도 하나 이상의 목표 얼굴 표정을 결정하는 단계;
    상기 컴퓨팅 장치에 의해 및 파라메트릭 얼굴 모델 및 텍스처 모델을 사용하여, 출력 얼굴을 합성하는 단계 - 상기 출력 얼굴은 상기 목표 얼굴을 포함하고, 상기 하나 이상의 목표 얼굴 표정은 상기 일련의 소스 얼굴 표정들의 소스 얼굴 표정들을 모방하도록 수정됨 -;
    상기 컴퓨팅 장치에 의해 및 심층 신경망(DNN) 및 상기 목표 비디오의 적어도 하나의 이전 프레임에 기초하여, 입 영역 및 눈 영역을 생성하는 단계; 및
    상기 컴퓨팅 장치에 의해, 출력 비디오의 프레임을 생성하기 위해, 상기 출력 얼굴, 상기 입 영역 및 상기 눈 영역을 결합하는 단계
    를 포함하는 비 일시적 프로세서 판독 가능 매체.
  21. 개인화된 광고를 제공하기 위한 시스템에 있어서,
    하나 이상의 광고 비디오를 저장하도록 구성된 데이터베이스,
    사용자 정보 수집 모듈, 및
    개인화된 비디오 생성 모듈
    을 포함하고,
    상기 하나 이상의 광고 비디오는,
    적어도 목표 얼굴을 포함하고,
    상기 목표 얼굴은,
    제1 개인과 연관되고,
    상기 사용자 정보 수집 모듈은,
    사용자와 연관된 사용자 데이터를 수신하고 - 상기 사용자 데이터는 시나리오를 포함하고, 상기 시나리오는 일련의 소스 얼굴 표정들을 포함하고, 상기 소스 얼굴 표정들은 제2 개인과 연관되고, 상기 제2 개인은 상기 제1 개인과 상이함 -,
    상기 사용자 데이터에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하도록
    구성되고,
    상기 개인화된 비디오 생성 모듈은,
    상기 하나 이상의 광고 비디오의 프레임을 제1 부분 및 제2 부분으로 분할하고 - 상기 제1 부분은 상기 목표 얼굴을 포함하고, 상기 제2 부분은 배경을 포함함 -,
    상기 소스 얼굴 표정들의 파라미터들에 기초하여, 상기 목표 얼굴을 출력 얼굴로 대체하도록, 상기 프레임의 제1 부분을 수정하고 - 상기 출력 얼굴은 상기 소스 얼굴 표정들을 가짐 -,
    출력 광고 비디오의 출력 프레임을 획득하기 위해, 상기 수정된 제1 부분 및 제2 부분을 결합하도록
    구성된
    시스템.
  22. 제21항에 있어서,
    상기 데이터베이스는,
    전처리된 광고 비디오들을 저장하도록 구성되고,
    상기 전처리된 광고 비디오들은,
    상기 목표 얼굴을 포함하는 상기 제1 부분과 상기 배경을 포함하는 상기 제2 부분으로 분할되는 프레임들을 포함하는
    시스템.
  23. 제21항에 있어서,
    상기 소스 얼굴 표정의 파라미터들은,
    소스 얼굴 아이덴티티 및 소스 얼굴 텍스처를 포함하고,
    상기 프레임의 제1 파트를 수정하는 것은,
    상기 목표 얼굴에 기초하여, 목표 얼굴 표정, 목표 얼굴 아이덴티티 및 목표 얼굴 텍스처를 결정하는 것, 및
    목표 얼굴 인덴트(target facial indent)를 상기 소스 얼굴 아이덴티티로 대체하고 상기 목표 얼굴 텍스처를 소스 얼굴 텍스처로 대체하는 것
    을 포함하는
    시스템.
  24. 제23항에 있어서,
    상기 데이터베이스는,
    전처리된 광고 비디오들을 저장하도록 구성되고,
    상기 전처리된 광고 비디오들의 프레임들은,
    목표 얼굴의 파라미터들을 포함하고,
    상기 목표 얼굴의 파라미터들은,
    상기 목표 얼굴 표정, 상기 목표 얼굴 아이덴티티, 및 상기 목표 얼굴 텍스처를 포함하는
    시스템.
  25. 제21항에 있어서,
    상기 사용자 정보 수집 모듈은,
    하나 이상의 소셜 미디어 플랫폼에서 상기 사용자의 하나 이상의 계정으로부터 상기 사용자 데이터를 판독하고 - 상기 사용자 데이터는, 상기 사용자의 하나 이상의 좋아하는 유명인, 상기 사용자의 하나 이상의 친구, 또는 상기 사용자의 이미지 및 상기 사용자의 관심사에 관한 정보를 포함함 -,
    상기 사용자의 하나 이상의 좋아하는 유명인, 상기 사용자의 하나 이상의 친구, 또는 상기 사용자의 이미지들로부터 하나 이상의 이미지를 선택하기 위해 상기 사용자 데이터를 분석하고,
    상기 하나 이상의 선택된 이미지에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하도록 구성되는
    시스템.
  26. 제21항에 있어서,
    상기 사용자 정보 수집 모듈은,
    상기 사용자로부터, 상기 목표 얼굴의 대체에 사용될 이미지들의 목록을 나타내는 사용자 입력을 수신하고,
    상기 이미지들의 목록에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하는
    시스템.
  27. 제21항에 있어서,
    상기 개인화된 비디오 생성 모듈은,
    하나 이상의 소셜 미디어 플랫폼에서 상기 사용자의 하나 이상의 계정에 상기 출력 광고 비디오를 게시하도록 더 구성되는
    시스템.
  28. 개인화된 광고를 제공하는 방법에 있어서,
    하나 이상의 광고 비디오를 데이터베이스에 저장하는 단계 - 상기 하나 이상의 광고 비디오는 적어도 목표 얼굴을 포함하고, 상기 목표 얼굴은 제1 개인과 연관됨 -;
    사용자 정보 수집 모듈에 의해, 사용자와 연관된 사용자 데이터를 수신하는 단계 - 상기 사용자 데이터는 시나리오를 포함하고, 상기 시나리오는 일련의 소스 얼굴 표정들을 포함하고, 상기 소스 얼굴 표정들은 제2 개인과 연관되고, 상기 제2 개인은 상기 제1 개인과 상이함 -;
    상기 사용자 정보 수집 모듈에 의해 그리고 상기 사용자 데이터에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하는 단계;
    개인화된 비디오 생성 모듈에 의해, 상기 하나 이상의 광고 비디오의 프레임을 제1 부분 및 제2 부분으로 분할하는 단계 - 상기 제1 부분은 상기 목표 얼굴을 포함하고 상기 제2 부분은 배경을 포함함 -;
    상기 개인화된 비디오 생성 모듈에 의해 및 상기 소스 얼굴 표정들의 파라미터들에 기초하여, 상기 목표 얼굴을 출력 얼굴로 대체하기 위해 상기 프레임의 제1 부분을 수정하는 단계 - 상기 출력 얼굴은 상기 소스 얼굴 표정들을 가짐 -;
    상기 개인화된 비디오 생성 모듈에 의해, 출력 광고 비디오의 출력 프레임을 획득하기 위해 상기 수정된 제1 부분 및 상기 제2 부분을 결합하는 단계
    를 포함하는 방법.
  29. 제28항에 있어서,
    상기 데이터베이스에서, 전처리된 광고 비디오들을 저장하는 단계
    를 더 포함하고,
    상기 전처리된 광고 비디오들은,
    상기 목표 얼굴을 포함하는 제1 부분과 상기 배경을 포함하는 제2 부분으로 분할되는 프레임들을 포함하는
    방법.
  30. 제28항에있어서,
    상기 소스 얼굴 표정들의 파라미터들은,
    소스 얼굴 아이덴티티 및 소스 얼굴 텍스처를 포함하고,
    상기 프레임의 제1 부분을 수정하는 단계는,
    상기 목표 얼굴에 기초하여, 목표 얼굴 표정, 목표 얼굴 아이덴티티 및 목표 얼굴 텍스처를 결정하는 단계, 및
    상기 목표 얼굴 아이덴티티를 상기 소스 얼굴 아이덴티티로 대체하고, 상기 목표 얼굴 텍스처를 소스 얼굴 텍스처로 대체하는 단계
    를 포함하는
    방법.
  31. 제30 항에 있어서,
    상기 데이터베이스에서, 전처리된 광고 비디오들을 저장하는 단계
    를 더 포함하고,
    상기 전처리된 광고 비디오들의 프레임들은,
    상기 목표 얼굴의 파라미터들을 포함하고,
    상기 목표 얼굴의 파라미터들은,
    상기 목표 얼굴 표정, 상기 목표 얼굴 아이덴티티 및 상기 목표 얼굴 텍스처를 포함하는
    방법.
  32. 제28항에 있어서,
    상기 사용자 정보 수집 모듈에 의해, 하나 이상의 소셜 미디어 플랫폼에서 상기 사용자의 하나 이상의 계정으로부터 상기 사용자 데이터를 판독하는 단계 - 상기 사용자 데이터는 상기 사용자의 하나 이상의 좋아하는 유명인, 상기 사용자의 하나 이상의 친구, 또는 상기 사용자의 이미지 및 상기 사용자의 관심사에 관한 정보를 포함함 -;
    상기 사용자 정보 수집 모듈에 의해, 상기 사용자의 하나 이상의 좋아하는 유명인, 상기 사용자의 하나 이상의 친구, 또는 상기 사용자의 이미지들로부터 하나 이상의 이미지를 선택하기 위해 상기 사용자 데이터를 분석하는 단계; 및
    상기 사용자 정보 수집 모듈에 의해 및 상기 하나 이상의 선택된 이미지에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하는 단계
    를 더 포함하는
    방법.
  33. 제28항에 있어서,
    상기 사용자 정보 수집 모듈에 의해, 상기 목표 얼굴의 대체에 사용될 이미지들의 목록을 나타내는 사용자 입력을 수신하는 단계; 및
    상기 사용자 정보 수집 모듈에 의해 및 상기 이미지들의 목록에 기초하여, 상기 소스 얼굴 표정들의 파라미터들을 결정하는 단계
    를 더 포함하는
    방법.
  34. 제28항에 있어서,
    상기 개인화된 비디오 생성 모듈은,
    하나 이상의 소셜 미디어 플랫폼에서 상기 사용자의 하나 이상의 계정에서 상기 출력 광고 비디오를 게시하도록 더 구성되는
    방법.
KR1020247011271A 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법 KR20240050463A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/251,436 2019-01-18
US16/251,436 US10789453B2 (en) 2019-01-18 2019-01-18 Face reenactment
KR1020217025967A KR102658960B1 (ko) 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법
PCT/US2020/014219 WO2020150686A1 (en) 2019-01-18 2020-01-18 Systems and methods for face reenactment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025967A Division KR102658960B1 (ko) 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20240050463A true KR20240050463A (ko) 2024-04-18

Family

ID=69724070

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217025967A KR102658960B1 (ko) 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법
KR1020247011271A KR20240050463A (ko) 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217025967A KR102658960B1 (ko) 2019-01-18 2020-01-18 얼굴 재연을 위한 시스템 및 방법

Country Status (5)

Country Link
US (4) US10789453B2 (ko)
EP (1) EP3912085A1 (ko)
KR (2) KR102658960B1 (ko)
CN (1) CN113287118A (ko)
WO (1) WO2020150686A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393144B2 (en) * 2019-04-11 2022-07-19 City University Of Hong Kong System and method for rendering an image
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
CN111291218B (zh) * 2020-01-20 2023-09-08 北京百度网讯科技有限公司 视频融合方法、装置、电子设备及可读存储介质
US11276231B2 (en) * 2020-03-04 2022-03-15 Disney Enterprises, Inc. Semantic deep face models
CN111476871B (zh) * 2020-04-02 2023-10-03 百度在线网络技术（北京）有限公司 用于生成视频的方法和装置
CN111489311B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 一种人脸美化方法、装置、电子设备及存储介质
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN112115860A (zh) * 2020-09-18 2020-12-22 深圳市威富视界有限公司 人脸关键点定位方法、装置、计算机设备和存储介质
CN112235603B (zh) * 2020-10-15 2022-04-05 脸萌有限公司 视频分发系统、方法、计算设备、用户设备及视频播放方法
US11854203B1 (en) * 2020-12-18 2023-12-26 Meta Platforms, Inc. Context-aware human generation in an image
EP4071725A4 (en) 2021-02-09 2023-07-05 Beijing Zitiao Network Technology Co., Ltd. AUGMENTED REALITY-BASED DISPLAY METHOD AND DEVICE, STORAGE MEDIA AND PRODUCT-PROGRAM
CN112884908A (zh) * 2021-02-09 2021-06-01 脸萌有限公司 基于增强现实的显示方法、设备、存储介质及程序产品
WO2022212171A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Facial synthesis in augmented reality content for advertisements
CN113641407B (zh) * 2021-06-18 2024-03-01 北京航空航天大学 一种基于cpu和gpu的混合并行智能优化方法
KR102554442B1 (ko) * 2021-11-19 2023-07-11 ㈜플립션코리아 얼굴 합성 방법 및 시스템
KR102543721B1 (ko) * 2021-12-16 2023-06-13 울산과학기술원 온라인 회의에서 초상권 보호를 위한 얼굴 이미지를 합성하는 방법 및 장치
CN114419702B (zh) * 2021-12-31 2023-12-01 南京硅基智能科技有限公司 数字人生成模型、模型的训练方法以及数字人生成方法
US20240029331A1 (en) * 2022-07-22 2024-01-25 Meta Platforms Technologies, Llc Expression transfer to stylized avatars

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7734070B1 (en) * 2002-12-31 2010-06-08 Rajeev Sharma Method and system for immersing face images into a video sequence
WO2007035558A2 (en) * 2005-09-16 2007-03-29 Flixor, Inc. Personalizing a video
US8452160B2 (en) * 2007-06-20 2013-05-28 Sony Online Entertainment Llc System and method for portrayal of object or character target features in an at least partially computer-generated video
US20090135177A1 (en) * 2007-11-20 2009-05-28 Big Stage Entertainment, Inc. Systems and methods for voice personalization of video content
US20090290791A1 (en) 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
WO2015180101A1 (en) 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Compact face representation
US9589178B2 (en) * 2014-09-12 2017-03-07 Htc Corporation Image processing with facial features
WO2018102880A1 (en) * 2016-12-09 2018-06-14 Frangos Marcus George Systems and methods for replacing faces in videos
CN108347578B (zh) * 2017-01-23 2020-05-08 腾讯科技（深圳）有限公司 视频通话中视频图像的处理方法及装置
US10474881B2 (en) 2017-03-15 2019-11-12 Nec Corporation Video retrieval system based on larger pose face frontalization
US10878612B2 (en) 2017-04-04 2020-12-29 Intel Corporation Facial image replacement using 3-dimensional modelling techniques

Also Published As

Publication number Publication date
US11410457B2 (en) 2022-08-09
KR20210119438A (ko) 2021-10-05
WO2020150686A1 (en) 2020-07-23
US11861936B2 (en) 2024-01-02
US20200234034A1 (en) 2020-07-23
US10789453B2 (en) 2020-09-29
KR102658960B1 (ko) 2024-04-19
US20210012090A1 (en) 2021-01-14
EP3912085A1 (en) 2021-11-24
CN113287118A (zh) 2021-08-20
US20220358784A1 (en) 2022-11-10
US20240078838A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
KR102616010B1 (ko) 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법
KR102605077B1 (ko) 모바일 디바이스에서 사실적인 머리 회전들 및 얼굴 애니메이션 합성을 위한 방법들 및 시스템들
US9626788B2 (en) Systems and methods for creating animations using human faces
KR102616013B1 (ko) 맞춤형 텍스트 메시지를 갖는 개인화 비디오 생성 시스템 및 방법
KR102658961B1 (ko) 다수의 사람들이 등장하는 개인화된 비디오를 제공하기 위한 시스템들 및 방법들
US11308677B2 (en) Generating personalized videos with customized text messages
US20160086365A1 (en) Systems and methods for the conversion of images into personalized animations
KR20230020388A (ko) 셀카 설정 및 스톡 동영상 생성
CN115362475A (zh) 用于默认自我形象的全局配置接口
KR20230163907A (ko) 이미지를 캐릭터 이미지로 카툰화시키는 변환 모델의 구축 방법 및 시스템과, 변환 모델을 사용하는 이미지 변환 방법
CN117097919A (zh) 虚拟角色渲染方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
A107 Divisional application of patent