KR102501719B1 - 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 - Google Patents

비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 Download PDF

Info

Publication number
KR102501719B1
KR102501719B1 KR1020210027839A KR20210027839A KR102501719B1 KR 102501719 B1 KR102501719 B1 KR 102501719B1 KR 1020210027839 A KR1020210027839 A KR 1020210027839A KR 20210027839 A KR20210027839 A KR 20210027839A KR 102501719 B1 KR102501719 B1 KR 102501719B1
Authority
KR
South Korea
Prior art keywords
frontal
image
learning model
learning
face
Prior art date
Application number
KR1020210027839A
Other languages
English (en)
Other versions
KR20220124359A (ko
Inventor
최성호
최성민
로렌트 빈센트
박준호
Original Assignee
(주)자이언트스텝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자이언트스텝 filed Critical (주)자이언트스텝
Priority to KR1020210027839A priority Critical patent/KR102501719B1/ko
Publication of KR20220124359A publication Critical patent/KR20220124359A/ko
Application granted granted Critical
Publication of KR102501719B1 publication Critical patent/KR102501719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법은, 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스를 사용하지 않고 페이셜 애니메이션을 생성할 수 있다. 여기에서, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법은, 배우의 얼굴 정면을 촬영한 정면 이미지와 상기 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 수집하는 데이터 수집 단계; 상기 데이터 수집 단계에서 수집된 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시키는 학습 단계; 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 상기 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하는 스튜디오 촬영 단계; 상기 획득된 비정면 촬영 이미지를 상기 학습이 완료된 학습 모델에 입력하여 상기 얼굴에 대한 정면 예측 이미지를 생성하는 결과 출력 단계; 및 상기 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성하는 페이셜 애니메이션 생성 단계;를 포함한다.

Description

비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치{APPARATUS AND METHDO FOR GENERATING FACIAL ANIMATION USING LEARNING MODEL BASED ON NON-FRONTAL IMAGES}
본 발명은 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스(HMD, Head-Mounted Device)를 사용하지 않고 페이셜 애니메이션을 생성할 수 있는, 인공 지능 기반의 페이셜 애니메이션 생성 기술에 관한 것이다.
가상 캐릭터의 자연스러운 표정을 구현하기 위하여, 페이셜 모션 캡쳐 기술을 이용해 사람의 미세한 얼굴 표정을 추적하고 추적된 표정을 가상의 캐릭터에 적용하는 기술이 사용되고 있다. 이를 위해, 버추얼 스튜디오에서 배우가 카메라 또는 센서가 부착된 머리 착용형 디바이스(HMD, Head-Mounted Device)를 착용한 상태에서 연기를 수행하게 된다.
그러나, 머리 착용형 디바이스의 무게는 약 5kg 수준으로 매우 무겁기 때문에, 해당 배우가 HMD를 착용한 상태에서 연기를 하는 데에 많은 불편함과 부담감을 느끼게 되어, 자연스러운 연기를 기대할 수 없다. 또한, 액션이나 댄스 등의 격렬한 움직임이 동반되는 연기가 수행되는 경우, HMD의 흔들림에 의해 표정 추적의 정확도가 저하되며, 동시에 배우의 부상 위험성이 높아질 수 있다.
현재, 이와 같은 문제점들을 해결할 수 있는 기술로서, 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스를 사용하지 않고 페이셜 애니메이션을 생성할 수 있는 기술의 개발이 필요한 실정이다.
한국등록특허 제10-2144040호
본 발명은 머리 착용형 디바이스를 사용하지 않고 페이셜 애니메이션을 생성할 수 있는 기술로서, 배우 얼굴의 정면 이미지와 비정면 이미지를 사전 학습한 학습 모델을 이용해 페이셜 애니메이션을 생성할 수 있는 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법은, 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스를 사용하지 않고 페이셜 애니메이션을 생성할 수 있다. 여기에서, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법은, 배우의 얼굴 정면을 촬영한 정면 이미지와 상기 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 수집하는 데이터 수집 단계; 상기 데이터 수집 단계에서 수집된 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시키는 학습 단계; 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 상기 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하는 스튜디오 촬영 단계; 상기 획득된 비정면 촬영 이미지를 상기 학습이 완료된 학습 모델에 입력하여 상기 얼굴에 대한 정면 예측 이미지를 생성하는 결과 출력 단계; 및 상기 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성하는 페이셜 애니메이션 생성 단계;를 포함한다.
일 실시예에서, 상기 데이터 수집 단계는, 상기 얼굴의 정면을 기준으로 제1 각도, 제2 각도, … 제 N 각도에서 각각 촬영한 비정면 이미지들을 포함한 비정면 이미지 셋을 수집하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 데이터 수집 단계는, 복수의 카메라 장치가 각각 기정의된 위치에 배치된 머리 착용형 디바이스(HMD)를 이용하여 상기 정면 이미지 및 비정면 이미지 셋을 수집하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 학습 모델은, 얼굴의 비정면 이미지를 기초로 얼굴의 정면 이미지를 예측하는 학습 모델이며, 상기 학습 단계는, 상기 비정면 이미지들을 입력 데이터로, 상기 정면 이미지를 출력 데이터로 하여 상기 학습 모델을 학습시키는 단계;를 포함할 수 있다.
일 실시예에서, 상기 학습 단계는, 상기 비정면 이미지를 확대, 축소, 평행 이동 또는 회전하여 확장 학습 데이터를 생성하고, 생성된 확장 학습 데이터를 이용하여 상기 학습 모델을 학습시키는 단계;를 더 포함할 수 있다.
일 실시예에서, 상기 결과 출력 단계는, 상기 스튜디오 촬영 단계에서 획득된 비정면 촬영 이미지에서 얼굴에 상응하는 관심 영역을 추출하고, 상기 추출된 관심 영역을 상기 학습이 완료된 학습 모델에 입력하여 상기 정면 예측 이미지를 생성하는 단계;를 포함할 수 있다.
본 발명의 다른 일 측면에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치는, 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스를 사용하지 않고 페이셜 애니메이션을 생성할 수 있다. 여기에서, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치는, 배우의 얼굴 정면을 촬영한 정면 이미지와 상기 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 수집하는 학습 데이터 수집부; 상기 학습 데이터 수집부에 의해 수집된 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시키는 학습 모델 처리부; 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 상기 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하는 촬영 이미지 수집부; 상기 획득된 비정면 촬영 이미지를 상기 학습이 완료된 학습 모델에 입력하여 상기 얼굴에 대한 정면 예측 이미지를 생성하는 결과 출력부; 및 상기 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성하는 애니메이션 생성부;를 포함한다.
본 발명은, 배우 얼굴의 정면 이미지와 비정면 이미지를 사전 학습한 학습 모델을 이용해 페이셜 애니메이션을 생성함으로써, 배우가 머리 착용형 디바이스를 사용하지 않고 연기 수행이 가능함에 따라, 배우가 불편함이나 부담감 없이 자연스럽게 연기할 수 있도록 지원하며, 또한, HMD의 흔들림에 의한 정확도와 배우의 부상 위험성에 대한 문제점을 해결할 수 있는 이점이 있다.
도 1은 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치를 설명하기 위한 블록도이다.
도 2 및 3은 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법을 설명하기 위한 참조도이다.
도 4는 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치(100, 이하, 페이셜 애니메이션 생성 장치)는 학습 데이터 수집부(110), 학습 모델 처리부(120), 촬영 이미지 수집부(130), 결과 출력부(140) 및 애니메이션 생성부(150)를 포함하여 구성될 수 있다. 한편, 본 발명에 따른 페이셜 애니메이션 생성 장치(100)는 상기 구성요소들을 포함하여 구성되는 컴퓨팅 장치로서, 상기 구성요소들을 모두 포함하는 단일의 디바이스로 구현되거나, 상기 구성요소들이 복수의 디바이스들에 분산되어 구현될 수 있다.
학습 데이터 수집부(110)는 학습 모델의 학습을 위한 기초 데이터를 수집한다. 여기에서, 학습을 위한 기초 데이터는 배우의 얼굴 정면을 촬영한 정면 이미지와 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 포함할 수 있으며, 학습 데이터 수집부(110)는 정면 이미지 및 비정면 이미지들을 수집하도록 구성될 수 있다.
학습 모델 처리부(120)는 학습 데이터 수집부(110)에 의해 수집된 기초 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시킨다. 여기에서, 본 발명에 따른 학습 모델은, 얼굴의 비정면 이미지를 기초로 얼굴의 정면 이미지를 예측하는 학습 모델이며, 학습 모델 처리부(120)는 비정면 이미지들을 입력 데이터로, 정면 이미지를 출력 데이터로 하여 학습 모델을 학습시킬 수 있다.
촬영 이미지 수집부(130)는 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 배우의 얼굴에 대한 비정면 촬영 이미지를 획득한다. 즉, 촬영 이미지 수집부(130)는 가상 스튜디오 촬영 현장에서 연기를 진행하는 배우를 다양한 각도에서 촬영하여, 해당 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하도록 동작한다.
결과 출력부(140)는 촬영 이미지 수집부(130)에 의해 획득된 비정면 촬영 이미지를 학습이 완료된 학습 모델에 입력한다. 여기에서, 결과 출력부(140)는 학습 모델에 의해 출력되는 결과 이미지를 정면 예측 이미지로서 생성할 수 있다.
애니메이션 생성부(150)는 결과 출력부(140)에 의해 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성한다. 즉, 애니메이션 생성부(150)는 학습 모델에 의해 출력된 정면 예측 이미지를 가상 캐릭터의 표정 제어를 위한 페이셜 캡쳐 데이터로 활용하여 페이셜 애니메이션을 생성할 수 있다.
이하에서는, 도 2 내지 4를 참조하여, 상기 페이셜 애니메이션 생성 장치(100)에서 수행되는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법에 대하여 상세하게 설명한다.
도 2 및 3은 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법을 설명하기 위한 참조도이며, 도 4는 본 발명에 따른 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법을 설명하기 위한 흐름도이다.
1. 사전 학습 단계
본 단계는, 배우가 가상 스튜디오에서 연기를 수행하기 이전에 진행되는 단계로, 보다 구체적으로는, 기초 데이터 수집 단계와 수집된 기초 데이터를 이용해 기정의된 학습 모델을 학습시키는 단계로 이루어진다.
우선, 학습 데이터 수집부(110)는 학습 모델의 사전 학습을 위한 기초 데이터를 수집한다(단계 S410). 여기에서, 학습을 위한 기초 데이터는 배우의 얼굴 정면을 촬영한 정면 이미지(210)와 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들(220)을 포함할 수 있다.
도 2를 참조하면, 학습 데이터 수집부(110)는 복수의 카메라 장치를 통해 정면 이미지(210) 및 비정면 이미지들(비정면 이미지 셋, 220)을 수집할 수 있다. 여기에서, 정면 이미지(210)는 배우 얼굴의 정면을 촬영하는 카메라(C1)를 통해 획득될 수 있으며, 비정면 이미지 셋(220)은 배우 얼굴의 정면을 기준으로 제1 각도, 제2 각도, … 제 N 각도에서 얼굴을 촬영한 복수의 카메라들(C2, C3, C4, C5, 등)을 통해 획득될 수 있다.
일 실시예에서, 배우 얼굴을 정면 및 비정면에서 촬영하기 위한 복수의 카메라들(C1, C2, … , CN)은 머리 착용형 디바이스(HMD)의 기정의된 위치에 각각 고정 배치될 수 있다. 여기에서, 학습 데이터 수집부(110)는 배우가 복수의 카메라들(C1, C2, … , CN)이 고정 결합된 HMD를 착용한 상태에서 촬영되는 이미지들(210, 220)을 수집할 수 있다. 즉, 학습 모델의 성능 향상을 위해, 배우가 HMD를 착용한 상태에서 촬영된 이미지들(210, 220)이 학습 데이터로 활용될 수 있다. 한편, 이러한 실시예는 본 발명의 권리범위를 한정하고자 하는 것은 아니며, 다양한 각도에서 배우의 얼굴을 촬영하는 복수의 카메라들(C1, C2, … , CN)은 신체 착용형 디바이스가 아닌 특정 위치(예 : 스튜디오 내부)에 고정 배치되어 구성될 수도 있다.
학습 모델 처리부(120)는 학습 데이터 수집부(110)에 의해 수집된 기초 데이터를 학습 데이터로 이용하여 기정의된 학습 모델(230)을 학습시킨다(단계 S420). 여기에서, 본 발명에 따른 학습 모델(230)은, 얼굴의 비정면 이미지들을 기초로 얼굴의 정면 이미지를 예측하는 학습 모델이다. 한편, 본 발명에 따른 학습 모델에 관한 상세 구조는 본 발명의 핵심적인 사상이 아니며, 신경망 네트워크 등 다양한 공지의 기술로 구현될 수 있는 바, 이에 대한 상세한 설명은 생략한다.
도 2를 참조하면, 학습 모델 처리부(120)는 비정면 이미지 셋(220)을 입력 데이터로, 정면 이미지(210)를 출력 데이터로 하여 학습 모델을 학습시킬 수 있다.
일 실시예에서, 학습 모델(230)의 성능 향상을 위해, 학습 데이터 수집부(110)는 동일한 배우에 대한 다수의 이미지(210, 220)를 획득하고, 학습 모델 처리부(120)는 획득된 다수의 이미지를 학습 데이터로 이용하여 학습 모델(230)을 학습시킬 수 있다.
일 실시예에서, 학습 모델(230)의 성능 향상을 위해, 학습 모델 처리부(120)는 비정면 이미지들(220)을 확대, 축소, 평행 이동 또는 회전하여 확장 학습 데이터를 생성할 수 있으며, 생성된 확장 학습 데이터를 이용하여 학습 모델(230)을 학습시킬 수 있다.
2. 프로덕션 단계
본 단계는, 가상 스튜디오에서 연기를 수행하는 배우를 다양한 각도에서 촬영하고, 촬영된 비정면 이미지를 기초로 정면 이미지를 예측한 후, 예측된 결과를 이용하여 페이셜 애니메이션을 생성하는 단계이다.
촬영 이미지 수집부(130)는 가상 스튜디오 촬영 환경(240)에서 복수의 카메라 장치를 이용해 배우의 얼굴에 대한 비정면 촬영 이미지들(250)을 획득한다(단계 S430). 즉, 도 3을 참조하면, 촬영 이미지 수집부(130)는 가상 스튜디오 촬영 현장(240)에서 연기를 진행하는 배우를 다양한 각도에서 촬영하여, 해당 배우의 얼굴에 대한 비정면 촬영 이미지들(250)을 획득하도록 동작한다.
결과 출력부(140)는 촬영 이미지 수집부(130)에 의해 획득된 비정면 촬영 이미지들(250)을 학습이 완료된 학습 모델(230')에 입력하여, 정면 예측 이미지(260)를 생성한다(단계 S440). 보다 구체적으로, 도 3을 참조하면, 가상 스튜디오 촬영 환경(240)에서 획득된 비정면 촬영 이미지들(250)을 학습이 완료된 학습 모델(230')에 입력하면, 학습 모델(230')은 입력되는 비정면 촬영 이미지들(250)을 기초로 배우의 정면 이미지를 예측하여 출력할 수 있다. 여기에서, 결과 출력부(140)는 학습 모델(230')에서 도출되는 결과 이미지를 정면 예측 이미지(260)로서 출력할 수 있다.
일 실시예에서, 촬영 이미지 수집부(130)는 비정면 촬영 이미지(250)에서 얼굴에 상응하는 관심 영역 (ROI, Region of Interest)을 추출할 수 있다. 여기에서, 결과 출력부(140)는 추출된 관심 영역을 학습 모델(230')에 입력하여 정면 예측 이미지(260)를 생성할 수 있다. 본 실시예에 따르면, 비정면 촬영 이미지(250)에서 얼굴 영역만을 추출하여 학습 모델(230')에 입력함으로써, 학습 모델(230')의 예측 정확도를 보다 향상시킬 수 있다.
애니메이션 생성부(150)는 결과 출력부(140)에 의해 생성된 정면 예측 이미지(260)를 기초로 페이셜 애니메이션을 생성한다(단계 S450). 보다 구체적으로, 애니메이션 생성부(150)는 학습 모델(230')에 의해 출력된 정면 예측 이미지(260)를 가상 캐릭터의 표정 제어를 위한 페이셜 캡쳐 데이터로 활용하여 페이셜 애니메이션을 생성할 수 있다. 한편, 페이셜 캡쳐 데이터를 가상 캐릭터에 적용하여 페이셜 애니메이션을 생성하는 기술 자체는, 본 발명의 핵심적인 사상이 아니며 공지된 기술에 해당하는 바, 이에 대한 상세한 설명은 생략한다.
상술한 본 발명 및 본 발명의 다양한 실시예에 따르면, 배우 얼굴의 정면 이미지와 비정면 이미지를 사전 학습한 학습 모델을 이용해 페이셜 애니메이션을 생성함으로써, 배우가 머리 착용형 디바이스를 사용하지 않고 연기 수행이 가능하다. 이에, 배우가 불편함이나 부담감 없이 자연스럽게 연기할 수 있어, 페이셜 애니메이션의 품질을 보다 향상시킬 수 있으며, 동시에 HMD의 흔들림에 의한 정확도와 배우의 부상 위험성에 대한 문제점을 해결할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 페이셜 애니메이션 생성 장치
110 : 학습 데이터 수집부
120 : 학습 모델 처리부
130 : 촬영 이미지 수집부
140 : 결과 출력부
150 : 애니메이션 생성부
210 : 정면 이미지
220 : 비정면 이미지 셋
230 : 학습 모델
230' : 학습 완료된 학습 모델
240 : 가상 스튜디오
250 : 비정면 촬영 이미지
260 : 정면 예측 이미지

Claims (7)

  1. 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스(HMD, Head-Mounted Device)를 사용하지 않고 페이셜 애니메이션을 생성할 수 있는, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법에 있어서,
    상기 HMD의 기 정의된 위치에 고정 배치된 복수의 카메라를 통해 배우의 얼굴 정면을 촬영한 정면 이미지와 상기 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 수집하는 데이터 수집 단계;
    상기 데이터 수집 단계에서 수집된 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시키는 학습 단계;
    배우 신체를 구속하지 않도록 복수의 카메라 장치가 배우 연기 공간상에 분산 배치되는 가상 스튜디오 촬영 환경을 구축한 후, 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 상기 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하는 스튜디오 촬영 단계;
    상기 획득된 비정면 촬영 이미지를 상기 학습이 완료된 학습 모델에 입력하여 상기 얼굴에 대한 정면 예측 이미지를 생성하는 결과 출력 단계; 및
    상기 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성하는 페이셜 애니메이션 생성 단계;를 포함하는,
    비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  2. 제1항에 있어서, 상기 데이터 수집 단계는,
    상기 얼굴의 정면을 기준으로 제1 각도, 제2 각도, … 제 N 각도에서 각각 촬영한 비정면 이미지들을 포함한 비정면 이미지 셋을 수집하는 단계;
    를 포함하는 것을 특징으로 하는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  3. 제2항에 있어서, 상기 데이터 수집 단계는,
    복수의 카메라 장치가 각각 기정의된 위치에 배치된 머리 착용형 디바이스(HMD)를 이용하여 상기 정면 이미지 및 비정면 이미지 셋을 수집하는 단계;
    를 포함하는 것을 특징으로 하는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  4. 제1항에 있어서,
    상기 학습 모델은,
    얼굴의 비정면 이미지를 기초로 얼굴의 정면 이미지를 예측하는 학습 모델이며,
    상기 학습 단계는,
    상기 비정면 이미지들을 입력 데이터로, 상기 정면 이미지를 출력 데이터로 하여 상기 학습 모델을 학습시키는 단계;
    를 포함하는 것을 특징으로 하는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  5. 제4항에 있어서, 상기 학습 단계는,
    상기 비정면 이미지를 확대, 축소, 평행 이동 또는 회전하여 확장 학습 데이터를 생성하고, 생성된 확장 학습 데이터를 이용하여 상기 학습 모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  6. 제1항에 있어서, 상기 결과 출력 단계는,
    상기 스튜디오 촬영 단계에서 획득된 비정면 촬영 이미지에서 얼굴에 상응하는 관심 영역을 추출하고, 상기 추출된 관심 영역을 상기 학습이 완료된 학습 모델에 입력하여 상기 정면 예측 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법.
  7. 가상 스튜디오 촬영 환경에서 머리 착용형 디바이스(HMD, Head-Mounted Device)를 사용하지 않고 페이셜 애니메이션을 생성할 수 있는, 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치에 있어서,
    상기 HMD의 기 정의된 위치에 고정 배치된 복수의 카메라를 통해 배우의 얼굴 정면을 촬영한 정면 이미지와 상기 얼굴을 기정의된 각도에서 촬영한 비정면 이미지들을 수집하는 학습 데이터 수집부;
    상기 학습 데이터 수집부에 의해 수집된 데이터를 학습 데이터로 이용하여 기정의된 학습 모델을 학습시키는 학습 모델 처리부;
    배우 신체를 구속하지 않도록 복수의 카메라 장치가 배우 연기 공간상에 분산 배치되는 가상 스튜디오 촬영 환경을 구축한 후, 가상 스튜디오 촬영 환경에서 복수의 카메라 장치를 이용해 상기 배우의 얼굴에 대한 비정면 촬영 이미지를 획득하는 촬영 이미지 수집부;
    상기 획득된 비정면 촬영 이미지를 상기 학습이 완료된 학습 모델에 입력하여 상기 얼굴에 대한 정면 예측 이미지를 생성하는 결과 출력부; 및
    상기 생성된 정면 예측 이미지를 페이셜 캡쳐 데이터로 하여 페이셜 애니메이션을 생성하는 애니메이션 생성부;를 포함하는,
    비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 장치.
KR1020210027839A 2021-03-03 2021-03-03 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치 KR102501719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027839A KR102501719B1 (ko) 2021-03-03 2021-03-03 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210027839A KR102501719B1 (ko) 2021-03-03 2021-03-03 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220124359A KR20220124359A (ko) 2022-09-14
KR102501719B1 true KR102501719B1 (ko) 2023-02-21

Family

ID=83279487

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027839A KR102501719B1 (ko) 2021-03-03 2021-03-03 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102501719B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240141991A (ko) 2023-03-21 2024-09-30 오모션 주식회사 이벤트 정보를 기반으로 한 3차원 얼굴 모델 제작 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장매체
KR20240141990A (ko) 2023-03-21 2024-09-30 오모션 주식회사 시간 정보를 기반으로 한 3차원 얼굴 모델 제작 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014525108A (ja) * 2011-08-09 2014-09-25 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
KR101906431B1 (ko) * 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017209777A1 (en) 2016-06-03 2017-12-07 Oculus Vr, Llc Face and eye tracking and facial animation using facial sensors within a head-mounted display
KR101839515B1 (ko) * 2016-10-27 2018-03-16 에스케이플래닛 주식회사 얼굴 인식 추론 기반 서비스 시스템, 그의 얼굴 인식 추론 방법 및 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014525108A (ja) * 2011-08-09 2014-09-25 インテル・コーポレーション 画像に基づくマルチビュー３ｄ顔生成
KR101906431B1 (ko) * 2017-07-20 2018-10-11 네이버랩스 주식회사 ２ｄ 이미지 인식에 기반한 ３ｄ 모델링 방법 및 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240141991A (ko) 2023-03-21 2024-09-30 오모션 주식회사 이벤트 정보를 기반으로 한 3차원 얼굴 모델 제작 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장매체
KR20240141990A (ko) 2023-03-21 2024-09-30 오모션 주식회사 시간 정보를 기반으로 한 3차원 얼굴 모델 제작 장치, 방법, 시스템 및 컴퓨터 판독 가능한 저장매체

Also Published As

Publication number Publication date
KR20220124359A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
CN109145788B (zh) 基于视频的姿态数据捕捉方法和系统
Dawar et al. Data augmentation in deep learning-based fusion of depth and inertial sensing for action recognition
KR102501719B1 (ko) 비정면 이미지 기반의 학습 모델을 이용한 페이셜 애니메이션 생성 방법 및 장치
JP5454570B2 (ja) 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム
US11024060B1 (en) Generating neutral-pose transformations of self-portrait images
JP2020086983A5 (ko)
TWI255141B (en) Method and system for real-time interactive video
WO2020248395A1 (zh) 跟拍方法、装置、设备及存储介质
JP2019045991A (ja) 生成装置、生成方法、及びプログラム
JP2018107593A5 (ko)
KR20200047267A (ko) 인공 신경망에 기반한 영상 처리 방법 및 장치
JP7446903B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
Doan et al. Multi-view discriminant analysis for dynamic hand gesture recognition
JP6875646B2 (ja) 画像処理装置、および、画像処理プログラム
WO2023149135A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP7214092B2 (ja) 画像制御装置、及びそのプログラム
JPWO2023286847A5 (ko)
CN115482565A (zh) 用户影像数据处理方法、装置及系统
KR20200066404A (ko) 3차원 신체 모델 생성 장치 및 방법
JP6829922B1 (ja) 情報処理装置、３ｄモデル生成方法、及びプログラム
US20240212167A1 (en) Data augmentation apparatus and method for action recognition through self-supervised learning based on object
CN117726511B (zh) 用于旅游景观展示的全景成像装置及方法
WO2021131103A1 (ja) 距離画像処理装置及び距離画像処理方法
Ismail et al. From Gestures to Audio: A Dataset Building Approach for Egyptian Sign Language Translation to Arabic Speech
Mishra et al. An insight into human pose estimation and its applications

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant