KR20200134623A - 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치 - Google Patents

3차원 가상 캐릭터의 표정모사방법 및 표정모사장치 Download PDF

Info

Publication number
KR20200134623A
KR20200134623A KR1020190060313A KR20190060313A KR20200134623A KR 20200134623 A KR20200134623 A KR 20200134623A KR 1020190060313 A KR1020190060313 A KR 1020190060313A KR 20190060313 A KR20190060313 A KR 20190060313A KR 20200134623 A KR20200134623 A KR 20200134623A
Authority
KR
South Korea
Prior art keywords
expression
face
virtual character
facial
feature points
Prior art date
Application number
KR1020190060313A
Other languages
English (en)
Inventor
최영주
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190060313A priority Critical patent/KR20200134623A/ko
Publication of KR20200134623A publication Critical patent/KR20200134623A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 출원은 3차원 가상의 표정모사방법 및 표정모사장치에 관한 것으로서, 본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법은, 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)을 추출하고, 상기 특징점을 이용하여 상기 사용자 얼굴에 대응하는 3차원 모션 정보를 생성하는 얼굴 인식단계; 및 상기 3차원 모션 정보를 이용하여, 상기 사용자 얼굴의 표정 및 포즈(pose)를 모사하는 3차원 가상 캐릭터를 생성하는 리타겟팅 단계를 포함할 수 있다.

Description

3차원 가상 캐릭터의 표정모사방법 및 표정모사장치{Apparatus and Method for providing facial motion retargeting of 3 dimensional virtual character}
본 출원은 사용자의 얼굴 표정을 모사할 수 있는 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치에 관한 것이다.
최근, 스마트폰의 열풍과 함께 스마트폰에서도 얼굴 인식 기술이 탑재되고 있다. 얼굴 인식 기술을 이용한 응용기술 등이 널리 확산될 것으로 예측되고 있다. 얼굴 인식 기술은 바이오 인식 기술의 한 종류로서, 접촉방식의 홍채와 지문 인식과는 달리 비 접촉성의 사용자 편의성을 제공하는 인식 기술로 다양한 디바이스에 적용되고 있다.
한편, 사용자는 자신 대신에 자신만의 아바타를 만들고 싶어한다. 특히, 3차원 아바타 등의 가상 현실은 실제의 상황이 가상의 영상들로 표현되어 제공된다. 예를 들어, 이러한 영역 중에서 시뮬레이션과 교육 사업 그리고 엔터테인먼트 등에 가상 현실 기술이 널리 사용되고 있다. 사용자는 실제 자신의 모습 대신에 아바타를 이용하여 상대방에게 자신만의 캐릭터를 부각시키길 원하거나, 다른 사용자에게 자신을 어필하거나 친근감을 전달하기 위한 방식으로 가상 현실에서의 아바타를 이용하고 있다.
하지만, 종래의 아바타 제공 기술은 게임이나 가상 현실상에서 미리 정의된 단순한 표정 또는 동작으로 한정되어 있으며, 상대방에게 자신의 표정이나 동작을 전달하기에는 한계가 있다.
본 출원은, 사용자의 얼굴 표정을 모사할 수 있는 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치를 제공하고자 한다.
본 출원은, 사용자의 얼굴 표정 모사에 필요한 연산량을 최소화하여 모바일 환경에서 실시간으로 동작할 수 있는 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치를 제공하고자 한다.
본 출원은, 블랜드 쉐입(blend-shape) 기법과 직접 변환(direct deformation) 기법을 결합하여 효율적으로 사용자의 얼굴 표정을 모사할 수 있는 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치를 제공하고자 한다.
본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사 방법은, 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출하고, 상기 특징점들을 이용하여 상기 사용자 얼굴에 대응하는 3차원 모션 정보를 생성하는 얼굴 인식단계; 및 상기 3차원 모션 정보를 이용하여, 상기 사용자 얼굴의 표정 및 포즈(pose)를 모사하도록 3차원 가상 캐릭터의 표정을 변형하는 리타겟팅(retargeting)단계를 포함할 수 있다.
여기서 상기 얼굴인식단계는, 상기 얼굴 이미지로부터 얼굴영역을 검출하고, 상기 얼굴영역으로부터 특징점을 추출하는 단계; 상기 특징점들의 3차원 공간 상의 위치를 나타내는 위치정보와, 상기 얼굴영역의 3차원 공간 상의 회전량 및 이동량을 나타내는 포즈 정보를 포함하는 상기 3차원 모션 정보를 생성하는 단계; 및 핀홀 카메라 모델 및 상기 3차원 모션 정보를 이용하여, 상기 특징점들을 3차원으로 복원한 3차원 얼굴 특징점들을 생성하는 단계를 포함할 수 있다.
여기서 상기 차원 얼굴 특징점은, 월드좌표계(world coordinate)의 중심점에서 기준축을 바라보도록 정면화 frontalization)하여 생성할 수 있다.
여기서 상기 리타겟팅단계는, 상기 3차원 가상 캐릭터에 대해미리 설정한 표정셋으로부터 추출한 샘플 표정들을 합성하여, 상기 3차원 얼굴 특징점에 대응하는 합성표정을 생성하는 1차 변환단계; 및 상기 합성표정을 직접 변형(direct deformation) 기법으로 수정하여, 상기 3차원 가상 캐릭터의 최종표정을 설정하는 2차 변환단계를 포함할 수 있다.
여기서 상기 1차 변환 단계는, 상기 3차원 얼굴 특징점을 RBF 변환(Radial Basis Function Transform)하여, 상기 3차원 가상 캐릭터의 얼굴표정을 나타내는 대상 캐릭터 특징점들을 생성하는 단계; 상기 대상 캐릭터 특징점과 비교하여, 복수의 샘플 표정들을 상기 표정셋으로부터 추출하고, 상기 샘플 표정들에 가중치를 부여하는 단계; 및 상기 가중치가 적용된 상기 샘플표정들을 합성하여, 상기 합성표정을 생성하는 단계를 포함할 수 있다.
여기서 상기 가중치를 설정하는 단계는, 상기 대상 캐릭터 특징점과 상기 3차원 캐릭터의 중립 표정을 비교하여 상기 대상 캐릭터 특징점 중에서 상기 중립 표정과 상이한 얼굴부위를 판별하고, 상기 판별된 얼굴부위에 대응하는 복수의 샘플표정들을 상기 표정셋에서 추출하는 것일 수 있다.
여기서, 상기 가중치를 설정하는 단계는, 상기 대상 캐릭터 특징점에 나타난 각각의 얼굴부위의 형태에 따라, 상기 추출한 복수의 샘플 표정들에 각각 가중치를 부여하는 것일 수 있다.
여기서 상기 1차 변환단계는, 상기 대상 캐릭터 특징점의 EAR(Eye Aspect Ratio)을 계산하고, 상기 EAR을 이용하여 상기 3차원 가상 캐릭터의 블링크 모션(blink motion)을 판별하는 단계; 및 상기 블링크 모션에 따라, 상기 표정셋 중에서 눈(eye)에 대한 샘플표정들의 가중치를 보정하는 단계를 더 포함할 수 있다.
여기서 상기 1차 변환단계는 상기 얼굴 이미지가 동영상에 포함되는 연속적인 프레임 중 하나인 경우, 칼만 필터(Kalman filter)를 적용하는 단계를 더 포함할 수 있다.
여기서 상기 2차 변환단계는, 상기 대상 캐릭터 특징점과 상기 합성표정을 비교하여, 상기 합성표정 내에서 상기 직접 변형 기법을 적용할 대상영역을 특정할 수 있다.
본 발명의 일 실시예에 의하면, 하드웨어와 결합되어 상술한 3차원 가상 캐릭터의 표정모사방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.
본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사장치는, 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출하고, 상기 특징점들을 이용하여 상기 사용자 얼굴에 대응하는 3차원 모션 정보를 생성하는 얼굴 인식부; 및 상기 3차원 모션 정보를 이용하여, 상기 사용자 얼굴의 표정 및 포즈(pose)을 모사하도록 3차원 가상 캐릭터의 표정을 변형하는 리타겟팅(retargeting)부를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치에 의하면, 블랜드 쉐입(blend-shape) 기법과 직접 변환(direct deformation) 기법을 결합하여 3차원 가상 캐릭터의 표정을 설정하므로, 예측되지 않은 불안전한 형태의 표정이 나타나는 것을 방지하는 동시에, 기존의 블랜드 쉐입 기법만으로는 표현할 수 없는 다양한 표정을 모사하는 것이 가능하다.
본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치에 의하면, 사용자의 얼굴 표정 모사에 필요한 연산량을 최소화할 수 있으므로, 모바일 환경에서도 실시간으로 3차원 가상 캐릭터를 제공하는 것이 가능하다.
도1은 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 시스템을 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 장치를 나타내는 블록도이다.
도3은 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 원리를 나타내는 개략도이다.
도4는 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 장치에 의한 얼굴 인식을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 장치에 의한 캐릭터 표정모사를 나타내는 개략도이다.
도6 내지 도8은 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도1은 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 시스템을 나타내는 개략도이다.
도1을 참조하면 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사시스템은, 사용자 단말(10) 및 표정모사 장치(100)를 포함할 수 있다.
이하 도1을 참조하여 본 발명의 일 실시예에 의한 3차원 가상 캐릭터 표정모사 시스템을 설명한다.
사용자 단말(10)은 사용자(u)의 얼굴 등을 촬영하여 사용자(u)의 얼굴 이미지를 생성할 수 있다. 사용자 단말(10)이 생성한 얼굴 이미지는 유선 또는 무선 네트워크를 통하여 표정모사장치(100)로 전송될 수 있으며, 표정모사장치(100)는 수신한 얼굴 이미지에 나타난 사용자(u)의 얼굴 표정을 3차원 가상 캐릭터의 표정으로 모사할 수 있다.
여기서, 사용자 단말(10)은 카메라 모듈 등 영상촬영기능을 구비한 이동통신단말일 수 있다. 즉, 사용자 단말(10)은 카메라 모듈 등을 이용하여 사용자의 얼굴 이미지를 생성한 후, 유선 또는 무선 네트워크를 통하여 표정모사장치(100)로 생성한 얼굴 이미지를 전송할 수 있다. 이 경우, 사용자 단말(10)은 정보의 송수신을 위한 통신모듈, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.
예를들어, 사용자 단말(10)에는 스마트 폰(smart phone), 태블릿 PC(Tablet PC), 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player, 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 카메라, 캠코더 등이 포함될 수 있으며, 실시예에 따라서는 PC, IPTV, 스마트 TV 등과 같이 휴대하기 어려운 디지털 기기 등도 해당할 수 있다.
실시예에 따라서는, 복수의 사용자 단말(10)이 네트워크에 연결될 수 있으며, 사용자 단말(10)은 다른 사용자 단말(10)과 영상통화 등을 수행하면서 자신의 얼굴을 대체하여 3차원 가상 캐릭터를 출력하도록 할 수 있다. 이때, 3차원 가상 캐릭터는 사용자의 얼굴표정이나 포즈 등을 모사하도록 제공될 수 있다. 즉, 사용자 단말(10)과 네트워크를 통하여 연결된 표정모사장치(100)가 사용자의 얼굴 이미지에 대응하는 3차원 가상 캐릭터의 표정을 생성하여 제공할 수 있으며, 사용자 단말(10)은 표정모사장치(100)로부터 수신한 3차원 가상 캐릭터의 표정을 다른 사용자 단말 등으로 제공할 수 있다. 여기서는, 다른 사용자 단말(10)과 영상통화를 수행하는 경우를 예시하였으나, 실시예에 따라서는, 사용자 단말(10)이 자체 동영상을 제작하거나, 라이브 방송 등을 하는 경우에도 표정모사장치(100)를 이용하여 사용자의 얼굴표정 등을 모사하는 3차원 가상 캐릭터를 대신하여 제공하도록 할 수 있다.
표정모사장치(100)는 사용자 단말(10)로부터 얼굴이미지를 수신할 수 있으며, 수신한 얼굴 이미지에 나타난 얼굴 표정을 3차원 가상 캐릭터의 표정으로 모사할 수 있다. 여기서, 3차원 가상 캐릭터는 동물이나 영화속 등장인물 등으로 미리 설정되어 있을 수 있으며, 표정모사장치(100)는 3차원 가상 캐릭터의 얼굴 표정이나 포즈 등을 변형하여, 3차원 가상 캐릭터가 사용자의 얼굴 표정 등을 따라하도록 할 수 있다.
구체적으로, 도3에 도시한 바와 같이, 3차원 가상 캐릭터(a1)가 존재할 수 있으며, 사용자의 얼굴 이미지(i)가 수신되면 3차원 가상 캐릭터(a1)가 사용자의 얼굴 이미지(i)에 나타난 얼굴 표정이나 얼굴의 회전, 이동 등의 포즈를 모사하도록 3차원 가상 캐릭터(a2)를 변형할 수 있다. 이와 같이 3차원 가상 캐릭터가 사용자의 얼굴 표정 등을 모사하도록 하는 것을 얼굴 표정 리타겟팅(facial retargeting)이라 한다.
각각의 사용자들은 고유한 얼굴표정 등을 지을 수 있으며, 표정모사장치(100)는 이에 대응하여 각각의 개인화된 표정을 3차원 가상 캐릭터가 모사하도록 표정을 변형시킬 수 있다. 여기서, 표정모사장치(100)는 3차원 가상 캐릭터가 실시간으로 사용자의 얼굴표정을 모사하도록 하는 것도 가능하다.
한편, 도1에서는 표정모사장치(100)가 사용자 단말(10)과 별도로 구비되어, 유선 또는 무선 네트워크로 연결되는 경우를 도시하고 있으나, 실시예에 따라서는, 사용자 단말(10) 내에 표정모사장치(100)를 내장하는 것도 가능하다.
도2는 본 발명의 일 실시예에 의한 표정모사장치를 나타내는 블록도이다.
도2를 참조하면 본 발명의 일 실시예에 의한 표정모사장치는, 얼굴인식부(110) 및 리타겟팅(retargeting)부(120)를 포함할 수 있다.
이하 도2를 참조하여 본 발명의 일 실시예에 의한 표정모사장치를 설명한다.
얼굴인식부(110)는 사용자 단말(10)이 촬영한 사용자의 얼굴에 대한 얼굴이미지를 수신할 수 있다. 여기서, 얼굴이미지는 동영상 내에 포함되는 연속되는 프레임 중 하나일 수 있다. 얼굴인식부(110)는 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출할 수 있으며, 추출한 특징점들을 이용하여 사용자 얼굴에 대응하는 3차원 모션 정보를 생성할 수 있다. 즉, 얼굴인식부(110)를 이용하여, 3차원 가상 캐릭터가 모사할 사용자의 얼굴 표정이나 포즈 등의 3차원 모션 정보를 추출할 수 있다.
구체적으로, 도4에 도시한 바와 같이, 사용자(u)는 사용자 단말(10)을 이용하여 얼굴 이미지를 촬영할 수 있으며(s11), 얼굴인식부(110)는 얼굴 이미지로부터 특징점들을 추출할 수 있다(s12).
여기서, 얼굴인식부(110)는 얼굴 이미지로부터 얼굴영역을 먼저 검출할 수 있으며, 추출한 얼굴영역 내에서 각각의 얼굴표정 등을 나타내는 특징점(landmark)들을 추출할 수 있다. 즉, 얼굴인식부(110)는 얼굴 이미지 내에 포함된 얼굴영역과 나머지 배경화면을 구별할 수 있으며, 이후, 얼굴영역에서 해당 얼굴을 다른 얼굴들과 구별하기 위한 각각의 특징점들을 추출할 수 있다. 예를들어, 얼굴에 포함된 눈썹, 눈, 코, 입, 턱선 등을 특징점으로 추출할 수 있다.
얼굴이미지로부터 특징점을 추출이후, 얼굴인식부(110)는 2차원의 얼굴 영역을 다시 3차원 공간으로 복원할 수 있다. 이때, 2차원의 특징점이 3차원 공간 상에 매칭되는 3차원의 위치정보와, 얼굴영역이 3차원 공간 상에서 회전한 회전량(rotation)과 이동량(translation) 등을 포함하는 포즈(pose) 정보를 연산할 수 있다. 여기서, 특징점의 위치정보 및 포즈 정보는 해당 얼굴 이미지에 대한 3차원 모션 정보에 해당한다.
구체적으로, 얼굴인식부(110)는 Solve-PnP 기법을 이용하여 2차원의 얼굴 영역을 3차원 공간 상으로 전환할 수 있으며, 이때 핀홀 카메라 모델(pinhole camera model) 등을 활용할 수 있다. 즉, 얼굴 이미지를 임의의 핀홀 카메라로 촬영한 이미지로 가정한 후, 이로부터 역으로 얼굴 이미지에 대응하는 3차원 공간상의 입체를 형성할 수 있다. 여기서, 초기에 2차원의 특징점에 대응되는 3차원의 특징점과, 핀홀 카메라 모델에서 사용되는 핀홀 카메라의 투영행렬(projection matrix) 등의 내부 파라미터(intrinsic parameter)는 임의로 설정하여 활용할 수 있다. 실시예에 따라서는, 사용자 단말(10)의 카메라 모듈 등에 대한 내부 파라미터 등을 제공받을 수 있으며, 이 경우, 수신한 내부 파라미터를 핀홀 카메라 모델에 적용하여 정확도를 향상시킬 수 있다.
이후, 얼굴인식부(110)는 핀홀 카메라 모델 및 3차원 모션 정보를 이용하여, 특징점을 3차원으로 복원한 3차원 얼굴 특징점을 생성할 수 있다(s13). 이때, 3차원 얼굴 특징점은 월드좌표계(world coordinate)의 중심점에서 기준축을 바라보도록 정면화(frontalization)하여 생성할 수 있다.
리타겟팅부(120)는 3차원 모션 정보를 이용하여, 사용자 얼굴의 표정 및 포즈(pose)을 모사하도록 3차원 가상 캐릭터의 표정을 변형시킬 수 있다. 이때, 리타겟팅부(120)는 블랜드 쉐입(blend-shape) 기법과, 직접 변형 기법(direct deformation)을 하이브리드(hybride)하는 방식으로 3차원 가상 캐릭터의 표정을 변형할 수 있다. 여기서, 블랜드 쉐입 기법은 3차원 가상 캐릭터의 샘플표정들을 미리 정의하여 표정셋으로 미리 설정한 후, 샘플표정들을 합성하여 사용자의 표정과 유사한 새로운 표정을 생성하는 기법에 해당한다. 또한, 직접 변형 기법은 사용자의 3차원 모션 정보를 3차원 가상 캐릭터에 직접 적용하여, 3차원 가상 캐릭터의 표정을 표현하는 기법에 해당한다.
여기서, 리타겟팅부(120)는 먼저 블랜드 쉐입 기법을 이용하여, 3차원 가상 캐릭터의 미리 설정된 샘플표정들을 합성하여 합성표정을 생성하고, 이후 합성표정을 직접 변형 기법으로 수정하여, 최종적으로 3차원 가상 캐릭터의 최종표정을 설정할 수 있다.
구체적으로, 도5를 참조하면, 리타겟팅부(120)는, 3차원 얼굴 특징점을 RBF 변환(Radial Basis Function Transform)하여, 3차원 가상 캐릭터의 얼굴표정을 나타내는 대상 캐릭터 특징점들을 생성할 수 있다.
여기서, 사용자의 얼굴을 나타내는 3차원 얼굴 특징점과, 3차원 캐릭터를 나타내는 대상 캐릭터 특징점들 사이에는 비선형 변환 관계가 있는 것으로 볼 수 있으며, 이들 사이의 비선형 변환 관계를 RBF 변환 파라미터를 이용하여 나타낼 수 있다.
실시예에 따라서는, 복수의 3차원 얼굴 특징점과 이에 대응하는 대상 캐릭터 특징점들을 기계학습(machine learning)하는 방식으로, RBF 변환을 위한 RBF 파라미터들을 미리 설정하는 것도 가능하다.
즉, 사용자의 얼굴에 포함된 각각의 특징점이 3차원 가상 캐릭터의 특징점과 대응되는 변환관계를 미리 추출할 수 있으며, 변환관계에 따른 RBF 변환을 수행하도록 RBF 파라미터를 설정할 수 있다. 따라서, 3차원 얼굴 특징점에 포함된 사용자의 얼굴 표정 등이 3차원 가상 캐릭터의 대상 캐릭터 특징점에 반영되도록 RBF 변환을 수행할 수 있다.
대상 캐릭터 특징점이 생성되면, 블랜드 쉐입 기법을 이용하여 합성표정을 생성할 수 있다. 즉, 대상 캐릭터 특징점에 대응하도록, 3차원 가상 캐릭터의 샘플 표정들을 추출할 수 있으며, 추출한 샘플표정들에 대한 가중치를 설정할 수 있다. 리타겟팅부(120)는 표정셋에 포함된 복수의 샘플표정들 중에서 일부만을 추출하여 합성할 수 있으며, 합성시 각각의 샘플표정들에 대한 가중치를 설정하여 대상 캐릭터 특징점과 최대한 유사한 합성표정을 생성하도록 할 수 있다.
또한, 실시예에 따라서는, 표정셋 내에 얼굴부위별로 구별된 복수개의 그룹이 포함될 수 있으며, 각각의 그룹에는 미리 설정된 3차원 캐릭터의 중립표정을 기준으로 일부 얼굴부위만이 변경된 샘플표정들이 포함될 수 있다. 구체적으로, 표정셋 내에는 눈, 눈썹, 코, 입술 등 각각의 얼굴부위에 대응하는 그룹들이 포함될 수 있으며, 예를들어 눈에 대응하는 그룹 내에는 3차원 캐릭터의 무표정한 중립표정에서 눈만을 변형한 다양한 샘플표정이 포함될 수 있다. 즉, 무표정한 중립표정에서 양쪽 눈만을 크게 뜨거나, 중립표정에서 눈웃음만을 추가한 표정 등 다양한 샘플표정들이 포함될 수 있다. 또한, 이와 동일한 방식으로 각각의 얼굴부위에 해당하는 그룹들에 대한 샘플표정들이 각각 저장될 수 있다.
이 경우, 리타겟팅부(120)는 먼저 대상 캐릭터 특징점과 3차원 캐릭터의 중립 표정을 비교하여, 대상 캐릭터 특징점 중에서 중립 표정과 상이한 얼굴부위를 판별할 수 있으며, 상이한 것으로 판별된 각각의 얼굴부위에 대응하는 그룹을 표정셋에서 추출할 수 있다. 이후, 대상 캐릭터 특징점에 나타난 각각의 얼굴부위의 형태에 따라, 각각의 그룹 내 포함된 복수의 샘플 표정들에 가중치를 부여하고, 가중치가 적용된 샘플표정들을 합성하여 합성표정을 생성할 수 있다.
예를들어, 중립 표정과 대상 캐릭터 특징점을 비교한 결과, "눈"과 "입"이 상이한 것으로 판별되면, 표정셋 중에서 "눈"과 "입"에 대응하는 각각의 그룹에서 샘플표정들을 추출할 수 있다. 이후, 추출한 "눈"에 대한 다양한 샘플표정들에 각각 가중치를 부여하여, 샘플표정들의 합성시 대상 캐릭터 특징점의 "눈"의 형상과 동일 또는 유사하게 나타나도록 할 수 있다. 동일한 방식으로, "입"에 대한 샘플표정들에 각각 가중치를 부여할 수 있으며, 샘플표정들의 합성시 대상 캐릭터 특징점의 "입"의 형상과 동일 또는 유사하게 나타나도록 할 수 있다.
추가적으로, 리타겟팅부(120)는 PCA(Principal Component Analysis)를 적용하여, 표정셋에 포함되는 샘플표정들에 대한 차원축소를 수행할 수 있다. 즉, 표정셋 내에 전체 얼굴부위에 각각 대응하는 그룹들을 생성하고 이들에 모두 가중치를 부여하여 합성하는 경우에는 연산량이 지나치게 많아지는 등의 문제가 발생할 수 있다. 일반적으로, 얼굴 중에서 표정을 특징적으로 나타내는 부분은 눈, 눈썹, 코, 입술 등의 영역에 해당하고, 이마나 볼 등의 영역은 상대적으로 중요도가 낮을 수 있다. 따라서, 전체 얼굴부위를 이용한 대신에 주요영역에 대하여 각각 표정셋을 설정한 후, 이들 영역에 대한 합성을 수행하도록 함으로써, 합성표정 생성을 위한 연산량을 줄일 수 있다. 추가적으로, 리타겟팅부(120)는, 생성한 3차원 캐릭터의 품질향상을 위하여, 특정영역에 대하여 추가적인 판단을 적용할 수 있다. 예를들어, 얼굴에서 눈을 뜨고 있는 것과 감고 있는 것은 인상이나 표정 등을 크게 좌우할 수 있으므로, 눈의 깜빡임(blink) 여부를 별도 판별하여 3차원 가상 캐릭터에 적용하도록 할 수 있다.
구체적으로, 리타겟팅부(120)는 대상 캐릭터 특징점의 EAR(Eye Aspect Ratio)을 계산할 수 있으며, EAR을 이용하여 3차원 가상 캐릭터의 블링크 모션(blink motion)을 판별할 수 있다. 여기서, 블링크 모션은 양쪽 눈을 감은 경우, 오른쪽 또는 왼쪽 눈을 한쪽만 감아 윙크하는 경우, 양쪽 모두 눈을 뜬 경우 등으로 구별할 수 있다. 이외에도, 반쯤 뜬 경우나 치켜뜬 경우 등을 추가적으로 판별하는 것도 가능하다.
이후, 리타겟팅부(120)는 판별된 블링크 모션에 따라, 표정셋 중에서 눈(eye)에 대한 샘플표정들의 가중치를 보정할 수 있다. 즉, 사용자의 블링크 모션을 감지한 후, 감지한 블링크 모션에 대응하도록 가중치를 보정시킬 수 있다.
추가적으로, 실시예에 따라서는, 사용자 단말(10)로부터 얼굴 이미지가 포함되는 동영상을 수신할 수 있다. 이 경우, 동영상에 포함되는 연속되는 프레임에 포함되는 각각의 얼굴 이미지에 대한 3차원 가상 캐릭터를 생성하여 제공할 수 있다. 다만, 동영상의 경우, 부정확한 포즈 정보나 가중치 등에 의하여 3차원 얼굴 특징점의 형상이 떨리거나 부자연스러운 이동 등을 수행하는 경우가 발생할 수 있다. 이를 방지하기 위하여, 리타겟팅부(120)는 각각의 표정셋의 가중치에 칼만 필터(Kalman filter)를 적용하여, 자연스러운 표정 변환을 수행하도록 할 수 있다.
이후, 도5에 도시한 바와 같이, 리타겟팅부(120)는 각각의 가중치가 적용된 표정셋들을 합성하여, 합성표정을 생성할 수 있다. 여기서, 합성표정의 경우, 기존에 존재하는 표정셋을 합성하여 생성하는 것이므로, 섬세한 표정표현 등이 불가한 단점이 존재한다. 따라서, 리타겟팅부(120)는 합성표정에 직접 변형 기법을 적용하여, 섬세한 표정표현 등을 위한 수정을 수행하여 최종적으로 3차원 가상 캐릭터의 최종표정을 설정할 수 있다.
구체적으로, 리타겟팅부(120)는 대상 캐릭터 특징점와 합성표정을 비교하여, 합성표정 내에서 직접 변형 기법을 적용할 대상영역을 특정할 수 있다. 즉, 합성에 불구하고 여전히 대상 캐릭터 특징점과의 오차가 큰 영역을 특정할 수 있으며, 해당 영역에 대하여는 직접 변형 기법을 적용하여 수정할 수 있다. 이때, 리타겟팅부(120)는 합성표정과 대상 캐릭터 특징점을 비교한 후, 합성표정이 대상 캐릭터 특징점과 유사하도록 RBF를 이용하여 근사화하여, 3차원 가상 캐릭터를 생성할 수 있다.
도6 내지 도8은 본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법을 나타내는 순서도이다.
도6 내지 도8을 참조하면, 본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법은, 얼굴인식단계(S100) 및 리타겟팅(retargeting)단계(S200)를 포함할 수 있다. 여기서, 3차원 가상 캐릭터의 표정모사방법의 각 단계들은 3차원 가상 캐릭터의 표정모사장치에 의하여 수행될 수 있다.
이하 도6 내지 도8을 참조하여 본 발명의 일 실시예에 의한 3차원 가상 캐릭터의 표정모사방법을 설명한다.
얼굴인식단계(S100)에서는, 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출하고, 특징점들을 이용하여 사용자 얼굴에 대응하는 3차원 모션 정보를 생성할 수 있다. 즉, 3차원 가상 캐릭터가 모사할 사용자의 얼굴 표정이나 포즈 등을 3차원 모션 정보로 추출할 수 있다. 여기서, 얼굴이미지는 사용자 단말로부터 수신할 수 있으며, 실시예에 따라서는 동영상 내에 포함되는 연속되는 프레임을 얼굴이미지로 수신할 수 있다.
구체적으로, 도7에 도시한 바와 같이, 얼굴인식단계(S100)에서는, 얼굴 이미지로부터 얼굴영역을 검출하고, 얼굴영역으로부터 특징점을 추출할 수 있다(S110). 즉, 얼굴 이미지 내에 포함된 얼굴영역과 나머지 배경화면을 구별할 수 있으며, 이후, 얼굴영역에서 해당 얼굴을 다른 얼굴들과 구별하기 위한 각각의 특징점들을 추출할 수 있다.
특징점을 추출한 후, 특징점의 3차원 공간 상의 위치를 나타내는 위치정보와, 얼굴영역의 3차원 공간 상의 회전량(rotation) 및 이동량(translation)을 나타내는 포즈 정보를 포함하는 3차원 모션 정보를 생성할 수 있다(S120). 즉, 2차원의 얼굴 영역을 다시 3차원 공간으로 복원할 수 있으며, 이때 2차원의 특징점이 3차원 공간 상에 매칭되는 3차원의 위치정보와, 얼굴영역이 3차원 공간 상에서 회전한 회전량과 이동량 등의 포즈 정보를 각각 연산할 수 있다. 구체적으로, Solve-PnP 기법을 이용하여 2차원의 얼굴 영역을 3차원 공간 상으로 전환할 수 있으며, 이때 핀홀 카메라 모델(pinhole camera model) 등을 활용할 수 있다.
이후, 핀홀 카메라 모델(pinhole camera model) 및 3차원 모션 정보를 이용하여, 특징점을 3차원으로 복원(reconstruction)한 3차원 얼굴 특징점을 생성할 수 있다(S130). 이때, 3차원 얼굴 특징점은 월드좌표계(world coordinate)의 중심점에서 기준축을 바라보도록 정면화(frontalization)하여 생성할 수 있다.
리타겟팅단계(S200)에서는, 3차원 모션 정보를 이용하여, 사용자 얼굴의 표정 및 포즈(pose)를 모사하도록 3차원 가상 캐릭터의 표정을 변형할 수 있다. 도8(a)를 참조하면, 리타겟팅단계(S200)는 1차 변환단계(S210) 및 2차 변환단계(S220)를 포함할 수 있다.
1차 변환단계(S210)에서는, 3차원 가상 캐릭터에 대해 미리 설정한 표정셋으로부터 추출한 샘플 표정들을 합성하여, 3차원 얼굴 특징점에 대응하는 합성표정을 생성할 수 있다. 즉, 블랜드 쉐입(blend-shape) 기법을 이용하여 합성 이미지를 1차적으로 생성할 수 있다.
도8(b)를 참조하면, 먼저 복수의 3차원 얼굴 특징점에 대응하는 각각의 대상 캐릭터 특징점들을 이용하여, RBF 변환을 위한 파라미터들을 설정할 수 있다(S211). 즉, 사용자의 얼굴에 포함된 각각의 특징점이 3차원 가상 캐릭터의 특징점과 대응되는 변환관계를 미리 추출할 수 있으며, 변환관계에 따른 RBF 변환을 수행하기 위하여 RBF 파라미터를 설정할 수 있다.
여기서, 사용자의 얼굴을 나타내는 3차원 얼굴 특징점과, 3차원 캐릭터를 나타내는 대상 캐릭터 특징점들 사이에는 비선형 변환 관계가 존재하며, 이들 사이의 비선형 변환 관계는 기계학습 등 다양한 방식으로 추출할 수 있다.
이후, 3차원 얼굴 특징점을 RBF 변환(Radial Basis Function Transform)하여, 3차원 가상 캐릭터의 표정을 나타내는 대상 캐릭터 특징점을 생성할 수 있다(S212).
대상 캐릭터 특징점이 생성되면, 블랜드 쉐입 기법을 이용하여 합성표정을 생성할 수 있다. 이때, PCA(Principal Component Analysis)를 적용하여, 표정셋들에 대한 차원축소를 수행할 수 있다(S213). 즉, 표정셋 내에 전체 얼굴부위에 각각 대응하는 그룹들을 생성하고 이들에 모두 가중치를 부여하여 합성하는 경우에는 연산량이 지나치게 많아지는 등의 문제가 발생할 수 있다. 따라서, PCA를 적용하여 전체 얼굴부위를 이용한 대신에 주요영역에 대한 각각 표정셋을 설정하도록 할 수 있다. 이 경우, 얼굴 부위 중에서 주요 영역만을 이용하여 합성표정을 생성하므로, 합성표정 생성을 위한 연산량을 줄일 수 있다.
이후, 대상 캐릭터 특징점과 비교하여, 복수의 샘플 표정들을 표정셋으로부터 추출하고, 샘플 표정들에 가중치를 부여할 수 있다(S214).
여기서, 복수의 표정셋 중에서 일부만을 추출하여 합성할 수 있으며, 합성시 각각의 표정셋들에 대한 가중치를 설정하여 대상 캐릭터 특징점과 최대한 유사한 합성 표정을 생성하도록 할 수 있다.
실시예에 따라서는, 표정셋 내에 얼굴부위별로 구별된 복수개의 그룹이 포함될 수 있으며, 각각의 그룹에는 미리 설정된 3차원 캐릭터의 중립표정을 기준으로 일부 얼굴부위만이 변경된샘플표정들이 포함될 수 있다. 이 경우, 대상 캐릭터 특징점과 3차원 캐릭터의 중립 표정을 비교하여, 대상 캐릭터 특징점 중에서 중립 표정과 상이한 얼굴부위를 판별할 수 있으며, 상이한 것으로 판별된 얼굴부위에 대응하는 그룹을 표정셋에서 추출할 수 있다. 이후, 대상 캐릭터 특징점에 나타난 각각의 얼굴부위의 형태에 따라, 각각의 그룹 내 포함된 복수의 샘플 표정들에 각각 가중치를 부여할 수 있다.
추가적으로, 대상 캐릭터 특징점의 EAR(Eye Aspect Ratio)을 계산하고, EAR을 이용하여 3차원 가상 캐릭터의 블링크 모션(blink motion)을 판별할 수 있다(S215). 즉, 얼굴에서 눈을 뜨고 있는 것과 감고 있는 것은 인상이나 표정 등을 크게 좌우할 수 있으므로, 눈의 깜빡임(blink) 여부를 별도 판별하여 3차원 가상 캐릭터에 적용하도록 할 수 있다. 여기서, 블링크 모션은 양쪽 눈을 감은 경우, 오른쪽 또는 왼쪽 눈을 한쪽만 감아 윙크하는 경우, 양쪽 모두 눈을 뜬 경우 등으로 구별할 수 있다.
이후, 블링크 모션에 따라, 표정셋 중에서 눈(eye)에 대한 샘플표정들의 가중치를 보정할 수 있다(S216). 즉, 사용자의 블링크 모션을 감지한 후, 감지한 블링크 모션에 대응하도록 가중치를 보정시킬 수 있다.
한편, 얼굴 이미지가 동영상에 포함되는 연속적인 프레임 중 하나인 경우, 칼만 필터(Kalman filter)를 적용할 수 있다(S217). 즉, 사용자 단말로부터 얼굴 이미지가 포함되는 동영상을 수신하는 경우에는, 연속되는 프레임에 포함되는 각각의 얼굴 이미지에 대한 3차원 가상 캐릭터를 생성하여 제공하게 된다. 다만, 동영상의 경우, 부정확한 포즈 정보나 가중치에 의하여 3차원 얼굴 특징점의 형상이 떨리거나 부자연스러운 이동 등을 수행하는 경우가 발생할 수 있으므로, 표정셋의 가중치에 칼만 필터(Kalman filter)를 적용하여, 자연스러운 표정 변환을 수행하도록 할 수 있다.
이후, 가중치가 적용된 상기 표정셋들을 합성하여, 합성표정을 생성할 수 있다(S218). 즉, 블렌드 쉐입 기법을 활용하여 합성표정을 생성할 수 있다.
2차 변환단계(S220)에서는, 합성표정을 직접 변형(direct deformation) 기법으로 수정하여, 3차원 가상 캐릭터의 최종표정을 설정할 수 있다. 합성표정의 경우, 기존에 존재하는 표정셋을 합성하여 생성하는 것이므로, 섬세한 표정표현 등이 불가할 수 있다. 따라서, 2차 변환단계(S220)에서는, 합성표정에 직접 변형 기법을 적용하여 섬세한 표정표현 등을 위한 수정을 수행할 수 있으며, 최종적으로 3차원 가상 캐릭터의 최종표정을 설정할 수 있다.
구체적으로, 대상 캐릭터 특징점과 합성표정을 비교하여, 합성표정 내에서 직접 변형 기법을 적용할 대상영역을 특정할 수 있다. 즉, 합성에 불구하고 여전히 대상 캐릭터 특징점과의 오차가 큰 영역을 특정할 수 있으며, 해당 영역에 대하여는 직접 변형 기법을 적용하여 수정할 수 있다. 이후, 합성표정과 대상 캐릭터 특징점을 비교한 후, 합성표정이 대상 캐릭터 특징점과 유사하도록 RBF를 이용하여 근사화하여, 3차원 가상 캐릭터의 최종표정을 설정할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
10: 사용자 단말 100: 3차원 가상 캐릭터의 표정모사장치
110: 얼굴인식부 120: 리타겟팅부
S100: 얼굴 인식단계 S200: 리타겟팅단계

Claims (12)

  1. 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출하고, 상기 특징점들을 이용하여 상기 사용자 얼굴에 대응하는 3차원 모션 정보를 생성하는 얼굴 인식단계; 및
    상기 3차원 모션 정보를 이용하여, 상기 사용자 얼굴의 표정 및 포즈(pose)를 모사하도록 3차원 가상 캐릭터의 표정을 변형하는 리타겟팅(retargeting) 단계를 포함하는 3차원 가상 캐릭터의 표정모사방법.
  2. 제1항에 있어서, 상기 얼굴인식단계는
    상기 얼굴 이미지로부터 얼굴영역을 검출하고, 상기 얼굴영역으로부터 특징점을 추출하는 단계;
    상기 특징점들의 3차원 공간 상의 위치를 나타내는 위치정보와, 상기 얼굴영역의 3차원 공간 상의 회전량(rotation) 및 이동량(translation)을 나타내는 포즈 정보를 포함하는 상기 3차원 모션 정보를 생성하는 단계; 및
    핀홀 카메라 모델(pinhole camera model) 및 상기 3차원 모션 정보를 이용하여, 상기 특징점들을 3차원으로 복원(reconstruction)한 3차원 얼굴 특징점들을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  3. 제2항에 있어서, 상기 3차원 얼굴 특징점은
    월드좌표계(world coordinate)의 중심점에서 기준축을 바라보도록 정면화(frontalization)하여 생성하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  4. 제3항에 있어서, 상기 리타겟팅 단계는
    상기 3차원 가상 캐릭터에 대해 미리 설정한 표정셋으로부터 추출한 샘플 표정들을 합성하여, 상기 3차원 얼굴 특징점에 대응하는 합성표정을 생성하는 1차 변환단계; 및
    상기 합성표정을 직접 변형(direct deformation) 기법으로 수정하여, 상기 3차원 가상 캐릭터의 최종표정을 설정하는 2차 변환단계를 포함하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  5. 제4항에 있어서, 상기 1차 변환 단계는
    상기 3차원 얼굴 특징점을 RBF 변환(Radial Basis Function Transform)하여, 상기 3차원 가상 캐릭터의 얼굴표정을 나타내는 대상 캐릭터 특징점들을 생성하는 단계;
    상기 대상 캐릭터 특징점과 비교하여, 복수의 샘플 표정들을 상기 표정셋으로부터 추출하고, 상기 샘플 표정들에 가중치를 부여하는 단계; 및
    상기 가중치가 적용된 상기 샘플표정들을 합성하여, 상기 합성표정을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  6. 제5항에 있어서, 상기 가중치를 설정하는 단계는
    상기 대상 캐릭터 특징점과 상기 3차원 캐릭터의 중립 표정을 비교하여 상기 대상 캐릭터 특징점 중에서 상기 중립 표정과 상이한 얼굴부위를 판별하고, 상기 판별된 얼굴부위에 대응하는 복수의 샘플표정들을 상기 표정셋에서 추출하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  7. 제6항에 있어서, 상기 가중치를 설정하는 단계는
    상기 대상 캐릭터 특징점에 나타난 각각의 얼굴부위의 형태에 따라, 상기 추출한 복수의 샘플 표정들에 각각 가중치를 부여하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  8. 제5항에 있어서, 상기 1차 변환단계는
    상기 대상 캐릭터 특징점의 EAR(Eye Aspect Ratio)을 계산하고, 상기 EAR을 이용하여 상기 3차원 가상 캐릭터의 블링크 모션(blink motion)을 판별하는 단계; 및
    상기 블링크 모션에 따라, 상기 표정셋 중에서 눈(eye)에 대한 샘플표정들의 가중치를 보정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  9. 제5항에 있어서, 상기 1차 변환단계는
    상기 얼굴 이미지가 동영상에 포함되는 연속적인 프레임 중 하나인 경우, 칼만 필터(Kalman filter)를 적용하는 단계를 더 포함하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  10. 제5항에 있어서, 상기 2차 변환단계는
    상기 대상 캐릭터 특징점과 상기 합성표정을 비교하여, 상기 합성표정 내에서 상기 직접 변형 기법을 적용할 대상영역을 특정하는 것을 특징으로 하는 3차원 가상 캐릭터의 표정모사방법.
  11. 하드웨어와 결합된 청구항 제1항 내지 제10항 중 어느 한 항의 3차원 가상 캐릭터의 표정모사방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
  12. 얼굴 이미지로부터 사용자의 얼굴에 대한 특징점(landmark)들을 추출하고, 상기 특징점들을 이용하여 상기 사용자 얼굴에 대응하는 3차원 모션 정보를 생성하는 얼굴 인식부; 및
    상기 3차원 모션 정보를 이용하여, 상기 사용자 얼굴의 표정 및 포즈(pose)을 모사하도록 3차원 가상 캐릭터의 표정을 변형하는 리타겟팅(retargeting)부를 포함하는 3차원 가상 캐릭터의 표정모사장치.
KR1020190060313A 2019-05-22 2019-05-22 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치 KR20200134623A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060313A KR20200134623A (ko) 2019-05-22 2019-05-22 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060313A KR20200134623A (ko) 2019-05-22 2019-05-22 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치

Publications (1)

Publication Number Publication Date
KR20200134623A true KR20200134623A (ko) 2020-12-02

Family

ID=73791604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060313A KR20200134623A (ko) 2019-05-22 2019-05-22 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치

Country Status (1)

Country Link
KR (1) KR20200134623A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102353556B1 (ko) * 2021-11-01 2022-01-20 강민호 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102353556B1 (ko) * 2021-11-01 2022-01-20 강민호 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치

Similar Documents

Publication Publication Date Title
US11889230B2 (en) Video conferencing method
US10169905B2 (en) Systems and methods for animating models from audio data
JP7200439B1 (ja) アバター表示装置、アバター生成装置及びプログラム
US7764828B2 (en) Method, apparatus, and computer program for processing image
US20160134840A1 (en) Avatar-Mediated Telepresence Systems with Enhanced Filtering
US11010951B1 (en) Explicit eye model for avatar
WO2023109753A1 (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
US11836840B2 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
WO2020211347A1 (zh) 基于人脸识别的修改图片的方法、装置和计算机设备
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
KR20210040555A (ko) 베이시스 모델에 기초하여 가상 캐릭터의 표정을 모사하는 장치, 방법 및 컴퓨터 프로그램
CN114821675B (zh) 对象的处理方法、系统和处理器
US11582519B1 (en) Person replacement utilizing deferred neural rendering
KR102373606B1 (ko) 영상 형성을 위한 전자 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램
Elgharib et al. Egocentric videoconferencing
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
CN109859857A (zh) 身份信息的标注方法、装置和计算机可读存储介质
Chen et al. 3D face reconstruction and gaze tracking in the HMD for virtual interaction
CN114373044A (zh) 生成脸部三维模型的方法、装置、计算设备和存储介质
KR20200134623A (ko) 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치
WO2023185398A1 (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
US20230222721A1 (en) Avatar generation in a video communications platform
CN112132107A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2024055379A1 (zh) 基于角色化身模型的视频处理方法、系统及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal