KR20120006610A - 얼굴 애니메이션 시스템 및 방법 - Google Patents
얼굴 애니메이션 시스템 및 방법 Download PDFInfo
- Publication number
- KR20120006610A KR20120006610A KR1020100067169A KR20100067169A KR20120006610A KR 20120006610 A KR20120006610 A KR 20120006610A KR 1020100067169 A KR1020100067169 A KR 1020100067169A KR 20100067169 A KR20100067169 A KR 20100067169A KR 20120006610 A KR20120006610 A KR 20120006610A
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- face
- motion capture
- capture data
- avatar
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000001815 facial effect Effects 0.000 title claims description 43
- 230000008921 facial expression Effects 0.000 claims abstract description 208
- 230000033001 locomotion Effects 0.000 claims abstract description 112
- 230000008859 change Effects 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 27
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 10
- 230000037303 wrinkles Effects 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004886 head movement Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010061991 Grimacing Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 추적 모듈; 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 통합 모듈; 상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 전환 모듈; 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 변형 모듈을 포함하는 얼굴 애니메이션 시스템이 제공된다.
Description
아래의 실시예들은 가상 공간에서 아바타 얼굴에 사용자의 표정을 실시간으로 재현하는 얼굴 애니메이션 시스템 및 방법에 관한 것이다.
최근 3D 그래픽스 기술 및 관련 하드웨어 기술의 발달로 3차원 게임, 영화, 콘텐츠 제작 등 다양한 응용 분야에서 사람을 실감나게 제작하는 기술로 아바타(avatar) 제작 기술이 이용되고 있다.
아바타 제작 시에 얼굴은 아바타로 제작하고자 하는 사람의 특성과 다양한 정보를 표현하는 매우 중요한 요소이다. 특히, 인간의 얼굴은 사람이 가장 민감하게 인식하는 신체 부위 중의 하나로, 아주 작은 표정의 변화 또는 주름과 같은 미묘한 차이가 인체의 다른 부위에 비하여 섬세하게 인식될 수 있다.
본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 추적 모듈; 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 통합 모듈; 상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 전환 모듈; 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 변형 모듈을 포함한다.
상기 추적 모듈은 상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 설정부; 상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 표정 특징점 개인화부; 및 상기 표정 특징점의 움직임을 추적하는 추적부를 포함할 수 있다.
상기 통합 모듈은 상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭부; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택부; 및 상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 재구성부를 포함할 수 있다.
상기 매칭부는 복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 3D 움직임 데이터베이스(3D Motion Database); 및 상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭 수단을 포함할 수 있다.
상기 선택부는 상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 추출 수단; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 유사도 산출 수단; 및 상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택 수단을 포함할 수 있다.
상기 전환(expression transfer) 모듈은 상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 설정부; 및 상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 변환부를 포함할 수 있다.
상기 변형(face deformation) 모듈은 상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 포함하는 3D 아바타 포즈 데이터베이스; 상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 얼굴 변형부; 및 상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 목 변형부를 포함할 수 있다.
상기 얼굴 변형부는 상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 생성 수단; 상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 산출 수단; 및 상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간하는 보간 수단을 포함할 수 있다.
상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 결합부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 얼굴 애니메이션 방법은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 단계; 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계; 상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계; 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계를 포함한다.
상기 표정 특징점을 추적하는 단계는 상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 단계; 상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 단계; 및 상기 표정 특징점의 움직임을 추적하는 단계를 포함할 수 있다.
상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계는 상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계; 및 상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계를 포함할 수 있다.
상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계는 복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 단계; 및 상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계를 포함할 수 있다.
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계는 상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 단계; 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 단계; 및 상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계를 포함할 수 있다.
상기 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계는 상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 단계; 및 상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 단계를 포함할 수 있다.
상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계는 상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 저장하는 단계; 상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계; 및 상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 단계를 포함할 수 있다.
상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계는 상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 단계; 상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 단계; 및 상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간(interpolate)하는 단계를 포함할 수 있다.
상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 단계를 더 포함할 수 있다.
본 발명의 일 측면에 따르면, 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적함으로써 사용자의 얼굴에 마커(marker)를 붙일 필요가 없이, 한 대의 촬영 장치(예를 들어, 웹 캠(Web Cam))만을 이용해 고품질을 얼굴 애니메이션을 생성할 수 있다.
본 발명의 일 측면에 따르면, 사용자의 얼굴에 대한 표정 특징점의 좌표를 아바타를 제어하기 위한 페이스 메쉬 상의 제어 좌표로 전환시킴으로써 사용자의 표정을 실시간으로 추적하고, 실시간으로 사실적인 표정을 아바타(Avatar)에 표현할 수 있다.
본 발명의 일 측면에 따르면, 아바타의 얼굴과 목 부분의 연결 지점을 고정시킴으로써 아바타의 얼굴과 목을 끊김 없이(seamless) 자연스럽게 표현할 수 있다.
본 발명의 일 측면에 따르면, 제어점 기반 얼굴 변형(Face Deformation) 알고리즘을 이용함으로써 표정 특징점으로 추적(Tracking)된 정보의 손실 없이 얼굴 표면을 부드럽게 변형시킬 수 있다.
또한, 본 발명의 일 측면에 따르면, 아바타의 주요 표정으로 구성된 아바타 포즈 데이터베이스(Avatar Pose Database)를 기반으로 아바타의 고유한 표정을 반영할 수 있는 다양한 애니메이션 방법을 이용함으로써 고유한 표정 정보(예를 들어, 주름, 얼굴의 떨림과 같은 미세한 차이점)가 표현된 사실적인 얼굴 애니메이션을 구성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템(100)의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 추적 모듈(200)의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 통합 모듈(300)의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 전환 모듈(400)의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 변형 모듈(500)의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 3D 움직임 데이터베이스에 저장되는 3D 모션 캡쳐 데이터들을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 제어 좌표를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 애니메이션 방법을 나타낸 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 표정 특징점을 추적하는 방법을 나타낸 플로우 차트이다.
도 10은 본 발명의 일 실시예에 따른 사용자의 얼굴에 대한 표정 변화를 재구성하는 방법을 나타낸 플로우 차트이다.
도 11은 본 발명의 일 실시예에 따른 표정 특징점의 좌표를 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 방법을 나타낸 플로우 차트이다.
도 12는 본 발명의 일 실시예에 따른 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 방법을 나타낸 플로우 차트이다.
도 2는 본 발명의 일 실시예에 따른 추적 모듈(200)의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 통합 모듈(300)의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 전환 모듈(400)의 블록도이다.
도 5는 본 발명의 일 실시예에 따른 변형 모듈(500)의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 3D 움직임 데이터베이스에 저장되는 3D 모션 캡쳐 데이터들을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 제어 좌표를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 얼굴 애니메이션 방법을 나타낸 플로우 차트이다.
도 9는 본 발명의 일 실시예에 따른 표정 특징점을 추적하는 방법을 나타낸 플로우 차트이다.
도 10은 본 발명의 일 실시예에 따른 사용자의 얼굴에 대한 표정 변화를 재구성하는 방법을 나타낸 플로우 차트이다.
도 11은 본 발명의 일 실시예에 따른 표정 특징점의 좌표를 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 방법을 나타낸 플로우 차트이다.
도 12는 본 발명의 일 실시예에 따른 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 얼굴 애니메이션 시스템(100)의 블록도이다.
도 1을 참조하면, 얼굴 애니메이션 시스템(100)은 추적(tracking) 모듈(110), 통합(synthesis) 모듈(130), 전환(transfer) 모듈(150) 및 변형(deformation) 모듈(170)을 포함한다.
추적(tracking) 모듈(110)은 사용자의 표정 및 머리 부분(Head Pose)을 추적하는 모듈로서, 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적한다.
추적 모듈(110)은 촬영된 영상에 대하여 마커(marker)가 없이도 표정 변화를 감지할 수 있도록 표정 특징점에 대한 포인트 초기화(point initializing)를 수행하는 부분과 표정 특징점에 의해 사용자의 얼굴의 움직임을 추적하는 부분으로 나눌 수 있다.
추적 모듈(110)에 대하여는 아래의 도 2를 통해 후술한다.
통합(synthesis) 모듈(130)은 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성한다.
즉, 통합 모듈(130)은 추적 모듈(110)로부터 추적된 저차원의 비전 데이터(vision data)인 표정 특징점을 고해상도의 얼굴 모션 캡쳐 데이터로 재구성하다. 통합 모듈(130)은 크게 온-라인에서 수행되는 부분과 오프-라인에서 수행되는 부분으로 나눌 수 있다.
통합 모듈(130) 중 온-라인에서 수행되는 부분은 얼굴 애니메이션 시스템(100)에 촬영된 영상이 입력될 때마다 그 기능을 수행할 수 있다.
오프-라인에서 수행되는 부분은 예를 들어, 얼굴 애니메이션 시스템(100)의 메모리 등에 내장(embedded)되어 수행될 수 있다.
통합 모듈(130)에 대하여는 아래의 도 3을 통해 후술한다.
전환(transfer) 모듈(150)은 표정 특징점의 좌표를 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환한다.
전환 모듈(150)에 대하여는 아래의 도 4를 통해 후술한다.
변형(deformation) 모듈(170)은 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성한다.
변형 모듈(170)은 3D 얼굴 애니메이션을 구성할 때, 얼굴을 나타내기 위한 부분과 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위한 부분으로 나눌 수 있다.
변형 모듈(170)에 대하여는 아래의 도 5를 통해 후술한다.
도 2는 본 발명의 일 실시예에 따른 추적 모듈(200)의 블록도이다.
도 2를 참조하면, 추적 모듈(200)은 설정부(210), 표정 특징점 개인화부(230) 및 추적부(250)를 포함한다.
설정부(210)는 웹 캠 등을 통해 촬영된 2D 영상으로부터 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정할 수 있다. 즉, 설정부(210)는 촬영된 영상으로부터 사용자의 얼굴의 위치와 크기를 검출하여 얼굴에 대한 관심 영역을 설정한다.
표정 특징점 개인화부(230)는 관심 영역 중 표정 특징점을 인식하여 그 위치를 지정할 수 있다.
표정 특징점은 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는, 즉 표정에 영향을 미치는 복수 개의 포인트(point)를 나타내며 예를 들어, 눈, 눈썹, 코, 입, 귀 등이 해당될 수 있다.
표정 특징점 개인화부(230)는 설정부(210)에 의해 설정된 관심 영역(ROI)을 바탕으로 사용자의 표정 변화를 감지, 추적할 수 있는 표정 특징점을 인식하여 그 위치를 지정할 수 있다.
표정 특징점 개인화부(230)는 표정 특징점을 인식하여 그 위치를 지정하기 위해 예를 들어, 여러 사람의 얼굴 패턴을 학습하여 얼굴의 주요 특징점들을 자동으로 찾는 Active appearance model 또는 Active shape model 등을 이용할 수 있다.
상술한 설정부(210) 및 표정 특징점 개인화부(230)는 촬영된 영상에 대하여 마커(marker)가 없이도 표정 변화를 감지할 수 있도록 표정 특징점에 대한 포인트 초기화(point initializing)를 수행할 수 있다.
추적부(250)는 촬영된 영상으로부터 표정 특징점 및 머리 움직임을 추적할 수 있다. 여기서, 머리 움직임은 머리의 좌, 우 기울임(roll), 머리의 상, 하 회전(pitch) 및 머리의 좌, 우 회전(yaw)을 포함할 수 있다.
추적부(250)는 표정 특징점 및 머리 움직임을 추적을 위하여 형상(shape)을 이용하는 형상 기반 추적 방법 또는 텍스쳐(texture)를 이용하는 텍스쳐 기반 추적 방법을 이용할 수 있다.
형상 기반 추적 방법은 촬영된 영상으로부터 얼굴 내의 표정 특징점들을 추적하는 방법이다.
텍스쳐 기반 추적 방법은 얼굴 영역으로부터 추출된 텍스쳐를 그대로 사용하거나 혹은 특정 필터(filter)를 적용시킨 기술자(describer)를 만들어 얼굴의 전반적인 표정을 추적하는 방법이다.
추적부(250)는 형상 기반 추적 방법 또는 텍스쳐 기반 추적 방법 중 어느 하나를 이용하거나, 두 가지 모두를 이용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 통합 모듈(300)의 블록도이다. 도 3을 참조하면, 통합 모듈(300)은 매칭부(310), 선택부(330) 및 재구성부(350)를 포함한다.
매칭부(310)는 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시킬 수 있다. 제1 맵핑 특징은 3D 움직임 데이터베이스(313) 등에 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 것이다.
매칭부(310)는 통합 모듈(300) 중 전술한 오프 라인에서 수행되는 부분에 해당한다.
매칭부(310)는 3D 움직임 데이터베이스(3D Motion Database)(313) 및 매칭 수단(316)을 포함할 수 있다.
3D 움직임 데이터베이스(313)는 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들을 저장할 수 있다.
3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 저해상도의 비전 데이터로부터 추출된 맵핑 특징(mapping feature)들로서, 웹 캡 등을 통해 촬영된 저해상도의 비전 데이터(vision data)와 고해상도의 모션 캡쳐 데이터 간의 유사도(correspondence)를 측정하는데 이용하기 위한 것이다.
3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 입을 벌린 크기, 입이 옆으로 찢어진 길이, 입 끝을 내리거나 올리는 등과 같이 다양한 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들일 수 있다.
3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들은 예를 들어, 도 6과 같은 형태로 획득될 수 있다.
매칭 수단(316)은 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭(matching)시킬 수 있다.
일반적으로 웹 캠 등을 통해 촬영된 영상은 노이즈(noise)가 포함된 영상일 수 있다. 또한, 촬영된 영상의 표정 특징점으로부터 추출된 제2 맵핑 특징과 3D 움직임 데이터베이스(313)에 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징들은 1:1로 매칭이 안될 수 있다.
따라서, 매칭 수단(316)은 노이즈가 포함된 영상을 깨끗한 영상으로 바꿔줌과 동시에 또한, 도 6에 나타낸 것과 같이 의미 없는 점들로 이루어진 정보들을 입을 벌린 웃는 얼굴, 화나거나 찡그린 얼굴 등의 의미 있는 얼굴 표정을 나타내는 의미론적(semantic)인 정보들로 매칭시킬 수 있다.
선택부(330)는 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택할 수 있다.
선택부(330) 및 재구성부(350)는 통합 모듈(300) 중 전술한 온-라인에서 수행되는 부분으로서, 촬영된 영상이 얼굴 애니메이션 시스템에 입력될 때마다 그 기능을 수행한다.
예를 들어, 선택부(330)가 추적 모듈(110)로부터 '사용자가 입을 활짝 벌리고 웃고 있는 모습이 담긴 영상'에 대한 표정 특징점들을 수신했다고 가정하자.
선택부(330)는 '사용자가 입을 활짝 벌리고 웃고 있는 모습이 담긴 영상'에 대한 표정 특징점들로부터 제2 맵핑 특징을 추출할 수 있다.
그리고, 선택부(330)는 매칭부(310)에 저장된 정보들(의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들)과 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상술한 영상(사용자가 입을 활짝 벌리고 웃고 있는 모습)과 동일하거나 유사한 얼굴 표정을 나타내는 적어도 하나의 모션 캡쳐 데이터를 선택함으로써 제2 맵핑 특징들의 의미를 해석할 수 있다.
선택부(330)는 추출 수단(333), 유사도 산출 수단(336) 및 선택 수단(339)를 포함할 수 있다.
추출 수단(333)은 표정 특징점으로부터 제2 맵핑 특징들을 추출하고, 저장할 수 있다.
유사도 산출 수단(336)은 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 제2 맵핑 특징 간의 유사도(correspondence)를 산출할 수 있다.
선택 수단(339)은 유사도 산출 수단(336)에서 산출된 유사도를 이용하여 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택할 수 있다.
재구성부(350)는 최종적으로 선택된 적어도 하나의 모션 캡쳐 데이터 및 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 전환 모듈(400)의 블록도이다.
도 4를 참조하면, 전환 모듈(400)은 설정부(410) 및 변환부(430)를 포함할 수 있다.
설정부(410)는 페이스 메쉬의 정점들 및 표정 특징점들을 이용하여 표정 특징점들과 제어 좌표 간의 대응 관계를 설정할 수 있다. 즉, 설정부(410)는 페이스 메쉬의 정점들 및 표정 특징점들을 대응시키기 위한 기준을 잡아주는 역할을 한다.
여기서, 페이스 메쉬(face mesh)는 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위해 구성한 메쉬이다.
설정부(410)는 페이스 메쉬의 정점들 중 애니메이션을 제어하기 위해 선택된 정점들(여기서는 제어 좌표들)이 표정 특징점들과 서로 1:1 매칭이 되도록 같은 개수의 점과 형태로 모델링 한 후, 각 정점들을 라벨링(labeling)할 수 있다.
설정부(410)는 표정 특징점들과 제어 좌표들 중 미간과 코에 지정된 세 개의 정점을 이용하여 표정 특징점과 제어 좌표들 간의 대응 관계를 설정하는 변환 매트릭스(Transformation Matrix)를 생성할 수 있다.
설정부(410)는 변환 매트릭스를 이용하여 특징점들을 global affine transformation하여 페이스 메쉬 상의 좌표로 이동시킬 수 있다.
변환부(430)는 대응 관계에 기초하여 표정 특징점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다. 즉, 변환부(430)는 설정부(410)에서 잡아준 기준을 중심으로 표정 특징점들의 좌표에 의해 나타난 사용자의 얼굴 표정을 아바타에 나타내기 위해 페이스 메쉬 상의 제어 좌표로 변환할 수 있다.
변환부(430)는 각 점들의 대응 관계를 통해 표정 특징점과 제어 좌표 간의 맵핑 함수(F)를 정의하고, 임의의 영상 프레임에 대한 정점의 위치를 맵핑 함수를 통해 계산함으로써 표정 특징점들의 좌표를 페이스 메쉬 상의 제어 좌표로 변환할 수 있다.
표정 특징점과 제어 좌표 간의 맵핑 함수로는 예를 들어, Radial Basis Function을 이용할 수 있다.
페이스 메쉬 상에 나타나는 제어 좌표에 대하여는 도 7을 참조한다.
도 5는 본 발명의 일 실시예에 따른 변형 모듈(500)의 블록도이다. 도 5를 참조하면, 변형 모듈(500)은 3D 아바타 포즈 데이터베이스(510), 얼굴 변형부(530) 및 목 변형부(550)를 포함한다. 또한, 변형 모듈(500)은 결합부(570)를 더 포함할 수 있다.
3D 아바타 포즈 데이터베이스(510)는 아바타에 사실적인 표정을 표현하기 위한 아바타의 주요 표정으로 구성되는 복수의 표정 정보를 포함할 수 있다.
3D 아바타 포즈 데이터베이스(510)는 아바타의 각 표정 별 메쉬(Mi)와 각 표정을 표현하는 포즈 벡터(Pi)를 포함할 수 있다. 이때 표정 별 메쉬(Mi)는 3D SCAN 또는 사람의 수작업을 통해 제작될 수 있다. 또한, 각 표정을 표현하는 포즈 벡터(Pi)는 아바타의 표정을 대표하는 정점들의 집합(Ci), 혹은 이들 정점들 간의 연결로 이루어진 그래프로 구성될 수 있다.
변형 모듈(500)은 각 포즈 별로 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 결과 Ma(Pi)를 계산할 수 있다.
또한, 변형 모듈(500)은 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 에러를 측정하기 위하여 주어진 포즈 벡터(Pi)에서의 아바타의 각 표정 별 메쉬(Mi)와 얼굴 메쉬 변형의 결과 Ma(Pi)의 차이, 즉 사용자의 표정 변화에 대한 보정치(Di)는 Di = |Ma(Pi) - Mi|와 같이 계산할 수 있다.
변형 모듈(500)은 애니메이션 제어점에 기반한 얼굴 메쉬 변형의 오차를 포즈 별로 사전에 계산하여 사용자의 표정 변화에 대한 보정치(Di)로 저장할 수 있다.
여기서, 저장된 사용자의 표정 변화에 대한 보정치(Di)는 이후 보간 수단(539)에서 이용될 수 있다.
본 발명의 일 실시예에 따른 변형 모듈(500)은 전술한 바와 같이 아바타에 사용자의 얼굴 부분을 나타내기 위한 얼굴 변형부(530)과 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위한 목 변형부(550)를 포함할 수 있다.
얼굴 변형부(530)는 복수의 표정 정보 및 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 할 수 있다.
얼굴 변형부(530)는 아바타에 사용자의 다양한 표정 변화가 나타나도록 하기 위하여 예를 들어, 애니메이션 제어점에 기반한 방법 및 Data Driven 애니메이션 방법이 결합된 방법을 이용할 수 있다.
얼굴 변형부(530)는 생성 수단(533), 산출 수단(536) 및 보간 수단(539)을 포함할 수 있다.
생성 수단(533)은 제어 좌표(Cin)를 기초로 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)(Pin)를 생성할 수 있다. 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터 (Pin)는 상술한 표정을 표현하는 포즈 벡터인 Pi의 Weighted Sum으로 표현될 수 있다.
즉, Pin = ∑ Wi*Pi와 같이 나타낼 수 있다.
여기서, Wi는 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(Pin)에 적용되는 가중치이다.
제어 좌표(Cin)는 도 7과 같은 형태로 나타날 수 있다.
산출 수단(536)은 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터(Pin)에 적용되는 가중치(Wi)를 산출할 수 있다.
가중치(Wi)는 입력 포즈에 대한 3D 아바타 포즈 데이터베이스(510)의 포즈 공간(Pose Space)에서의 위치를 나타낸다.
보간 수단(539)은 복수의 표정 정보로부터 계산된 사용자의 표정 변화에 대한 보정치(Di) 및 가중치(Wi)를 이용하여 아바타의 표정을 보간(interpolate)할 수 있다.
보간 수단(539)은 가중치(Wi)를 이용하여 아바타의 포즈 공간에서의 사용자의 표정 변화에 대한 보정치(Di)를 블렌딩(Blending)하여 입력 포즈에 대한 미세한 변화를 보간할 수 있다.
또한, 얼굴 변형부(530)는 제어 좌표(Cin)을 이용하여 Smoothness 제한 기반 메쉬 최적화 알고리즘을 이용하여 제어 좌표의 위치를 최대한 반영하면서 메쉬를 부드럽게 변형하는 얼굴 메쉬 변형 방법에 의해 초기 변형 메쉬인 Ma(Cin)을 계산할 수 있다.
목 변형부(550)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 표현할 수 있다.
목 변형부(550)는 아바타의 얼굴과 결합되는 사용자의 목 부분을 포함하는 나머지 머리 부분(Head pose)을 나타내기 위하여 목 관절(joint)의 3 Rotation 값을 이용하여 목 관절에 대한 관절체 변형(Articulated Deformation)을 수행할 수 있다.
이 때, 관절체 변형에는 얼굴 애니메이션 알고리즘이 아닌 일반적인 골격 기반 변형(Skeletal based Deformation) 알고리즘을 이용할 수 있다.
결합부(570)는 아바타의 얼굴과 목 부분의 연결 지점의 좌표를 고정시킴으로써 연결 지점을 끊김 없이(seamless) 표현할 수 있다.
결합부(570)는 관절체 변형과 얼굴 변형 간의 경계 부분을 자연스럽게 표현하기 위하여 아바타의 얼굴과 목 부분의 연결 지점의 정점(vertex)을 움직이지 않도록 고정하고, 관절체 변형을 위한 골격 기반 변형의 가중치를 '1'로 정의하여 메쉬 변형을 수행한다.
도 6은 본 발명의 일 실시예에 따른 3D 움직임 데이터베이스에 저장되는 3D 모션 캡쳐 데이터들을 나타낸 도면이다.
도 6을 참조하면, 3D 움직임 데이터베이스는 복수의 얼굴 표정들을 나타내는 벡터 형태의 3D 모션 캡쳐 데이터들을 저장할 수 있다.
3D 움직임 데이터베이스는 610과 같이 검은 점으로 나타난 정점들에 대한 벡터 형태의 3D 모션 캡쳐 데이터일 수 있다.
여기에 저장된 벡터 형태의 3D 모션 캡쳐 데이터들은 매칭 수단(316)에 의해 의미를 갖는 데이터들로 매칭되어 비전 데이터로부터 추적된 표정 특징점들에게 의미를 제공하게 된다.
도 7은 본 발명의 일 실시예에 따른 제어 좌표(Ci)를 나타낸 도면이다.
도 7을 참조하면, 제어 좌표(Ci)는 다양한 형태의 얼굴 표정들에 대한 제어 좌표(710)로서, 예를 들어, 희로애락을 나타내는 웃거나, 울거나, 찡그리거나, 화내거나 시무룩하거나, 무표정한 얼굴 표정들을 나타내기 위한 제어 좌표일 수 있다.
제어 좌표를 이용하여 사용자의 얼굴에 대응되는 아바타(avatar)의 다양한 표정들을 제어할 수 있다.
도 8은 본 발명의 일 실시예에 따른 얼굴 애니메이션 방법을 나타낸 플로우 차트이다.
도 8을 참조하면, 얼굴 애니메이션 시스템은 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적한다(810).
얼굴 애니메이션 시스템은 미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 매핑 특징(mapping feature) 및 표정 특징점으로부터 추출된 제2 매핑 특징을 이용하여 사용자의 얼굴에 대한 표정 변화를 재구성한다(830).
얼굴 애니메이션 시스템은 표정 특징점의 좌표를 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하고(850), 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성한다(870).
도 9 내지 도 11에 대하여는 도 2 내지 도 4에 대한 설명을 참조하기로 한다.
도 12는 본 발명의 일 실시예에 따른 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 방법을 나타낸 플로우 차트이다.
도 12를 참조하면, 얼굴 애니메이션 시스템의 변형 모듈은 아바타에 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하기 위하여 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 저장할 수 있다(1210).
변형 모듈은 복수의 표정 정보 및 제어 좌표를 이용하여 아바타에 사용자의 표정 변화가 나타나도록 할 수 있다.
변형 모듈은 사용자의 표정 변화가 나타나도록 하기 위하여 제어 좌표를 기초로 아바타에 대한 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하고(1220), 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 포즈 벡터에 적용되는 가중치(Wi)를 산출할 수 있다(1230).
변형 모듈은 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간(interpolate)할 수 있다(1240).
변형 모듈은 아바타의 얼굴과 결합되는 사용자의 목 부분을 표현할 수 있으며(1250), 아바타의 얼굴과 목 부분의 연결 지점의 정점(vertex)을 고정시킴으로써 연결 지점을 끊김 없이(seamless) 표현할 수 있다(1260).
상술한 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110 : 추적 모듈
130 : 통합 모듈
150 : 전환 모듈
170 : 변형 모듈
130 : 통합 모듈
150 : 전환 모듈
170 : 변형 모듈
Claims (19)
- 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 추적 모듈;
미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 통합 모듈;
상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 전환 모듈; 및
상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 변형 모듈
을 포함하는 얼굴 애니메이션 시스템. - 제1항에 있어서,
상기 추적 모듈은
상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 설정부;
상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 표정 특징점 개인화부; 및
상기 표정 특징점의 움직임을 추적하는 추적부
를 포함하는 얼굴 애니메이션 시스템. - 제1항에 있어서,
상기 통합 모듈은
상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭부;
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택부; 및
상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 재구성부
를 포함하는 얼굴 애니메이션 시스템. - 제3항에 있어서,
상기 매칭부는
복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 3D 움직임 데이터베이스(3D Motion Database); 및
상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 매칭 수단
을 포함하는 얼굴 애니메이션 시스템. - 제4항에 있어서,
상기 선택부는
상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 추출 수단;
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 유사도 산출 수단; 및
상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 선택 수단
을 포함하는 얼굴 애니메이션 시스템. - 제1항에 있어서,
상기 전환(expression transfer) 모듈은
상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 설정부; 및
상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 변환부
를 포함하는 얼굴 애니메이션 시스템. - 제1항에 있어서,
상기 변형(face deformation) 모듈은
상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 포함하는 3D 아바타 포즈 데이터베이스;
상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 얼굴 변형부; 및
상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 목 변형부
를 포함하는 얼굴 애니메이션 시스템. - 제7항에 있어서,
상기 얼굴 변형부는
상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 생성 수단;
상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 산출 수단; 및
상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간하는 보간 수단
을 포함하는 얼굴 애니메이션 시스템. - 제7항에 있어서,
상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 결합부
를 더 포함하는 얼굴 애니메이션 시스템. - 촬영된 영상으로부터 사용자의 얼굴에 대한 표정 변화를 감지할 수 있는 표정 특징점을 추적하는 단계;
미리 저장된 3D 모션 캡쳐 데이터들로부터 추출된 제1 맵핑 특징(mapping feature) 및 상기 표정 특징점으로부터 추출된 제2 맵핑 특징을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계;
상기 표정 특징점의 좌표를 상기 사용자의 얼굴에 대응되는 아바타(avatar)를 제어하기 위한 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계; 및
상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제10항에 있어서,
상기 표정 특징점을 추적하는 단계는
상기 촬영된 영상으로부터 상기 사용자의 얼굴에 대한 관심 영역(Region Of Interest; ROI)을 설정하는 단계;
상기 관심 영역 중 상기 표정 특징점을 인식하여 그 위치를 지정하는 단계; 및
상기 표정 특징점의 움직임을 추적하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제10항에 있어서,
상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계는
상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계;
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계; 및
상기 적어도 하나의 모션 캡쳐 데이터 및 상기 미리 저장된 3D 모션 캡쳐 데이터들을 이용하여 상기 사용자의 얼굴에 대한 표정 변화를 재구성하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제12항에 있어서,
상기 제1 맵핑 특징을 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계는
복수의 얼굴 표정들을 나타내는 벡터 형태의 상기 3D 모션 캡쳐 데이터들을 저장하는 단계; 및
상기 3D 모션 캡쳐 데이터들로부터 추출된 상기 제1 맵핑 특징을 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들로 매칭시키는 단계
를 포함하는 얼굴 애니메이션 방법. - 제13항에 있어서,
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계는
상기 표정 특징점으로부터 상기 제2 맵핑 특징들을 추출하는 단계;
상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들과 상기 제2 맵핑 특징 간의 유사도(correspondence)를 산출하는 단계; 및
상기 유사도를 이용하여 상기 의미 있는 얼굴 표정을 나타내는 모션 캡쳐 데이터들 중 적어도 하나의 모션 캡쳐 데이터를 선택하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제10항에 있어서,
상기 페이스 메쉬(face mesh) 상의 제어 좌표로 전환하는 단계는
상기 페이스 메쉬의 정점들 및 상기 표정 특징점들을 이용하여 상기 표정 특징점들과 상기 제어 좌표 간의 대응 관계를 설정하는 단계; 및
상기 대응 관계에 기초하여 상기 표정 특징점들의 좌표를 상기 페이스 메쉬 상의 제어 좌표로 변환하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제10항에 있어서,
상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 3D 얼굴 애니메이션을 구성하는 단계는
상기 아바타에 사실적인 표정을 표현하기 위한 복수의 표정 정보를 저장하는 단계;
상기 복수의 표정 정보 및 상기 제어 좌표를 이용하여 상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계; 및
상기 아바타의 얼굴과 결합되는 상기 사용자의 목 부분을 표현하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제16항에 있어서,
상기 아바타에 상기 사용자의 표정 변화가 나타나도록 하는 단계는
상기 제어 좌표를 기초로 상기 아바타에 대한 상기 복수의 표정 정보를 표현할 수 있는 포즈 벡터(pose vector)를 생성하는 단계;
상기 아바타의 미세한 표정, 주름 및 움직임을 표현하기 위하여 상기 포즈 벡터에 적용되는 가중치를 산출하는 단계; 및
상기 복수의 표정 정보로부터 계산된 상기 사용자의 표정 변화에 대한 보정치 및 상기 가중치를 이용하여 상기 아바타의 표정을 보간(interpolate)하는 단계
를 포함하는 얼굴 애니메이션 방법. - 제16항에 있어서,
상기 아바타의 얼굴과 상기 목 부분의 연결 지점을 고정시킴으로써 상기 연결 지점을 끊김 없이(seamless) 표현하는 단계
를 더 포함하는 얼굴 애니메이션 방법. - 제10항 내지 제18항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100067169A KR101681096B1 (ko) | 2010-07-13 | 2010-07-13 | 얼굴 애니메이션 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100067169A KR101681096B1 (ko) | 2010-07-13 | 2010-07-13 | 얼굴 애니메이션 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120006610A true KR20120006610A (ko) | 2012-01-19 |
| KR101681096B1 KR101681096B1 (ko) | 2016-12-01 |
Family
ID=45612217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100067169A KR101681096B1 (ko) | 2010-07-13 | 2010-07-13 | 얼굴 애니메이션 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101681096B1 (ko) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101494880B1 (ko) * | 2012-11-07 | 2015-02-25 | 한국과학기술연구원 | 인지적 아바타 생성 장치 및 방법 |
| WO2015089436A1 (en) * | 2013-12-13 | 2015-06-18 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
| US9815056B2 (en) | 2014-12-05 | 2017-11-14 | The Regents Of The University Of California | Single sided light-actuated microfluidic device with integrated mesh ground |
| CN109241810A (zh) * | 2017-07-10 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| US10245588B2 (en) | 2014-04-25 | 2019-04-02 | Berkeley Lights, Inc. | Providing DEP manipulation devices and controllable electrowetting devices in the same microfluidic apparatus |
| CN110163063A (zh) * | 2018-11-28 | 2019-08-23 | 腾讯数码（天津）有限公司 | 表情处理方法、装置、计算机可读存储介质和计算机设备 |
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| US11192107B2 (en) | 2014-04-25 | 2021-12-07 | Berkeley Lights, Inc. | DEP force control and electrowetting control in different sections of the same microfluidic apparatus |
| US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
| KR20220159988A (ko) * | 2020-02-26 | 2022-12-05 | 소울 머신스 리미티드 | 미세한 주름을 갖는 얼굴 메시 변형 |
| US11532112B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Emoji recording and sending |
| CN115914660A (zh) * | 2022-08-24 | 2023-04-04 | 北京一目视界科技有限公司 | 一种元宇宙和直播中数字人的动作和面部表情的控制方法 |
| WO2023128079A1 (ko) * | 2021-12-30 | 2023-07-06 | 아리아엣지 주식회사 | 모션 기반 3d 아바타의 표정 재현 장치 및 방법 |
| US11733769B2 (en) | 2020-06-08 | 2023-08-22 | Apple Inc. | Presenting avatars in three-dimensional environments |
| KR20240088558A (ko) * | 2022-12-13 | 2024-06-20 | (주) 텔로스 | 메타버스를 통한 거래를 위한 안면 모션 캡처 시스템 |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| US12112444B2 (en) | 2019-01-28 | 2024-10-08 | Samsung Electronics Co., Ltd | Electronic device and graphic object control method of electronic device |
| US12111863B2 (en) | 2020-01-30 | 2024-10-08 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
| US12218894B2 (en) | 2019-05-06 | 2025-02-04 | Apple Inc. | Avatar integration with a contacts user interface |
| US12231709B2 (en) | 2023-11-27 | 2025-02-18 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUS |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102371072B1 (ko) * | 2020-06-10 | 2022-03-10 | 주식회사 이엠피이모션캡쳐 | 모션 및 얼굴 캡쳐를 이용한 실시간 방송플랫폼 제공 방법, 장치 및 그 시스템 |
| WO2023136387A1 (ko) * | 2022-01-17 | 2023-07-20 | 엘지전자 주식회사 | 인공 지능 장치 및 그의 동작 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040040210A (ko) * | 2002-11-06 | 2004-05-12 | 노준용 | 한대의 카메라를 이용한 3 차원 모션 데이터 추출 방법 |
| KR20080050284A (ko) * | 2006-12-02 | 2008-06-05 | 한국전자통신연구원 | 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치 |
| KR100896065B1 (ko) * | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | ３차원 얼굴 표정 애니메이션 생성 방법 |
| US20090153552A1 (en) * | 2007-11-20 | 2009-06-18 | Big Stage Entertainment, Inc. | Systems and methods for generating individualized 3d head models |
-
2010
- 2010-07-13 KR KR1020100067169A patent/KR101681096B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040040210A (ko) * | 2002-11-06 | 2004-05-12 | 노준용 | 한대의 카메라를 이용한 3 차원 모션 데이터 추출 방법 |
| KR20080050284A (ko) * | 2006-12-02 | 2008-06-05 | 한국전자통신연구원 | 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치 |
| US20090153552A1 (en) * | 2007-11-20 | 2009-06-18 | Big Stage Entertainment, Inc. | Systems and methods for generating individualized 3d head models |
| KR100896065B1 (ko) * | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | ３차원 얼굴 표정 애니메이션 생성 방법 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9348487B2 (en) | 2012-11-07 | 2016-05-24 | Korea Institute Of Science And Technology | Apparatus and method for generating cognitive avatar |
| KR101494880B1 (ko) * | 2012-11-07 | 2015-02-25 | 한국과학기술연구원 | 인지적 아바타 생성 장치 및 방법 |
| WO2015089436A1 (en) * | 2013-12-13 | 2015-06-18 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
| US9361510B2 (en) | 2013-12-13 | 2016-06-07 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
| US10245588B2 (en) | 2014-04-25 | 2019-04-02 | Berkeley Lights, Inc. | Providing DEP manipulation devices and controllable electrowetting devices in the same microfluidic apparatus |
| US11192107B2 (en) | 2014-04-25 | 2021-12-07 | Berkeley Lights, Inc. | DEP force control and electrowetting control in different sections of the same microfluidic apparatus |
| US10569271B2 (en) | 2014-12-05 | 2020-02-25 | The Regents Of The University Of California | Single-sided light-actuated microfluidic device with integrated mesh ground |
| US9815056B2 (en) | 2014-12-05 | 2017-11-14 | The Regents Of The University Of California | Single sided light-actuated microfluidic device with integrated mesh ground |
| US12079458B2 (en) | 2016-09-23 | 2024-09-03 | Apple Inc. | Image data for enhanced user interactions |
| US12045923B2 (en) | 2017-05-16 | 2024-07-23 | Apple Inc. | Emoji recording and sending |
| US11532112B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Emoji recording and sending |
| CN109241810A (zh) * | 2017-07-10 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
| US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| CN110163063A (zh) * | 2018-11-28 | 2019-08-23 | 腾讯数码（天津）有限公司 | 表情处理方法、装置、计算机可读存储介质和计算机设备 |
| CN110163063B (zh) * | 2018-11-28 | 2024-05-28 | 腾讯数码（天津）有限公司 | 表情处理方法、装置、计算机可读存储介质和计算机设备 |
| US12112444B2 (en) | 2019-01-28 | 2024-10-08 | Samsung Electronics Co., Ltd | Electronic device and graphic object control method of electronic device |
| US12218894B2 (en) | 2019-05-06 | 2025-02-04 | Apple Inc. | Avatar integration with a contacts user interface |
| US12111863B2 (en) | 2020-01-30 | 2024-10-08 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
| KR20220159988A (ko) * | 2020-02-26 | 2022-12-05 | 소울 머신스 리미티드 | 미세한 주름을 갖는 얼굴 메시 변형 |
| US11733769B2 (en) | 2020-06-08 | 2023-08-22 | Apple Inc. | Presenting avatars in three-dimensional environments |
| CN113744374B (zh) * | 2021-09-03 | 2023-09-22 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| CN113744374A (zh) * | 2021-09-03 | 2021-12-03 | 浙江大学 | 一种基于表情驱动的3d虚拟形象生成方法 |
| WO2023128079A1 (ko) * | 2021-12-30 | 2023-07-06 | 아리아엣지 주식회사 | 모션 기반 3d 아바타의 표정 재현 장치 및 방법 |
| CN115914660A (zh) * | 2022-08-24 | 2023-04-04 | 北京一目视界科技有限公司 | 一种元宇宙和直播中数字人的动作和面部表情的控制方法 |
| KR20240088558A (ko) * | 2022-12-13 | 2024-06-20 | (주) 텔로스 | 메타버스를 통한 거래를 위한 안면 모션 캡처 시스템 |
| US12231709B2 (en) | 2023-11-27 | 2025-02-18 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUS |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101681096B1 (ko) | 2016-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101681096B1 (ko) | 얼굴 애니메이션 시스템 및 방법 | |
| Chai et al. | Vision-based control of 3 D facial animation | |
| Noh et al. | A survey of facial modeling and animation techniques | |
| US9298257B2 (en) | Apparatus and method for controlling avatar using expression control point | |
| US7068277B2 (en) | System and method for animating a digital facial model | |
| Deng et al. | Computer facial animation: A survey | |
| Pighin et al. | Modeling and animating realistic faces from images | |
| Sifakis et al. | Automatic determination of facial muscle activations from sparse motion capture marker data | |
| EP3475920A1 (en) | Systems and methods for generating computer ready animation models of a human head from captured data images | |
| Rhee et al. | Real-time facial animation from live video tracking | |
| Jain et al. | Three-dimensional proxies for hand-drawn characters | |
| Jung et al. | Learning free-form deformation for 3D face reconstruction from in-the-wild images | |
| Zhang et al. | Anatomy-based face reconstruction for animation using multi-layer deformation | |
| KR101815995B1 (ko) | 표정 제어점을 이용한 아바타 제어 장치 및 방법 | |
| Tejera et al. | Animation control of surface motion capture | |
| Noor et al. | Review on 3d facial animation techniques | |
| Chen et al. | EgoAvatar: Egocentric View-Driven and Photorealistic Full-body Avatars | |
| Jain et al. | Augmenting Hand Animation with Three-dimensional Secondary Motion. | |
| Mattos et al. | 3D linear facial animation based on real data | |
| Zhuang et al. | A modern approach to intelligent animation: theory and practice | |
| Johnson | A Survey of Computer Graphics Facial Animation Methods: Comparing Traditional Approaches to Machine Learning Methods | |
| US8896607B1 (en) | Inverse kinematics for rigged deformable characters | |
| Bibliowicz | An automated rigging system for facial animation | |
| Karunaratne et al. | A new efficient expression generation and automatic cloning method for multimedia actors | |
| Savoye | Cage-based performance capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20100713 |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20150320 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20100713 Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20160219 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160825 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20161124 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20161125 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20201020 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231017 Start annual number: 8 End annual number: 8 |