KR100918095B1 - 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 - Google Patents
한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 Download PDFInfo
- Publication number
- KR100918095B1 KR100918095B1 KR1020070094263A KR20070094263A KR100918095B1 KR 100918095 B1 KR100918095 B1 KR 100918095B1 KR 1020070094263 A KR1020070094263 A KR 1020070094263A KR 20070094263 A KR20070094263 A KR 20070094263A KR 100918095 B1 KR100918095 B1 KR 100918095B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- model
- animation
- face model
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
Claims (8)
- 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 상기 평균 3차원 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리부;비디오카메라로부터 입력된 얼굴 연기 동영상 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 상기 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 얼굴모델생성부;애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 전이부;상기 전이부에 의해 전이된 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시키는 투영부;상기 투영부에 의해 투영된 오차를 계산하는 오차계산부; 및상기 오차계산부에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 메쉬변형부를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
- 제1항에 있어서,상기 전처리부 및 상기 얼굴모델생성부가 처리하는 과정은 3차원 얼굴 스캐닝을 이용하여 대체가능한 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
- 제1항 또는 제2항에 있어서,상기 오차계산부와 상기 메쉬변형부에서의 동작을 얼굴 연기가 들어있는 비디오의 모든 프레임에 대해 반복하여 애니메이션을 생성하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
- 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 상기 평균 3차원 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리단계; 및애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시키고, 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 오차를 계산하고 상기 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 애니메이션 형성 단계를 포함하는 것을 특징으 로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
- 제4항에 있어서,상기 애니메이션 형성 단계는,얼굴 연기한 동영상 중에서 비디오 카메라가 획득한 정면을 응시하는 무표정 상태의 얼굴 모델 프레임에 상기 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성단계;상기 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 연기자의 3차원 얼굴 모델에 전이하여 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 연기자의 3차원 얼굴 모델 생성단계;상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 생성한 영상과 표정 연기가 있는 비디오 프레임과의 오차를 계산하는 계산단계;상기 계산단계에서 계산된 오차가 최소오차 범위 내에 있는지의 여부를 판단하는 판단단계;상기 판단단계에서 판단하여 최소오차 범위 내에 있는 경우로 판단되면, 얼굴 연기의 3차원 애니메이션을 작성하는 애니메이션작성단계; 및상기 판단단계에서 판단하여 최소오차 범위 외에 있는 경우로 판단되면, 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형하는 메쉬변형단계를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
- 제5항에 있어서,상기 전처리 단계와 상기 3차원 얼굴 모델 생성단계는 3차원 얼굴 스캐닝하는 단계로 대체가능한 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
- 제5항에 있어서,상기 계산단계, 상기 판단단계, 상기 애니메이션작성단계 및 메쉬변형단계를 최소 오차 범위가 될 때까지 반복하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
- 제4항 또는 제5항에 있어서,상기 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 연기자의 3차원 얼굴 모델에 전이하는 단계에서, 얼굴 중 표정변화에 대해 움직임이 없는 특징들의 두 메쉬간 대응관계를 이용하여 전이하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/945,330 US20080136814A1 (en) | 2006-09-17 | 2007-11-27 | System and method for generating 3-d facial model and animation using one video camera |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060121359 | 2006-12-04 | ||
KR20060121359 | 2006-12-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080051007A KR20080051007A (ko) | 2008-06-10 |
KR100918095B1 true KR100918095B1 (ko) | 2009-09-22 |
Family
ID=39825609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070094263A KR100918095B1 (ko) | 2006-09-17 | 2007-09-17 | 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100918095B1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100933957B1 (ko) * | 2008-05-16 | 2009-12-28 | 전남대학교산학협력단 | 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법 |
KR101555347B1 (ko) | 2009-04-09 | 2015-09-24 | 삼성전자 주식회사 | 비디오 기반 얼굴 애니메이션 생성 장치 및 방법 |
KR20170019779A (ko) * | 2015-08-12 | 2017-02-22 | 트라이큐빅스 인크. | 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치 |
CN111311712B (zh) * | 2020-02-24 | 2023-06-16 | 北京百度网讯科技有限公司 | 视频帧处理方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020014844A (ko) * | 2000-07-18 | 2002-02-27 | 최창석 | 3차원 얼굴 모델링 방법 |
KR20020054243A (ko) * | 2000-12-27 | 2002-07-06 | 오길록 | 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법 |
-
2007
- 2007-09-17 KR KR1020070094263A patent/KR100918095B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020014844A (ko) * | 2000-07-18 | 2002-02-27 | 최창석 | 3차원 얼굴 모델링 방법 |
KR20020054243A (ko) * | 2000-12-27 | 2002-07-06 | 오길록 | 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20080051007A (ko) | 2008-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20080136814A1 (en) | System and method for generating 3-d facial model and animation using one video camera | |
US9036898B1 (en) | High-quality passive performance capture using anchor frames | |
Chai et al. | Vision-based control of 3 D facial animation | |
Pighin et al. | Modeling and animating realistic faces from images | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
Lee et al. | Model based face reconstruction for animation | |
KR20170086317A (ko) | 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법 | |
JP2013524357A (ja) | ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法 | |
JP2009020761A (ja) | 画像処理装置及びその方法 | |
US20200357157A1 (en) | A method of generating training data | |
KR100918095B1 (ko) | 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 | |
Malleson et al. | Rapid one-shot acquisition of dynamic VR avatars | |
Song et al. | A generic framework for efficient 2-D and 3-D facial expression analogy | |
JP5109192B2 (ja) | モーションキャプチャにおけるfacs(顔の表情符号化システム)解決法 | |
Edge et al. | Use and re-use of facial motion capture data | |
Woodward et al. | A low cost framework for real-time marker based 3-D human expression modeling | |
JP7251003B2 (ja) | 細かいしわを有する顔メッシュ変形 | |
Schreer et al. | Real-time vision and speech driven avatars for multimedia applications | |
Kshirsagar et al. | Personalized face and speech communication over the internet | |
Nendya et al. | Facial rigging for 3d character | |
JP2007133449A (ja) | 顔画像駆動装置、顔画像駆動装置用データ生成装置、及びコンピュータプログラム | |
Nguyen et al. | Real-time subject-specific head and facial mimic animation system using a contactless Kinect sensor and system of systems approach | |
Tang et al. | Mpeg4 performance-driven avatar via robust facial motion tracking | |
US20230154094A1 (en) | Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor | |
ARIPIN | DEVELOPMENT OF INDONESIAN TALKING-HEAD ANIMATIONS ON HUMANOID AND NON-HUMANOID CHARACTERS USING THE RETARGETING PROCESS OF FACIAL MOTION CAPTURE DATA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120910 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20130829 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20140827 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20150827 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20160826 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20170828 Year of fee payment: 9 |