KR20110021330A - 3차원 아바타 생성 장치 및 방법 - Google Patents

3차원 아바타 생성 장치 및 방법 Download PDF

Info

Publication number
KR20110021330A
KR20110021330A KR1020090079059A KR20090079059A KR20110021330A KR 20110021330 A KR20110021330 A KR 20110021330A KR 1020090079059 A KR1020090079059 A KR 1020090079059A KR 20090079059 A KR20090079059 A KR 20090079059A KR 20110021330 A KR20110021330 A KR 20110021330A
Authority
KR
South Korea
Prior art keywords
expression
dimensional
image
shape
facial
Prior art date
Application number
KR1020090079059A
Other languages
English (en)
Inventor
황영규
김정배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090079059A priority Critical patent/KR20110021330A/ko
Publication of KR20110021330A publication Critical patent/KR20110021330A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 아바타 생성 장치 및 방법을 제안한다. 3차원 아바타 생성 방법은 기본표정의 사용자를 촬영한 영상을 이용해서 기본표정의 3차원 표정 형상을 미리 생성해서 저장한다. 그리고, 3차원 아바타 생성 방법은 수신하는 사용자의 2차원 영상을 이용해서 사용자의 표정 변화에 따른 3차원 표정 형상을 추적하고, 사용자의 3차원 얼굴을 가지는 아바타에 추적한 3차원 표정 형상에 따라 사용자의 표정을 반영해서 출력한다.
Figure P1020090079059
3차원 표정, 3차원 아바타, 3차원 표정 추출

Description

3차원 아바타 생성 장치 및 방법{APPARATUS AND METHOD FOR CREATING THIRD DIMENSION ABATAR}
하기에서 설명하는 것은, 3차원 아바타 생성 장치 및 방법에 관한 것이며, 사용자의 3차원 표정 형상 기본으로 해서 사용자의 표정을 추적하고, 사용자의 표정을 3차원으로 반영한 3차원 아바타 생성 장치 및 방법 에 관련된 것이다.
최근들어 가상세계에 대한 연구가 급격히 진행되고 있다. 　가상세계에 대한 웹서비스부터 아바타들을 활용한 게임까지 광범위한 애플리케이션(application)이 등장하고 있다. 특히 가상세계 관련 모든 애플리케이션 의 중심에는 사용자를 대변하는 아바타가 있다. 따라서 아바타를 손쉽게 제어하는 것은 사용자의 경험과 몰입을 증대시킨다. 또한 아바타가 사용자의 감정을 잘 표현할 수 있도록 하는 인터페이스 장치의 필요성이 요구 된다. 현재 아바타의 표정은 미리 정해진 메뉴를 선정하여 제어한다. 이런 방법은 상당히 번거로우며, 다양한 표정을 전달할 수 없다. 사용자의 얼굴 표정을 손쉽게 아바타로 반영할 수 있다면, 가상계의 현실감이 증대 되고, 게임, 가상세계를 활용한 쇼핑, 가상 커뮤니티 구성 등에 적극적으로 활용될 수 있다.
3차원 아바타 생성 방법은, 사용자의 2차원 영상에 대응하는 3차원 표정 형상을 추적하는 단계 및 상기 추적한 3차원 표정 형상에 따라 3차원 얼굴을 가지는 아바타에 표정을 반영하는 단계를 포함할 수 있다.
이때, 상기 사용자를 촬영한 기본표정의 영상을 이용해서 기본표정의 3차원 표정 형상을 생성하는 단계 및 상기 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 데이터베이스로 구축하는 단계를 더 포함 포함할 수 있다.
이때, 상기 기본표정의 3차원 표정 형상을 생성하는 단계는, 3차원으로 구성된 상기 기본표정의 영상을 수신하면, 상기 기본표정의 영상에서 조밀한 점들로 구성된 3차원 형상을 추출하는 단계 및 상기 3차원 형상에서 특징점으로 구성된 상기 기준표정의 3차원 표정 형상을 추출하는 단계를 포함할 수 있다.
이때, 상기 기본표정의 3차원 표정 형상을 생성하는 단계는, 상기 사용자를 여러 각도로 촬영한 2차원으로 구성된 상기 기본표정의 영상들을 3차원 모델링이 가능한 정도로 수신하는 단계와, 상기 기본표정의 영상들에서 얼굴의 특징점 위치를 추출하고 사용자의 포즈를 추정하는 단계 및 상기 기본표정의 영상들 간의 대응되는 특징점들을 이용해서 상기 기준표정의 3차원 표정 형상을 추출하는 단계를 포함할 수 있다.
이때, 상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 추적하는 단계 는, 상기 2차원 영상을 수신하면, 상기 2차원 영상에서 얼굴에 관한 2차원 특징점을 추적하는 단계와, 기설정된 3차원 표정 기초(basis)를 이용해서 상기 2차원 특징점에서 표정 파라미터를 추정하는 단계와, 상기 기준표정의 3차원 표정 형상을 상기 표정 파라미터를 이용해서 변형하는 단계 및 변형된 상기 기준표정의 3차원 표정 형상을 상기 3차원 표정 형상으로 출력하는 단계를 포함할 수 있다.
이때, 상기 3차원 표정 기초는, 의미있는 표정으로서 눈썹의 움직임, 입의 움직임, 눈의 깜박임 및 표정에 따라 달라질 수 있는 얼굴을 움직임에 대응하는 3차원 특징점들의 위치를 정의할 수 있다.
이때, 상기 2차원 영상에서 얼굴에 관한 2차원 특징점을 추적하는 단계는, 상기 2차원 영상에서 얼굴부분을 검출하는 단계와, 범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계 및 상기 선정된 모델의 2차원 특징점을 출력하는 단계를 포함할 수 있다.
이때, 상기 범용 표정 데이터베이스는, 여러 사람의 다양한 얼굴 표정들을 2차원 특징점으로 저장할 수 있다.
이때, 상기 범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계는, 이전에 수신한 2차원의 이전 영상이 존재하면, 상기 범용 표정 데이터베이스에서 상기 이전 영상의 2차원 특징점과 유사도가 높은 모델들부터 검색할 수 있다.
이때, 상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 추적하는 단계는, 기준표정의 2차원 영상에서 얼굴 영역을 추출하는 단계 및 상기 기준표정의 2 차원 영상과 기준표정의 3차원 표정 형상을 이용해서 3차원 표정 형상 데이터베이스에서 수신하는 상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 선정해서 출력하는 단계를 포함할 수 있다.
이때, 상기 기준표정의 2차원 영상에서 상기 얼굴 영역을 추출하는 단계는, 상기 기준표정의 2차원 영상에서 얼굴에 관한 특징점을 추적하는 단계와, 상기 기준표정의 2차원 영상의 특징점과 상기 기준표정의 3차원 표정 형상을 정합하는 단계 및 정합된 상기 기준표정의 3D 표정 형상을 이용해서 상기 기준표정의 2차원 영상에서 상기 얼굴 영역을 추출하는 단계를 포함할 수 있다.
이때, 상기 2차원 영상에서 얼굴에 관한 2차원 특징점을 추적하는 단계는, 상기 2차원 영상에서 얼굴부분을 검출하는 단계와, 범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계 및 상기 선정된 모델의 2차원 특징점을 출력하는 단계를 포함할 수 있다.
이때, 상기 3차원 표정 형상을 선정해서 출력하는 단계는, 상기 3차원 표정 형상 데이터베이스에서 선정되지 않은 3차원 표정 형상을 선정하는 제1 단계와, 상기 선정한 3차원 표정 형상을 상기 기준표정의 3차원 표정 형상으로 변경할 때 발생하는 특징점들의 변경값을 측정하는 제2 단계와, 상기 기준표정의 2차원 영상에 상기 특징점들의 변경값을 적용해서 예측 2차원 영상을 생성하는 제3 단계와, 상기 예측 2차원 영상과 수신하는 2차원 영상 간의 유사도를 측정하는 제4 단계와, 상기 유사도가 기준값 이상인 3차원 표정 형상이 선정될 때까지 상기 제 1단계에서 상기 제4 단계까지를 반복하는 단계 및 상기 유사도가 기준값 이상인 상기 3차원 표정 형상을 출력하는 단계를 포함할 수 있다.
3차원 아바타 생성 장치는, 사용자의 2차원 영상에 대응하는 3차원 표정 형상을 추적하는 표정 추적부 및 상기 추적한 3차원 표정 형상에 따라 3차원 얼굴을 가지는 아바타에 표정을 반영하는 아바타 적용부를 포함할 수 있다.
이때, 상기 사용자를 촬영한 기본표정의 영상을 이용해서 기본표정의 3차원 표정 형상을 생성하고, 상기 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 데이터베이스로 구축하는 3차원 표정 형상 생성부를 더 포함할 수 있다.
사용자의 3차원 얼굴 가진 아바타에 표정을 표현하는 아바타 생성 장치 및 방법에 관한 것으로, 사용자의 3차원 표정 형상을 이용함으로써, 사용자의 표정을 보다 안정적으로 정확히 추적할 수 있다. 또한 3차원 표정 특징점을 활용함으로, 3차원 아바타의 표정을 보다 간단히 생성할 수 있다.
또한, 3차원 표정 형상을 이용함으로써, 아바타의 표정 생성을 위한 2차원의 얼굴 영상을 3차원 표정 특징점으로 일치시키는 재구성(retargeting)이 간소화 되거나 필요 없게 될 수 있다.
이하, 제안되는 실시 예는 사용자의 3차원 얼굴 가진 아바타에 표정을 표현 하는 아바타 생성 장치 및 방법에 관한 것으로 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 제안되는 일 실시 예에 따라 3차원 아바타 생성 장치를 도시한 도면이다. 도 1을 참조하면, 3차원 아바타 생성 장치는 3차원 표정 형상 생성부(110), 저장부(120), 표정 추적부(130) 및 아바타 적용부(140)를 포함한다.
3차원 표정 형상 생성부(110)는 기본표정의 사용자를 촬영한 2차원 영상 또는 3차원 영상을 수신해서 기본표정의 3차원 표정 형상을 생성하고, 기본표정의 3차원 표정 형상을 이용해서 다수의 3차원 표정 형상들을 생성해서 3차원 표정 형상 데이터베이스(DB: DataBase)(122)에 저장한다. 3차원 표정 형상 생성부(110)에서 3차원 표정 형상들을 생성하는 과정을 아래에서 도 2와 도 3을 통해 보다 상세히 후술한다.
저장부(120)는 3차원 표정 형상 DB(122)와 범용 표정 DB(124)를 포함한다. 3차원 표정 형상 DB(122)는 사용자의 여러 표정에 대한 3차원 표정 형상들을 저장한다. 범용 표정 DB(124)는 여러 사람의 다양한 표정으로 학습된 DB로서, 여러 사람의 다양한 표정에 대한 영상들을 수집한 다음 미리 정의된 얼굴 특징점들의 정보가 저장된다.
표정 추적부(130)는 수신하는 사용자의 2차원 영상을 이용해서 사용자의 표정 변화에 따른 3차원 표정 형상을 추적한다. 표정 추적부(130)는 2차원 특징점 추출부(132)와 3차원 표정 형상 추적부(134)를 포함한다. 2차원 특징점 추출부(132)는 수신하는 기준표정의 2차원 영상에서 기준표정의 특징점 위치를 추출한다. 2차 원 특징점 추출부(132)에서 특징점을 추출하는 과정을 아래에서 도 4를 통해 보다 상세히 후술한다. 3차원 표정 형상 추적부(134)는 기준표정의 특징점 위치를 고려해서 수신하는 2차원 영상에서 사용자의 표정을 추출하고, 표정에 대응하는 3D 표정 형상을 추적해서 출력한다. 표정 추적부(130)에서 3차원 표정 형상을 추적하는 과정을 아래에서 도 5와 도 6을 통해 보다 상세히 후술한다.
아바타 적용부(140)는 사용자의 3차원 얼굴을 가지는 아바타에 표정 추적부(130)로부터 수신하는 3차원 표정 형상에 따라 사용자의 표정을 반영해서 출력한다.
도 2는 제안되는 일 실시 예에 따라 사용자의 3차원 영상에서 3차원 표정 형상을 생성하는 과정을 도시한 흐름도이다. 도 2를 참조하면 3차원 표정 형상 생성부(110)는 210단계에서 3차원 영상으로 사용자의 기준표정을 수신한다. 제안되는 실시 예에서 기준표정은 정면의 무표정한 얼굴을 기준표정이라 한다.
그리고 3차원 표정 형상 생성부(110)는 212단계에서 수신한 기준표정의 3차원 영상에서 조밀한 점들로 구성된 3차원 형상을 추출한다. 3차원 형상이란 사용자 얼굴 표면의 3차원 점들로 구성된 사용자 얼굴의 모양이다.
그리고 3차원 표정 형상 생성부(110)는 214단계에서 추출한 3차원 형상에서 특징점으로 구성된 기준표정의 3차원 표정 형상을 추출한다.
그리고 3차원 표정 형상 생성부(110)는 216단계에서 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 DB를 구축한다.
도 3은 제안되는 다른 실시 예에 따라 사용자의 2차원 영상들에서 3차원 표정 형상을 생성하는 과정을 도시한 흐름도이다. 도 3을 참조하면 3차원 표정 형상 생성부(110)는 310단계에서 여러 각도에서 사용자의 기준표정을 2차원 영상으로 수신하고, 312단계에서 수신한 2차원 영상에서 얼굴의 특징점 위치를 추출하고 사용자의 포즈를 추정한다.
그리고, 3차원 표정 형상 생성부(110)는 314단계에서 수신한 2차원 영상들을 이용해서 3차원 모델링이 가능한지 여부를 확인한다. 314단계의 확인결과 3차원 모델링이 가능하지 않으면, 3차원 표정 형상 생성부(110)는 310단계로 돌아가서 314단계까지의 일력의 과정을 수행한다.
하지만 314단계의 확인결과 3차원 모델링이 가능하면, 3차원 표정 형상 생성부(110)는 316단계에서 2차원 영상들 간의 대응되는 특징점들을 이용해서 기준표정의 3차원 표정 형상을 추출한다.
그리고, 3차원 표정 형상 생성부(110)는 318단계에서 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 DB를 구축한다.
도 4는 제안되는 일 실시 예에 따라 2차원 영상의 얼굴에서 특징점을 추출하는 과정을 도시한 흐름도이다.
도 4를 참조하면 제안되는 실시 예의 2차원 특징점 추출부(132)는 410단계에서 기본표정의 2차원 영상을 수신하면, 412단계에서 수신한 기본표정의 2차원 영상에서 얼굴부분을 검출하고, 414단계에서 범용 표정 DB(124)에서 초기 모델을 선정한다. 2차원 특징점 추출부(132)는 범용 표정 DB(124)에서 중간얼굴을 초기모델로 선정한다.
그리고, 2차원 특징점 추출부(132)는 416단계에서 검출한 얼굴과 선정된 모델간의 전체 유사도를 측정한다. 416단계에 측정하는 전체 유사도는 아래 <수학식 1>과 같이 표현할 수 있다.
Figure 112009052239295-PAT00001
여기서, u는 영상의 픽셀(pixel)의 위치를 나타내고, A0(u)는 초기 모델로 선정되는 범용 표정 DB(124)의 중간얼굴이고, Ai(u)는 범용 표정 DB(124) 내에 저장된 학습 DB로써 아이겐얼굴 영상이고, p, q는 얼굴의 모양, 회전, 이동, 크기 변화 등을 나타내는 파라미터이고, I(W(u;p;q))는 입력된 얼굴질감을 주어진 파라미터에 맞게 변환시킨 이미지를 나타낸다. 그리고, 2차원 특징점 추출부(132)는 418단계에서 전체 유사도가 기준값 이상인지 확인한다.
418단계의 확인결과 전체 유사도가 기준값 미만이면, 2차원 특징점 추출부(132)는 422단계에서 범용 표정 DB(124)에서 검색되지 않은 모델을 선정하고, 416단계로 돌아간다.
하지만, 418단계의 확인결과 전체 유사도가 기준값 이상이면, 2차원 특징점 추출부(132)는 420단계에서 선정한 모델의 2차원 특징점을 출력한다.
도 5는 제안되는 일 실시 예에 따라 사용자의 2차원 영상의 얼굴에서 사용자의 3차원 표정 형상을 추적하는 과정을 도시한 흐름도이다. 도 5를 참조하면 제안되는 실시 예의 표정 추적부(130)는 510단계에서 사용자의 2차원 영상을 수신하면, 512단계에서 아바타의 3차원 표정을 위해 수신한 사용자의 이전 영상이 존재하는지 확인한다.
512단계의 확인결과 이전 영상이 존재하지 않으면, 표정 추적부(130)는 514단계에서 수신한 2차원 영상의 2차원 특징점을 추적한다. 이때, 2차원 특징점의 추적은 도 4의 방법으로 추적할 수 있다.
512단계의 확인결과 이전 영상이 존재하면, 표정 추적부(130)는 514단계에서 이전 영상에서 선정된 모델을 근거로 2차원 특징점을 추적한다. 다시 말해, 표정 추적부(130)는 이전 영상에서 선정된 모델을 기준으로 기설정된 범위의 특징점을 가진 모델들을 범용 표정 DB(124)에서 검색하고, 검색된 모델들 중에서 수신한 영상과의 유사도가 기준값 이상인 모델을 선정하고, 선정한 모델의 2차원 특징점을 출력해서 추적한다.
514단계 또는 516단계 이후, 표정 추적부(130)는 518단계에서 기설정된 3차원 표정 기초(basis)를 이용해서 2차원 특징점의 표정 파라미터를 추정한다.
이때, 기설정된 3차원 표정 기초는 의미있는 표정으로서 눈썹의 움직임, 입의 움직임, 눈의 깜박임 등에 따른 3차원 특징점들의 위치를 정의 해 놓은 것으로, 표정 파라미터는 정의된 개별 사용자의 3차원 표정 기초가 어느 정도 강도를 갖는지에 대한 가중치이다. 　표정 파라미터를 추정은 아래 <수학식 2>를 통해 추정할 수 있다.
Figure 112009052239295-PAT00002
여기서,
Figure 112009052239295-PAT00003
는 표정 파라미터고,
Figure 112009052239295-PAT00004
는 표정에 따라 움직이는 기설정된 3차원 특징점들의 움직임을 정의해 놓은 3차원 표정 기초(basis)이고,
Figure 112009052239295-PAT00005
는 2차원 특징점 위치이고,
Figure 112009052239295-PAT00006
은 3차원을 2차원으로 회전하는 매트릭스 값이고,
Figure 112009052239295-PAT00007
는 3차원 표정 형상이고,
Figure 112009052239295-PAT00008
는 2차원 변환이다.
이후, 표정 추적부(130)는 520단계에서 사용자의 기준표정의 3차원 표정 형상을 표정 파라미터를 이용해서 변형한다. 그리고, 표정 추적부(130)는 522단계에서 변형한 3차원 표정 형상을 출력한다.
도 6은 제안되는 다른 실시 예에 따라 사용자의 2차원 영상의 얼굴에서 사용자의 3차원 표정 형상을 추적하는 과정을 도시한 흐름도이다. 도 6을 참조하면 제안되는 실시 예의 표정 추적부(130)는 610단계에서 사용자의 2차원 영상을 수신 하면, 612단계에서 아바타의 3차원 표정을 위해 수신한 사용자의 이전 영상이 존재하는지 확인한다.
612단계의 확인결과 이전 영상이 존재하지 않으면, 표정 추적부(130)는 614단계에서 수신한 2차원 영상의 특징점을 추적한다. 이때, 수신한 2차원 영상은 기본표정의 영상이고, 2차원 특징점의 추적은 도 4의 방법으로 추적할 수 있다.
그리고, 표정 추적부(130)는 616단계에서 기준표정의 2차원 영상의 특징점과 기준표정의 3차원 표정 형상과 정합한다. 그리고, 표정 추적부(130)는 618단계에서 정합된 3D 표정 형상을 이용해서 기준표정의 2차원 영상에서 얼굴 영역의 영상(texture)만을 추출한다.
612단계의 확인결과 이전 영상이 존재하면, 표정 추적부(130)는 620단계에서 3차원 표정 형상 DB(122)에서 검색되지 않은 3차원 표정 형상을 하나 선정한다. 그리고, 표정 추적부(130)는 622단계에서 선정한 3차원 표정 형상을 기준표정의 3차원 표정 형상으로 변경할 때 발생하는 특징점들의 변경값을 측정한다. 그리고, 표정 추적부(130)는 624단계에서 기준표정의 2차원 영상에 특징점들의 변경값을 적용해서 예측 2차원 영상을 생성한다.
그리고, 표정 추적부(130)는 626단계에서 예측 2차원 영상과 수신한 2차원 영상 간의 유사도를 측정한다.
Figure 112009052239295-PAT00009
여기서, u는 영상의 픽셀(pixel)의 위치를 나타내고, I0　는 기준표정의 사용자 얼굴 질감(texture)이고, p는 헤드 모션(Head motion)으로써 포즈 각도 및 머리의 위치 변화 변수이고, Si는 i번째 사용자의 3D 표정 형상이고, I(W(u;Si))는 Si의 변화가 반영된 형상으로 와핑(warping) 시킨 예측 2차원 영상이다.
그리고, 표정 추적부(130)는 628단계에서 유사도가 기준값 이상인지 여부를 확인한다.
628단계의 확인결과 유사도가 기준값 미만이면, 표정 추적부(130)는 620단계로 돌아가 628단계까지의 일련의 과정을 수행한다.
하지만, 628단계의 확인결과 유사도가 기준값 이상이면, 표정 추적부(130)는 630단계에서 선정한 3차원 표정 형상을 출력한다.
상기한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매 체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 일 실시 예에 따라 3차원 아바타 생성 장치를 도시한 도면,
도 2는 제안되는 일 실시 예에 따라 사용자의 3차원 영상에서 3차원 표정 형상을 생성하는 과정을 도시한 흐름도,
도 3은 제안되는 다른 실시 예에 따라 사용자의 2차원 영상들에서 3차원 표정 형상을 생성하는 과정을 도시한 흐름도,
도 4는 제안되는 일 실시 예에 따라 2차원 영상의 얼굴에서 특징점을 추출하는 과정을 도시한 흐름도,
도 5는 제안되는 일 실시 예에 따라 사용자의 2차원 영상의 얼굴에서 사용자의 3차원 표정 형상을 추적하는 과정을 도시한 흐름도 및,
도 6은 제안되는 다른 실시 예에 따라 사용자의 2차원 영상의 얼굴에서 사용자의 3차원 표정 형상을 추적하는 과정을 도시한 흐름도이다.

Claims (15)

  1. 사용자의 2차원 영상에 대응하는 3차원 표정 형상을 추적하는 단계; 및
    상기 추적한 3차원 표정 형상에 따라 3차원 얼굴을 가지는 아바타에 표정을 반영하는 단계를 포함하는
    3차원 아바타 생성 방법.
  2. 제1항에 있어서,
    상기 사용자를 촬영한 기본표정의 영상을 이용해서 기본표정의 3차원 표정 형상을 생성하는 단계; 및
    상기 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 데이터베이스로 구축하는 단계를 더 포함하는
    3차원 아바타 생성 방법.
  3. 제2항에 있어서,
    상기 기본표정의 3차원 표정 형상을 생성하는 단계는,
    3차원으로 구성된 상기 기본표정의 영상을 수신하면, 상기 기본표정의 영상 에서 조밀한 점들로 구성된 3차원 형상을 추출하는 단계; 및
    상기 3차원 형상에서 특징점으로 구성된 상기 기준표정의 3차원 표정 형상을 추출하는 단계를 포함하는
    3차원 아바타 생성 방법.
  4. 제2항에 있어서,
    상기 기본표정의 3차원 표정 형상을 생성하는 단계는,
    상기 사용자를 여러 각도로 촬영한 2차원으로 구성된 상기 기본표정의 영상들을 3차원 모델링이 가능한 정도로 수신하는 단계;
    상기 기본표정의 영상들에서 얼굴의 특징점 위치를 추출하고 사용자의 포즈를 추정하는 단계; 및
    상기 기본표정의 영상들 간의 대응되는 특징점들을 이용해서 상기 기준표정의 3차원 표정 형상을 추출하는 단계를 포함하는
    3차원 아바타 생성 방법.
  5. 제1항에 있어서,
    상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 추적하는 단계는,
    상기 2차원 영상을 수신하면, 상기 2차원 영상에서 얼굴에 관한 2차원 특징 점을 추적하는 단계;
    기설정된 3차원 표정 기초(basis)를 이용해서 상기 2차원 특징점에서 표정 파라미터를 추정하는 단계;
    상기 기준표정의 3차원 표정 형상을 상기 표정 파라미터를 이용해서 변형하는 단계; 및
    변형된 상기 기준표정의 3차원 표정 형상을 상기 3차원 표정 형상으로 출력하는 단계를 포함하는
    3차원 아바타 생성 방법.
  6. 제5항에 있어서,
    상기 3차원 표정 기초는,
    의미있는 표정으로서 눈썹의 움직임, 입의 움직임, 눈의 깜박임 및 표정에 따라 달라질 수 있는 얼굴을 움직임에 대응하는 3차원 특징점들의 위치를 정의하는
    3차원 아바타 생성 방법.
  7. 제5항에 있어서,
    상기 2차원 영상에서 얼굴에 관한 2차원 특징점을 추적하는 단계는,
    상기 2차원 영상에서 얼굴부분을 검출하는 단계;
    범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계; 및
    상기 선정된 모델의 2차원 특징점을 출력하는 단계를 포함하는
    3차원 아바타 생성 방법.
  8. 제7항에 있어서,
    상기 범용 표정 데이터베이스는,
    여러 사람의 다양한 얼굴 표정들을 2차원 특징점으로 저장하는
    3차원 아바타 생성 방법.
  9. 제7항에 있어서,
    상기 범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계는,
    이전에 수신한 2차원의 이전 영상이 존재하면, 상기 범용 표정 데이터베이스에서 상기 이전 영상의 2차원 특징점과 유사도가 높은 모델들부터 검색하는
    3차원 아바타 생성 방법.
  10. 제1항에 있어서,
    상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 추적하는 단계는,
    기준표정의 2차원 영상에서 얼굴 영역을 추출하는 단계; 및
    상기 기준표정의 2차원 영상과 기준표정의 3차원 표정 형상을 이용해서 3차원 표정 형상 데이터베이스에서 수신하는 상기 2차원 영상에 대응하는 상기 3차원 표정 형상을 선정해서 출력하는 단계를 포함하는
    3차원 아바타 생성 방법.
  11. 제10항에 있어서,
    상기 기준표정의 2차원 영상에서 상기 얼굴 영역을 추출하는 단계는,
    상기 기준표정의 2차원 영상에서 얼굴에 관한 특징점을 추적하는 단계;
    상기 기준표정의 2차원 영상의 특징점과 상기 기준표정의 3차원 표정 형상을 정합하는 단계; 및
    정합된 상기 기준표정의 3D 표정 형상을 이용해서 상기 기준표정의 2차원 영상에서 상기 얼굴 영역을 추출하는 단계를 포함하는
    3차원 아바타 생성 방법.
  12. 제11항에 있어서,
    상기 2차원 영상에서 얼굴에 관한 2차원 특징점을 추적하는 단계는,
    상기 2차원 영상에서 얼굴부분을 검출하는 단계;
    범용 표정 데이터베이스에서 상기 2차원 영상의 얼굴부분과 전체 유사도가 기준값 이상인 모델을 선정하는 단계; 및
    상기 선정된 모델의 2차원 특징점을 출력하는 단계를 포함하는
    3차원 아바타 생성 방법.
  13. 제10항에 있어서,
    상기 3차원 표정 형상을 선정해서 출력하는 단계는,
    상기 3차원 표정 형상 데이터베이스에서 선정되지 않은 3차원 표정 형상을 선정하는 제1 단계;
    상기 선정한 3차원 표정 형상을 상기 기준표정의 3차원 표정 형상으로 변경할 때 발생하는 특징점들의 변경값을 측정하는 제2 단계;
    상기 기준표정의 2차원 영상에 상기 특징점들의 변경값을 적용해서 예측 2차원 영상을 생성하는 제3 단계;
    상기 예측 2차원 영상과 수신하는 2차원 영상 간의 유사도를 측정하는 제4 단계;
    상기 유사도가 기준값 이상인 3차원 표정 형상이 선정될 때까지 상기 제 1단계에서 상기 제4 단계까지를 반복하는 단계; 및
    상기 유사도가 기준값 이상인 상기 3차원 표정 형상을 출력하는 단계를 포함하는
    3차원 아바타 생성 방법.
  14. 사용자의 2차원 영상에 대응하는 3차원 표정 형상을 추적하는 표정 추적부; 및
    상기 추적한 3차원 표정 형상에 따라 3차원 얼굴을 가지는 아바타에 표정을 반영하는 아바타 적용부를 포함하는
    3차원 아바타 생성 장치.
  15. 제14항에 있어서,
    상기 사용자를 촬영한 기본표정의 영상을 이용해서 기본표정의 3차원 표정 형상을 생성하고, 상기 기준 표정의 3차원 표정 형상을 이용해서 다수의 표정에 대응하는 3차원 표정 형상들을 생성해서 3차원 표정 형상 데이터베이스로 구축하는 3차원 표정 형상 생성부를 더 포함하는
    3차원 아바타 생성 장치.
KR1020090079059A 2009-08-26 2009-08-26 3차원 아바타 생성 장치 및 방법 KR20110021330A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090079059A KR20110021330A (ko) 2009-08-26 2009-08-26 3차원 아바타 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090079059A KR20110021330A (ko) 2009-08-26 2009-08-26 3차원 아바타 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110021330A true KR20110021330A (ko) 2011-03-04

Family

ID=43930243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090079059A KR20110021330A (ko) 2009-08-26 2009-08-26 3차원 아바타 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110021330A (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
KR20140009013A (ko) * 2012-07-05 2014-01-22 삼성전자주식회사 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
KR20190002081A (ko) * 2017-06-29 2019-01-08 라인 가부시키가이샤 영상 처리 방법 및 시스템
KR20190039045A (ko) * 2019-04-01 2019-04-10 라인 가부시키가이샤 영상 처리 방법 및 시스템
KR20200022778A (ko) * 2018-08-23 2020-03-04 (주)에프엑스기어 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
KR20200080577A (ko) * 2018-12-27 2020-07-07 한국과학기술연구원 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
US10713833B2 (en) 2016-11-18 2020-07-14 Korea Institute Of Science And Technology Method and device for controlling 3D character using user's facial expressions and hand gestures
CN112156464A (zh) * 2020-10-22 2021-01-01 腾讯科技（深圳）有限公司 虚拟对象的二维形象展示方法、装置、设备及存储介质
WO2021040099A1 (en) * 2019-08-27 2021-03-04 Lg Electronics Inc. Multimedia device and method for controlling the same

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140009013A (ko) * 2012-07-05 2014-01-22 삼성전자주식회사 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
CN103093490A (zh) * 2013-02-02 2013-05-08 浙江大学 基于单个视频摄像机的实时人脸动画方法
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US9361723B2 (en) 2013-02-02 2016-06-07 Zhejiang University Method for real-time face animation based on single video camera
US10713833B2 (en) 2016-11-18 2020-07-14 Korea Institute Of Science And Technology Method and device for controlling 3D character using user's facial expressions and hand gestures
KR20190002081A (ko) * 2017-06-29 2019-01-08 라인 가부시키가이샤 영상 처리 방법 및 시스템
US10878224B2 (en) 2017-06-29 2020-12-29 Line Corporation Method and system for image processing
KR20200022778A (ko) * 2018-08-23 2020-03-04 (주)에프엑스기어 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
WO2020040567A3 (ko) * 2018-08-23 2020-04-16 주식회사 에프엑스기어 가상 피팅을 위한 실시간 3d 아바타 생성 방법 및 시스템
KR20200080577A (ko) * 2018-12-27 2020-07-07 한국과학기술연구원 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
KR20190039045A (ko) * 2019-04-01 2019-04-10 라인 가부시키가이샤 영상 처리 방법 및 시스템
WO2021040099A1 (en) * 2019-08-27 2021-03-04 Lg Electronics Inc. Multimedia device and method for controlling the same
US10950058B2 (en) 2019-08-27 2021-03-16 Lg Electronics Inc. Method for providing XR content and XR device for providing XR content
CN112156464A (zh) * 2020-10-22 2021-01-01 腾讯科技（深圳）有限公司 虚拟对象的二维形象展示方法、装置、设备及存储介质
CN112156464B (zh) * 2020-10-22 2023-03-14 腾讯科技（深圳）有限公司 虚拟对象的二维形象展示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
KR20110021330A (ko) 3차원 아바타 생성 장치 및 방법
JP6522060B2 (ja) オブジェクト認識装置、分類ツリー学習装置及びその動作方法
KR101615719B1 (ko) 사용자의 3차원 얼굴 표정 추출 방법 및 장치
Lewis et al. Practice and theory of blendshape facial models.
US20180144185A1 (en) Method and apparatus to perform facial expression recognition and training
Pham et al. End-to-end learning for 3d facial animation from speech
KR101558202B1 (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
CN106778628A (zh) 一种基于tof深度相机的面部表情捕捉方法
KR101700377B1 (ko) 아바타 생성을 위한 처리 장치 및 방법
KR20100138648A (ko) 영상 처리 장치 및 방법
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
US20120268609A1 (en) Video object detecting apparatus, video object deforming apparatus, and methods thereof
Mousas et al. Data-driven motion reconstruction using local regression models
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
KR100889854B1 (ko) 캐리커처 비디오 생성 방법 및 장치
Tang et al. Real-time conversion from a single 2D face image to a 3D text-driven emotive audio-visual avatar
Liang et al. Performance‐driven motion choreographing with accelerometers
KR102068489B1 (ko) 3차원 객체 생성 장치
KR20210016057A (ko) 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체
KR20110131947A (ko) 영상 처리 장치 및 방법
Gunanto 2D to 3D space transformation for facial animation based on marker data
Na et al. Local shape blending using coherent weighted regions
JP6282121B2 (ja) 画像認識装置、画像認識方法およびプログラム
Chang-Wei et al. Synthesizing performance-driven facial animation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150611

Effective date: 20160119

S901 Examination by remand of revocation
AMND Amendment
S601 Decision to reject again after remand of revocation
AMND Amendment
GRNO Decision to grant (after opposition)
X701 Decision to grant (after re-examination)