KR20110030869A - 사용자의 3차원 얼굴 표정 추출 방법 및 장치 - Google Patents

사용자의 3차원 얼굴 표정 추출 방법 및 장치 Download PDF

Info

Publication number
KR20110030869A
KR20110030869A KR1020090088501A KR20090088501A KR20110030869A KR 20110030869 A KR20110030869 A KR 20110030869A KR 1020090088501 A KR1020090088501 A KR 1020090088501A KR 20090088501 A KR20090088501 A KR 20090088501A KR 20110030869 A KR20110030869 A KR 20110030869A
Authority
KR
South Korea
Prior art keywords
facial expression
dimensional
model
information
expression information
Prior art date
Application number
KR1020090088501A
Other languages
English (en)
Other versions
KR101615719B1 (ko
Inventor
황영규
김정배
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090088501A priority Critical patent/KR101615719B1/ko
Priority to US12/805,331 priority patent/US8675952B2/en
Publication of KR20110030869A publication Critical patent/KR20110030869A/ko
Priority to US14/165,995 priority patent/US9483860B2/en
Application granted granted Critical
Publication of KR101615719B1 publication Critical patent/KR101615719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

사용자의 3차원 얼굴 표정 추출 방법 및 장치를 제안한다. 사용자의 3차원 얼굴 표정 추출 방법 및 장치는 사용자의 얼굴 영상을 수신하면, 형상기반 추적과 텍스쳐기반 추적을 모두 사용해서 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성하고, 3차원 표정 정보가 반영된 3차원 표정 모델을 생성하고, 3차원 표정 모델에 이마나 볼 등의 근육 제어점들을 추가해서 자연스러운 얼굴 표정을 가진 3차원 표정 모델로 재구성할 수 있다.
Figure P1020090088501
3차원 표정, 3차원 아바타, 3차원 표정 추출

Description

사용자의 3차원 얼굴 표정 추출 방법 및 장치{APPARATUS AND METHOD FOR EXTRACTING USER'S THIRD DIMENSION FACIAL EXPRESSION}
하기에서 설명하는 것은, 사용자의 3차원 얼굴 표정 추출 방법 및 장치에 관한 것이며, 가상공간에서 사용자의 아바타 얼굴에 사용자의 표정을 그대로 재현하기 위해서 3차원 얼굴 표정을 추출하는 장치 및 방법 에 관련된 것이다.
최근 들어 가상세계에 대한 연구가 급격히 진행되고 있다. 　가상세계에 대한 웹서비스부터 아바타들을 활용한 게임까지 광범위한 애플리케이션(application)이 등장하고 있다. 특히 가상세계 관련 모든 애플리케이션 의 중심에는 사용자를 대변하는 아바타가 있다. 따라서 아바타를 손쉽게 제어하는 것은 사용자의 경험과 몰입을 증대시킨다. 또한 아바타가 사용자의 감정을 잘 표현할 수 있도록 하는 인터페이스 장치의 필요성이 요구 된다. 현재 아바타의 표정은 미리 정해진 메뉴를 선정하여 제어한다. 이런 방법은 상당히 번거로우며, 다양한 표정을 전달할 수 없다. 사용자의 얼굴 표정을 손쉽게 아바타로 반영할 수 있다면, 가상계의 현실감이 증대되고, 게임, 가상세계를 활용한 쇼핑, 가상 커뮤니티 구성 등에 적극적으로 활용될 수 있다.
3차원 얼굴 표정 추출 방법은, 사용자의 얼굴 영상을 수신하면, 상기 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성하는 단계와, 상기 3차원 표정 정보가 반영된 3차원 표정 모델을 생성하는 단계 및 상기 3차원 표정 모델에 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는 단계를 포함할 수 있다.
이때, 상기 3차원 표정 정보를 생성하는 단계는, 형상기반 추적을 통한 3차원 표정 정보를 생성하는 단계 또는 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 단계를 포함할 수 있다.
이때, 상기 형상기반 추적을 통한 3차원 표정 정보를 생성하는 단계는, 상기 얼굴 영상에서 특징점들을 추출하는 단계와, 상기 특징점들의 신뢰도를 계산하는 단계와, 상기 특징점들을 기반으로 3차원 표정 정보 중에 하나인 머리의 움직임을 추정하는 단계 및 상기 특징점들과 사용자 데이터베이스에 저장된 사용자의 무표정(Neutral Expression)한 3차원 얼굴 형상을 비교해서 상기 3차원 표정 정보 중에 하나인 3차원 표정 파라메터를 계산하는 단계를 포함할 수 있다.
이때, 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 단계는, 상기 얼굴 영상에서 얼굴 영역 추출하는 단계와, 사용자 데이터베이스에 저장된 사 용자의 무표정한 3차원 얼굴 형상을 이용해서 다수의 3차원 표정 예비모델들을 생성하는 단계와, 상기 얼굴 영역과 상기 3차원 표정 예비모델들 각각 간의 유사도를 계산하는 단계와, 상기 유사도가 가장 높은 3차원 표정 예비모델의 신뢰도를 계산하는 단계 및 상기 유사도가 가장 높은 3차원 표정 예비모델의 3차원 표정 정보인 3차원 표정 파라메터와 사용자 머리 움직임을 계산하는 단계를 포함할 수 있다.
이때, 상기 3차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보 중에서 신뢰도가 더 높은 3차원 표정 정보를 선택하는 단계 및 상기 선택된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계를 포함할 수 있다.
이때, 상기 3차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하는 단계 및 상기 결합된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계를 포함할 수 있다.
이때, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하는 단계는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신뢰도를 기반으로 신뢰도에 비례하는 가중치를 적용해서 결합할 수 있다.
이때, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하는 단계는, 상기 형상기반 추적을 통한 3차원 표 정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신뢰도를 기반으로 칼만필터를 활용하여 결합할 수 있다.
이때, 상기 3차원 표정 모델을 재구성하는 단계는, 상기 3차원 표정 모델을 통해 확인할 수 있는 특징점들과 근육 모델 데이터베이스를 통해 확인할 수 있는 근육 제어점들 간의 링크 벡터를 계산하는 단계와, 상기 근육 모델 데이터베이스에서 상기 링크벡터들의 탄성계수(stiffness)를 확인하는 단계와, 상기 특징점들, 상기 링크 벡터들 및 상기 링크 벡터들의 탄성계수를 이용해서 상기 근육 제어점들의 위치를 계산하는 단계 및 상기 3차원 표정 모델의 제어점에 상기 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는 단계를 포함할 수 있다.
이때, 상기 근육 모델 데이터베이스는, 상기 근육 제어점들과 상기 특징점들 간의 상기 링크 벡터들과 상기 링크 벡터들 각각의 탄성계수를 저장할 수 있다.
3차원 얼굴 표정 추출 장치는, 사용자의 얼굴 영상을 수신하면, 상기 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성하는 3차원 표정 추정부와, 상기 3차원 표정 정보가 반영된 3차원 표정 모델을 생성하는 3차원 표정 모델 생성부 및 상기 3차원 표정 모델에 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는 3차원 표정 모델 재구성부를 포함할 수 있다.
이때, 상기 3차원 표정 추정부는, 형상기반 추적을 통한 3차원 표정 정보를 생성하거나 또는 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성할 수 있다.
이때, 상기 3차원 표정 추정부는, 상기 형상기반 추적을 통한 3차원 표정 정보를 생성하는 경우, 상기 얼굴 영상에서 특징점들을 추출하고, 상기 특징점들의 신뢰도를 계산하고, 상기 특징점들을 기반으로 3차원 표정 정보 중에 하나인 머리의 움직임을 추정하고, 상기 특징점들과 사용자 데이터베이스에 저장된 사용자의 무표정(Neutral Expression)한 3차원 얼굴 형상을 비교해서 상기 3차원 표정 정보 중에 하나인 3차원 표정 파라메터를 계산할 수 있다.
이때, 상기 3차원 표정 추정부는, 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 경우, 상기 얼굴 영상에서 얼굴 영역 추출하고, 사용자 데이터베이스에 저장된 사용자의 무표정한 3차원 얼굴 형상을 이용해서 다수의 3차원 표정 예비모델들을 생성하고, 상기 얼굴 영역과 상기 3차원 표정 예비모델들 각각 간의 유사도를 계산하고, 상기 유사도가 가장 높은 3차원 표정 예비모델의 신뢰도를 계산하고, 상기 유사도가 가장 높은 3차원 표정 예비모델의 3차원 표정 정보인 3차원 표정 파라메터와 사용자 머리 움직임을 계산할 수 있다.
이때, 상기 3차원 표정 모델 생성부는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보 중에서 신뢰도가 더 높은 3차원 표정 정보를 선택하고, 상기 선택된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성할 수 있다.
이때, 상기 3차원 표정 모델 생성부는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하고, 상기 결합된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성할 수 있다.
이때, 상기 3차원 표정 모델 생성부는, 상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신 뢰도를 기반으로 신뢰도에 비례하는 가중치를 적용해서 결합할 수 있다.
이때, 상기 3차원 표정 모델 재구성부는, 상기 3차원 표정 모델을 통해 확인할 수 있는 특징점들과 근육 모델 데이터베이스를 통해 확인할 수 있는 근육 제어점들 간의 링크 벡터를 계산하고, 상기 근육 모델 데이터베이스에서 상기 링크벡터들의 탄성계수(stiffness)를 확인하고, 상기 특징점들, 상기 링크 벡터들 및 상기 링크 벡터들의 탄성계수를 이용해서 상기 근육 제어점들의 위치를 계산하고, 상기 3차원 표정 모델의 제어점에 상기 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성할 수 있다.
이때, 상기 근육 모델 데이터베이스는, 상기 근육 제어점들과 상기 특징점들 간의 상기 링크 벡터들과 상기 링크 벡터들 각각의 탄성계수를 저장할 수 있다.
사용자의 3차원 얼굴 표정 추출 방법 및 장치에 관한 것으로, 사용자의 3차원 표정을 추적할 때 형상기반 추적과 텍스쳐기반 추적을 모두 사용하기 때문에 생성되는 3차원 표정 정보에 대한 안정성과 강인성이 증가한다. 또한, 고해상도 모션캡쳐를 이용해서 생성된 근육 모델 데이터베이스에서 근육 제어점들의 위치를 확인하고 3차원 표정 모델에 근육 제어점들을 추가해서 재구성함으로 사용자의 자연스러운 얼굴 표정을 획득할 수 있다.
이하, 제안되는 실시 예는 사용자의 이미 또는 볼 등의 움직임을 반영한 사용자의 3차원 얼굴 표정 추출 방법 및 장치에 관한 것으로 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 제안되는 실시 예에 따른 사용자의 3차원 얼굴 표정 추출 장치를 도시한 도면이다. 도 1을 참조하면, 3차원 얼굴 표정 추출 장치는 3차원 표정 형상 생성부(110), 저장부(120), 3차원 표정 추정부(130), 3차원 표정모델 생성부(140), 근육 모델 생성부(150), 3차원 표정 모델 재구성부(160) 및 아바타 적용부(170)를 포함할 수 있다.
3차원 표정 형상 생성부(110)는 무표정(Neutral Expression)한 사용자를 촬영한 2차원 영상 또는 3차원 영상을 수신하고, 수신한 2차원 영상 또는 3차원 영상에서 텍스쳐(texture)와 특징점들을 추출하고, 특징점들을 이용해서 무표정한 3차원 표정 형상(Shape)을 생성한다. 그리고, 3차원 표정 형상 생성부(110)는 텍스쳐와 3차원 표정 형상을 사용자 식별정보, 사용자의 얼굴 텍스쳐(Texture) 정보와 함께 사용자 데이터베이스(DB: DataBase)(122)에 저장한다. 여기서, 3차원 표정 형상(Shape)이란 텍스쳐를 제외한 특징점들로 구성된 3차원 얼굴의 구조이다. 그리고, 특징점이란 영상에서 추출할 수 있는 눈, 눈썹, 코, 입, 귀, 입 등의 표정에 영향을 미치는 포인트를 나타낸다. 특징점은 얼굴의 표정을 조정하는 제어점에 포함된다. 이때, 제어점은 특징점과 근육 제어점을 포함할 수 있다. 근육 제어점은 얼굴의 표정에는 영향을 미치나 영상에서는 추출하기 어려운 포인트이다. 근육 제어점은 근육 모델 생성부(150)를 통해 생성할 수 있다.
저장부(120)는 사용자 DB(122), 근육 모델 DB(124) 및 얼굴 모션캡쳐 DB(126)를 포함할 수 있다. 사용자 DB(122)는 사용자들 각각의 무표정한 3차원 표정 모델을 저장한다. 무표정한 3차원 표정 모델은 사용자 식별정보, 텍스쳐(texture) 및 특징점들로 구성된 3차원 표정 형상을 포함한다. 근육 모델 DB(124)는 근육 제어점들과 주변 특징점들 간의 링크 벡터들과 링크 벡터들 각각의 탄성계수(stiffness)를 저장한다. 얼굴 모션캡쳐 DB(126)는 얼굴의 근육에 대한 고해상도의 모션캡쳐 데이터들을 저장한다.
3차원 표정 추정부(130)는 사용자의 얼굴 영상을 수신하고, 수신한 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성한다. 표정을 추정하는 방법으로 형상기반 추적과 텍스쳐기반 추적이 가능하다. 3차원 표정 추정부(130)는 형상기반 추적 또는 텍스쳐기반 추적 중에 하나로 3차원 표정 정보를 생성할 수도 있고, 형상기반 추적과 텍스쳐기반 추적을 모두 수행하여 각각의 3차원 표정 정보를 생성할 수도 있다. 형상기반 추적을 이후 도 3을 통해 후술하고자 한다. 그리고, 텍스쳐기반 추적을 이후 도 4를 통해 후술하고자 한다.
3차원 표정모델 생성부(140)는 3차원 표정 추정부(130)에서 생성한 3차원 표정 정보가 반영된 3차원 표정 모델을 생성한다. 3차원 표정모델 생성부(140)는 3차원 표정 추정부(130)로부터 형상기반 추적을 통해 추적한 3차원 표정 정보와 텍스쳐기반 추적을 통해 추적한 3차원 표정 정보를 수신하면, 두 가지의 3차원 표정 정보들 중에서 한가지를 선택하거나 두 가지의 3차원 표정 정보들을 결합한다. 그리고, 3차원 표정모델 생성부(140)는 선택된 3차원 표정 정보 또는 결합된 3차원 표정 정보를 반영해서 3차원 표정 모델을 생성한다. 3차원 표정모델 생성부(140)에서 두 가지의 3차원 표정 정보를 수신하는 경우의 3차원 표정 모델 생성 과정을 아래에서 도 5를 통해 후술하고자 한다.
근육 모델 생성부(150)는 고해상도의 모션캡쳐를 통해 얼굴의 근육에 대한 고해상도의 모션캡쳐 데이터들을 얼굴 모션캡쳐 DB(126)에 저장한다. 그리고, 근육 모델 생성부(150)는 무표정인 경우의 링크벡터와 각 링크 벡터의 탄성계수로 구성되는 근육 모델을 생성해서 근육 모델 DB(124)에 저장한다. 무표정인 경우의 링크벡터와 각 링크 벡터의 탄성계수는 여러 사용자에게 일반화된 정보일 수도 있고, 사용자 각각에 대한 개인적인 정보일 수도 있다. 근육 모델 생성부(150)에서 근육 모델을 생성하는 과정을 아래에서 도 7을 통해 후술하고자 한다.
3차원 표정 모델 재구성부(160)는 3차원 표정모델 생성부(140)를 통해 수신하는 3차원 표정 모델에 근육 모델 DB(124)를 통해 확인되는 이마와 볼 등의 근육 제어점들을 추가해서 3차원 표정 모델을 재구성한다.
아바타 적용부(170)는 사용자의 아바타에 3차원 표정 모델 재구성부(160)로부터 수신하는 재구성된 3차원 표정 모델에 따라 사용자의 표정을 반영해서 출력한다.
이하, 상기와 같이 구성된 사용자의 이미 또는 볼 등의 움직임을 반영한 사용자의 3차원 얼굴 표정 추출 방법을 아래에서 도면을 참조하여 설명한다.
도 2는 제안되는 실시 예에 따른 사용자의 3차원 얼굴 표정 추출하는 과정 을 도시한 흐름도이다. 도 2를 참조하면 3차원 얼굴 표정 추출 장치는 210단계에서 사용자의 무표정(Neutral Expression) 얼굴 영상을 이용해서 사용자의 3차원 얼굴 형상을 사용자 DB로 저장한다.
그리고, 3차원 얼굴 표정 추출 장치는 212단계에서 사용자의 얼굴 영상을 수신하면, 214단계에서 수신한 얼굴 영상의 표정을 추적해서 3차원 표정 정보를 생성한다. 표정을 추정하는 방법으로 형상기반 추적과 텍스쳐기반 추적이 가능하다. 3차원 표정 추정부(130)는 형상기반 추적 또는 텍스쳐기반 추적 중에 하나로 3차원 표정 정보를 생성할 수도 있고, 형상기반 추적과 텍스쳐기반 추적을 모두 수행하여 각각의 3차원 표정 정보를 생성할 수도 있다. 형상기반 추적을 이후 도 3을 통해 후술하고자 한다. 그리고, 텍스쳐기반 추적을 이후 도 4를 통해 후술하고자 한다.
그리고, 3차원 얼굴 표정 추출 장치는 216단계에서 3차원 표정 정보가 반영된 3차원 표정 모델을 생성한다. 216단계에서 형상기반 추적을 통해 추적한 3차원 표정 정보와 텍스쳐기반 추적을 통해 추적한 3차원 표정 정보를 수신하는 경우 두 가지의 3차원 표정 정보들 중에서 한가지를 선택하거나 두 가지의 3차원 표정 정보들을 결합할 수 있다. 216단계는 두 가지의 3차원 표정 정보들을 수신하면 선택된 3차원 표정 정보 또는 결합된 3차원 표정 정보를 반영해서 3차원 표정 모델을 생성한다. 두 가지의 3차원 표정 정보를 수신하는 경우의 3차원 표정 모델 생성 과정을 아래에서 도 5를 통해 후술하고자 한다.
그리고, 3차원 얼굴 표정 추출 장치는 218단계에서 생성한 3차원 표정 모델에 이마와 볼 등의 근육 제어점들을 추가해서 3차원 표정 모델을 재구성한다. 3차 원 표정 모델의 재구성을 아래에서 도 6를 통해 후술하고자 한다.
그리고, 3차원 얼굴 표정 추출 장치는 220단계에서 사용자의 아바타에 재구성된 3차원 표정 모델에 따라 사용자의 표정을 반영해서 출력한다.
도 3은 제안되는 실시 예에 따른 형상기반 추적을 통한 3차원 표정 정보를 획득하는 과정을 도시한 흐름도이다. 도 3을 참조하면 3차원 표정 추정부(130)는 310단계에서 수신하는 사용자 얼굴 영상에서 특징점들을 추출하고, 특징점들의 신뢰도를 계산한다.
그리고, 3차원 표정 추정부(130)는 312단계에서 추출한 특징점들을 기반으로 사용자 머리의 움직임을 추정한다. 머리의 움직임은 머리의 좌우 기울림(roll), 머리의 상하 회전(pitch) 및 머리의 좌우 회전(yaw)을 포함한다.
그리고, 3차원 표정 추정부(130)는 314단계에서 추출한 특징점들과 사용자 DB(122)에 저장된 사용자의 무표정한 3차원 얼굴 형상을 비교해서 3차원 표정 파라메터를 계산한다. 3차원 표정 추정부(130)는 3차원 표정 파라메터의 계산을 아래 <수학식 1>을 통해 계산한다.
Figure 112009057534625-PAT00001
여기서,
Figure 112009057534625-PAT00002
는 3차원 표정 파라메터고,
Figure 112009057534625-PAT00003
는 계산된 3차원 표정 파라메터고,
Figure 112009057534625-PAT00004
는 2차원 특징점 위치이고,
Figure 112009057534625-PAT00005
은 3차원을 2차원으로 회전하는 매트릭스 값이고,
Figure 112009057534625-PAT00006
는 사용자의 무표정한 3차원 표정 형상이고,
Figure 112009057534625-PAT00007
는 표정에 따라 움직이는 기설정된 3차원 특징점들의 움직임을 정의해 놓은 3차원 표정 기초(basis)이고,
Figure 112009057534625-PAT00008
는 2차원 변환이다.
3차원 표정 추정부(130)는 머리의 움직임 및 3차원 표정 파라메터를 포함하는 3차원 표정 정보와 함께 3차원 표정 정보의 신뢰도 정보를 출력한다.
도 4는 제안되는 실시 예에 따른 텍스쳐기반 추적을 통한 3차원 표정 정보를 획득하는 과정을 도시한 흐름도이다. 도 4를 참조하면, 3차원 표정 추정부(130)는 410단계에서 사용자 얼굴 영상에서 얼굴 영역 추출한다.
그리고, 3차원 표정 추정부(130)는 412단계에서 사용자 DB에 저장된 사용자의 3차원 얼굴 형상을 이용해서 다수의 3차원 표정 예비모델들을 생성한다. 이때, 3차원 표정 예비모델들(
Figure 112009057534625-PAT00009
)의 생성은 아래 <수학식 2>에서 크기정보(
Figure 112009057534625-PAT00010
)와 3차원 표정 파라메터(
Figure 112009057534625-PAT00011
)의 변경을 통해 생성할 수 있다.
Figure 112009057534625-PAT00012
여기서,
Figure 112009057534625-PAT00013
는 3차원 표정 모델이고,
Figure 112009057534625-PAT00014
는 크기정보이고,
Figure 112009057534625-PAT00015
는 3차원 표정 파라메터이고,
Figure 112009057534625-PAT00016
는 사용자 머리의 움직임을 나타내는 회전정보이고,
Figure 112009057534625-PAT00017
는 사용 자의 무표정한 3차원 표정 형상이고,
Figure 112009057534625-PAT00018
는 표정에 따라 움직이는 기설정된 3차원 특징점들의 움직임을 정의해 놓은 3차원 표정 기초(basis)이고,
Figure 112009057534625-PAT00019
는 영상에서 x, y축으로의 위치변화 벡터이다.
그리고, 3차원 표정 추정부(130)는 414단계에서 얼굴 영역과 다수의 3차원 표정 예비모델들 간의 각각의 유사도를 계산한다. 유사도 계산시 저장된 사용자의 텍스쳐 영상의 기준 영상이 된다. 입력 영상으로 추출된 얼굴 영상에 생성된 사용자의 3D 표정 모델을 활용하여 기준 영상이 되도록 왜곡(Warping) 시킨다. 기준 영상이 되도록 Warping 시킨 영상과 기준 영상과 비교하여 현재 사용자의 표정과 가장 가까운 표정을 찾아 낸다. 그 유사도를 비교할 때는 대응되는 픽셀의 텍스쳐의 값을 그대로 비교하거나, 상관계수(correlation coefficient) 등을 계산하여 그 유사도를 측정한다.
그리고, 3차원 표정 추정부(130)는 416단계에서 유사도가 가장 높은 차원 표정 예비모델의 신뢰도, 3차원 표정 파라메터 및 사용자 머리 움직임을 계산한다.
3차원 표정 추정부(130)는 머리의 움직임 및 3차원 표정 파라메터를 포함하는 3차원 표정 정보와 함께 3차원 표정 정보의 신뢰도 정보를 출력한다.
도 5는 제안되는 실시 예에 따른 3차원 표정 모델을 생성하는 과정을 도시한 흐름도이다.
도 5를 참조하면 3차원 표정 모델 생성부(140)는 510단계에서 형상기반 추적을 통해 추적한 3차원 표정 정보와 텍스쳐기반 추적을 통해 추적한 3차원 표정 정보를 수신한다. 이때, 3차원 표정 모델 생성부(140)는 3차원 표정 정보들 각각의 신뢰도 정보들도 함께 수신한다.
그리고, 3차원 표정 모델 생성부(140)는 512단계에서 3차원 표정 정보의 처리에 관한 설정이 결합으로 기설정 되었는지 확인한다.
512단계의 확인결과 3차원 표정 정보의 처리가 결합으로 기설정되었으면, 3차원 표정 모델 생성부(140)는 510단계에서 형상기반 추적을 통해 추적한 3차원 표정 정보와 텍스쳐기반 추적을 통해 추적한 3차원 표정 정보를 결합한다.
3차원 표정 정보들의 결합은 3차원 표정 정보들 각각의 신뢰도를 기반으로 하는 신뢰도가 높은 3차원 표정 정보를 사용한다.
3차원 표정 정보들의 결합은 3차원 표정 정보들 각각의 신뢰도를 기반으로 하는 가중치 결합이 가능하다. 신뢰도를 기반으로 하는 가중치 결합은 신뢰도가 높은 3차원 표정 정보에 보다 높은 가중치를 주어서 결합하는 방법이다. 가중치 결합은 아래 <수학식 3>과 같은 방법으로 결합할 수 있다.
Figure 112009057534625-PAT00020
Figure 112009057534625-PAT00021
는 p의 3차원 표정 정보이고,
Figure 112009057534625-PAT00022
는 p의 3차원 표정 정보 중에서 머리의 움직임 이고,
Figure 112009057534625-PAT00023
는 p의 3차원 표정 정보 중에서 3차원 표정의 파라메터이고, s는 형상기반 추적을 나타내고, t는 텍스쳐기반 추적을 나타내고, f는 결합된 정보를 나타내고,
Figure 112009057534625-PAT00024
는 형상기반 추적한 3차원 표정 정보의 신뢰도이고,
Figure 112009057534625-PAT00025
는 텍스쳐기반 추적한 3차원 표정 정보의 신뢰도이다.
3차원 표정 정보들의 결합은 3차원 표정 정보들 각각의 신뢰도를 기반으로 하는 칼만 필터를 활용하여 3차원 표정 정보를 결합하는 방법이다. 칼만 필터 방법은 아래 <수학식 4>과 같은 방법으로 결합할 수 있다.
Figure 112009057534625-PAT00026
Figure 112009057534625-PAT00027
는 0번째 결합된 3차원 표정 정보이고,
Figure 112009057534625-PAT00028
는 n-1번째 결합된 3차원 표정 정보를 이용해서 추정된 n번째 결합된 3차원 표정 정보이고,
Figure 112009057534625-PAT00029
는 0번째 형 상기반 추적한 3차원 표정 정보의 신뢰도이고,
Figure 112009057534625-PAT00030
는 0번째 텍스쳐기반 추적한 3차원 표정 정보의 신뢰도이다.
Figure 112009057534625-PAT00031
은 n번째 결합된 3차원 표정 정보이고,
Figure 112009057534625-PAT00032
은 n번째 형상기반 추적한 3차원 표정 정보이고,
Figure 112009057534625-PAT00033
은 n번째 텍스쳐기반 추적한 3차원 표정 정보이고, A는 시스템을 위해 미리 설계된 변수이고, Q와 R은 실험을 통해 미리 정의된 값이다.
최종적으로 계산된
Figure 112009057534625-PAT00034
과
Figure 112009057534625-PAT00035
은 다음 프레임의
Figure 112009057534625-PAT00036
와
Figure 112009057534625-PAT00037
로 사용된다.]
그리고, 3차원 표정 모델 생성부(140)는 516단계에서 결합된 3차원 표정 정보(Xf)가 반영된 3차원 표정 모델을 생성한다.
하지만, 512단계의 확인결과 3차원 표정 정보의 처리가 선택으로 기설정되었으면, 3차원 표정 모델 생성부(140)는 518단계에서 형상기반 추적을 통해 추적한 3차원 표정 정보와 텍스쳐기반 추적을 통해 추적한 3차원 표정 정보 중에서 신뢰도가 높은 3차원 표정 정보 선택한다.
그리고, 3차원 표정 모델 생성부(140)는 520단계에서 선택된 3차원 표정 정보가 반영된 3차원 표정 모델을 생성한다.
516단계와 520단계에서 생성하는 3차원 표정 모델(
Figure 112009057534625-PAT00038
)을 아래 <수학식 5>를 통해 생성할 수 있다.
Figure 112009057534625-PAT00039
여기서,
Figure 112009057534625-PAT00040
는 3차원 표정 모델이고,
Figure 112009057534625-PAT00041
는 3차원 표정 파라메터고,
Figure 112009057534625-PAT00042
는 사용자 머리의 움직임을 나타내는 회전정보이고,
Figure 112009057534625-PAT00043
는 사용자의 무표정한 3차원 표정 형상이고,
Figure 112009057534625-PAT00044
는 표정에 따라 움직이는 기설정된 3차원 특징점들의 움직임을 정의해 놓은 3차원 표정 기초(basis)이다.
도 6은 제안되는 실시 예에 따른 3차원 표정 모델을 재구성하는 과정을 도시한 흐름도이다. 도 6을 참조하면 3차원 표정 모델 재구성부(160)는 610단계에서 3차원 표정 모델을 통해 확인할 수 있는 특징점들과 근육 모델 DB를 통해 확인할 수 있는 근육 제어점들 간의 링크 벡터를 계산 한다.
그리고, 3차원 표정 모델 재구성부(160)는 612단계에서 근육 모델 DB에서 무표정일 때의 링크 벡터들과 링크 벡터들의 탄성계수를 확인한다.
그리고, 3차원 표정 모델 재구성부(160)는 614단계에서 링크 벡터들, 링크 벡터들의 탄성계수 및 3차원 표정 모델의 특정점들을 이용해서 근육 제어점들의 위치 계산한다. 근육 제어점들의 위치는 아래 <수학식 6>를 통해 계산할 수 있다.
Figure 112009057534625-PAT00045
여기서, m은 특징점의 식별정보이고, n은 근육 제어점의 식별정보이고,
Figure 112009057534625-PAT00046
은 시간 t에서 근육 제어점 n의 3차원 위치이고,
Figure 112009057534625-PAT00047
은 특징점 m과 근육 제어점 n간의 링크 벡터의 탄력계수이고,
Figure 112009057534625-PAT00048
은 시간 t에서 특징점 m의 3차원 위치이고,
Figure 112009057534625-PAT00049
은 시간 0에서 특징점 m과 근육 제어점 n간의 링크 벡터이고,
Figure 112009057534625-PAT00050
은 시간 t-1에서 특징점 m과 근육 제어점 n간의 링크 벡터이다.
그리고, 3차원 표정 모델 재구성부(160)는 616단계에서 3차원 표정 모델에 근육 제어점들을 추가해서 3차원 표정 모델을 재구성한다.
도 7은 제안되는 실시 예에 따른 근육 모델 데이터베이스를 구성하는 과정을 도시한 흐름도이다. 도 7을 참조하면, 근육 모델 생성부(150)는 710단계에서 얼굴의 각 근육에 대한 고해성도 모션캡쳐를 통해 다수의 고해상도 모션캡쳐 데이터를 생성해서 얼굴 모션캡쳐 DB(126)에 저장한다.
그리고, 근육 모델 생성부(150)는 712단계에서 여러 표정에 대해서 근육 제어점들과 특징점들 간의 링크 벡터들을 계산한다.
그리고, 근육 모델 생성부(150)는 714단계에서 무표정인 경우의 근육 제어점들과 특징점들 간의 링크 벡터들을 계산한다.
그리고, 근육 모델 생성부(150)는 716단계에서 무표정인 경우의 링크 벡터들과 여러 표정인 경우의 링크 벡터들을 이용해서 링크 벡터들의 탄성계 수(stiffness)를 계산한다.
그리고, 근육 모델 생성부(150)는 718단계에서 무표정인 경우의 링크 벡터들와 각 링크 벡터들의 탄성계수를 근육 모델 DB(124)에 저장한다.
716단계에서 탄성계수의 계산을 아래에서 도 8과 <수학식 7>에서 <수학식 8>을 통해 설명하고자 한다.
도 8은 제안되는 실시 예에 따른 특징점들과 근육 제어점 간의 링크벡터와 탄성계수를 도시한 도면이다. 도 8을 참조하면 사각형은 m의 식별정보로 표현되는 특징점을 나타내고, 원형은 n의 식별정보로 표현되는 근육 제어점을 나타낸다. 그리고,
Figure 112009057534625-PAT00051
은 특징점 m과 근육 제어점 n간의 링크 벡터의 탄력계수이고,
Figure 112009057534625-PAT00052
은 특징점 m과 근육 제어점 n간의 링크 벡터이다.
도 8과 같이 표현되는 링크 벡터와 탄력계수 간의 상관관계를 식으로 표현하면 아래 <수학식 7>과 같이 표현될 수 있다.
Figure 112009057534625-PAT00053
여기서, m은 특징점의 식별정보이고, n은 근육 제어점의 식별정보이고,
Figure 112009057534625-PAT00054
은 특징점 m과 근육 제어점 n간의 링크 벡터의 탄력계수이고,
Figure 112009057534625-PAT00055
은 시간 0에서 특징점 m과 근육 제어점 n간의 링크 벡터이고,
Figure 112009057534625-PAT00056
은 시간 t-1에서 특징점 m과 근육 제어점 n간의 링크 벡터이다.
그리고, <수학식 7>을 풀어서 표현하면 아래 <수학식 8>과 같이 표현될 수 있다.
Figure 112009057534625-PAT00057
여기서, m은 특징점의 식별정보이고, n은 근육 제어점의 식별정보이고, t는 시간정보이고,
Figure 112009057534625-PAT00058
은 시간에 따른 특징점 m과 근육 제어점 n간 링크 벡터의 변화량이고,
Figure 112009057534625-PAT00059
은 시간에 따른 특징점 m과 근육 제어점 n간 링크 벡터의 x축 변화량이고,
Figure 112009057534625-PAT00060
은 시간에 따른 특징점 m과 근육 제어점 n간 링크 벡터의 y축 변화량이고,
Figure 112009057534625-PAT00061
은 시간에 따른 특징점 m과 근육 제어점 n간 링크 벡터의 z축 변 화량이고,
Figure 112009057534625-PAT00062
은 특징점 m과 근육 제어점 n간의 링크 벡터의 탄력계수이고,
Figure 112009057534625-PAT00063
는 k1,k2에 대한 비례상수이고,
Figure 112009057534625-PAT00064
은 k1,k3에 대한 비례상수이고,
Figure 112009057534625-PAT00065
는 k1,k4에 대한 비례상수이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 실시 예에 따른 사용자의 3차원 얼굴 표정 추출 장치를 도시한 도면,
도 2는 제안되는 실시 예에 따른 사용자의 3차원 얼굴 표정 추출하는 과정을 도시한 흐름도,
도 3은 제안되는 실시 예에 따른 형상기반 추적을 통한 3차원 표정 정보를 획득하는 과정을 도시한 흐름도,
도 4는 제안되는 실시 예에 따른 텍스쳐기반 추적을 통한 3차원 표정 정보를 획득하는 과정을 도시한 흐름도,
도 5는 제안되는 실시 예에 따른 3차원 표정 모델을 생성하는 과정을 도시한 흐름도,
도 6은 제안되는 실시 예에 따른 3차원 표정 모델을 재구성하는 과정을 도시한 흐름도,
도 7은 제안되는 실시 예에 따른 근육 모델 데이터베이스를 구성하는 과정을 도시한 흐름도 및,
도 8은 제안되는 실시 예에 따른 특징점들과 근육 제어점 간의 링크벡터와 탄성계수를 도시한 도면이다.

Claims (19)

  1. 사용자의 얼굴 영상을 수신하면, 상기 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성하는 단계;
    상기 3차원 표정 정보가 반영된 3차원 표정 모델을 생성하는 단계; 및
    상기 3차원 표정 모델에 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  2. 제1항에 있어서,
    상기 3차원 표정 정보를 생성하는 단계는,
    형상기반 추적을 통한 3차원 표정 정보를 생성하는 단계; 또는
    텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  3. 제2항에 있어서,
    상기 형상기반 추적을 통한 3차원 표정 정보를 생성하는 단계는,
    상기 얼굴 영상에서 특징점들을 추출하는 단계;
    상기 특징점들의 신뢰도를 계산하는 단계;
    상기 특징점들을 기반으로 3차원 표정 정보 중에 하나인 머리의 움직임을 추정하는 단계; 및
    상기 특징점들과 사용자 데이터베이스에 저장된 사용자의 무표정(Neutral Expression)한 3차원 얼굴 형상을 비교해서 상기 3차원 표정 정보 중에 하나인 3차원 표정 파라메터를 계산하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  4. 제2항에 있어서,
    상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 단계는,
    상기 얼굴 영상에서 얼굴 영역 추출하는 단계;
    사용자 데이터베이스에 저장된 사용자의 무표정한 3차원 얼굴 형상을 이용해서 다수의 3차원 표정 예비모델들을 생성하는 단계;
    상기 얼굴 영역과 상기 3차원 표정 예비모델들 각각 간의 유사도를 계산하는 단계;
    상기 유사도가 가장 높은 3차원 표정 예비모델의 신뢰도를 계산하는 단계; 및
    상기 유사도가 가장 높은 3차원 표정 예비모델의 3차원 표정 정보인 3차원 표정 파라메터와 사용자 머리 움직임을 계산하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  5. 제2항에 있어서,
    상기 3차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보 중에서 신뢰도가 더 높은 3차원 표정 정보를 선택하는 단계; 및
    상기 선택된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  6. 제2항에 있어서,
    상기 3차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하는 단계; 및
    상기 결합된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  7. 제6항에 있어서,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하는 단계는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신뢰도를 기반으로 신뢰도에 비례하는 가중치를 적용해서 결합하는
    3차원 얼굴 표정 추출 방법.
  8. 제1항에 있어서,
    상기 3차원 표정 모델을 재구성하는 단계는,
    상기 3차원 표정 모델을 통해 확인할 수 있는 특징점들과 근육 모델 데이터베이스를 통해 확인할 수 있는 근육 제어점들 간의 링크 벡터를 계산하는 단계;
    상기 근육 모델 데이터베이스에서 상기 링크벡터들의 탄성계수(stiffness)를 확인하는 단계;
    상기 특징점들, 상기 링크 벡터들 및 상기 링크 벡터들의 탄성계수를 이용해서 상기 근육 제어점들의 위치를 계산하는 단계; 및
    상기 3차원 표정 모델의 제어점에 상기 근육 제어점들을 추가해서 상기 3차 원 표정 모델을 재구성하는 단계를 포함하는
    3차원 얼굴 표정 추출 방법.
  9. 제8항에 있어서,
    상기 근육 모델 데이터베이스는,
    상기 근육 제어점들과 상기 특징점들 간의 상기 링크 벡터들과 상기 링크 벡터들 각각의 탄성계수를 저장하는
    3차원 얼굴 표정 추출 방법.
  10. 사용자의 얼굴 영상을 수신하면, 상기 얼굴 영상에서 표정을 추적해서 3차원 표정 정보를 생성하는 3차원 표정 추정부;
    상기 3차원 표정 정보가 반영된 3차원 표정 모델을 생성하는 3차원 표정 모델 생성부; 및
    상기 3차원 표정 모델에 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는 3차원 표정 모델 재구성부를 포함하는
    3차원 얼굴 표정 추출 장치.
  11. 제10항에 있어서,
    상기 3차원 표정 추정부는,
    형상기반 추적을 통한 3차원 표정 정보를 생성하거나, 또는
    텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는
    3차원 얼굴 표정 추출 장치.
  12. 제11항에 있어서,
    상기 3차원 표정 추정부는,
    상기 형상기반 추적을 통한 3차원 표정 정보를 생성하는 경우,
    상기 얼굴 영상에서 특징점들을 추출하고, 상기 특징점들의 신뢰도를 계산하고, 상기 특징점들을 기반으로 3차원 표정 정보 중에 하나인 머리의 움직임을 추정하고, 상기 특징점들과 사용자 데이터베이스에 저장된 사용자의 무표정(Neutral Expression)한 3차원 얼굴 형상을 비교해서 상기 3차원 표정 정보 중에 하나인 3차원 표정 파라메터를 계산하는
    3차원 얼굴 표정 추출 장치.
  13. 제11항에 있어서,
    상기 3차원 표정 추정부는,
    상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 생성하는 경우,
    상기 얼굴 영상에서 얼굴 영역 추출하고, 사용자 데이터베이스에 저장된 사용자의 무표정한 3차원 얼굴 형상을 이용해서 다수의 3차원 표정 예비모델들을 생성하고, 상기 얼굴 영역과 상기 3차원 표정 예비모델들 각각 간의 유사도를 계산하고, 상기 유사도가 가장 높은 3차원 표정 예비모델의 신뢰도를 계산하고, 상기 유사도가 가장 높은 3차원 표정 예비모델의 3차원 표정 정보인 3차원 표정 파라메터와 사용자 머리 움직임을 계산하는
    3차원 얼굴 표정 추출 장치.
  14. 제11항에 있어서,
    상기 3차원 표정 모델 생성부는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보 중에서 신뢰도가 더 높은 3차원 표정 정보를 선택하고, 상기 선택된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는
    3차원 얼굴 표정 추출 장치.
  15. 제11항에 있어서,
    상기 3차원 표정 모델 생성부는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합하고, 상기 결합된 차원 표정 정보가 반영된 상기 3차원 표정 모델을 생성하는
    3차원 얼굴 표정 추출 장치.
  16. 제15항에 있어서,
    상기 3차원 표정 모델 생성부는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신뢰도를 기반으로 신뢰도에 비례하는 가중치를 적용해서 결합하는
    3차원 얼굴 표정 추출 장치.
  17. 제15항에 있어서,
    상기 3차원 표정 모델 생성부는,
    상기 형상기반 추적을 통한 3차원 표정 정보와 상기 텍스쳐기반 추적을 통한 3차원 표정 정보를 결합할 때 각각의 신뢰도를 기반으로 칼만필터를 활용하여 결합하는
    3차원 얼굴 표정 추출 장치.
  18. 제10항에 있어서,
    상기 3차원 표정 모델 재구성부는,
    상기 3차원 표정 모델을 통해 확인할 수 있는 특징점들과 근육 모델 데이터베이스를 통해 확인할 수 있는 근육 제어점들 간의 링크 벡터를 계산하고, 상기 근육 모델 데이터베이스에서 상기 링크벡터들의 탄성계수(stiffness)를 확인하고, 상기 특징점들, 상기 링크 벡터들 및 상기 링크 벡터들의 탄성계수를 이용해서 상기 근육 제어점들의 위치를 계산하고, 상기 3차원 표정 모델의 제어점에 상기 근육 제어점들을 추가해서 상기 3차원 표정 모델을 재구성하는
    3차원 얼굴 표정 추출 장치.
  19. 제18항에 있어서,
    상기 근육 모델 데이터베이스는,
    상기 근육 제어점들과 상기 특징점들 간의 상기 링크 벡터들과 상기 링크 벡터들 각각의 탄성계수를 저장하는
    3차원 얼굴 표정 추출 장치.
KR1020090088501A 2009-09-18 2009-09-18 사용자의 3차원 얼굴 표정 추출 방법 및 장치 KR101615719B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090088501A KR101615719B1 (ko) 2009-09-18 2009-09-18 사용자의 3차원 얼굴 표정 추출 방법 및 장치
US12/805,331 US8675952B2 (en) 2009-09-18 2010-07-26 Apparatus and method to extract three-dimensional (3D) facial expression
US14/165,995 US9483860B2 (en) 2009-09-18 2014-01-28 Apparatus and method to extract three-dimensional (3D) facial expression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090088501A KR101615719B1 (ko) 2009-09-18 2009-09-18 사용자의 3차원 얼굴 표정 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110030869A true KR20110030869A (ko) 2011-03-24
KR101615719B1 KR101615719B1 (ko) 2016-04-27

Family

ID=43756655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090088501A KR101615719B1 (ko) 2009-09-18 2009-09-18 사용자의 3차원 얼굴 표정 추출 방법 및 장치

Country Status (2)

Country Link
US (2) US8675952B2 (ko)
KR (1) KR101615719B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140009013A (ko) * 2012-07-05 2014-01-22 삼성전자주식회사 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
KR102506506B1 (ko) * 2021-11-10 2023-03-06 (주)이브이알스튜디오 얼굴 표정을 생성하기 위한 방법 및 이를 이용하는 3차원 그래픽 인터페이스 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233843B1 (ko) * 2011-06-29 2013-02-15 포항공과대학교 산학협력단 부피 특징 벡터와 3차원 하르-유사 필터를 이용한 물체 검출 방법 및 장치
US9165404B2 (en) * 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
US9008436B2 (en) 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) * 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
JP5894426B2 (ja) 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
US10269165B1 (en) * 2012-01-30 2019-04-23 Lucasfilm Entertainment Company Ltd. Facial animation models
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
US20140009465A1 (en) * 2012-07-05 2014-01-09 Samsung Electronics Co., Ltd. Method and apparatus for modeling three-dimensional (3d) face, and method and apparatus for tracking face
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN107408315B (zh) * 2015-02-23 2021-12-07 Fittingbox公司 用于实时、物理准确且逼真的眼镜试戴的流程和方法
US10792566B1 (en) 2015-09-30 2020-10-06 Electronic Arts Inc. System for streaming content within a game application environment
US10403018B1 (en) 2016-07-12 2019-09-03 Electronic Arts Inc. Swarm crowd rendering system
CN106327482B (zh) * 2016-08-10 2019-01-22 东方网力科技股份有限公司 一种基于大数据的面部表情的重建方法及装置
US10726611B1 (en) 2016-08-24 2020-07-28 Electronic Arts Inc. Dynamic texture mapping using megatextures
CN107018121B (zh) * 2016-10-13 2021-07-20 创新先进技术有限公司 用户身份验证的方法及装置
US10096133B1 (en) 2017-03-31 2018-10-09 Electronic Arts Inc. Blendshape compression system
US10878540B1 (en) 2017-08-15 2020-12-29 Electronic Arts Inc. Contrast ratio detection and rendering system
US10535174B1 (en) 2017-09-14 2020-01-14 Electronic Arts Inc. Particle-based inverse kinematic rendering system
US10573349B2 (en) * 2017-12-28 2020-02-25 Facebook, Inc. Systems and methods for generating personalized emoticons and lip synching videos based on facial recognition
US10860838B1 (en) * 2018-01-16 2020-12-08 Electronic Arts Inc. Universal facial expression translation and character rendering system
CN108537881B (zh) * 2018-04-18 2020-04-03 腾讯科技（深圳）有限公司 一种人脸模型处理方法及其设备、存储介质
US10902618B2 (en) 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
US11972353B2 (en) 2020-01-22 2024-04-30 Electronic Arts Inc. Character controllers using motion variational autoencoders (MVAEs)
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
US11830121B1 (en) 2021-01-26 2023-11-28 Electronic Arts Inc. Neural animation layering for synthesizing martial arts movements
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US11670030B2 (en) 2021-07-01 2023-06-06 Electronic Arts Inc. Enhanced animation generation based on video with local phase
US11562523B1 (en) 2021-08-02 2023-01-24 Electronic Arts Inc. Enhanced animation generation based on motion matching using local bone phases
US20240029331A1 (en) * 2022-07-22 2024-01-25 Meta Platforms Technologies, Llc Expression transfer to stylized avatars
CN115690281B (zh) * 2022-12-29 2023-03-21 海马云（天津）信息技术有限公司 角色表情的驱动方法及装置、存储介质、电子装置
CN115797569B (zh) * 2023-01-31 2023-05-02 盾钰（上海）互联网科技有限公司 高精度数孪人面部表情动作细分的动态生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073916A (ko) * 2000-01-22 2001-08-03 곽해섭 실시간 영상맵핑 장치 및 방법
KR20060067242A (ko) * 2004-12-14 2006-06-19 한국전자통신연구원 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법
KR20080050336A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법
KR20090072263A (ko) * 2007-12-28 2009-07-02 주식회사 케이티 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999053443A1 (en) 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US7755619B2 (en) 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
JP4240108B2 (ja) 2006-10-31 2009-03-18 ソニー株式会社 画像記憶装置、撮像装置、画像記憶方法およびプログラム
KR100930994B1 (ko) 2007-12-18 2009-12-10 주식회사 케이티 3차원 영상 모델 생성 방법 및 장치, 이를 이용한 영상인식 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010073916A (ko) * 2000-01-22 2001-08-03 곽해섭 실시간 영상맵핑 장치 및 방법
KR20060067242A (ko) * 2004-12-14 2006-06-19 한국전자통신연구원 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법
KR20080050336A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법
KR20090072263A (ko) * 2007-12-28 2009-07-02 주식회사 케이티 계층적인 구조의 영상 모델을 이용한 3차원 영상 생성방법과 장치, 이를 이용한 영상 인식 방법과 특징점 추출방법 그리고 상기 방법들을 수행하는 프로그램이 기록된기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140009013A (ko) * 2012-07-05 2014-01-22 삼성전자주식회사 3d 얼굴의 모델링 방법 및 장치, 얼굴 추적 방법 및 장치
KR102506506B1 (ko) * 2021-11-10 2023-03-06 (주)이브이알스튜디오 얼굴 표정을 생성하기 위한 방법 및 이를 이용하는 3차원 그래픽 인터페이스 장치

Also Published As

Publication number Publication date
US20110069879A1 (en) 2011-03-24
US20140139522A1 (en) 2014-05-22
US8675952B2 (en) 2014-03-18
US9483860B2 (en) 2016-11-01
KR101615719B1 (ko) 2016-04-27

Similar Documents

Publication Publication Date Title
KR20110030869A (ko) 사용자의 3차원 얼굴 표정 추출 방법 및 장치
Tome et al. xr-egopose: Egocentric 3d human pose from an hmd camera
Ichim et al. Dynamic 3D avatar creation from hand-held video input
Achenbach et al. Fast generation of realistic virtual humans
Tome et al. Selfpose: 3d egocentric pose estimation from a headset mounted camera
Wei et al. Videomocap: Modeling physically realistic human motion from monocular video sequences
Liu et al. Realtime human motion control with a small number of inertial sensors
JP4950787B2 (ja) 画像処理装置及びその方法
Ersotelos et al. Building highly realistic facial modeling and animation: a survey
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
KR101339900B1 (ko) 2차원 단일 영상 기반 3차원 몽타주 생성 시스템 및 방법
CN111598998A (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
KR20220075339A (ko) 얼굴 재구성 방법, 장치, 컴퓨터 기기 및 저장매체
CN111815768B (zh) 三维人脸重建方法和装置
CN114450719A (zh) 人体模型重建方法、重建系统及存储介质
CN112862807A (zh) 基于头发图像的数据处理方法及装置
Kim et al. Realtime performance animation using sparse 3D motion sensors
Mezger et al. Trajectory synthesis by hierarchical spatio-temporal correspondence: comparison of different methods
EP4191541A1 (en) Information processing device and information processing method
CN112991152A (zh) 一种图像处理方法、装置、电子设备和存储介质
Agianpuye et al. 3d facial expression synthesis: a survey
CN114299225A (zh) 动作图像生成方法、模型构建方法、设备及存储介质
KR101547208B1 (ko) 손목 궤적을 이용한 전신 동작 생성 장치 및 방법
Na et al. Local shape blending using coherent weighted regions
Chang-Wei et al. Synthesizing performance-driven facial animation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4