KR20120005587A - 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치 - Google Patents

컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치 Download PDF

Info

Publication number
KR20120005587A
KR20120005587A KR1020100066080A KR20100066080A KR20120005587A KR 20120005587 A KR20120005587 A KR 20120005587A KR 1020100066080 A KR1020100066080 A KR 1020100066080A KR 20100066080 A KR20100066080 A KR 20100066080A KR 20120005587 A KR20120005587 A KR 20120005587A
Authority
KR
South Korea
Prior art keywords
model
face
facial
face model
skull
Prior art date
Application number
KR1020100066080A
Other languages
English (en)
Inventor
이신준
신대규
최광철
이상윤
황진규
박대현
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020100066080A priority Critical patent/KR20120005587A/ko
Priority to US13/177,038 priority patent/US20120007859A1/en
Publication of KR20120005587A publication Critical patent/KR20120005587A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치에 관한 것으로서, 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법은, 얼굴 영상을 입력받는 과정과, 상기 얼굴 영상에 대한 두상 모델과 두개골 모델을 결정하는 과정과, 상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 과정과, 입력 영상의 표정에 따라 상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 과정을 포함하여, 사용자가 각종 매개변수들을 직접 조정하지 않고 쉽게 얼굴 모델을 생성하여 다양한 표정들을 갖는 얼굴 애니메이션을 생성할 수 있다.

Description

컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING FACE ANIMATION IN COMPUTER SYSTEM}
본 발명은 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치에 관한 것으로서, 특히 추정된 두개골 형상과 표준 두상모델을 정합하여 해부학적 얼굴모델을 생성하고 매개변수들을 자동으로 추정하여 상기 얼굴 모델의 애니메이션을 생성하는 방법 및 장치에 관한 것이다.
최근 컴퓨터 그래픽 기술의 발전으로 인해, 애니메이션, 영화, 게임 등과 같은 가상 현실 속에서 사용자를 대신하는 아바타 기술이 개발되고 있다. 예를 들어, 종래에는 화상 회의, 게임 및 전자상거래뿐만 아니라 인터넷 채팅이나 개인 홈페이지에서도 실제 사용자를 대신하여 말을 하거나 특정 행동을 취하는 아바타가 이용되고 있다.
종래의 아바타 기술은 사용자의 외양에 관계없이 캐릭터화된 아바타로 이용하였으나, 최근에는 사용자 개개인의 외양을 반영한 아바타를 제공하기 위한 기술이 연구되고 있다. 특히, 아바타에 대한 얼굴 모델링과 표정 애니메이션은 개개인의 외양을 가장 잘 나타낼 수 있다는 점에서 가장 활발히 연구되고 있다.
일반적으로, 사람의 얼굴은 수많은 근육과 섬세한 피부조직으로 이루어져 있으므로, 다양한 표정을 표현하기 위해서는 얼굴 근육 및 피부조직을 미세하게 조정해야한다. 종래의 얼굴 애니메이션 기술들은 얼굴 근육의 매개변수들을 직접 조정하거나 근육의 위치, 범위 강도를 직접 입력하는 방법을 사용하고 있다. 하지만, 이러한 방식은 사용자가 상기 표정에 대한 매개변수들을 직접 입력해야 하는 번거로움을 겪어야 하는 단점이 있으며, 숙련된 사용자가 아닌 경우 완성도 높은 표정을 갖는 얼굴 모델을 얻기 어렵고 많은 시간이 소모되는 단점이 있다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 목적은 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 컴퓨터 시스템에서 얼굴 모델에 대한 매개변수들을 자동으로 추정하여 해부학적 얼굴 애니메이션을 생성하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 컴퓨터 시스템에서 대상 얼굴을 3차원 점으로 표현하여 표준 두상 모델과 정합하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 컴퓨터 시스템에서 대상 얼굴의 이목구비에 대한 위치 관계에 따라 얼굴 모델 생성을 위한 두개골 모델을 선택하고 이를 생성된 두상 모델과 정합하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 컴퓨터 시스템에서 나이 및 성별을 고려하여 얼굴 모델을 생성하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 컴퓨터 시스템에서 대상 얼굴에 대한 영상을 바탕으로 얼굴 모델의 근육 및 스프링 노드의 위치와 매개변수를 자동으로 설정하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 컴퓨터 시스템에서 대상 얼굴의 표정에 따라 얼굴 모델의 근육 및 스프링 노드의 매개변수들을 조정하여 얼굴 애니메이션을 생성하는 방법 및 장치를 제공함에 있다.
상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법은, 얼굴 영상을 입력받는 과정과, 상기 얼굴 영상에 대한 두상 모델과 두개골 모델을 결정하는 과정과, 상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 과정과, 입력 영상의 표정에 따라 상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 과정을 포함하는 것을 특징으로 한다.
상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 컴퓨터 시스템에서 얼굴 애니메이션 생성 장치는, 얼굴 영상을 입력받는 사용자 인터페이스와, 상기 얼굴 영상에 대한 두상 모델과 두개골 모델을 결정하고, 상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 얼굴 모델 설정부와, 입력 영상의 표정에 따라 상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 얼굴 모델 조정부를 포함하는 것을 특징으로 한다.
본 발명은 컴퓨터 시스템에서 얼굴 모델에 대한 매개변수들을 자동으로 추정하여 해부학적 얼굴 애니메이션을 생성함으로써, 사용자가 각종 매개변수들을 직접 조정하지 않고 쉽게 얼굴 모델을 생성하여 다양한 표정들을 갖는 얼굴 애니메이션을 생성할 수 있는 효과가 있다. 또한, 사용자의 나이 및 성별에 따라 주름 발생, 수축시 피부조직의 뭉침 현상들을 고려하기 때문에 현실성이 높은 얼굴 모델을 얻을 수 있는 효과가 있다.
도 1은 본 발명에 따른 컴퓨터 시스템의 블록 구성을 도시하는 도면,
도 2는 본 발명에 따른 컴퓨터 시스템에서 얼굴 모델 설정부의 상세한 블록 구성을 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴 모델을 생성하는 방식을 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴 모델을 생성하고 얼굴 모델의 애니메이션을 생성하는 절차를 도시하는 도면.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.
이하 본 발명에서는 컴퓨터 시스템에서 두개골 형상과 표준 두상 모델을 정합하여 해부학적 얼굴모델을 생성하고 매개변수들을 자동으로 추정하여 얼굴 모델의 애니메이션을 생성하는 방법 및 장치에 관해 설명할 것이다. 이하 본 발명에서 설명하는 컴퓨터 시스템은 컴퓨터 그래픽 기술을 적용한 모든 전자기기를 의미하는 것으로, 휴대용 단말기, 이동통신 단말기, PC(Personal Computer), 노트북 등을 모두 포함한다.
도 1은 본 발명에 따른 컴퓨터 시스템의 블록 구성을 도시하고 있다.
상기 도 1을 참조하면, 상기 컴퓨터 시스템은 사용자 인터페이스(100), 표정 인식부(110), 얼굴 모델 설정부(120), 얼굴 모델 조정부(130), 표정 합성부(140) 및 출력 및 저장부(150)를 포함하여 구성된다.
상기 사용자 인터페이스(100)는 얼굴 모델의 생성 및 생성된 얼굴 모델의 애니메이션을 생성하기 위한 각종 데이터들을 사용자로부터 입력받는다. 즉, 상기 사용자 인터페이스(100)는 카메라(미도시)로부터 얼굴 영상을 입력받아 상기 표정 인식부(110)와 얼굴 모델 설정부(120)로 제공하고, 키패드(미도시) 혹은 터치센서(미도시)를 통해 사용자로부터 나이 및 성별을 입력받아 상기 얼굴 모델 설정부(120)로 제공한다. 여기서, 상기 사용자 인터페이스(100)는 얼굴 모델 생성을 위해, 초기에는 무표정의 얼굴 영상을 입력받고, 이후에 다양한 표정의 얼굴 영상을 입력받을 수 있다. 또한, 상기 사용자 인터페이스(100)는 상기 얼굴 모델 생성을 위해 둘 이상의 카메라(미도시)로부터 서로 다른 각도에서 촬영한 얼굴 영상을 입력받을 수 있을 것이다.
상기 표정 인식부(110)는 상기 사용자 인터페이스(100)로부터 제공된 얼굴 영상의 표정을 인식한다. 이때, 상기 표정 인식부(110)는 종래에 알려진 표정 인식 알고리즘들을 이용할 수 있다. 상기 표정 인식부(110)는 상기 얼굴 모델 설정부(120)에 포함된 표정 데이터베이스(122)로부터 각 표정에 대한 특징을 추출하여 학습함으로써, 상기 입력된 얼굴 영상의 특징으로부터 상기 입력된 얼굴 영상이 어떤 표정에 해당하는 영상인지 분류할 수 있다. 예를 들어, 상기 입력 영상의 표정이 무표정인지, 웃는 표정인지, 우는 표정인지, 화내는 표정인지 분류할 수 있다. 상기 표정 인식부(110)는 상기 얼굴 영상에 대한 표정이 분류될 시, 상기 얼굴 영상과 상기 얼굴 영상의 특징 및 표정 분류 정보를 상기 얼굴 모델 설정부(120)로 제공한다. 상기 표정 인식부(110)는 상기 얼굴 영상이 무표정 영상일 경우, 얼굴 모델 생성을 위해 상기 얼굴 영상에 포함된 이목구비의 위치 관계를 분석한 후, 이를 상기 얼굴 모델 설정부(120)로 제공한다.
상기 얼굴 모델 설정부(120)는 상기 사용자 인터페이스(100)로부터 입력되는 나이와 성별 및 얼굴 영상을 바탕으로 대상 얼굴에 대한 얼굴 모델을 생성하고, 상기 생성된 얼굴 모델의 애니메이션을 생성하기 위한 정보들을 저장한다. 즉, 상기 얼굴 모델 설정부(120)는 상기 얼굴 영상을 바탕으로 얼굴을 나타내는 3차원 점 모델을 획득한 후, 사전에 통계적인 방식을 통해 만들어진 표준 두상 모델을 상기 3차원 점 모델에 맞게 조정하고, 상기 입력된 얼굴 영상의 이목구비의 위치 관계에 대응되는 두개골을 상기 조정된 표준 두상 모델과 정합하여 상기 얼굴 영상에 대응되는 기본 얼굴 모델을 생성한다. 여기서, 상기 얼굴 모델 설정부(120)는 상기 기본 얼굴 모델에 대한 피부 맵을 설정하여 상기 기본 얼굴 모델에 피부를 생성하고, 근육과 스프링 노드를 배치한 후, 이에 대한 초기 매개변수들을 설정하여 상기 얼굴 영상에 대한 얼굴 모델을 생성한다.
그러면, 여기서 하기 도 2 및 도 3을 바탕으로 상기 얼굴 모델 설정부(120)의 상세한 동작에 대해 살펴보기로 한다.
도 2는 본 발명에 따른 컴퓨터 시스템에서 얼굴 모델 설정부의 상세한 블록 구성을 도시하고 있고, 도 3은 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴 모델을 생성하는 방식을 도시하고 있다.
상기 도 2를 살펴보면, 상기 얼굴 모델 설정부(120)는 두상 결정부(200), 두개골 결정부(262), 피부 두께 맵 결정부(204), 근육 매개변수 설정부(206), 스프링 노드 매개변수 설정부(208), 표정 데이터베이스(210), 근육 데이터베이스(212), 얼굴 데이터베이스(214)를 포함하여 구성된다.
즉, 상기 얼굴 모델 설정부(120)는 상기 사용자 인터페이스(100)에서 제공된 복수의 얼굴 영상(301)으로부터 사용자의 얼굴에 대한 특징점들을 3차원의 점으로 나타내는 3차원 점 모델을 획득(303)한 후, 사전에 통계적인 방식을 통해 만들어진 표준 두상 모델(305)을 상기 3차원 점 모델에 맞게 조정(307)한다. 여기서, 상기 사전에 통계적인 방식을 통해 만들어진 표준 두상 모델이 하나 이상일 경우, 상기 얼굴 모델 설정부(120)는 상기 두상 결정부(200)를 통해 하나의 표준 두상 모델을 선택할 수 있다. 예를 들어, 상기 두상 결정부(200)는 사용자의 성별 혹은 나이에 따라 두상 모델을 선택할 수 있을 것이다.
또한, 상기 얼굴 모델 설정부(120)는 상기 표정 인식부(110)로부터 상기 얼굴 영상에 대한 이목구비의 위치 관계 정보(309)를 제공받고, 두개골 결정부(202)를 통해 두개골 형상 데이터베이스(311)에서 상기 이목구비의 위치 관계에 대응되는 두개골 형상을 선택(313)한다. 즉, 본 발명에서는 이목구비의 위치 관계 정보(혹은 얼굴의 특징 기하학적 정보)에 따른 두개골 형상에 대해 미리 분석하여, 이목구비의 위치 관계별 두개골 형상들을 나타내는 두개골 형상 데이터베이스(313)를 미리 저장한다. 여기서, 상기 두개골은 성별에 따라 구분될 수도 있다. 따라서, 상기 두개골 결정부(202)는 상기 이목구비의 위치 관계뿐만 아니라, 대상 얼굴의 성별을 고려하여 두개골 형상을 선택할 수 있다.
이후, 상기 얼굴 모델 설정부(120)는 상기 선택된 두개골 형상과 3차원 점 모델에 맞게 조정된 두상 모델을 정합(315)하여 얼굴 모델을 생성한다. 이때, 상기 얼굴 모델 설정부(120)는 근육 데이터베이스(212)를 참조하여 종래에 알려진 방식에 따라 상기 두개골 형상과 조정된 두상 모델 사이에 근육을 배치한다. 또한, 상기 얼굴 모델 설정부(120)는 상기 피부 두께 맵 결정부(204)를 통해 상기 두개골 형상과 조정된 두상 모델을 이용하여 피부 두께 맵을 설정하여 상기 생성된 얼굴 모델에 대한 피부를 생성한다.
상기 얼굴 모델 설정부(120)는 상기 근육 매개변수 설정부(206)와 상기 스프링 노드 매개변수 설정부(208)를 통해 상기 생성된 얼굴 모델에 대한 근육 위치, 근육 길이, 스프링 노드의 위치 및 스프링 노드의 탄력성을 설정한다. 여기서, 상기 스프링 노드는 상기 생성된 얼굴 모델에 대한 메쉬 구조 형태로 설정되며, 대상의 성별에 따라 다른 모양의 메쉬 구조로 설정될 수 있다. 상기 스프링 노드의 탄력성은 얼굴 모델의 피부 탄력성을 나타내는 것으로, 얼굴 모델의 대상이 되는 사용자의 나이에 따라 설정된다.
상기 얼굴 모델 설정부(120)는 나이별 근육 수축력에 대한 피부 탄력성 그래프 및 구조적인 표정 모델에 대한 정보를 나타내는 근육 데이터베이스(212)를 미리 저장함으로써, 상기 근육 데이터베이스(212)를 참조하여 상기 생성된 얼굴 모델에 대한 상기 스프링 노드의 위치 및 스프링 노드의 탄력성을 설정할 수 있을 것이다.
또한, 상기 얼굴 모델 설정부(120)는 상기 표정 인식부(110)로부터 입력되는 얼굴 영상의 특징 및 표정 분류 정보와, 각각의 표정에 대한 근육 매개변수 값 및 스프링 노드 매개변수 값을 저장 및 관리하는 표정 데이터베이스(220)를 포함한다. 즉, 상기 표정 데이터베이스(220)는 각각의 표정에 대한 근육의 위치와 길이 및 스프링 노드의 탄력성을 나타내는 값들을 포함할 수 있다. 여기서, 상기 각각의 표정에 대한 근육의 위치와 길이 및 스프링 노드의 탄력성을 나타내는 값들은 상기 얼굴 모델 조정부(130)로부터 획득할 수 있다. 또한, 상기 얼굴 모델 설정부(120)는 생성된 얼굴 모델을 저장 및 관리하는 얼굴 데이터베이스(214)를 포함한다.
상기 얼굴 모델 설정부(120)는 상기와 같은 방식으로 얼굴 모델이 생성된 후, 상기 표정 인식부(110)로부터 무표정이 아닌 다른 표정의 얼굴 영상이 입력될 시, 상기 다른 표정의 얼굴 영상과 상기 생성된 얼굴 모델을 상기 얼굴 모델 조정부(130)로 제공한다.
상기 얼굴 모델 조정부(130)는 상기 얼굴 모델 설정부(120)로부터 얼굴 모델과 특정 표정을 나타내는 얼굴 영상이 제공되면, 상기 얼굴 모델의 표정을 상기 특정 표정으로 조정하기 위한 기능을 수행한다. 즉, 상기 얼굴 모델 조정부(130)는 상기 얼굴 모델의 표정이 상기 특정 표정과 일치하도록 상기 얼굴 모델의 근육 및 스프링 노드의 매개변수를 반복하여 조정한다. 예를 들어, 상기 얼굴 모델 조정부(130)는 상기 얼굴 모델의 근육 위치, 길이 및 스프링 노드의 길이 등을 조정한 후, 상기 조정된 얼굴 모델의 표정과 상기 특정 표정을 비교하여 일치하는지 여부를 검사하고, 일치하지 않을 시 상기 얼굴 모델의 근육 위치, 길이 및 스프링 노드의 길이 등을 재조정하며, 이와 같은 동작을 상기 얼굴 모델의 표정과 상기 특정 표정이 일치할 때까지 반복하여 수행한다. 여기서, 상기 얼굴 모델 조정부(130)는 상기 근육 데이터베이스(212)로부터 근육 수축력에 대한 피부 탄력성 그래프를 참조하여 상기 스프링 노드의 매개변수를 조정할 수 있다. 또한, 이때 상기 얼굴 모델 조정부(130)는 일반적으로 근육의 위치 혹은 길이를 조절하면, 근육이 움직이는 방향으로 피부가 비정상적으로 수축하는 현상이 발생할 수 있으므로, 이를 고려하여 상기 조절하는 근육의 영향을 받는 범위 내의 피부가 수축하지 않도록 보상해주는 기능을 수행할 수 있다. 즉, 상기 조절하는 근육의 영향을 받는 범위 내의 스프링 노드들의 매개변수를 조절하여 피부가 비정상적으로 수축하는 현상이 발생되는 것을 방지할 수 있다.
상기 얼굴 모델 조정부(130)는 상기 얼굴 모델의 표정과 상기 특정 표정이 일치하면, 상기 얼굴 모델의 근육 및 스프링 노드의 매개변수 값들을 상기 얼굴 모델 설정부(120)의 표정 데이터베이스(210)에 저장한다. 이때, 상기 표정 데이터베이스(210)에 동일한 표정에 대한 매개변수 값들이 미리 저장되어 있을 시, 현재 획득한 매개변수와 미리 저장된 매개변수를 평균하여 저장할 수도 있을 것이다. 이는 추후 상기 컴퓨터 시스템 내에서 정의되지 않은 표정들을 생성할 때 사용하기 위한 것이다.
상기 얼굴 모델 조정부(130)는 상기 표정이 조정된 얼굴 모델을 출력하여 상기 표정 합성부(140)를 통해 상기 출력 및 저장부(150)로 제공한다.
상기 표정 합성부(140)는 상기 사용자 인터페이스(100)를 통해 새로운 표정을 생성하기 위한 이벤트가 발생되면, 상기 얼굴 모델 조정부(130)를 통해 상기 얼굴 모델 설정부(120)로부터 표정별 근육 및 스프링 노드의 매개변수 값들을 제공받고, 이를 통해 상기 얼굴 모델에 대해 새로운 표정을 생성하기 위한 기능을 수행한다. 예를 들어, 무표정에서 웃는 표정으로 변화하는 애니메이션을 생성하고자 하는 이벤트가 발생되면, 상기 표정 합성부(140)는 상기 무표정과 웃는 표정 사이의 표정들을 생성하기 위한 기능을 수행한다. 이는, 상기 얼굴 모델의 근육 및 스프링 노드의 매개변수 값을 상기 무표정에 대한 근육 및 스프링 노드의 매개변수 값에서 상기 웃는 표정의 근육 및 스프링 노드의 매개변수 값에 가깝게 점차 조정하여 생성할 수 있을 것이다. 상기 표정 합성부(140)는 상기 얼굴 모델 조정부(130)로부터 제공되는 얼굴 모델과 상기 새로운 표정을 가진 얼굴 모델을 상기 출력 및 저장부(150)로 제공한다.
상기 출력 및 저장부(150)는 상기 표정 합성부(140)로부터 제공되는 얼굴 모델을 화면에 디스플레이하고, 해당 얼굴 모델에 대한 정보를 저장하기 위한 기능을 제어 및 처리한다.
도 4는 본 발명의 실시 예에 따른 컴퓨터 시스템에서 얼굴 모델 생성하고 얼굴 모델의 애니메이션을 생성하는 절차를 도시하고 있다.
상기 도 4를 참조하면, 상기 컴퓨터 시스템은 401단계에서 사용자의 얼굴 영상과 나이 및 성별을 입력은 후, 403단계로 진행하여 상기 입력되는 얼굴 영상의 표정을 인식한다. 여기서, 상기 컴퓨터 시스템은 종래에 알려진 표정 인식 알고리즘들을 이용하여 상기 얼굴 영상의 표정을 인식할 수 있다.
상기 컴퓨터 시스템은 405단계에서 상기 얼굴 영상의 표정이 무표정인지 여부를 검사한다. 상기 얼굴 영상의 표정이 무표정일 경우, 상기 컴퓨터 시스템은 상기 얼굴 영상에 대한 얼굴 모델이 존재하는지 여부를 검사한다. 즉, 상기 컴퓨터 시스템은 상기 얼굴 영상의 특징과 동일한 특징을 갖는 얼굴 모델이 미리 저장되어 있는지 여부를 검사한다.
상기 얼굴 영상에 대한 얼굴 모델이 존재하지 않을 시, 상기 컴퓨터 시스템은 407단계로 진행하여 상기 사용자에 대한 얼굴 모델을 생성하기 위해, 두상 및 두개골을 결정하고, 이를 정합한 후, 409단계에서 상기 정합한 모델에 대한 근육 및 스프링 노드를 설정하여 얼굴 모델을 생성한다. 즉, 상기 컴퓨터 시스템은 상기 입력되는 사용자 얼굴 영상으로부터 3차원 점 모델을 획득한 후, 표준 두상 모델을 상기 3차원 점 모델에 맞게 조정한다. 이후, 상기 컴퓨터 시스템은 사용자 얼굴 영상에서 얼굴의 이목구비에 대한 위치 관계를 분석하고, 기 저장된 두개골 형상들 중에서 분석된 이목구비의 위치 관계에 대응되는 두개골 형상을 선택한 후, 상기 컴퓨터 시스템은 상기 조정된 표준 두상 모델과 상기 두개골을 정합한다. 이때, 상기 컴퓨터 시스템은 상기 표준 두상 모델과 두개골에 따라 피부 두께 맵을 설정하여 상기 정합한 모델에 대한 피부를 생성하고, 근육과 스프링 노드에 대한 매개변수를 설정함으로써, 상기 얼굴 영상에 대한 얼굴 모델을 생성한다. 여기서, 상기 컴퓨터 시스템은 상기 401단계에서 입력된 나이 및 성별 중 적어도 하나를 고려하여 표준 두상 및 두개골 모델을 선택할 수 있으며, 상기 나이를 이용하여 상기 스프링 노드의 탄력성을 설정할 수 있다.
이후, 상기 컴퓨터 시스템은 413단계에서 상기 생성된 얼굴 모델을 화면에 출력하고, 상기 403단계로 진행하여 본 발명에 따른 알고리즘을 종료한다. 이때, 상기 컴퓨터 시스템은 상기 생성된 얼굴 모델 및 상기 얼굴 모델에 대한 근육 및 스프링 노드의 매개변수 값들을 저장할 수 있다.
한편, 상기 얼굴 영상에 대한 얼굴 모델이 존재할 시, 상기 컴퓨터 시스템은 423단계로 진행하여 상기 인식된 표정에 대한 근육 및 스프링 노드의 매개변수를 획득하여, 상기 무표정에 대해 미리 저장된 근육 및 스프링 노드의 매개변수를 갱신한다. 이후, 상기 컴퓨터 시스템은 상기 403단계로 되돌아가 이하 단계를 재수행한다.
반면, 상기 405단계에서 상기 얼굴 영상의 표정이 무표정이 아닐 경우, 상기 컴퓨터 시스템은 해당 얼굴 모델을 검색하여 근육 및 스프링 노드의 매개변수들을 조절한 후, 417단계로 진행하여 조절된 얼굴 모델의 표정이 입력 영상의 인식된 표정과 동일한지 여부를 검사한다. 상기 컴퓨터 시스템은 상기 얼굴 모델의 표정이 입력 영상의 표정과 동일하지 않을 시, 상기 415단계로 되돌아가 이하 단계를 재수행하고 상기 얼굴 모델의 표정이 입력 영상의 표정과 동일할 시 419단계로 진행하여 상기 얼굴 모델에 대한 근육 및 스프링 노드의 매개변수를 상기 인식된 표정과 매핑하여 저장한다.
이후, 상기 컴퓨터 시스템은 상기 조절된 얼굴 모델을 화면에 출력하고 상기 403단계로 되돌아가 이하 단계를 재수행한다.
상기와 같은 방식으로, 입력 얼굴 영상의 표정에 따라 얼굴 모델의 표정을 변경하고, 변경된 얼굴 모델의 표정을 나타내는 근육 및 스프링 노드의 매개변수 값들을 저장함으로써, 상기 컴퓨터 시스템에서는 상기 저장된 각각의 표정들에 대한 근육 및 스프링 노드의 매개변수를 바탕으로 상기 얼굴 모델의 근육 및 스프링 노드의 매개변수를 조절하여 상기 컴퓨터 시스템에 입력되지 않은 표정들을 갖는 얼굴 모델을 생성할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100: 사용자 인터페이스 110: 표정 인식부
120: 얼굴 모델 설정부 130: 얼굴 모델 조정부
140: 표정 합성부 150: 출력 및 저장부

Claims (20)

  1. 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법에 있어서,
    얼굴 영상을 입력받는 과정과,
    상기 얼굴 영상에 대한 두상 모델과 두개골 모델을 결정하는 과정과,
    상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 과정과,
    입력 영상의 표정에 따라 상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 얼굴 영상에 대한 두상 모델을 결정하는 과정은,
    적어도 두 개의 얼굴 영상으로부터 3차원 점 형태의 모델을 획득하는 과정과,
    기 저장된 표준 두상 모델을 상기 3차원 점 형태의 모델에 따라 조정하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 얼굴 영상에 대한 두개골 모델을 결정하는 과정은,
    얼굴의 이목구비에 대한 위치 관계를 분석하는 과정과,
    기 저장된 두개골 모델들 중에서 상기 분석된 위치 관계에 대응되는 두개골 모델을 결정하는 과정을 포함하는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서,
    상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 과정은,
    상기 두상 모델과 두개골 모델에 대응되는 피부 두께 맵을 설정하는 과정과,
    상기 설정된 피부 두께 맵에 따라 상기 정합한 모델에 피부를 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 과정은,
    정합한 모델에 대한 근육 매개변수를 설정하는 과정과,
    정합한 모델에 대한 메쉬 구조의 스프링 노드를 설정하는 과정을 포함하는 것을 특징으로 하는 방법.
  6. 제 4항에 있어서,
    대상의 나이를 입력받는 과정과,
    상기 나이를 바탕으로 피부의 탄력성을 설정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  7. 제 5항에 있어서,
    대상의 성별을 입력받는 과정과,
    상기 성별을 바탕으로 상기 두상 모델, 두개골 모델 및 메쉬 구조 중 적어도 하나를 결정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  8. 제 5항에 있어서,
    상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 과정은,
    상기 생성된 얼굴 모델에 대한 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 조정하는 과정과,
    매개변수가 조정된 얼굴 모델의 표정을 상기 입력 영상의 표정과 비교하는 과정을 포함하며,
    상기 조정된 얼굴 모델의 표정이 상기 입력 영상의 표정과 동일할 때까지 상기 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 반복하여 조정하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    반복하여 조정된 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 상기 얼굴 모델의 해당 표정에 대한 매개변수로 저장하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  10. 제 9항에 있어서,
    각각의 표정에 대해 저장된 적어도 하나의 매개변수를 이용하여 입력되지 않은 표정에 대응되는 얼굴 모델의 표정을 생성하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  11. 컴퓨터 시스템에서 얼굴 애니메이션 생성 장치에 있어서,
    얼굴 영상을 입력받는 사용자 인터페이스와,
    상기 얼굴 영상에 대한 두상 모델과 두개골 모델을 결정하고, 상기 두상 모델과 두개골 모델을 정합하여 얼굴 모델을 생성하는 얼굴 모델 설정부와,
    입력 영상의 표정에 따라 상기 생성된 얼굴 모델에 대한 적어도 하나의 매개변수를 조정하는 얼굴 모델 조정부를 포함하는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서,
    상기 얼굴 모델 설정부는, 적어도 두 개의 얼굴 영상으로부터 3차원 점 형태의 모델을 획득하고, 기 저장된 표준 두상 모델을 상기 3차원 점 형태의 모델에 따라 조정하는 것을 특징으로 하는 장치.
  13. 제 11항에 있어서,
    상기 얼굴 모델 설정부는, 얼굴의 이목구비에 대한 위치 관계를 분석하고, 기 저장된 두개골 모델들 중에서 상기 분석된 위치 관계에 대응되는 두개골 모델을 결정하는 것을 특징으로 하는 장치.
  14. 제 11항에 있어서,
    상기 얼굴 모델 설정부는, 상기 두상 모델과 두개골 모델에 대응되는 피부 두께 맵을 설정하고, 상기 설정된 피부 두께 맵에 따라 상기 정합한 모델에 피부를 생성하는 것을 특징으로 하는 장치.
  15. 제 11항에 있어서,
    상기 얼굴 모델 설정부는, 정합한 모델에 대한 근육 매개변수를 설정하고, 정합한 모델에 대한 메쉬 구조의 스프링 노드를 설정하는 것을 특징으로 하는 장치.
  16. 제 14항에 있어서,
    상기 사용자 인터페이스는, 대상의 나이를 입력받고,
    상기 얼굴 모델 설정부는, 상기 나이를 바탕으로 피부의 탄력성을 설정하는 것을 특징으로 하는 장치.
  17. 제 5항에 있어서,
    상기 사용자 인터페이스는, 대상의 성별을 입력받고,
    상기 얼굴 모델 설정부는, 상기 성별을 바탕으로 상기 두상 모델, 두개골 모델 및 메쉬 구조 중 적어도 하나를 결정하는 것을 특징으로 하는 장치.
  18. 제 15항에 있어서,
    상기 얼굴 모델 조정부는, 상기 생성된 얼굴 모델에 대한 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 조정하고, 매개변수가 조정된 얼굴 모델의 표정을 상기 입력 영상의 표정과 비교하며,
    상기 조정된 얼굴 모델의 표정이 상기 입력 영상의 표정과 동일할 때까지 상기 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 반복하여 조정하는 것을 특징으로 하는 장치.
  19. 제 18항에 있어서,
    상기 얼굴 모델 설정부는, 상기 얼굴 모델 조정부에서 반복하여 조정된 근육 매개변수와 스프링 노드 매개변수 중 적어도 하나를 상기 얼굴 모델의 해당 표정에 대한 매개변수로 저장하는 것을 특징으로 하는 장치.
  20. 제 19항에 있어서,
    상기 얼굴 모델 설정부에 저장된 각각의 표정에 대한 적어도 하나의 매개변수를 이용하여 입력되지 않은 표정에 대응되는 얼굴 모델의 표정을 생성하는 표정 합성부를 더 포함하는 것을 특징으로 하는 장치.
KR1020100066080A 2010-07-09 2010-07-09 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치 KR20120005587A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100066080A KR20120005587A (ko) 2010-07-09 2010-07-09 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
US13/177,038 US20120007859A1 (en) 2010-07-09 2011-07-06 Method and apparatus for generating face animation in computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100066080A KR20120005587A (ko) 2010-07-09 2010-07-09 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120005587A true KR20120005587A (ko) 2012-01-17

Family

ID=45438264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100066080A KR20120005587A (ko) 2010-07-09 2010-07-09 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US20120007859A1 (ko)
KR (1) KR20120005587A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
US9886622B2 (en) * 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration
CN110634175B (zh) 2013-08-02 2023-05-16 索美智能有限公司 神经行为动画系统
US9477878B2 (en) * 2014-01-28 2016-10-25 Disney Enterprises, Inc. Rigid stabilization of facial expressions
US9792406B2 (en) 2014-02-10 2017-10-17 Neuronetics, Inc. Head modeling for a therapeutic or diagnostic procedure
JP6476608B2 (ja) * 2014-06-30 2019-03-06 カシオ計算機株式会社 動作処理装置、動作処理方法及びプログラム
WO2016011654A1 (en) * 2014-07-25 2016-01-28 Intel Corporation Avatar facial expression animations with head rotation
CN105354527A (zh) * 2014-08-20 2016-02-24 南京普爱射线影像设备有限公司 一种消极表情识别鼓励系统
CN109325988B (zh) 2017-07-31 2022-11-11 腾讯科技(深圳)有限公司 一种面部表情合成方法、装置及电子设备
CN107657651B (zh) 2017-08-28 2019-06-07 腾讯科技(上海)有限公司 表情动画生成方法和装置、存储介质及电子装置
CN108846886B (zh) * 2018-06-19 2023-03-24 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
CN109961507B (zh) * 2019-03-22 2020-12-18 腾讯科技(深圳)有限公司 一种人脸图像生成方法、装置、设备及存储介质
US20220076502A1 (en) * 2020-09-08 2022-03-10 XRSpace CO., LTD. Method for adjusting skin tone of avatar and avatar skin tone adjusting system
US11438551B2 (en) * 2020-09-15 2022-09-06 At&T Intellectual Property I, L.P. Virtual audience using low bitrate avatars and laughter detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657083B2 (en) * 2000-03-08 2010-02-02 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US6664956B1 (en) * 2000-10-12 2003-12-16 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. Method for generating a personalized 3-D face model
US8391639B2 (en) * 2007-07-23 2013-03-05 The Procter & Gamble Company Method and apparatus for realistic simulation of wrinkle aging and de-aging

Also Published As

Publication number Publication date
US20120007859A1 (en) 2012-01-12

Similar Documents

Publication Publication Date Title
KR20120005587A (ko) 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
US11682155B2 (en) Skeletal systems for animating virtual avatars
US11430169B2 (en) Animating virtual avatar facial movements
US11995758B2 (en) Photorealistic real-time portrait animation
US11074748B2 (en) Matching meshes for virtual avatars
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
US20220124140A1 (en) Communication assistance system, communication assistance method, and image control program
US11113859B1 (en) System and method for rendering three dimensional face model based on audio stream and image data
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
KR20130032620A (ko) 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
US11836840B2 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
JP2021144706A (ja) バーチャルアバターの生成方法及び生成装置
TWI736054B (zh) 化身臉部表情產生系統及化身臉部表情產生方法
CN117441192A (zh) 图像生成方法和装置
KR20200080577A (ko) 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법
US20200090394A1 (en) Avatar facial expression generating system and method of avatar facial expression generation for facial model
KR102510051B1 (ko) 시간 및 관절 별 기준 위치를 이용하여 동작 일치를 판단하는 전자 장치의 제어 방법
US20240351666A1 (en) Matching meshes for virtual avatars

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid