KR20060067242A - 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법 - Google Patents

해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법 Download PDF

Info

Publication number
KR20060067242A
KR20060067242A KR1020040105837A KR20040105837A KR20060067242A KR 20060067242 A KR20060067242 A KR 20060067242A KR 1020040105837 A KR1020040105837 A KR 1020040105837A KR 20040105837 A KR20040105837 A KR 20040105837A KR 20060067242 A KR20060067242 A KR 20060067242A
Authority
KR
South Korea
Prior art keywords
muscle
face
facial
skull
skin
Prior art date
Application number
KR1020040105837A
Other languages
English (en)
Inventor
박기주
이인호
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040105837A priority Critical patent/KR20060067242A/ko
Publication of KR20060067242A publication Critical patent/KR20060067242A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 두개골, 근육, 피부 등과 같은 해부 데이터를 이용하여 사실적인 얼굴 메쉬를 생성하고, 상기 생성한 얼굴 메쉬에 포함된 근육의 수축 또는 이완에 따라 파생되는 피하지방층 및 피부의 변화로부터 사실적인 얼굴 표정 애니메이션을 생성하기 위한, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에 있어서, 다수의 얼굴 모델에 해당하는 두개골, 두개골 기하정보, 및 근육 정보를 저장하고 있는 해부 데이터 저장 수단; 얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받음에 따라 상기 입력받은 얼굴 모델과 가장 유사한 두개골을 상기 해부 데이터 저장 수단으로부터 검색하고, 상기 검색한 두개골에 소정개수의 근육을 배치하기 위한 근육 배치 수단; 상기 근육 배치 수단에서 근육이 배치된 두개골에 피하지방층 및 피부를 결합시켜 얼굴 메쉬를 생성하고, 근육의 움직임에 따른 피부의 움직임을 정의하기 위한 피부 생성 수단; 및 외부로부터 입력받은 근육 조절 신 호에 따라 상기 생성한 얼굴 메쉬에서 해당 근육과 그와 연결된 피하지방층 및 피부를 수축 또는 이완시켜 특정 표정을 가진 얼굴 메쉬를 생성하여 저장하기 위한 표정 생성 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 얼굴 애니메이션 등에 이용됨.
3차원 그래픽, 해부 데이터, 얼굴 애니메이션, 얼굴 메쉬, 근육 조절, 표정

Description

해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법{System and its method of generating face animation using anatomy data}
도 1은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템의 일실시예 구성도,
도 2는 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 중 체적유지 근육조절부의 동작 과정에 대한 일실시예 설명도,
도 3은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에서 지원하는 얼굴 근육의 목록표,
도 4는 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에서 두개골 선택 및 근육 배치를 마친 상태의 얼굴 모델에 대한 일실시예 설명도,
도 5는 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 중 피부조직 생성부의 동작 과정에 대한 일실시예 설명도,
도 6은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에서 근육과 메스스프링 노드가 연결되어 있는 상태에 대한 일예시도,
도 7은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 중 얼굴 텍스쳐 맵과 그에 상응하는 피하지방 맵 및 피부두께 맵의 일예시도,
도 8은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 에서 피하지방 맵과 피부두께 맵을 이용하여 피부를 생성하는 과정에 대한 일실시예 설명도,
도 9는 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에서 근육 조절을 위한 사용자 인터페이스의 일실시예 설명도,
도 10은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호 설명
10 : 얼굴 근육 배치부 11 : 얼굴 해부 데이터베이스
12 : 체적유지 근육 조절부 13 : 사용자 인터페이싱부
14 : 피부조직 생성부 15 : 피하지방 맵
16 : 피부두께 맵 17 : 표정 생성부
본 발명은, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 두개골, 근육, 피부 등과 같은 해부 데이터를 이용하여 사실적인 얼굴 메쉬를 생성하고, 상기 생성한 얼굴 메쉬에 포함된 근육의 수축 또는 이완에 따라 파생되는 피하지방층 및 피부의 변화로부터 사실적인 얼굴 표정 애니메이션을 생성하기 위한, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법에 관한 것이다.
최근 들어 애니메이션, 영화, 게임 등에서 컴퓨터 그래픽을 이용하면서 놀라운 시각적 효과와 상상력 풍부한 이야기 전개가 가능하게 되었다. 컴퓨터 그래픽의 궁극적인 목표는 영화에서 인간 캐릭터를 리얼하게 표현하는 것이라고 볼 수 있다. 특히, 인간의 얼굴은 너무나 미묘해서 근육이 살짝 움직이거나 눈이 약간만 움직여도 표정의 의미는 전혀 달라져 버린다. 미래에는 진짜 사람의 피부와 배우들의 얼굴 표정들을 완벽하게 재현할 수 있을 시대가 올 것으로 기대하고 있다
한편, 종래에 얼굴 애니메이션을 생성하는 방법으로 얼굴에 근육을 배치하여 근육의 움직임으로 피부의 움직임을 나타내서 얼굴의 표정을 생성하는 방식이 있다. 이 때, 얼굴 애니메이션에 사용되는 얼굴 입력 메쉬를 구성하는데 필요한 해부학적 정보, 즉 두개골, 근육, 피하지방의 구성이 모두 수동으로 이루어지며, 이를 조절하기 위한 구체적인 방안을 제시하지 못하고 있다.
또한, 최근 발표되는 논문에서 피부 변화를 카메라 등을 통하여 획득한 데이터의 보간을 통하여 얻거나 피부와 근육과의 연결 관계를 정의하기 위한 많은 방법이 제시되고 있지만, 보다 빠른 시간에 단순화된 얼굴 애니메이션을 생성하는 방법에 대한 연구로서, 고품질의 얼굴 애니메이션을 생성하기에는 미흡하다고 할 수 있다.
특히, 극장용 애니메이션, 영화 등에서 컴퓨터 그래픽에 의하여 생성한 캐릭 터는 자연스러운 장면을 연출하는데 필수적인 요소이며 3차원 캐릭터의 어색한 표정은 작품(콘텐츠)의 품질을 크게 떨어뜨리는 원인이 된다. 따라서, 극장용 애니메이션, 영화 등에서 주인공을 비롯하여 표정 연기가 필요한 다수의 디지털 캐릭터가 보다 자연스럽고 정확하게 감정을 표현하도록 얼굴 애니메이션을 생성하고 제어할 수 있는 방안이 절실히 요구된다.
본 발명은, 상기와 같은 요구에 부응하기 위하여 제안된 것으로, 두개골, 근육, 피부 등과 같은 해부 데이터를 이용하여 사실적인 얼굴 메쉬를 생성하고, 상기 생성한 얼굴 메쉬에 포함된 근육의 수축 또는 이완에 따라 파생되는 피하지방층 및 피부의 변화로부터 사실적인 얼굴 표정 애니메이션을 생성하기 위한, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 장치는, 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에 있어서, 다수의 얼굴 모델에 해당하는 두개골, 두개골 기하정보, 및 근육 정보를 저장하고 있는 해부 데이터 저장 수단; 얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받음에 따라 상기 입력받은 얼굴 모델과 가장 유사한 두개골을 상기 해부 데이터 저장 수단으로부터 검색하고, 상기 검색한 두개골에 소정개수의 근육을 배치하기 위한 근육 배치 수단; 상기 근육 배치 수단에서 근육이 배치된 두개골에 피하지방층 및 피부를 결합시켜 얼굴 메쉬를 생성하고, 근육의 움직임에 따른 피부의 움직임을 정의하기 위한 피부 생성 수단; 및 외부로부터 입력받은 근육 조절 신호에 따라 상기 생성한 얼굴 메쉬에서 해당 근육과 그와 연결된 피하지방층 및 피부를 수축 또는 이완시켜 특정 표정을 가진 얼굴 메쉬를 생성하여 저장하기 위한 표정 생성 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명의 방법은, 해부 데이터를 이용한 얼굴 애니메이션 생성 방법에 있어서, 다수의 얼굴 모델에 해당하는 두개골, 두개골 기하정보, 및 근육 정보를 저장하고 있는 저장 단계; 얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받아 상기 저장하고 있는 두개골 가운데 적합한 두개골을 검색하는 두개골 검색 단계; 상기 검색한 두개골에 기설정된 소정개수의 근육을 배치한 후, 상기 근육과 피하지방층 및 피부를 서로 연결하여 얼굴 메쉬를 생성하는 얼굴 메쉬 생성 단계; 외부로부터의 근육 조절 신호에 따라 해당 근육과 그에 연결된 피하지방 및 피부를 수축 또는 이완시키고, 주름 텍스쳐를 생성함으로써 특정 표정을 가진 얼굴 메쉬를 생성하는 표정 생성 단계; 및 상기 생성한 얼굴 메쉬를 저장하는 저장 단계를 포함하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 얼굴 애니메이션 시스템의 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 얼굴 애니메이션 시스템은, 얼굴 근육 배치부(10), 얼굴 해부 데이터베이스(11), 체적유지 근육 조절부(12), 사용자 인터페이싱부(13), 피부조직 생성부(14), 피하지방 맵(15), 피부두께 맵(16), 및 표정 생성부(17)를 포함한다.
본 발명은 얼굴 애니메이션을 생성하기 위하여 디지털 캐릭터 얼굴 메쉬를 이용한다. 일반적으로 3차원 디지털 콘텐츠를 제작하기 위하여 사용되는 얼굴 메쉬는 폴리곤으로 이루어진 폴리곤 메쉬(polygonal mesh), Nurbs(Non-Uniform Rational B-Spline) 표면, 또는 서브디비전 표면(subdivision surface)을 사용한다. 이하의 설명에서는 폴리곤 메쉬를 사용하는 것으로 가정한다.
상기 얼굴 해부 데이터베이스(11)는 다수의 얼굴 모델에 해당하는 해부학적 정보를 저장하고 있는 데이터베이스로서, 남녀의 표준적인 두개골 및 두개골의 3차원 메쉬 정보, 두개골 기하정보, 얼굴 근육 배치정보, 및 얼굴 근육 움직임 정보 등을 저장하고 있다. 즉, 상기 얼굴 해부 데이터베이스(11)의 엔티티(entity)는 각 두개골, 피부, 두개골에 부착된 근육의 기본 위치 및 형태, 근육을 둘러싸고 있는 래티스의 격자수(division), 각 얼굴 근육에 대한 수축과 이완 정보를 가지고 있는 래티스 포인트의 위치 정보 및 그에 따른 래티스 포인트의 궤적(움직임 정보)이 저장되어 있으며, 각각의 근육은 체적유지 근육 조절부(12)의 제어에 의하여 변형된다. 특히, 래티스 움직임 정보는 체적유지 근육 조절부(12)에서 사용될 수도 있고, 또는 체적유지 근육 조절부(12)에서 새롭게 시뮬레이션되어 저장될 수도 있다.
상기 얼굴 근육 배치부(10)는 외부로부터 폴리곤 메쉬 형태의 얼굴 모델을 입력받으면, 상기 얼굴 해부 데이터베이스(11)로부터 상기 입력받은 얼굴 메쉬(mesh)에 가장 유사한 기본 형태가 될 수 있는 두개골을 먼저 검색한다. 이 때, 상기 얼굴 해부 데이터베이스(11)에는 두개골 뿐만 아니라 두개골의 3차원 메쉬 정보를 가지고 있으므로, 각각의 두개골에서 미리 기설정된 특징점에서 메쉬까지의 거리와 거리 범위 내의 입력 메쉬와의 곡률비교를 통하여 가장 유사한 형태의 기본 얼굴 두개골을 검색한다.
이 때, 상기 얼굴 근육 배치부(10)가 외부로부터 입력받은 얼굴 메쉬와 가장 유사한 형태의 기본 얼굴 두개골을 검색하는 방법은 얼굴 객체(눈, 코, 입, 귀 등)의 위치를 나타내는 특징점과 눈동자로 추측가능한 안구의 크기, 그리고 그에 따른 두개골 눈 부위의 크기, 얼굴 메쉬에서 나타나는 두개골 크기 및 좌우 대칭 관계, 광대뼈와 턱모양 등의 관계, 얼굴 메쉬에서 얼굴 객체(눈, 코, 입, 귀 등) 주변의 대표적인 폴리곤 꼭지점 좌표값의 위치 평균과 그 곡률을 이용하여 가장 유사한 형 태의 두개골을 검색한다. 사용자는 검색한 두개골의 크기, 형태에 수정을 가하여 보다 정밀한 변경이 가능하며, 두개골에 붙어있는 근육의 분포 또한 변경할 수 있다.
또한, 상기 얼굴 근육 배치부(10)는 기작성되어 있는 얼굴 근육 템플릿을 이용하여 소정 개수(예를 들어, 33개)의 기본적인 얼굴 근육의 위치를 상기 검색한 두개골에 배치한다. 두개골의 크기, 형태가 수정된 경우에는 위치 오차 범위에 비례하여 배치한다. 이 때, 기본적인 얼굴 근육은 사용자가 능동적으로 수축과 이완을 조절할 수 있는 자율적인 근육과 상기 자율적인 근육의 움직임에 따라 부수적으로 움직이는 타율적인 근육으로 나뉜다. 각각은 근육은 기설정된 래티스 디포머(격자 변형)에 따라 각각의 래티스 포인트의 위치 정보가 기록되어 있다.
이와 같이 상기 얼굴 근육 배치부(10)가 작업한 결과, 도 4에 도시된 바와 같이 두개골에 얼굴 근육이 배치된 형태가 생성된다. 이 때, 각각의 얼굴 근육은 아직 형태만 있고 움직임에는 아무런 설정이 되어 있지 않은 상태이다. 이러한 근육이 수축 또는 이완할 때 형태를 설정하는 것이 상기 체적유지 근육 조절부(12)이다.
상기 체적유지 근육 조절부(12)는 사용자 인터페이싱부(13)를 통하여 사용자로부터 입력받은 래티스 조절 신호에 따라 상기 얼굴 근육 배치부(10)에서 생성한 얼굴 근육을 변형시킨다. 이 때, 도 3에 도시된 바와 같은 사용자 인터페이스를 이용하여 근육의 수축과 이완을 사용자가 설정할 수 있도록 한다.
즉, 래티스 모양이 변형되지 않으면 현재 근육에 수축이나 이완이 일어나지 않은 것이고, 래티스 모양이 변형되면 현재 근육에 수축이나 이완이 일어난 것이다. 근육의 수축이나 이완은 기하정보의 디포메이션(변형, deformation)을 의미하며, 디포메이션을 수행하는 방법으로는 폴리곤 형태의 근육의 부피를 계산하고, 래티스 변형에 따른 근육의 부피를 계산한 후 그 차이를 최소화하는 알고리즘에 따라 새로운 래티스 포인트로 반복 연산에 의하여 구하는 방식, 또는 기정의된 근육의 수축과 이완에 따른 예제 래티스 포인트 위치를 이용하는 방식이 있다.
이처럼 상기 체적유지 근육 조절부(12)에서 변형된 근육은 이후에 기술되는 피하지방층의 움직임과 연동되어 최종적으로 특정 표정을 가지는 얼굴 메쉬를 생성하게 된다.
상기에서 설명한 얼굴 근육 배치 과정이 완료되면, 배치된 근육에 따라 피부조직 생성부(14)가 근육과 피부의 중간층인 피하지방층을 생성하고, 두개골과 근육, 근육과 피하지방, 피하지방과 피부를 서로 연결하여 최종적인 얼굴 메쉬를 생성한다. 이 때, 피하지방층은 근육에서 발생하는 움직임을 전달하는데 영향을 미치며, 피하지방층의 두께 조절은 피하지방 맵(15)을 이용하여 이루어진다. 그리고, 피부의 두께에 따라 연결되는 피부조직의 움직임과 근육 움직임에 따른 피부의 주름 발생에 영향을 미치는데, 이 때 피부 두께의 조절은 피부두께 맵(16)을 이용하여 이루어진다.
상기 피부조직 생성부(14)는 외부로부터 입력받은 얼굴 메쉬에 두개골과 근육이 배치된 상태에서 피하지방 구조 및 피부를 연결하여 피부를 생성하고, 근육에 따른 피부의 움직임을 정의한다. 이를 위하여 피하지방 맵(15)과 피부두께 맵(16) 을 사용한다. 즉, 상기 피부조직 생성부(14)는 도 5에 도시된 바와 같이 변형된 근육과 연관된 피하지방층의 스프링 노드 집합을 변형한 후 이를 조합하여 특정 표정으로 변형된 얼굴 메쉬를 출력한다.
상기 피하지방 맵(15) 및 상기 피부두께 맵(16)은 도 7에 도시된 바와 같이, 얼굴 텍스쳐 맵에 상응하도록 매핑된 피하지방층 및 피부두께에 대한 그레이스케일 정보를 담고 있는 2차원 이미지이며, 이는 얼굴 메쉬에 부착하는 얼굴 텍스쳐 맵과 동일한 해상도를 가진다. 텍스쳐 맵의 각각의 픽셀은 그 픽셀의 칼라값이 3차원 얼굴 메쉬의 어느 좌표에 부착되는지에 대한 U, V 좌표를 가지고 있으며, 피하지방 맵(15)과 피부두께 맵(16) 또한 U, V 좌표를 사용한다.
상기 피하지방 맵(15)과 상기 피부두께 맵(16)은 각각의 폴리곤 메쉬의 버텍스 값에 대하여 0부터 1 사이의 값을 할당하는 맵으로서, 피하지방 맵(15)에서 1의 값은 지방층이 가장 두꺼운 피부상태를 나타내고, 0의 값은 지방층이 가장 얇은 피부상태를 나타낸다. 그리고, 상기 피부두께 맵(16)의 경우에도 1의 값은 피부두께가 가장 두꺼운 피부상태를 나타내고, 0의 값은 피부두께가 가장 얇은 피부상태를 나타낸다.
상기 피하지방 맵(15)은 이후 메스 스프링 모델로 구현되는 피하지방층의 스프링 노드 구성과 스프링 계수의 변화에 영향을 미치게 되며, 상기 피부두께 맵(16)은 피부층을 구성하는 스프링 노드 간의 강성도(stiffness, 강직 정도)를 조절한다. 그에 따라 스프링 노드의 수축에 따라 텍스쳐 매핑으로 미리 정의된 주름의 모양을 생성하여 얼굴에 주름이 생기게 하는데 사용된다. 얼굴 메쉬에 근육과 메스 스프링 노드가 연결되어 있는 예가 도 6에 도시되어 있으며, 상기 피하지방 맵(15)과 상기 피부두께 맵(16)을 이용하여 피부를 생성하는 예가 도 8에 도시되어 있다.
즉, 도 8에 도시된 그림을 3차원으로 예시한 도면이 도 6이다. 먼저, 도 8은 근육과 피부의 연결 관계를 정의한 도면이다. 근육과 피부는 매스스프링 구조로 연결되어 있는데 이것이 몇 층으로 서로 연결되는지는 피하지방 맵(15)에 의하여 결정되고, 스프링의 강성도는 피부두께 맵(16)에 의하여 결정된다. 그리고, 근육과 얼굴 피부 사이의 지방층이 두께에 따라 매스스프링 노드가 몇 층으로 이루어지는지가 결정된다.
도 8에 도시된 바와 같이, 피부가 두꺼운 경우에는 강성도가 강하며, 피부가 서로 단단한 스프링에 연결되어 근육의 변화에 대한 피부 조직의 수축이나 이완이 약함을 의미한다. 반대로 피부가 얇은 경우에는 강성도가 약하여 피부 밑의 근육의 움직임에 더 쉽게 반응함을 의미한다.
또한, 도 8에서 '지방층이 옅은 경우의 매스 스프링'의 의미는 근육과 피부를 연결하는 메스스프링이 보다 적은 단계로 연결되어 있어서 출렁거림이나 흔들림이 적게 반응을 하는 것을 의미하며 지방층이 많은 경우는 더 많은 레이어의 매스 스프링으로 연결되어 하부 구조의 움직임에 보다 더 민감하게 반응하게 된다.
또한, 근육에 의해 피부의 움직임이 거의 없는 부위는 골격과 피부가 근육의 개입없이 연결되며 근육에 의해 움직이는 피부의 경우는 골격위에 근육, 그리고 그 근육위에 피부가 메스스프링에 의해 연결된다. 도 6에서 화살표는 각 근육에 연결되어 있으며 십자표시는 피부와 근육과 연결되는 메스 스프링과 피부와 피부를 연 결하는 메스스프링의 노드를 의미한다.
이와 같이 얼굴 메쉬에 근육과 피부가 결합되면 이를 이용하여 얼굴 애니메이션에 필요한 표정들을 생성할 수 있는데, 이러한 표정 생성은 사용자 인터페이싱부(13)를 통하여 입력받은 근육 조절 신호를 통하여 이루어진다. 이 때, 사용자 인터페이싱부(13)는 도 9에 도시된 바와 같은 근육 조절 인터페이스를 사용자측으로 제공하며, 사용자는 근육의 수축과 이완을 제어할 수 있는 슬라이더바를 이용하여 근육의 수축과 이완을 제어한다. 이 때, 울음 또는 웃음 등과 같은 특정 표정에 대한 제어를 추가할 수도 있고, 복합적인 얼굴 근육을 용이하게 움직일 수 있도록 한번의 동작으로 관련된 다수의 근육이 움직이도록 하는 제어도 제공한다.
즉, 상기 표정 생성부(17)는 상기 사용자 인터페이싱부(13)를 통하여 입력받은 근육 조절 신호에 따라 해당 근육과 그에 연결된 피하지방 및 피부를 수축 또는 이완시키고, 그에 따라 주름 텍스쳐를 생성하여 특정 표정을 가진 얼굴 메쉬를 생성한 후 저장한다. 이 때, 여러가지 근육의 움직임 조합으로 웃거나 우는 정도를 조절할 수 있다. 또한, 상기 표정 생성부(17)는 상기 생성한 얼굴 메쉬를 상용 3차원 그래픽 저작도구("Maya", "Softimage")에서 사용할 수 있는 포맷으로 변환하는 기능을 더 수행할 수도 있다.
도 10을 참조하여 본 발명의 전체적인 동작 과정을 다시 한번 살펴보기로 한다.
도 10은 본 발명에 따른 해부 데이터를 이용한 얼굴 애니메이션 생성 방법에 대한 일실시예 흐름도이다.
먼저, 얼굴 애니메이션을 생성하기 위하여 필요한 해부 데이터, 즉 남녀의 표준적인 두개골 및 두개골의 3차원 메쉬 정보, 두개골 기하정보, 얼굴 근육 배치정보, 및 얼굴 근육 움직임 정보를 저장하고 있어야 한다.
그리고, 얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받으면 상기 저장하고 있는 두개골 가운데 적합한 두개골을 검색한다(100). 이 때, 두개골에서 미리 기설정된 특징점에서 메쉬까지의 거리와 거리 범위 내의 입력 메쉬와의 곡률비교를 통하여 가장 유사한 형태의 기본 얼굴 두개골을 검색한다.
그리고, 상기 검색한 두개골에 기설정된 소정개수의 근육을 배치한 후(200), 상기 근육과 피하지방층 및 피부를 서로 연결하여 얼굴 메쉬를 생성한다(300).
이후, 외부로부터의 근육 조절 신호에 따라 해당 근육과 그에 연결된 피하지방 및 피부를 수축 또는 이완시키고, 주름 텍스쳐를 생성함으로써 특정 표정을 가진 얼굴 메쉬를 생성한다(400).
그리고, 상기 생성한 특정 표정을 가진 얼굴 메쉬를 저장한다(500). 이 때, 상기 생성한 얼굴 메쉬를 상용 3차원 그래픽 저작도구("Maya", "Softimage")에서 사용할 수 있는 포맷으로 변환하는 과정을 더 수행할 수도 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같이 본 발명은, 두개골, 근육, 피부 등과 같은 해부 데이터를 이용하여 사실적인 얼굴 메쉬를 생성하고, 상기 생성한 얼굴 메쉬에 포함된 근육의 수축 또는 이완에 따라 파생되는 피하지방층 및 피부의 변화로부터 얼굴 표정 애니메이션을 생성함으로써, 종래의 피부 변화만을 고려한 보간 방식보다 훨씬 사실적이고 고품질의 얼굴 애니메이션을 생성할 수 있는 효과가 있다.

Claims (18)

  1. 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템에 있어서,
    다수의 얼굴 모델에 해당하는 두개골, 두개골 기하정보, 및 근육 정보를 저장하고 있는 해부 데이터 저장 수단;
    얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받음에 따라 상기 입력받은 얼굴 모델과 가장 유사한 두개골을 상기 해부 데이터 저장 수단으로부터 검색하고, 상기 검색한 두개골에 소정개수의 근육을 배치하기 위한 근육 배치 수단;
    상기 근육 배치 수단에서 근육이 배치된 두개골에 피하지방층 및 피부를 결합시켜 얼굴 메쉬를 생성하고, 근육의 움직임에 따른 피부의 움직임을 정의하기 위한 피부 생성 수단; 및
    외부로부터 입력받은 근육 조절 신호에 따라 상기 생성한 얼굴 메쉬에서 해당 근육과 그와 연결된 피하지방층 및 피부를 수축 또는 이완시켜 특정 표정을 가진 얼굴 메쉬를 생성하여 저장하기 위한 표정 생성 수단
    을 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  2. 제 1 항에 있어서,
    외부로부터 입력받은 래티스 조절 신호에 따라 상기 근육 배치 수단에서 배 치한 얼굴 근육을 변형시켜 상기 해부 데이터 저장 수단에 저장시키기 위한 근육 제어 수단
    을 더 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  3. 제 2 항에 있어서,
    상기 근육 제어 수단은,
    외부로부터 입력받은 래티스 조절 신호에 따라 폴리곤 형태의 근육의 부피를 계산하고, 래티스 변형에 따른 근육의 부피를 계산한 후 그 차이를 최소화하는 알고리즘에 따라 새로운 래티스 포인트로 반복 연산에 의하여 근육의 기하정보를 변형(deformation)시키는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  4. 제 2 항에 있어서,
    상기 근육 제어 수단은,
    외부로부터 입력받은 래티스 조절 신호에 따라 상기 해부 데이터 저장 수단에 기저장되어 있는 근육의 수축과 이완에 따른 래티스 포인트 위치를 이용하여 근육의 기하정보를 변형(deformation)시키는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 해부 데이터 저장 수단에 저장되어 있는 두개골 정보는,
    두개골의 3차원 메쉬 정보 및 두개골 기하정보를 포함하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 해부 데이터 저장 수단에 저장되어 있는 근육 정보는,
    두개골에 부착된 근육의 기본 위치 및 형태, 근육을 둘러싸고 있는 래티스의 격자수(division), 각 얼굴 근육에 대한 수축과 이완 정보에 따른 래티스 포인트의 위치 정보 및 그에 따른 래티스 포인트의 궤적(움직임 정보)을 포함하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 근육 배치 수단이 두개골을 검색하는 과정은,
    얼굴 객체(눈, 코, 입, 귀 등)의 위치를 나타내는 특징점과 눈동자로 추측가능한 안구의 크기, 그리고 그에 따른 두개골 눈 부위의 크기, 얼굴 메쉬에서 나타 나는 두개골 크기 및 좌우 대칭 관계, 광대뼈와 턱모양 등의 관계, 얼굴 메쉬에서 얼굴 객체 주변의 대표적인 폴리곤 꼭지점 좌표값의 위치 평균과 그 곡률을 이용하여 가장 유사한 형태의 두개골을 상기 해부 데이터 저장 수단으로부터 검색하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 근육 배치 수단이 근육을 배치하는 과정은,
    기작성되어 있는 얼굴 근육 템플릿을 이용하여 소정 개수의 얼굴 근육을 상기 검색한 두개골의 해당 위치에 배치하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  9. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 근육 배치 수단은,
    외부로부터의 요청에 따라 두개골의 크기 및 형태, 두개골에 붙어있는 근육의 분포를 변경하는 기능을 더 수행하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  10. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 피부 생성 수단은,
    3차원 얼굴 모델로 복원할 수 있도록 생성된 2차원 얼굴 텍스쳐;
    상기 얼굴 텍스쳐에 상응하도록 좌표가 매핑된 피하지방층에 대한 그레이스케일 정보를 포함하고 있는 피하지방 맵;
    상기 얼굴 텍스쳐에 상응하도록 좌표가 매핑된 피부두께에 대한 그레이스케일 정보를 포함하고 있는 피부두께 맵; 및
    상기 얼굴 텍스쳐, 상기 피하지방 맵 및 피부두께 맵을 이용하여 상기 근육 배치 수단에서 근육이 배치된 두개골에 피하지방층 및 피부를 결합시켜 얼굴 메쉬를 생성하고, 근육의 움직임에 따른 피부의 움직임을 정의하기 위한 피부 제어 수단
    을 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  11. 제 10 항에 있어서,
    상기 피하지방 맵은,
    상기 얼굴 텍스쳐에 상응하도록 좌표가 매핑된 피하지방층에 대한 그레이스케일 정보를 포함하되, 폴리곤 메쉬의 버텍스 값에 대하여 0부터 1 사이의 값을 피하지방층의 두께에 따라 할당하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  12. 제 10 항에 있어서,
    상기 피부두께 맵은,
    상기 얼굴 텍스쳐에 상응하도록 좌표가 매핑된 피부두께에 대한 그레이스케일 정보를 포함하되, 폴리곤 메쉬의 버텍스 값에 대하여 0부터 1 사이의 값을 피부 두께에 따라 할당하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  13. 제 10 항에 있어서,
    상기 피부 제어 수단은,
    상기 얼굴 텍스쳐, 상기 피하지방 맵 및 피부두께 맵을 이용하여 상기 근육 배치 수단에서 근육이 배치된 두개골에 피하지방층 및 피부를 메스스프링 모델에 따라 결합시켜 얼굴 메쉬를 생성하고, 근육의 움직임에 따른 피부의 움직임을 정의하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  14. 제 13 항에 있어서,
    상기 피부 제어 수단이 메스스프링 모델에 따라 결합시키는 과정은,
    상기 피하지방 맵에 따라 피하지방층의 스프링 노드 구성과 스프링 계수를 결정하고, 상기 피부두께 맵에 따라 스프링 노드 간의 강성도(stiffness)를 조절하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  15. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 표정 생성 수단은,
    상기 생성한 특정 표정을 가진 얼굴 메쉬를 3차원 그래픽 저작도구에서 사용가능한 포맷으로 변환하여 저장하는 기능을 더 수행하는 것을 특징으로 하는 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템.
  16. 해부 데이터를 이용한 얼굴 애니메이션 생성 방법에 있어서,
    다수의 얼굴 모델에 해당하는 두개골, 두개골 기하정보, 및 근육 정보를 저장하고 있는 저장 단계;
    얼굴 애니메이션을 생성하기 위하여 외부로부터 얼굴 모델을 입력받아 상기 저장하고 있는 두개골 가운데 적합한 두개골을 검색하는 두개골 검색 단계;
    상기 검색한 두개골에 기설정된 소정개수의 근육을 배치한 후, 상기 근육과 피하지방층 및 피부를 서로 연결하여 얼굴 메쉬를 생성하는 얼굴 메쉬 생성 단계;
    외부로부터의 근육 조절 신호에 따라 해당 근육과 그에 연결된 피하지방 및 피부를 수축 또는 이완시키고, 주름 텍스쳐를 생성하여 특정 표정을 가진 얼굴 메 쉬를 생성하는 표정 생성 단계; 및
    상기 생성한 얼굴 메쉬를 저장하는 저장 단계
    를 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 방법.
  17. 제 16 항에 있어서,
    외부로부터 입력받은 래티스 조절 신호에 따라 상기 두개골에 배치한 얼굴 근육을 변형시켜 저장하는 단계
    를 더 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 방법.
  18. 제 16 항 또는 제 17 항에 있어서,
    상기 생성한 특정 표정을 가진 얼굴 메쉬를 3차원 그래픽 저작도구에서 사용가능한 포맷으로 변환하여 저장하는 단계
    를 더 포함하는 해부 데이터를 이용한 얼굴 애니메이션 생성 방법.
KR1020040105837A 2004-12-14 2004-12-14 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법 KR20060067242A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040105837A KR20060067242A (ko) 2004-12-14 2004-12-14 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040105837A KR20060067242A (ko) 2004-12-14 2004-12-14 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법

Publications (1)

Publication Number Publication Date
KR20060067242A true KR20060067242A (ko) 2006-06-19

Family

ID=37161834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040105837A KR20060067242A (ko) 2004-12-14 2004-12-14 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법

Country Status (1)

Country Link
KR (1) KR20060067242A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030869A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
KR101290172B1 (ko) * 2011-10-26 2013-07-30 한양대학교 에리카산학협력단 근육 활성화도 측정 장치
KR20180103658A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102584530B1 (ko) * 2023-03-06 2023-10-04 주식회사 메타버즈 인체조직 레이어 구축 방식을 활용한 디지털 휴먼 생성방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110030869A (ko) * 2009-09-18 2011-03-24 삼성전자주식회사 사용자의 3차원 얼굴 표정 추출 방법 및 장치
US9483860B2 (en) 2009-09-18 2016-11-01 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
KR101290172B1 (ko) * 2011-10-26 2013-07-30 한양대학교 에리카산학협력단 근육 활성화도 측정 장치
KR20180103658A (ko) * 2017-03-10 2018-09-19 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102584530B1 (ko) * 2023-03-06 2023-10-04 주식회사 메타버즈 인체조직 레이어 구축 방식을 활용한 디지털 휴먼 생성방법

Similar Documents

Publication Publication Date Title
JP5829371B2 (ja) モーションキャプチャデータを使用する顔面アニメーション
Noh et al. A survey of facial modeling and animation techniques
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
US20030184544A1 (en) Modeling human beings by symbol manipulation
CN112437950A (zh) 用于对虚拟头像制作动画的骨架系统
KR101794731B1 (ko) 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
JP2009534774A (ja) 演技から作り出される顔アニメーション
WO2005024728A1 (ja) 形態変形装置、物体動作符号化装置および物体動作復号化装置
CN103854306A (zh) 一种高真实感的动态表情建模方法
US11055892B1 (en) Systems and methods for generating a skull surface for computer animation
JP5109192B2 (ja) モーションキャプチャにおけるｆａｃｓ（顔の表情符号化システム）解決法
EP3980975B1 (en) Method of inferring microdetail on skin animation
KR20060067242A (ko) 해부 데이터를 이용한 얼굴 애니메이션 생성 시스템 및 그방법
CN115023742A (zh) 具有详细褶皱的面部网格变形
Sumner Mesh modification using deformation gradients
JP7145359B1 (ja) 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
KR100366210B1 (ko) 인간의 얼굴 모델을 생성하는 모델러 제작방법 및 기록매체
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
US20240169635A1 (en) Systems and Methods for Anatomically-Driven 3D Facial Animation
WO2023022607A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
Zhang et al. From range data to animated anatomy-based faces: a model adaptation method
JP2023044195A (ja) ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
Lin Three dimensional modeling and animation of facial expressions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application