KR102376030B1 - 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치 - Google Patents

쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치 Download PDF

Info

Publication number
KR102376030B1
KR102376030B1 KR1020200053475A KR20200053475A KR102376030B1 KR 102376030 B1 KR102376030 B1 KR 102376030B1 KR 1020200053475 A KR1020200053475 A KR 1020200053475A KR 20200053475 A KR20200053475 A KR 20200053475A KR 102376030 B1 KR102376030 B1 KR 102376030B1
Authority
KR
South Korea
Prior art keywords
muscle
skin
deformation
facial
face model
Prior art date
Application number
KR1020200053475A
Other languages
English (en)
Other versions
KR102376030B9 (ko
KR20210135134A (ko
Inventor
김영준
김정민
최민규
Original Assignee
이화여자대학교 산학협력단
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단, 광운대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020200053475A priority Critical patent/KR102376030B1/ko
Publication of KR20210135134A publication Critical patent/KR20210135134A/ko
Application granted granted Critical
Publication of KR102376030B1 publication Critical patent/KR102376030B1/ko
Publication of KR102376030B9 publication Critical patent/KR102376030B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치가 개시된다. 얼굴 애니메이션 생성 방법은 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 단계; 상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하는 단계; 및 상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 단계를 포함할 수 있다.

Description

쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치{MUSCLE-BASED FACIAL ANIMATION METHOD AND APPARATUS USING SHELL ELEMENTS AND FORCE DECOMPOSITION}
본 발명은 얼굴 애니메이션 생성 방법 및 장치에 관한 것으로, 보다 구체적으로는 쉘 요소와 힘 분리를 사용하며 근육의 움직임에 따른 얼굴 애니메이션 생성 방법 및 장치에 관한 것이다.
가상 아바타에 대한 관심이 높아짐에 따라 인간의 얼굴 애니메이션은 컴퓨터 그래픽에서 의료 연구 영역에 이르기까지 매력적인 연구 주제이다. 얼굴 표정을 만들 때 고려해야 할 중요한 사항 중 하나는 얼굴 표정이 얼굴 아래의 생리적 상호 작용의 복잡한 조합을 기반으로 한다는 것이다.
종래의 물리 기반 애니메이션 생성 방법은 뉴턴 역학을 만족시키고 단순화 된 얼굴의 해부학 적 구조와 얼굴의 탄성체 사이의 물리적 인 상호 작용을 제공하였다[Barbarino et al. 2009], [Wu et al. 2014]. 그러나, 종래의 물리 기반 애니메이션 생성 방법은 시뮬레이션 성능이 느리다는 문제점이 있었다.
또한, 종래의 물리 기반 애니메이션 생성 방법은 안면 근육 및 인대와 같은 씬 탄성체를 고려하지 않음에 따른 오류도 있었다.
따라서, 얼굴의 씬 해부학적 구조를 고려하여 빠르고 정확하게 얼굴 애니메이션을 생성하는 방법이 요청되고 있다.
본 발명은 본 발명은 쉘 요소 분석을 사용하여 얼굴의 씬 해부학적 구조를 구성함으로써, 얼굴 모델의 근육 모델링을 독립적으로 수행하는 방법 및 장치를 제공한다.
또한, 본 발명은 모달 워핑으로 피부 표면과 근육 물체의 비선형 변형에 대한 실시간 통합을 달성하는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법은 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 단계; 상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하는 단계; 및 상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법은 상기 피부 변형이 검증되지 않은 경우, 상기 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의 피부 변형을 검증하는 단계는, 상기 근육 기반 얼굴 모델의 피부에서 상기 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의기 피부 변형을 검증하는 단계는, 상기 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증하며, 상기 노화를 고려한 피부는, 상기 근육 기반 얼굴 모델에 대하여 중력 하중 및 피부 표면의 쉘 구성을 시뮬레이션하여 결정될 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의 피부 변형을 검증하는 단계는, 상기 근육의 변형으로 인하여 상기 근육 기반 얼굴 모델의 피부가 가해지는 힘을 분리하고, 분리된 힘 각각에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의 근육 기반 얼굴 모델은, 얼굴의 근육과 피부를 쉘 요소로 분석하여 얼굴에 포함된 근육을 명시적으로 모델링하고, 모달 워핑을 이용하여 비선형 안면 변형을 위한 실시간 시뮬레이션을 수행하여 생성될 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의 근육 기반 얼굴 모델은, 피부 변형 유형에 따라 지배 방정식을 분리하도록 생성될 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법의 근육 기반 얼굴 모델은, 얼굴에서 피부의 생체 역학적 행동에 무시할 정도로 적은 영향을 미치는 근육은 제외하고, 큰광대근(zygomaticus major muscles), 눈썹 주름근(Corrugator supercilii muscle), 아래입술내림근(Depressor labii inferioris muscle), 및 입꼬리 내림근(Depressor anguli oris muscle)을 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치는 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 근육 변형부; 및 상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하며, 상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 피부 변형 검증부를 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치는 상기 피부 변형이 검증되지 않은 경우, 상기 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정하는 근육 보정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치의 피부 변형 검증부는, 상기 근육 기반 얼굴 모델의 피부에서 상기 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치의 피부 변형 검증부는, 상기 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증하며, 상기 노화를 고려한 피부는, 상기 근육 기반 얼굴 모델에 대하여 중력 하중 및 피부 표면의 쉘 구성을 시뮬레이션하여 결정될 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치의 피부 변형 검증부는, 상기 근육의 변형으로 인하여 상기 근육 기반 얼굴 모델의 피부가 가해지는 힘을 분리하고, 분리된 힘 각각에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다.
본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치의 근육 기반 얼굴 모델은, 얼굴에서 피부의 생체 역학적 행동에 무시할 정도로 적은 영향을 미치는 근육은 제외하고, 큰광대근(zygomaticus major muscles), 눈썹 주름근(Corrugator supercilii muscle), 아래입술내림근(Depressor labii inferioris muscle), 및 입꼬리 내림근(Depressor anguli oris muscle)을 포함할 수 있다.
본 발명의 일실시예에 의하면, 쉘 요소 분석을 사용하여 얼굴의 씬 해부학적 구조를 구성함으로써, 얼굴 모델의 근육 모델링을 독립적으로 수행 할 수 있다.
또한, 본 발명의 일실시예에 의하면, 본 발명은 모달 워핑으로 피부 표면과 근육 물체의 비선형 변형에 대한 실시간 통합을 달성함으로써, 지배 방정식의 자유도 (DOF)가 상당히 감소하여 계산 시간을 절약 할 수 있다.
그리고, 본 발명의 일실시예에 의하면, 피부 변형 유형에 따라 지배 방정식을 분리함으로써, 분리 된 시스템과 결합 된 애니메이션의 근사치. 여러 근육이 단일 피부 표면에 영향을 주도록 할 수 있다.
도 1은 본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델의 동작 일례이다.
도 3은 본 발명의 일실시예에 따른 얼굴 모델의 단순화된 구조 및 얼굴의 해부학적 구조의 일례이다.
도 4는 본 발명의 일실시예에 따른 근육의 디자인의 일례이다.
도 5는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 질량-스프링 힘 전파 과정의 일례이다.
도 6은 본 발명의 일실시예에 따른 힘 분리 및 변위 통합의 일례이다.
도 7은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델의 근육 변형 일례이다.
도 8은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 일례이다.
도 9는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 다른 일례이다.
도 10은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 또 다른 일례이다.
도 11은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 눈썹 주름근의 변형에 따른 피부 변형의 일례이다.
도 12는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 정적 구속 조건과 중력 하중에 따른 피부 변형의 일례이다.
도 13은 본 발명의 일실시예에 따라 생성한 프레임별 얼굴 애니메이션의 일례이다.
도 14는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 외력과 근육 수축 효과의 일례이다.
도 15는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 시간의 경과에 따른 근육 변형 및 피부 변형의 일례이다.
도 16은 본 발명의 일실시예에 따라 피부 변형이 적용된 얼굴 애니메이션의 일례이다.
도 17은 본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법을 도시한 플로우차트이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 얼굴 애니메이션 생성 장치를 도시한 도면이다.
얼굴 애니메이션 생성 장치(100)는 도 1에 도시된 바와 같이 얼굴 모델 획득부(110), 근육 변형부(120), 피부 변형 검증부(130), 및 근육 보정부(140)를 포함할 수 있다. 이때, 얼굴 모델 획득부(110), 근육 변형부(120), 피부 변형 검증부(130), 및 근육 보정부(140)는 서로 다른 프로세서, 또는 하나의 프로세서에서 수행되는 프로그램에 포함된 각각의 모듈일 수 있다.
얼굴 모델 획득부(110)는 근육 기반의 얼굴 모델을 생성하거나, 외부로부터 근육 기반의 얼굴 모델을 수신하여 획득할 수 있다.
근육 변형부(120)는 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형할 수 있다.
피부 변형 검증부(130)는 근육의 변형에 따른 근육 기반 얼굴 모델의 피부 변형을 검증할 수 있다. 그리고, 피부 변형이 검증된 경우, 피부 변형 검증부(130)는 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성할 수 있다.
이때, 피부 변형 검증부(130)는 근육 기반 얼굴 모델의 피부에서 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다. 그리고, 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일하지 않은 경우, 피부 변형 검증부(130)는 피부 변형을 검증하지 않을 수 있다.
또한, 피부 변형 검증부(130)는 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증할 수 있다. 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일하지 않은 경우, 피부 변형 검증부(130)는 피부 변형을 검증하지 않을 수 있다. 이때, 노화를 고려한 피부는 근육 기반 얼굴 모델에 대하여 중력 하중 및 피부 표면의 쉘 구성을 시뮬레이션하여 결정될 수 있다.
이때, 쉘 구성을 시뮬레이션하기 위한 쉘 시뮬레이션은 씬 쉘 다이나믹(Thin Shell Dynamics) 및 모달 워핑(Modal Warping)에 기초하여 수행될 수 있다.
씬 쉘 다이나믹(Thin Shell Dynamics)에서 에너지 함수는 신축 및 전단을 위한 막 에너지(membrane energy)와 굽힘을 위한 굴곡 에너지(flexural energy)로 구성될 수 있다. 또한, 에너지 함수는 삼각형 요소의 변형 상태와 변형되지 않은 상태 사이의 차이를 균일 한 변형이 발생한다고 가정하여 정의될 수 있다. 이때, 막 에너지는 쉘이 본질적인 변형에 저항하도록 만들 수 있다.
예를 들어, 신장 에너지(stretch energy) EA는 수학식 1과 같이 정의되고, 전단 에너지(shear energy) EL는 수학식 2와 같이 정의될 수 있다.
Figure 112020045388217-pat00001
Figure 112020045388217-pat00002
이때, A는 삼각형 요소(triangle element)의 변형된 영역이고,
Figure 112020045388217-pat00003
는 삼각형 요소의 변형되지 않은 영역일 수 있다. 또한, e는 엣지(edge)의 변형된 길이이고,
Figure 112020045388217-pat00004
는 엣지의 변형되지 않은 길이일 수 있다.
그리고, EA는 막 에너지에 대한 요소 기반 함수이며, EL은 막 에너지에 대한 에지 기반 함수일 수 있다.
또한, 굴곡 에너지 EB는 수학식 3과 같이 정의될 수 있다.
Figure 112020045388217-pat00005
이때,
Figure 112020045388217-pat00006
는 엣지 e의 변형된 2면각(dihedral angles)이고,
Figure 112020045388217-pat00007
는 엣지 e의 변형되지 않은 2 면각일 수 있다. 또한, he는 엣지 e를 공유하는 두 삼각형의 평균 높이일 수 있다. 그리고, 수학식 3은 메시 지점에서 평균 곡률을 사용하여 도출될 수 있다.
막 에너지와 굴곡 에너지의 합은 쉘 요소의 총 탄성 에너지이며, 수학식 4와 같이 나타낼 수 있다.
Figure 112020045388217-pat00008
이때, kA는 스트레치 동작에 대한 강성 상수이고, kL은 전단 동작에 대한 강성 상수일 수 있다. 또한, kB는 굽힘 동작에 대한 강성 상수일 수 있다.
그리고, 절점 변위 측면에서 탄성 에너지의 미분을 취하면 탄성력이 발생하며, 수학식 5와 같이 나타낼 수 있다.
Figure 112020045388217-pat00009
이때, u는 3n 노드의 변위를 나타내는 3n 차원 벡터이고, K(u)는 3n × 3n 강성 매트릭스일 수 있다. 따라서, 씬 쉘의 지배 방정식(governing equation)은 수학식 6과 같이 나타낼 수 있다.
Figure 112020045388217-pat00010
이때,
Figure 112020045388217-pat00011
는 3n 노드의 가속도를 나타내는 3n 차원 벡터이고,
Figure 112020045388217-pat00012
는 3n 노드의 속도를 나타내는 3n 차원 벡터일 수 있다. 그리고, M은 질량 행렬이고 C는 감쇠 행렬일 수 있다. 또한,
Figure 112020045388217-pat00013
가 되도록 레일리 댐핑(Rayleigh damping)을 사용할 수 있다. 그리고, F는 n 개의 노드에 가해지는 외부 힘의 3n 차원 벡터일 수 있다.
그리고, 실시간 방정식으로 지배 방정식을 통합하기 위해, 모달 워핑을 적용하고 수학식 6의 K(u)는 작은 회전을 갖는 상수 행렬 K에 대해 Ku로 선형 근사화 함으로써, 수학식 7로 변형할 수 있다.
Figure 112020045388217-pat00014
다음으로, 일반 고유 문제를 사용하여 수학식 7을 수학식 8로 분리 할 수 있다.
Figure 112020045388217-pat00015
이때, 일반화 된 고유 문제의 해는 Λ가 성분이 고유 값이고 행렬 Φ의 열이 해당 고유 벡터 인 대각 행렬임을 의미할 수 있다. 따라서, 수학식 7의 변위 벡터는 수학식 9와 같이 나타낼 수 있다.
Figure 112020045388217-pat00016
이때, Φ는 모드 형태에 대응하는 열을 갖는 모달 변위 매트릭스이고, q (t)는 요소가 모달 진폭에 대응하는 벡터일 수 있다. 피부 변형 검증부(130)는 소수의 지배적 모드 형태 만 선택함으로써 쉘 시뮬레이션의 계산량을 감소시킬 수 있다.
또한, 미세한 메시 및 강성 뒤틀림을 가정하면, 수학식 7은 국소 변위를 사용하여 표현 될 수 있다. 이때, RT를 수학식 7의 양변에 곱하고 수학식 9에서 u (t)를 대입하면 씬 쉘의 지배 방정식은 수학식 10과 같이 나타낼 수 있다.
Figure 112020045388217-pat00017
이때, Mq, Cq, Kq는 각각 M, C, K의 행렬에 ΦT를 왼쪽에 곱하고 Φ를 오른쪽에 곱한 행렬일 수 있다. 또한, q는 국소 변위에 대한 모달 진폭 벡터이고
Figure 112020045388217-pat00018
,
Figure 112020045388217-pat00019
은 이를 각각 두 번, 한 번 미분한 벡터이다. RT는 노드의 국부 방향을 나타내는 회전 행렬일 수 있다.
피부 변형 검증부(130)는 수학식 10을 반-암시 수치 적분으로 계산하고, 수학식 9를 사용하여 u를 계산하여 얼굴 모델의 피부 표면의 쉘 요소를 시뮬레이션 할 수 있습니다. 이때, 모달 진폭 및 회전 행렬은 모든 프레임에서 계산되는 반면, 수학식 10의 행렬은 시뮬레이션 전에 미리 계산될 수 있다.
피부 변형 검증부(130)는 근육의 변형으로 인하여 근육 기반 얼굴 모델의 피부가 가해지는 힘을 분리할 수 있다. 다음으로, 피부 변형 검증부(130)는 분리된 힘 각각에 대응되는 영역을 식별할 수 있다. 그 다음으로 피부 변형 검증부(130)는 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다. 이때, 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일하지 않은 경우, 피부 변형 검증부(130)는 피부 변형을 검증하지 않을 수 있다.
피부 변형 검증부(130)에서 피부 변형이 검증되지 않은 경우, 근육 보정부(140)는 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정할 수 있다. 이때, 근육 변형부(120)는 보정된 근육을 변형하고, 피부 변형 검증부(130)는 보정된 근육의 변형에 따른 피부 변형을 검증할 수 있다.
얼굴 애니메이션 생성 장치(100)는 물리적 특성을 가진 인간의 안면 해부학 구조를 모델링한 얼굴 모델을 이용하여 동적 시스템에서 안면 탄성체 사이의 상호 작용을 반영한 얼굴 애니메이션을 생성할 수 있다.
이때, 얼굴 애니메이션 생성 장치(100)는 쉘 요소 분석을 사용하여 얼굴의 씬 해부학적 구조를 구성함으로써, 얼굴 모델의 근육 모델링을 독립적으로 수행 할 수 있다.
구체적으로, 얼굴 애니메이션 생성 장치(100)는 얼굴의 해부학 적 구성을 나타내는 피부 표면의 4 개의 층을 포함하는 단순화 된 구조를 만들어 얼굴 근육과 피부를 모델링할 수 있다. 또한, 얼굴 애니메이션 생성 장치(100)는 힘 전파 및 힘의 작용점을 포함하여 층 사이의 기계적 상호 작용을 반영할 수 있다.
이때, 얼굴 애니메이션 생성 장치(100)는 원치 않는 메시 생성을 방지하기 위해 근육과 피부를 쉘 요소로 분석하여 근육을 명시적으로 모델링 할 수 있다. 그리고, 얼굴 애니메이션 생성 장치(100)는 모달 워핑을 이용하여 비선형 안면 변형을 위한 실시간 시뮬레이션을 수행할 수 있다.
이때, 얼굴 애니메이션 생성 장치(100)는 모달 워핑으로 피부 표면과 근육 물체의 비선형 변형에 대한 실시간 통합을 달성함으로써, 지배 방정식의 자유도 (DOF)가 상당히 감소하여 계산 시간을 절약 할 수 있다. 그리고, 얼굴 애니메이션 생성 장치(100)는 피부 변형 유형에 따라 지배 방정식을 분리함으로써, 분리 된 시스템과 결합 된 애니메이션의 근사치. 여러 근육이 단일 피부 표면에 영향을 주도록 할 수 있다. 이때, 얼굴 애니메이션 생성 장치(100)는 외부 요인의 변위 필드들을 각각 독립적으로 획득한 후, 합산하여 각 표현에 대해 결합 된 피부 변형을 시뮬레이션 할 수 있다.
도 2는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델의 동작 일례이다.
얼굴 모델 획득부(110)가 획득하는 근육 기반 얼굴 모델에서 피부와 근육의 메시는 도 2에 도시된 바와 같이 모델링될 수 있다. 예를 들어, 근육 기반 얼굴 모델의 피부 메시는 7366 개의 노드를 가지며, 근육 기반 얼굴 모델의 근육 메시는 30 개의 노드를 갖는 눈썹 주름근(corrugator supercilii muscle) 을 제외하고 36 개의 노드로 구성될 수 있다.
이때, 얼굴 모델 획득부(110)는 해부학적 얼굴 모델의 변형 전 무표정의 얼굴(210) 및 내부 구조(220)를 획득할 수 있다. 또한, 근육 기반 얼굴 모델은 근육(230) 별로 관심 영역(ROI: region of interest)(240) 및 표정(250)이 정의될 수 있다. 예를 들어, 큰광대근(zygomaticus major muscles)(231)에 대하여 ROI(241) 및 큰광대근의 움직임에 따른 표정(251)이 매칭될 수 있다. 또한, 입꼬리 내림근(depressor anguli oris muscle)(232)에 대하여 ROI(242) 및 입꼬리 내림근의 움직임에 따른 표정(252)이 매칭될 수 있다.
그리고, 근육 기반 얼굴 모델은 근육 별로 근육의 변형(261)에 따른 피부 변형(262)이 정의(260)될 수 있다.
도 3은 본 발명의 일실시예에 따른 얼굴 모델의 단순화된 구조 및 얼굴의 해부학적 구조의 일례이다.
얼굴 피부는 표피와 피부층으로 구성되고, 두개골은 근육의 고정 점 역할을 하며 얼굴 모델 전체를 지지할 수 있다. 또한, 피부와 두개골 사이의 공간(310)은 피하 지방 조직, 근막, SMAS, 결합 조직 및 활공 평면 등과 같은 다른 탄성체들로 구성될 수 있다. 그리고, 얼굴의 피부 변형은 탄성체와 변형 된 근육 사이의 상호 작용의 결과일 수 있다.
얼굴 모델 획득부(110)가 획득하는 근육 기반 얼굴 모델은 빠른 시뮬레이션을 위하여 얼굴의 두개골, 근육, 피하 지방층 및 피부를 포함한 해부학 적 구조를 단순화 시킬 수 있다. 구체적으로, 근육 기반 얼굴 모델은 피부와 근육을 판형 탄성체로 모델링하고, 피부와 근육 사이에 위치한 탄성체들을 균일한 단일 탄성체로 간주하며, 근육과 피부 사이의 해부학 적 상호 작용을 구현하기 위해 질량 스프링 시스템(320)으로 모델링 될 수 있다.
질량-스프링 시스템(320)은 피하층을 구성하기 위해 스프링을 사용하여 피부 노드와 근육 노드를 연결할 수 있다. 이때, 질량-스프링 시스템(320)에서 노란색으로 표시된 바와 같이 근육 노드는 자신과 최소 거리를 유지하는 피부 노드와 연결될 수 있다.
도 4는 본 발명의 일실시예에 따른 근육의 디자인의 일례이다.
얼굴 모델 획득부(110)가 획득하는 근육 기반 얼굴 모델은 모델링 도구에 따라 지정된 피부 메시와 두개골 메시로 안면 근육을 생성될 수 있다. 예를 들어, 모델링 도구는 Color Atlas of Anatomy [Rohen 2011] 및 [Netter et al. 1989], [Agur and Dalley 2009], Maya의 모델링 도구일 수 있다.
이때, 근육 기반 얼굴 모델에서 곡선 형 씬 쉘 형태로 모델링한 근육 메시는 피부 메시 아래에 위치할 수 있다. 그리고, 얼굴에서 피부의 생체 역학적 행동에 무시할 정도로 적은 영향을 미치는 근육은 근육 기반 얼굴 모델에 포함되지 않을 수 있다.
구체적으로, 근육 기반 얼굴 모델은 4개의 주요 근육을 포함할 수 있다. 이때, 근육 기반 얼굴 모델에 포함되는 근육은 입의 각도를 들어 올리는 근육인 큰광대근(zygomaticus major muscles), 눈썹을 당기는 근육인 눈썹 주름근(Corrugator supercilii muscle), 아래 입술을 아래로 당기는 근육인 아래입술내림근(Depressor labii inferioris muscle), 및 입의 각도를 아래로 당기는 근육인 입꼬리 내림근(Depressor anguli oris muscle)을 포함할 수 있다. 이때, 근육 기반 얼굴 모델은 얼굴의 중심을 기준으로 대칭되도록 오른쪽과 왼쪽에 각각 4 개의 주요 근육을 포함할 수 있다. 또한, 근육 모델링은 피부와 독립적 인 층으로 수행됨으로써, 근육 기반 얼굴 모델에서 근육의 위치 및 방향을 변경 하더라도, 근육 기반 얼굴 모델의 피부가 변형되지 않을 수 있다. 이때, 근육 기반 얼굴 모델의 근육은 410과 같이 다각형 메시로 모델링될 수 있다.
근육 변형부(120)는 동적 특성을 반영하여 근육 기반 얼굴 모델의 근육을 변형시킬 수 있다. 이때, 동적 특성은 근육이 활성화 력에 의해 스트레치 변형하는 특성, 스트레치 변형에 의하여 근육과 피부를 연결하는 스프링 변위가 발생하는 특성 및 스프링 변위에 의하여 생성되는 매스 스프링 힘이 피부 변형을 위한 외력으로 작용하는 특성을 포함할 수 있다.
이때, 근육의 쉘 요소가 스트레치 변형만 하기 위해서는 근육의 모달 변위 매트릭스(Φm)를 사용하여 근육 기반 얼굴 모델의 근육 변형의 변위를 제한 해야 한다. 먼저, λi ∈ R에 해당하는 고유 벡터 ei ∈ R3n×1을 계산할 수 있다. 이때, n은 노드 수이고, i ∈ Z+는 신장 모드의 인덱스이며, λi는 수학식 8에서 일반화 된 고유 문제의 해일 수 있다.
근육 기반 얼굴 모델은 4 가지 모드를 가지고 있으며, 스트레치 모드는 세 번째 모드이므로, i = 3일 수 있다.
각 모근 노드의 변위 인 ei를 제외하고 Φm을 0으로 설정하여 모달 변위 매트릭스 Φm ∈ R3 n × d를 가정하면, 근육 노드 um의 변위는 수학식 11에 도시된 바와 같이 스트레치 모드 모양과 모달 진폭 qm의 선형 조합이 될 수 있다. 이때, d는 모드의 수인 4일 수 있다.
Figure 112020045388217-pat00020
그리고, 근육 기반 얼굴 모델은 근육 변형의 DOF가 늘어나도록 제한될 수 있다.
근육이 수축 또는 이완을 수행 할 때, 근육의 움직임을 유발하기 위해 활성화 력이 필요하다. 이때, 근육을 변형하기 위한 힘의 타입은 압축력 또는 인장력이므로 접선 력을 근육에 적용합니다.
또한, 근육 기반 얼굴 모델은 유한 요소(finite elements)를 기반으로 하므로, 도 4의 근육 메시(420)에 도시된 바와 같이 체적력(body force)이 아닌 절점력(nodal force)으로 적용되어야 할 수 있다. 이때, 가해지는 힘의 크기는 경험적으로 결정되며, 각 노드에 가해지는 힘은 근육 변형을 일으키는 외부 제어력으로 작용할 수 있다. 따라서, 근육에 대한 지배 방정식은 수학식 12와 같이 나타낼 수 있다.
Figure 112020045388217-pat00021
이때, Rm은 근육에 대한 회전 행렬이고 qm은 모달 진폭일 수 있다. 또한,
Figure 112020045388217-pat00022
는 모달 힘벡터이고, Φm은 모달 변위 매트릭스일 수 있다.
그리고, Mqm, Cqm, Kqm은 근육의 질량, 감쇠, 강성 매트릭스를 사용하여 수학식 10과 같은 방식으로 계산될 수 있다.
또한, 수학식 12를 적분함으로써, 모달 진폭 벡터 qm을 구하고 qm에 Φm을 곱하여 근육 um의 변위를 계산할 수 있다. 이때, 근육 um의 변위는 피하층의 스프링 력을 유발할 수 있다. 따라서, 근육 변형부(120)는 시뮬레이션을 시작하기 전에 적용된 접선 방향을 설정하여 근육을 수축 또는 이완함으로써, 근육을 변형시킬 수 있다.
또한, 근육 기반 얼굴 모델은 두개골에서 나오는 근육의 끝을 고정하기 위해 모달 워핑에 설명 된 정적 위치 구속 조건을 시행하여 모델링될 수 있다. 이때, 근육 기반 얼굴 모델을 모델링하는 장치는 모달 워핑을 적용하기 전에 지배 방정식의 해당 DOF를 무시함으로써 정적으로 설정된 노드는 변위가 없도록 할 수 있다. 예를 들어, 도 4의 근육 메시(420)의 오른쪽 상단에 빨간색으로 표시된 노드는 고정 위치를 나타냅니다. 고정 위치는 육체적 근육이 시작되는 두개골쪽으로 피부를 끌어 당기면서 정적 위치 방향으로 수축력을 가할 수 있다.
도 5는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 질량-스프링 힘 전파 과정의 일례이다.
근육 기반 얼굴 모델에서 근육과 연결된 스프링의 한쪽이 근육 변형에 따라 움직이면 스프링의 다른 쪽 끝도 함께 움직일 수 있다. 그리고, 스프링의 다른 쪽 끝이 피부 노드에 부착되어 있으므로, 스프링 력이 피부로 전달됨으로써, 근육에 연결된 피부 주변의 영역에 힘이 전달될 수 있다. 이때, 근육의 변형에 따라 힘이 전달되는 피부의 영역이 관심 영역 (ROI)일 수 있다.
변형 된 스프링(520)의 힘의 크기는 수학식 13과 같이 정의될 수 있다.
Figure 112020045388217-pat00023
이때, Sd는 변형 된 스프링(520) 벡터이고, Sinit는 초기 스프링 벡터일 수 있다. 또한, δx는 스프링 길이가 초기 길이를 기준으로 변형 된 길이 차이에 비례하도록 하는 스프링의 상대 신장일 수 있다. 그리고, Fspring의 방향(510)은
Figure 112020045388217-pat00024
일 수 있다. 이때, Sud는 변형되지 않은 스프링(510) 벡터일 수 있다.
또한, 근육 기반 힘으로 인한 피부 메시의 쉘 요소에 대한 지배 방정식은 수학식 14와 같이 나타낼 수 있다.
Figure 112020045388217-pat00025
이때, Fspring은 근육과 연결된 피부 노드에만 적용되며, Fexts 역할을 할 수 있다. 그리고, 수학식 14의 행렬 및 벡터는 수학식 12와 동일한 방식으로 피부에 대해 계산될 수 있다. 따라서, 모달 워핑과 함께 수학식 14를 사용하여 근육에 의해 생성 된 피부 us의 변위 필드를 계산할 수 있다
이때, 스프링 벡터는 피부와 변형 된 근육 또는 피부와 변형되지 않은 근육 정점 사이의 상대적인 벡터일 수 있다. 또한, 변형 된 근육 정점은 근육 변형으로 인한 um을 포함하므로, 근육 변형에 의해 생성 된 힘이 피하 스프링 층을 통해 전파된다고 할 수 있다.
이때, Fspring은 특정 노드에 적용되지만 원하지 않는 얼굴 영역에 영향을 줄 수 있다. 그러나, 현실에서 근육은 피부가 위치한 부위를 제외한 피부 부위에 영향을 미치지 않는다. 예를 들어, 이마는 입의 각도를 들어 올리는 근육에 영향을 받지 않을 수 있다. 따라서, 근육 기반 얼굴 모델은 근육의 변형이 원하지 않는 얼굴 영역에 영향을 주는 것을 방지하기 위하여 피부가 변형 될 수 있는 영역을 제한할 수 있다.
이때, 근육과 근육의 주변 노드에 연결된 피부 노드들의 그룹을 관심 영역(ROI)으로 정의할 수 있다. 그리고, 근육 기반 얼굴 모델은 정적 위치 제약 조건을 적용하여 비 ROI에있는 피부 노드의 DOF를 제한할 수 있다.
이때, 근육 기반 얼굴 모델에서 근육 x에 대한 ROI는 수학식 15와 같이 정의될 수 있다.
Figure 112020045388217-pat00026
이때, Mx는 근육 x의 노드 인덱스 집합이고, S는 피부 메시의 노드 인덱스 집합일 수 있다. 또한, mi는 근육 x의 i번째 노드이고 sj는 피부의 j 번째 노드일 수 있다. 또한, Ix는 근육 x의 ROI에 포함된 노드의 집합이고,
Figure 112020045388217-pat00027
는 근육 x의 i 번째 노드와 이와 연결된 피부 노드 사이의 초기 변형되지 않은 스프링일 수 있다. 그리고, α는 근육 x의 ROI 범위를 결정하기위한 매개 변수일 수 있다.
Ix의 노드가 결정되면, 근육 기반 얼굴 모델은 비 ROI에 대한 정적 제약 조건을 설정하여 비 관심 노드가 지배 방정식에서 제외 되도록 할 수 있다.
도 6은 본 발명의 일실시예에 따른 힘 분리 및 변위 통합의 일례이다.
근육 유형에 따라 ROI를 제한했지만 단일 시스템의 경우 ROI가 서로 다른 근육에 겹칠 수 있다. 또한, 외부 요인에 따라 피부 고정 점을 다르게 설정하기 때문에 중력과 같은 외력이 피부에 가해지면 근육에 정의 된 ROI가 왜곡 될 수 있습니다. ROI가 다른 근육이나 외력에 덜 의존하도록 하기 위해, 근육 기반 얼굴 모델은 피부 변형을 유발하는 외력의 유형에 따라 근육 시스템을 분리할 수 있다.
i∈ {1, · · ·, k} ⊂ Z+ 는 다른 근육의 인덱스이고, j ∈ {1, · · ·, l} ⊂ Z+는 근육이 아닌 중력과 같은 다른 외력의 인덱스일 수 있다.
지배 방정식인 수학식 14에서 외력 Fexts가 주어지는 경우, Fexts는 수학식 16과 같이 나타낼 수 있다.
Figure 112020045388217-pat00028
이때,
Figure 112020045388217-pat00029
는 i 번째 근육에 의한 외부 스프링 력이고,
Figure 112020045388217-pat00030
는 j 번째 외부 비 근육 력일 수 있다. 따라서, 수학식 16은 Fexts가 k 개의 근육과 다른 종류의 외부 비 근육 력에 의해 생성 된 외력의 합으로 분리 될 수 있음을 나타낼 수 있다. 그리고, 수학식 16을 이용하면, 피부 외력에 대한 지배 방정식인 수학식 14도 다른 외력에 따라 분리 될 수 있다. 따라서, 피부 us는 수학식 17과 같이 정의될 수 있다.
Figure 112020045388217-pat00031
이때,
Figure 112020045388217-pat00032
이고, uf는 i 번째 근육 또는 j 번째 외력으로 인한 피부의 변위 장일 수 있다. 외력의 유형에 따라 각각 uf를 계산함으로써, 외력에 대한 ROI가 존중될 수 있다.
예를 들어, 입술 주위의 피부 영역은 입술에 작용하는 근육에 의해서만 영향을 받고 중력과 같은 다른 외력이 해당 영역에 독립적으로 영향을 줄 수 있다.
근육 기반 얼굴 모델은 외부 힘의 유형 수에 따라 각 시간 단계 내에서 여러 번 피부 변형을 시뮬레이션하여 uf를 개별적으로 계산할 수 있다. 그리고, 근육 기반 얼굴 모델은 도 6에 도시된 바와 같이 계산 된 변위 필드에 대한 간단한 합으로 피부의 전체 변위 필드를 통합할 수 있다.
도 7은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델의 근육 변형 일례이다.
도 7의 701은 근육들이 변형되지 않은 상태이고, 702는 큰광대근(720), 눈썹 주름근(710), 오른쪽 입꼬리 내림근(730), 및 왼쪽 입꼬리 내림근(730)이 수축된 상태이며, 703은 큰광대근(720), 눈썹 주름근(710), 오른쪽 입꼬리 내림근(730), 및 왼쪽 입꼬리 내림근(730)이 이완된 상태일 수 있다.
이때, 근육 변형부(120)는 적용된 접선 방향을 변경하여 근육을 수축 또는 확장하도록 제어 할 수 있다. 예를 들어, 근육 변형의 평균 성능은 초당 약 210 프레임 (FPS)일 수 있다.
도 8은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 일례이다.
단계(810)에서 근육 변형부(120)는 큰광대근(811)을 변형시킬 수 있다.
단계(820)에서 근육 기반 얼굴 모델은 단계(810)에서 변형된 큰 광대근(811)에 의하여 ROI(821) 안에 위치한 피부를 변형시킬 수 있다.
큰광대근(811) 중 왼쪽 큰광대근만 수축된 경우, 근육 기반 얼굴 모델은 단계(830)에서 왼쪽 입꼬리만 올라가도록 피부를 변형시킬 수 있다.
큰광대근(811)이 모두 수축된 경우, 근육 기반 얼굴 모델은 단계(840)에서 양쪽 입꼬리가 모두 올라가도록 피부를 변형시킬 수 있다.
도 9는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 다른 일례이다.
단계(910)에서 근육 변형부(120)는 아래입술내림근(911)을 변형시킬 수 있다.
단계(920)에서 근육 기반 얼굴 모델은 단계(910)에서 변형된 아래입술내림근 (911)에 의하여 ROI(921) 안에 위치한 피부를 변형시킬 수 있다.
아래입술내림근 (911) 중 왼쪽 큰광대근만 수축된 경우, 근육 기반 얼굴 모델은 단계(930)에서 왼쪽 입꼬리만 내려가도록 피부를 변형시킬 수 있다.
아래입술내림근(911)이 모두 수축된 경우, 근육 기반 얼굴 모델은 단계(940)에서 입이 벌어지도록 피부를 변형시킬 수 있다.
도 10은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 근육 변형에 따른 피부 변형의 또 다른 일례이다.
단계(1010)에서 근육 변형부(120)는 입꼬리 내림근 (1011)을 변형시킬 수 있다.
단계(1020)에서 근육 기반 얼굴 모델은 단계(1010)에서 변형된 입꼬리 내림근(1011)에 의하여 ROI(1021) 안에 위치한 피부를 변형시킬 수 있다.
입꼬리 내림근(1011) 중 왼쪽 입꼬리 내림근만 수축된 경우, 근육 기반 얼굴 모델은 단계(1030)에서 왼쪽 입꼬리만 내려가도록 피부를 변형시킬 수 있다.
입꼬리 내림근(1011)이 모두 수축된 경우, 근육 기반 얼굴 모델은 단계(1040)에서 양쪽 입꼬리가 모두 내려가도록 피부를 변형시킬 수 있다.
도 11은 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 눈썹 주름근의 변형에 따른 피부 변형의 일례이다.
단계(1110)에서 근육 변형부(120)는 눈썹 주름근을 디폴트 상태로 유지할 수 있다.
단계(1120)에서 근육 변형부(120)는 눈썹 주름근을 수축시켜 근육 기반 얼굴 모델의 눈썹 앞 부분이 내려가도록 할 수 있다.
단계(1130)에서 근육 변형부(120)는 눈썹 주름근을 이완시켜 근육 기반 얼굴 모델의 눈썹 앞 부분이 올라가도록 할 수 있다.
도 12는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 정적 구속 조건과 중력 하중에 따른 피부 변형의 일례이다.
근육 기반 얼굴 모델(1210)은 근육의 변형에 따른 피부 변형이 제한된 파란색 영역과 근육의 변형에 따른 피부 변형이 제한되지 않은 빨간색 영역을 포함할 수 있다. 또한, 근육 기반 얼굴 모델(1210)은 근육을 고정하기 위한 특징점(노란색 원)을 포함할 수 있다.
그리고, 근육 기반 얼굴 모델은 동일한 중력 하중에 대해, 우리는 다른 요소인 강성으로 피부 표면의 쉘 요소를 시뮬레이션하여 피부 노화를 나타낼 수도 있다. 예를 들어, 강성 상수인 kA가 1인 근육 기반 얼굴 모델(1220), 강성 상수인 kA가 0.5인 근육 기반 얼굴 모델(1230), 및 강성 상수인 kA가 0.25인 근육 기반 얼굴 모델(1230)에서 근육 기반 얼굴 모델(1210), 근육 기반 얼굴 모델(1220), 근육 기반 얼굴 모델(1230)의 순서로 눈 근처 및 뺨 아래에서 피부 처짐의 정도가 증가할 수 있다.
도 13은 본 발명의 일실시예에 따라 생성한 프레임별 얼굴 애니메이션의 일례이다.
단계(1310)에서 근육 기반 얼굴 모델을 근육들을 디폴트 상태로 유지할 수 있다. 이때, 근육 기반 얼굴 모델의 피부(1311)도 디폴트 상태의 표정을 유지할 수 있다.
단계(1320)에서 근육 변형부(120)는 큰 광대근과 아랫입술 내림근을 수축시킬 수 있다. 이때, 근육 기반 얼굴 모델의 피부(1321)는 구강 각도를 높이는 큰 광대근과 입술 아래를 잡아 당기는 아랫입술 내림근의 수축에 따라 아래 입술이 열리면서 웃는 표정을 할 수 있다.
단계(1330), 단계(1340) 및 단계(1340)에서 근육 변형부(120)는 큰 광대근과 아랫입술 내림근의 수축 강도를 순차적으로 증가시킬 수 있다. 따라서, 근육 기반 얼굴 모델의 피부(1331), 피부(1341), 및 피부(1351)는 도 13에 도시된 바와 같이 점점 아래 입술이 더 열리면서 웃는 표정이 더 확실해지도록 변형될 수 있다.
도 14는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 외력과 근육 수축 효과의 일례이다.
큰 광대근은 볼을 잡아당기는 외력인
Figure 112020045388217-pat00033
과 근육력이 동시에 피부와 상호 작용하는 근육으로 선택될 수 있다. 이때, 변위 장에 따른 항력에 대한 정적 구속 조건(1410)은 근육의 변형에 따른 피부 변형이 제한된 파란색 영역과 근육을 고정하기 위한 특징점(노란색 원)을 포함할 수 있다. 그리고, 주어진 상황에 대해 두 개의 변위 필드를 추가한 경우, 근육 기반 얼굴 모델의 피부(1420)는 도 14에 도시된 바와 같이 변형될 수 있다. 이때, 피부(1420)에서 오른쪽 볼이 늘어나면서 입이 위로 올라가는 애니메이션은 73 FPS를 나타낼 수 있다.
도 15는 본 발명의 일실시예에 따른 근육 기반 얼굴 모델에서 시간의 경과에 따른 근육 변형 및 피부 변형의 일례이다.
근육 기반 얼굴 모델은 무표정인 얼굴을 통과하는 다른 얼굴 표정 사이의 전환을 제공할 수 있다.
안면 전이는 기하학적 보간이 필요하지 않은 근육의 동적 제어, 수축 및 이완만으로 실현됩니다. 이때, 근육 변형부(120)는 큰 광대근 및 입꼬리 내림근의 변위 장을 관련 근육 변형과 함께 독립적으로 계산할 수 있다. 따라서, 광대근의 ROI 및 입꼬리 내림근의 ROI는 독립적으로 변환되어, 상이한 영역의 변위가 함께 추가되고, 전이가 자동으로 달성될 수 있다.
전체 시간 영역에서, 외력이 특정 근육에 적용되면 근육 및 관심 영역의 변위 필드가 업데이트될 수 있다.
t0에서 t1까지의 시간 구간에서, 큰 광대근은 접선력에 의해 수축되어 구강 각도 근처의 피부 표면이 상승함으로써, 근육 기반 얼굴 모델은 입꼬리가 올라간 표정을 가질 수 있다.
t1에서 t2까지의 시간 구간에서 외력 방향이 반대 방향으로 변경되어 접합자 장이 이완될 수 있다. 따라서, 근육이 팽창하기 시작하고 동시에 근육이 이완 될 때 들어올려진 구강 각도가 감소하여 근육 기반 얼굴 모델은 t0에서의 무표정(디폴트 표정)으로 돌아올 수 있다.
t2에서 t3까지의 시간 구간에서 큰 광대근의 접선 력이 제거되고 입꼬리 내림근이 수축됨으로써, 근육 기반 얼굴 모델은 입꼬리가 내려간 표정을 가질 수 있다.
도 16은 본 발명의 일실시예에 따라 피부 변형이 적용된 얼굴 애니메이션의 일례이다.
피부 변형이 검증되지 않은 경우, 근육 보정부(140)는 근육 기반 얼굴 모델의 피부 표면 아래 존재하는 근육의 위치와 방향을 보정할 수 있다. 예를 들어, 근육 보정부(140)는 근육의 위치와 방향의 보정에 대한 실험을 반복하여 실험적으로 근육의 위치와 방향을 보정할 수 있다. 그리고, 피부 변형 검증부(130)는 근육의 위치와 방향이 보정된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성할 수 있다.
이때, 근육의 위치와 방향이 보정된 근육 기반 얼굴 모델은 디폴트 표정(1610)을 가질 수 있다. 그리고, 근육 변형부(120)가 큰 광대근을 변형한 경우, 근육의 위치와 방향이 보정된 근육 기반 얼굴 모델은 표정(1620)으로 변형될 수 있다. 또한, 근육 변형부(120)가 입꼬리 내림근을 변형한 경우, 근육의 위치와 방향이 보정된 근육 기반 얼굴 모델은 표정(1630)으로 변형될 수 있다. 그리고, 근육 변형부(120)가 큰 광대근과 아랫입술 내림근을 모두 변형한 경우, 근육의 위치와 방향이 보정된 근육 기반 얼굴 모델은 표정(1640)으로 변형될 수 있다.
도 17은 본 발명의 일실시예에 따른 얼굴 애니메이션 생성 방법을 도시한 플로우차트이다.
단계(1710)에서 얼굴 모델 획득부(110)는 근육 기반의 얼굴 모델을 생성하거나, 외부로부터 근육 기반의 얼굴 모델을 수신하여 획득할 수 있다.
단계(1720)에서 근육 변형부(120)는 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형할 수 있다.
단계(1730)에서 피부 변형 검증부(130)는 근육의 변형에 따른 근육 기반 얼굴 모델의 피부 변형을 검증할 수 있다. 이때, 피부 변형 검증부(130)는 근육 기반 얼굴 모델의 피부에서 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증할 수 있다. 그리고, 식별한 영역의 피부 변형이 근육의 변형에 매칭된 피부 변형과 동일하지 않은 경우, 피부 변형 검증부(130)는 피부 변형을 검증하지 않을 수 있다.
또한, 피부 변형 검증부(130)는 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증할 수 있다. 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일하지 않은 경우, 피부 변형 검증부(130)는 피부 변형을 검증하지 않을 수 있다.
단계(1740)에서 피부 변형 검증부(130)는 단계(1730)에서 피부 변형이 검증되었는지 여부를 판단할 수 있다. 피부 변형이 검증된 경우, 피부 변형 검증부(130)는 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성할 수 있다. 또한, 피부 변형이 검증되지 않은 경우, 피부 변형 검증부(130)는 근육 보정부(140)에게 단계(1750)의 수행을 요청할 수 있다.
단계(1750)에서 근육 보정부(140)는 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정할 수 있다. 이때, 근육 변형부(120)는 보정된 근육을 변형하고, 피부 변형 검증부(130)는 보정된 근육의 변형에 따른 피부 변형을 검증할 수 있다.
본 발명은 쉘 요소 분석을 사용하여 얼굴의 씬 해부학적 구조를 구성함으로써, 얼굴 모델의 근육 모델링을 독립적으로 수행 할 수 있다.
구체적으로, 본 발명은 얼굴의 해부학 적 구성을 나타내는 피부 표면의 4 개의 층을 포함하는 단순화 된 구조를 만들어 얼굴 근육과 피부를 모델링할 수 있다. 이때, 본 발명은 원치 않는 메시 생성을 방지하기 위해 근육과 피부를 쉘 요소로 분석하고 또한 이를 통해 근육을 명시적으로 모델링 할 수 있다. 그리고, 본 발명은 모달 워핑을 이용하여 비선형 안면 변형을 위한 실시간 시뮬레이션을 수행할 수 있다.
이때, 본 발명은 모달 워핑으로 피부 표면과 근육 물체의 비선형 변형에 대한 실시간 통합을 달성함으로써, 지배 방정식의 자유도 (DOF)가 상당히 감소하여 계산 시간을 절약 할 수 있다. 그리고, 본 발명은 피부 변형 유형에 따라 지배 방정식을 분리함으로써, 분리 된 시스템과 결합 된 애니메이션의 근사치. 여러 근육이 단일 피부 표면에 영향을 주도록 할 수 있다. 이때, 본 발명은 외부 요인의 변위 필드들을 각각 독립적으로 획득한 후, 합산하여 각 표현에 대해 결합 된 피부 변형을 시뮬레이션 할 수 있다.
한편, 본 발명에 따른 얼굴 애니메이션 생성 장치 또는 얼굴 애니메이션 생성 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
110: 얼굴 모델 획득부
120: 근육 변형부
130: 피부 변형 검증부
140: 근육 보정부

Claims (15)

  1. 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 단계;
    상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하는 단계; 및
    상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 단계
    를 포함하고,
    상기 피부 변형을 검증하는 단계는,
    상기 근육의 변형으로 인하여 상기 근육 기반 얼굴 모델의 피부가 가해지는 힘을 분리하고, 분리된 힘 각각에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증하는 얼굴 애니메이션 생성 방법.
  2. 제1항에 있어서,
    상기 피부 변형이 검증되지 않은 경우, 상기 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정하는 단계;
    를 더 포함하는 얼굴 애니메이션 생성 방법.
  3. 제1항에 있어서,
    상기 피부 변형을 검증하는 단계는,
    상기 근육 기반 얼굴 모델의 피부에서 상기 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증하는 얼굴 애니메이션 생성 방법.
  4. 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 단계;
    상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하는 단계; 및
    상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 단계
    를 포함하고,
    상기 피부 변형을 검증하는 단계는,
    상기 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증하며,
    상기 노화를 고려한 피부는,
    상기 근육 기반 얼굴 모델에 대하여 중력 하중 및 피부 표면의 쉘 구성을 시뮬레이션하여 결정되는 얼굴 애니메이션 생성 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 근육 기반 얼굴 모델은,
    얼굴의 근육과 피부를 쉘 요소로 분석하여 얼굴에 포함된 근육을 명시적으로 모델링하고, 모달 워핑을 이용하여 비선형 안면 변형을 위한 실시간 시뮬레이션을 수행하여 생성되는 얼굴 애니메이션 생성 방법.
  7. 제1항에 있어서,
    상기 근육 기반 얼굴 모델은,
    피부 변형 유형에 따라 지배 방정식을 분리하도록 생성되는 얼굴 애니메이션 생성 방법.
  8. 제1항에 있어서,
    상기 근육 기반 얼굴 모델은,
    얼굴에서 피부의 생체 역학적 행동에 무시할 정도로 적은 영향을 미치는 근육은 제외하고, 큰광대근(zygomaticus major muscles), 눈썹 주름근(Corrugator supercilii muscle), 아래입술내림근(Depressor labii inferioris muscle), 및 입꼬리 내림근(Depressor anguli oris muscle)을 포함하는 얼굴 애니메이션 생성 방법.
  9. 제1항 내지 제4항, 제6항 내지 제8항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  10. 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 근육 변형부; 및
    상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하며, 상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 피부 변형 검증부
    를 포함하고,
    상기 피부 변형 검증부는,
    상기 근육의 변형으로 인하여 상기 근육 기반 얼굴 모델의 피부가 가해지는 힘을 분리하고, 분리된 힘 각각에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증하는 얼굴 애니메이션 생성 장치.
  11. 제10항에 있어서,
    상기 피부 변형이 검증되지 않은 경우, 상기 근육 기반 얼굴 모델에서 피부의 표면 아래 배치된 근육의 위치 및 방향을 보정하는 근육 보정부
    를 더 포함하는 얼굴 애니메이션 생성 장치.
  12. 제10항에 있어서,
    상기 피부 변형 검증부는,
    상기 근육 기반 얼굴 모델의 피부에서 상기 근육의 변형에 대응되는 영역을 식별하고, 식별한 영역의 피부 변형이 상기 근육의 변형에 매칭된 피부 변형과 동일한지 여부를 검증하는 얼굴 애니메이션 생성 장치.
  13. 표현하고자 하는 얼굴 표정에 따라 근육 기반 얼굴 모델의 근육을 변형하는 근육 변형부; 및
    상기 근육의 변형에 따른 상기 근육 기반 얼굴 모델의 피부 변형을 검증하며, 상기 피부 변형이 검증된 경우, 상기 피부 변형이 적용된 근육 기반 얼굴 모델의 피부 표면을 삼각 메시로 형성하여 얼굴 애니메이션을 생성하는 피부 변형 검증부
    를 포함하고,
    상기 피부 변형 검증부는,
    상기 근육 기반 얼굴 모델의 피부가 노화를 고려한 피부와 동일한지 여부를 검증하며,
    상기 노화를 고려한 피부는,
    상기 근육 기반 얼굴 모델에 대하여 중력 하중 및 피부 표면의 쉘 구성을 시뮬레이션하여 결정되는 얼굴 애니메이션 생성 장치..
  14. 삭제
  15. 제10항에 있어서,
    상기 근육 기반 얼굴 모델은,
    얼굴에서 피부의 생체 역학적 행동에 무시할 정도로 적은 영향을 미치는 근육은 제외하고, 큰광대근(zygomaticus major muscles), 눈썹 주름근(Corrugator supercilii muscle), 아래입술내림근(Depressor labii inferioris muscle), 및 입꼬리 내림근(Depressor anguli oris muscle)을 포함하는 얼굴 애니메이션 생성 장치.
KR1020200053475A 2020-05-04 2020-05-04 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치 KR102376030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200053475A KR102376030B1 (ko) 2020-05-04 2020-05-04 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200053475A KR102376030B1 (ko) 2020-05-04 2020-05-04 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치

Publications (3)

Publication Number Publication Date
KR20210135134A KR20210135134A (ko) 2021-11-12
KR102376030B1 true KR102376030B1 (ko) 2022-03-21
KR102376030B9 KR102376030B9 (ko) 2022-07-06

Family

ID=78497575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200053475A KR102376030B1 (ko) 2020-05-04 2020-05-04 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102376030B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537927A (ja) 2006-05-19 2009-10-29 ソニー株式会社 筋骨格形状スキニング
KR101757642B1 (ko) 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537927A (ja) 2006-05-19 2009-10-29 ソニー株式会社 筋骨格形状スキニング
KR101757642B1 (ko) 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kaher et al. Geometry-based Muscle Modeling for Facial Animation. In Graphics interface. 2001년 6월, pp. 37-46. 1부.*

Also Published As

Publication number Publication date
KR102376030B9 (ko) 2022-07-06
KR20210135134A (ko) 2021-11-12

Similar Documents

Publication Publication Date Title
Hsu et al. Fluid–structure interaction analysis of bioprosthetic heart valves: significance of arterial wall deformation
Wu et al. An anisotropic constitutive model for immersogeometric fluid–structure interaction analysis of bioprosthetic heart valves
US10403404B2 (en) Physical face cloning
Sifakis et al. Simulating speech with a physics-based facial muscle model
Kähler et al. Geometry-based muscle modeling for facial animation
Lee et al. Comprehensive biomechanical modeling and simulation of the upper body
Bickel et al. Physical face cloning
Terzopoulos et al. Analysis of facial images using physical and anatomical models
Duan et al. Volume preserved mass–spring model with novel constraints for soft tissue deformation
US10140745B2 (en) Methods and systems for computer-based animation of musculoskeletal systems
KR101558202B1 (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
Capell et al. Physically based rigging for deformable characters
Schumacher et al. Efficient simulation of example-based materials
KR20170025162A (ko) 얼굴 영상의 얼굴 나이 변환 방법 및 그 장치
US20160140750A1 (en) Methods and systems for computer-based skin animation
KR102376030B1 (ko) 쉘 요소와 힘 분리를 사용한 근육 기반의 얼굴 애니메이션 생성 방법 및 장치
Venkataraman et al. A kinematic-variational model for animating skin with wrinkles
Kim et al. Real-time muscle-based facial animation using shell elements and force decomposition
Luo et al. Acoustic VR in the mouth: A real-time speech-driven visual tongue system
Cordea et al. A 3-D anthropometric-muscle-based active appearance model
Harrison A kinematic model for collision response
Theobald et al. 2.5 D Visual Speech Synthesis Using Appearance Models.
KR102595666B1 (ko) 영상 생성 방법 및 장치
Brambilla et al. Facile: a System for Artificial Face Dataset Generation.
Yu et al. A realistic and reliable 3D pronunciation visualization instruction system for computer-assisted language learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]