KR102170445B1 - 딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법 - Google Patents

Abstract

본 발명은 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법에 관한 것이다. 본 발명의 실시예에 따른 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법은, (a) 특정인의 복수의 표정에 해당하는 복수의 3차원 표정 데이터를 취득하는 단계; (b) 상기 복수의 3차원 표정 데이터의 일부를 기본 표정 모델로 지정하는 단계; (c) 상기 복수의 3차원 표정 데이터 각각에 대해, 상기 기본 표정 모델과의 차이에 기초하여 3차원 표정 모델을 생성하는, 딥러닝 기반의 표정 모델링 단계; 및 (d) 상기 3차원 표정 모델에 따라 상기 특정인에 해당하는 캐릭터의 표정을 생성하는 단계를 포함한다.
본 발명의 실시예에 의하면, RGBD 카메라 기술과 딥 러닝 기술을 활용하여 표정을 짓고 있는 사람을 촬영하기만 하면 자동으로 얼굴 표정 연기가 가능한 캐릭터가 만들어질 수 있다.

Description

딥 러닝 기술을 활용한 자동 캐릭터 얼굴 표정 모델링 방법{MODELING METHOD OF AUTOMATIC CHARACTER FACIAL EXPRESSION USING DEEP LEARNING TECHNOLOGY}

본 발명은 자동 캐릭터 얼굴 표정 모델링 방법에 관한 것으로, 특히 RGBD 카메라를 통해 촬영된 얼굴 영상 데이터에 딥 러닝 기반 모델링 기술을 적용하여 쉽고 빠르게 캐릭터의 얼굴 표정을 모델링하는 것에 관한 것이다.

종래 캐릭터의 얼굴 표정을 만들기 위해서는 실제 사람의 얼굴을 여러 방향에서 카메라를 이용하여 찍은 사진을 이용하여 3차원 얼굴 메시 및 텍스처를 제작하고 작업자가 일일이 연결하여 기본 얼굴 모델을 만든 후, 표정을 이루는 기본 표정들에 대해 블렌드셰이프(blendshape)를 수동으로 제작하여 추후 표정 애니메이션에서 합성하였다.

블렌드셰이프는 기본 얼굴 표정로부터 얼굴의 표정을 이루는 다양한 표정들을 동일한 토폴로지(topology)로 미리 만들어 놓고, 기본 얼굴 표정과 제작된 표정을 하나의 정해진 수치로 내삽(interpolation)하는 방식으로 얼굴을 블렌딩하여 얼굴 표정을 표현하는 방식이다.

예를 들어 기본 얼굴 표정과 왼쪽 눈을 감은 표정 두 개의 모델을 동일한 토폴로지 모델을 활용하여 만들고 하나의 정해진 변수, LeftEyeClosed를 두어 값이 0일 때는 기본 얼굴 표정, 1일 때는 왼쪽 눈을 감은 표정으로 정해두면, 값이 0.5일 경우에는 왼쪽 눈을 반쯤 감은 표정이 되는 것이다.

얼굴 표정을 표현하기 위한 블랜드셰이프 변수는 표정을 표현하는 방식에 따라 적게는 수십 개에서 많게는 수백 개에 이른다.

주요 표정별로 블렌드셰이프를 수작업으로 만들고 확인하는 과정에서 시간이 많이 소요되어, 결과적으로 표정을 포함하는 모델 제작 시간이 길어짐에 따라 컴퓨터 그래픽(Computer Graphics) 영상 제작에 있어 큰 걸림돌이 되고 있다.

이와 관련하여, 한국특허공개공보 제10-2018-0070170호는 입력 영상을 수신하는 단계; 상기 입력 영상의 표정 강도를 나타내는 인덱스를 획득하는 단계; 및 상기 인덱스를 기초로, 상기 입력 영상으로부터 변화되는 복수의 표정 영상들을 생성하는 단계를 포함하는 표정 생성 방법을 개시하고 있다.

그러나, 표정 강도를 나타내는 인덱스를 획득하기 위해서는 별도의 처리 장치가 필요하고, 처리하는 데에도 시간이 소요되기 때문에 캐릭터의 얼굴 표정을 빨리 생성하기에는 무리가 있다.

한국특허공개공보 제10-2018-0070170호 (2018.06.26 공개)

컴퓨터 그래픽 영상 기술을 바탕으로 자신의 얼굴 및 표정을 닮은 캐릭터는 영화, 드라마 등의 CG 영상제작에 있어 가장 중요한 기술이며 현재 많은 제작 시간이 필요한 상황이다.

최근, 영상과 깊이 정보를 동시에 촬영할 수 있는 RGBD 카메라의 등장으로 정밀하게 3차원 얼굴과 사진을 얻을 수 있게 되었고, 이를 이용하여 보다 쉽게 사람의 3차원 모델을 만들 수 있게 되었다.

하지만 사람의 감정을 표현하도록 모델을 만들기 위해서 다양한 표정의 블랜드셰이프를 만들어야 하는데 현재 수작업 위주로 제작하고 있어 많은 시간이 걸린다.

본 발명은, RGBD 카메라 기술과 딥 러닝 기술을 활용하여 다양한 표정을 짓고 있는 사람을 촬영하기만 하면 자동으로 얼굴 표정 연기가 가능한 캐릭터가 만들어지는 시스템 및 방법을 제공하고자 한다.

본 발명의 실시예에 따른 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법은,

(a) 특정인의 복수의 표정에 해당하는 복수의 3차원 표정 데이터를 취득하는 단계;

(b) 상기 복수의 3차원 표정 데이터의 일부를 기본 표정 모델로 지정하는 단계;

(c) 상기 복수의 3차원 표정 데이터 각각에 대해, 상기 기본 표정 모델과의 차이에 기초하여 3차원 표정 모델을 생성하는, 딥러닝 기반의 표정 모델링 단계; 및

(d) 상기 3차원 표정 모델에 따라 상기 특정인에 해당하는 캐릭터의 표정을 생성하는 단계를 포함한다.

상기 (c) 딥러닝 기반의 표정 모델링 단계는,

(c-1) 상기 3차원 표정 데이터 각각에 대하여, 상기 기본 표정 모델에 기반한 블렌드 셰이프 데이터를 생성하는 단계;

(c-2) 상기 블랜드 셰이프 데이터를 이용하여 상기 3차원 표정 데이터 각각에 대한 임시 표정 모델을 만드는 단계; 및

(c-3) 상기 임시 표정 모델과, 대응하는 3차원 표정 데이터와의 비교를 통해 상기 임시 표정 모델을 수정하는 단계

를 포함할 수 있다.

상기 (c-3) 단계 후에, 상기 (c-1) 단계, 상기 (c-2) 단계 및 상기 (c-3) 단계를 반복적으로 수행하며,

상기 (c-1) 단계가 2회째 또는 그 이후에 수행되는 경우, 상기 (c-1) 단계의 블렌드 셰이프 데이터는, 직전의 상기 (c-3) 단계에서 수정된 임시 표정 모델에 기반하여 생성될 수 있다.

상기 (d) 캐릭터 표정의 생성 단계에서,

상기 캐릭터의 표정은, 상기 3차원 표정 모델에 블랜드 셰이프를 활용함으로써 생성될 수 있다.

상기 (a) 복수의 3차원 표정 데이터를 취득하는 단계는, RGBD 카메라를 이용하여 수행될 수 있다.

상기 복수의 3차원 표정 데이터는, 동일한 버텍스와 삼각형으로 구성된 동일한 토폴로지 데이터일 수 있다.

본 발명의 실시 예에 따른 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법에 의하면, RGBD 카메라에 의해 다양한 표정을 짓는 특정인을 단순히 촬영하는 것만으로도 특정인에 해당하는 얼굴 표정을 갖는 캐릭터를 쉽고 빠르게 생성하는 것이 가능하다.

도 1은 본 발명의 실시예에 따른 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법이 실행되는, 딥 러닝 기반 얼굴 표정 모델링부의 개략도이다.
도 2는 본 발명의 실시예에 따른 딥러닝 기반의 캐릭터 얼굴 표정 생성 방법 을 나타낸 순서도이다.
도 3은 도 2의 딥러닝 기반의 표정 모델링 단계를 구체적으로 나타내는 순서도이다.
도 4는 본 발명의 실시예에 따른 복수의 3차원 표정 데이터의 예를 나타내는 도면이다.
도 5의 (a) 및 (b)는 본 발명의 실시예에 따른 블렌드셰이프 데이터의 예를 나타내는 도면이다.
도 6는 제작된 블랜드셰이프 기반 표준 얼굴 표정 모델 데이터의 예이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법이 실행되는, 딥 러닝 기반 얼굴 표정 모델링부(100)의 개략도이다.

도 1을 참조하면, 딥 러닝 기반 얼굴 표정 모델링부(100)는, RGBD 영상을 수신하여 이로부터 얼굴 표정 모델을 생성한다.

RGBD 영상으로부터, 특정인의 복수의 표정에 해당하는 복수의 3차원 표정 데이터가 획득될 수 있다. RGBD 영상은 RGBD 카메라를 이용하여 특정인을 촬영함으로써 얻을 수 있다. 딥 러닝 기반 얼굴 표정 모델링부(100)는 이러한 복수의 3차원 표정 데이터를 이용하여 얼굴 표정 모델을 생성한다. 생성된 얼굴 표정 모델은 별도의 저장부(예를 들어, 메모리 등)에 저장되며, 저장된 얼굴 표정 모델을 이용하여 특정인에 해당하는 캐릭터의 얼굴 표정이 생성될 수 있다.

도 2는 본 발명의 실시예에 따른 딥러닝 기반의 캐릭터 얼굴 표정 생성 방법 을 나타낸 순서도이다.

도 2를 참조하면, 딥러닝 기반의 캐릭터 얼굴 표정 생성 방법은, 특정인의 복수의 표정에 해당하는 복수의 3차원 표정 데이터를 취득하는 단계(S100), 상기 복수의 3차원 표정 데이터의 일부를 기본 표정 모델로 지정하는 단계(S200), 상기 복수의 3차원 표정 데이터 각각에 대해, 상기 기본 표정 모델과의 차이에 기초하여 3차원 표정 모델을 생성하는, 딥러닝 기반의 표정 모델링 단계(S300) 및 상기 3차원 표정 모델에 따라 상기 특정인에 해당하는 캐릭터의 표정을 생성하는 단계(S400)를 포함한다.

구체적으로, S100 단계에서, RGBD 카메라를 활용하여 얼굴 영상을 촬영하고, 이를 이용하여 복수의 3차원 표정 데이터를 획득할 수 있다. 복수의 3차원 표정 데이터는 상이한 표정에 해당할 수 있다. 3차원 표정 데이터는 항상 동일한 버텍스와 삼각형으로 구성되도록 동일한 토폴로지 데이터로 구축한다.

다음으로, 가장 편안한 얼굴을 취하게 하여 취득된 3차원 표정 데이터에서 기본 표정 모델을 지정한다(S200).

기본 표정 모델을 기반으로, 다양하게 촬영되는 3차원 표정 데이터를 활용하여 딥러닝 기반의 얼굴 표정 모델링을 수행한다(S300).

모델링된 얼굴 표정은 저장소에 저장되며 이후 블렌드셰이프를 활용하여 캐릭터의 얼굴 표정을 생성하게 된다(S400).

도 3은 도 2의 딥러닝 기반의 표정 모델링 단계(S300)를 구체적으로 나타내는 순서도이다.

딥러닝 기반의 표정 모델링 단계(S300)는, 상기 3차원 표정 데이터 각각에 대하여, 상기 기본 표정 모델에 기반한 블렌드 셰이프 데이터를 생성하는 단계(S310), 상기 블랜드 셰이프 데이터를 이용하여 상기 3차원 표정 데이터 각각에 대한 임시 표정 모델을 만드는 단계(S320) 및 상기 임시 표정 모델과, 대응하는 3차원 표정 데이터와의 비교를 통해 상기 임시 표정 모델을 수정하는 단계(S330, S340)를 포함할 수 있다.

구체적으로, 입력되는 3차원 표정 데이터로부터 기본 표정 모델 기반으로 블랜드셰이프 데이터를 추출한다(S310).

그 이후 추출된 블렌드셰이프 데이터를 활용하여 임시 표정 모델을 생성한다(S320).

그리고, 생성된 임시 표정 모델과, 입력된 3차원 표정 데이터와의 비교를 통해 임시 표정 모델을 수정한다(S330, S340).

그리고, 수정된 임시 표정 모델에 기반하여 다시 블렌드셰이프 데이터를 추출하는 과정을 반복하게 된다(S310). 다시 말해, S330 단계 후에, S310 단계, S320 단계 및 S330 단계가 반복적으로 수행되며, S310 단계가 2회째이거나 또는 그 이후인 경우, S310 단계의 블렌드 셰이프 데이터는, 직전의 S330 단계에서 수정된 임시 표정 모델에 기반하여 생성될 수 있다.

충분히 만족할 만한 결과를 얻게 되면 완성된 모델이 생성된다.

도 3의 각 단계는 복수의 3차원 표정 데이터 각각에 대해 수행된다.

도 4는 본 발명의 실시예에 따른 복수의 3차원 표정 데이터의 예를 나타내는 도면이다. 도 4는 iPhoneX에 탑재된 RGBD 카메라를 이용하여 획득된 것이다.

첫번째 표정은 가장 편안한 자세의 3차원 표정 데이터이고, 두번째는 입을 벌렸을 때의 3차원 표정 데이터이고, 세번째는 눈을 감았을 때의 3차원 표정 데이터이다. 첫번째 3차원 표정 데이터는 기본 표정 모델로 지정될 수 있다. 이 3차원 표정 데이터들은 동일한 버텍스와 삼각형으로 구성된 토폴로지가 동일한 데이터들이다.

도 5의 (a) 및 (b)는 본 발명의 실시예에 따른 블렌드셰이프 데이터의 예를 나타내는 도면이다. 도 4와 마찬가지로 iPhoneX를 이용한 경우를 나타낸다.

먼저 도 5(a)를 참조하면, eyeBlinkLeft 블렌드셰이프 데이터의 값이 0일 경우는 왼쪽의 3차원 표정 데이터(기본 표정 모델과 동일)가 되고, 값이 1일 경우는 오른쪽의 3차원 표정 데이터가 된다.

도 5(b)를 참조하면, jawOpen 블렌드셰이프 데이터의 값이 0일 경우는 왼쪽의 3차원 표정 데이터(기본 표정 모델과 동일)가 되고, 값이 1일 경우는 오른쪽의 3차원 표정 데이터가 된다.

이러한 블랜드셰이프가 합쳐져서 하나의 표정모델을 이룬다.

도 6은 본 발명의 실시예에 따른 블렌드셰이프 기반의 표정 모델의 예를 나타내는 도면이다.

전술한 바와 같이, 특정인의 복수의 3차원 표정 데이터 각각에 대하여, 블렌드셰이프 기반의 표정 모델이 생성된다.

본 발명의 실시예에 의하면, 단순히 RGBD 카메라에 의해 특정인을 촬영하는 것에 의해 도 6에 예시된 바와 같은 복수의 표정 모델이 생성될 수 있다. 이에 따라, 복수의 표정 모델을 기반으로, 블렌드 셰이프를 활용함으로써, 특정인에 해당하는 캐릭터의 얼굴 표정을 생성하는 것이 가능하다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. (a) 특정인의 복수의 얼굴 전체 표정에 해당하는 복수의 3차원 표정 데이터를 RGBD 카메라를 통해 취득하는 단계;
   (b) 상기 복수의 3차원 표정 데이터의 일부를 기본 표정 모델로 지정하는 단계;
   (c) 상기 복수의 3차원 표정 데이터 각각에 대해, 상기 기본 표정 모델과의 차이에 기초하여 3차원 표정 모델을 생성하는, 딥러닝 기반의 표정 모델링 단계; 및
   (d) 상기 3차원 표정 모델에 따라 상기 특정인에 해당하는 캐릭터의 표정을 생성하는 단계
   를 포함하고,
   상기 (c) 단계는,
   (c-1) 상기 3차원 표정 데이터 각각에 대하여, 상기 기본 표정 모델에 기반한 블렌드 셰이프 데이터를 추출하는 단계;
   (c-2) 상기 블렌드 셰이프 데이터를 이용하여 상기 3차원 표정 데이터 각각에 대한 임시 표정 모델을 만드는 단계;
   (c-3) 상기 임시 표정 모델과, 대응하는 3차원 표정 데이터와의 비교를 통해 상기 임시 표정 모델을 수정하는 단계;
   (c-4) 상기 수정된 임시 표정 모델로부터 블렌드 셰이프 데이터를 추출하는 단계; 및
   (c-5) 상기 (c-4) 단계에서 추출된 블렌드 셰이프 데이터를 이용하여 상기 3차원 표정 모델을 생성하는 단계;
   를 포함하는 것을 특징으로 하는 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 복수의 3차원 표정 데이터는, 동일한 버텍스와 삼각형으로 구성된 동일한 토폴로지 데이터인 것을 특징으로 하는 딥 러닝 기반의 캐릭터 얼굴 표정 생성 방법.
   
   
   
   
   
   

Images