KR102108422B1 - Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 - Google Patents

Abstract

본 발명의 일 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템은, 사람의 얼굴 표정 영상을 획득하는 영상 획득부; 상기 영상 획득부에 의해 획득한 얼굴 표정 영상을 이용하여 학습데이터를 제작하는 학습데이터 제작부; 상기 학습데이터를 이용하여 사전에 학습된 제1 학습모델 기반으로, 상기 영상 획득부를 통해 입력된 사람의 얼굴 표정 영상을 복수의 감정에 따라 분류하는 표정 분류부; 및 제2 학습모델 기반으로, 상기 표정 분류부에 의한 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하는 리타겟팅부를 포함할 수 있다.

Description

AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 {System and Method for Optimizing Facial Expression of Virtual Characters through AI-based Facial Expression Classification and Retargeting, and Computer Readable Storage Medium}

본 출원은 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.

얼굴 애니메이션을 구현하기 위해 모션 캡쳐 시스템에 의해 사람의 미세한 얼굴 표정을 추적하고 추적된 표정을 가상의 캐릭터에 적용하는 기술이 널리 사용되고 있다.

이를 위해, 일반적으로 사람의 얼굴의 영상을 카메라로 촬영하고, 이를 분석하여 블랜드쉐입 웨이트를 결정함으로써 사람의 얼굴 표정을 추적하는 방법을 사용한다.

그러나, 이와 같이 사람의 얼굴 표정을 그대로 가상의 캐릭터에 적용하는 경우 가상 캐릭터의 표정을 예쁘게 표현하거나 또는 실감나게 표현하는 데에는 한계가 있다.

따라서, 당해 기술분야에서는 사람의 얼굴 표정에 따라 가상 캐릭터의 표정을 구현함에 있어서 가장 예쁘고 실감나게 표정을 구현하기 위한 방안이 요구되고 있다.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템을 제공한다.

상기 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템은, 사람의 얼굴 표정 영상을 획득하는 영상 획득부; 상기 영상 획득부에 의해 획득한 얼굴 표정 영상을 이용하여 학습데이터를 제작하는 학습데이터 제작부; 상기 학습데이터를 이용하여 사전에 학습된 제1 학습모델 기반으로, 상기 영상 획득부를 통해 입력된 사람의 얼굴 표정 영상을 복수의 감정에 따라 분류하는 표정 분류부; 및 제2 학습모델 기반으로, 상기 표정 분류부에 의한 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하는 리타겟팅부를 포함할 수 있다.

한편, 본 발명의 다른 실시예는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법을 제공한다.

상기 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법은, 사람의 얼굴 표정 영상을 획득하는 단계; 제 1 학습모델 기반으로, 상기 얼굴 표정 영상을 복수의 감정에 따라 분류하는 단계; 및 제2 학습모델 기반으로, 상기 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하는 단계를 포함할 수 있다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 카메라로 촬영한 사람의 얼굴 표정 영상을 복수의 감정에 따라 분류하고, 분류된 표정에 따라 가장 예쁘고 실감나게 표정을 표현하도록 리타겟팅 함으로써, 가상 캐릭터의 표정을 최적화하여 구현할 수 있다.

도 1은 본 발명의 일 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 학습데이터를 제작하는 일 예를 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 학습데이터를 제작하는 다른 예를 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라서 복수의 감정에 따라 분류된 표정의 예를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 분류된 표정을 리타겟팅한 예를 도시하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법의 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템의 구성도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템(100)은 영상 획득부(110), 학습데이터 제작부(120), 표정 분류부(130), 리타겟팅 정보 DB(140) 및 리타겟팅부(150)를 포함하여 구성될 수 있다.

영상 획득부(110)는 사람의 얼굴 표정 영상을 획득하기 위한 것으로, 예를 들어 카메라, 또는 3차원 영상의 획득이 가능한 스테레오 카메라 등으로 구현될 수 있다.

학습데이터 제작부(120)는 영상 획득부(110)에 의해 획득한 영상을 이용하여 후술하는 표정 분류부(130)에 포함된 학습모델을 학습시키기 위한 학습데이터를 제작하도록 하기 위한 것이다.

일 실시예에 따르면, 학습데이터 제작부(120)는 사람이 기 정해진 복수의 감정 분류 각각에 해당하는 표정을 지을 때 획득한 표정 영상을 이용하여, 해당 표정 영상에 대한 블랜드쉐입 데이터와 이에 대한 감정 분류 정보를 연결시켜 학습데이터를 구축할 수 있다. 여기서, 블랜드쉐입 데이터는 기존의 소프트웨어 등에 의해 표정 영상으로부터 획득한 것일 수 있다.

이 경우, 학습데이터 제작부(120)는 학습 결과의 정확도를 보다 향상시키기 위해 상술한 학습데이터에 기 설정된 범위(예를 들어, +/- 1%) 내에서 무작위의 노이즈를 적용시킬 수 있다. 구체적으로, 각각의 감정 분류에 해당하는 표정 영상에 대한 블랜드쉐입 데이터에 기 설정된 범위 내에서 무작위의 노이즈를 적용하여 복수의 학습데이터를 생성할 수 있으며, 이를 통해 대량의 학습데이터를 생성함과 동시에 학습 결과의 정확도를 향상시킬 수 있다.

다른 실시예에 따르면, 학습데이터 제작부(120)는 학습데이터의 정확성을 향상시키기 위하여 각각의 감정 분류에 따라 필요한 표정만을 선택하고 해당 표정 전 또는 후의 표정은 제외하도록 할 수 있다.

도 2는 본 발명의 일 실시예에 따라 학습데이터를 제작하는 일 예를 도시하는 도면으로, 화면의 하단의 좌측 및 우측에 각각 위치한 아이콘을 선택하고 이동시켜서 획득한 영상에서 필요한 표정에 해당하는 영상만을 잘라내도록 할 수 있다.

이를 통해, 사람이 임의의 감정 분류에 해당하는 표정을 지을 때 해당 표정 전 또는 후에 수반되는 학습에 방해가 되는 표정을 제외시킴으로써, 정확한 학습데이터를 생성하도록 하여 학습의 정확도를 보다 향상시켜줄 수 있다.

또 다른 실시예에 따르면, 학습데이터 제작부(120)는 후술하는 리타겟팅 정보 DB(140)의 구축을 위해 디자이너에 의해 예쁘고 실감나게 표현된 최적의 표정을 생성하도록 할 수 있다.

도 3은 본 발명의 일 실시예에 따라 학습데이터를 제작하는 다른 예를 도시하는 도면으로, 도 3에 도시된 바와 같이 얼굴의 각 부위별로 아이콘을 이동시켜 미세 조절이 가능하도록 함으로써 감정에 따라 분류된 표정을 리타겟팅할 최적의 표정을 생성하도록 할 수 있다.

표정 분류부(130)는 영상 획득부(110)를 통해 입력된 사람의 얼굴 표정 영상을 학습모델 기반으로 복수의 감정에 따라 분류하기 위한 것이다. 이를 위해, 학습모델은 상술한 학습데이터 제작부(120)에 의해 제작된 학습데이터를 이용하여 사전에 학습된 것일 수 있다.

일 실시예에 따르면, 학습모델은 예를 들어 CNN(Convolutional Nerual Network) 등을 활용할 수 있으나, 본 발명이 반드시 이로 제한되는 것은 아니다. 다시 말해, 학습모델은 통상의 기술자에게 알려진 다양한 머신러닝 또는 딥러닝 모델 중에서 선택된 모델을 사용할 수 있다.

표정 분류부(130)는 입력된 얼굴 표정 영상으로부터 블랜드쉐입 데이터를 획득하고, 학습모델 기반으로 감정에 따라 분류하며, 감정 분류 정보 및 블랜드쉐입 데이터를 출력할 수 있다.

도 4는 본 발명의 일 실시예에 따라서 복수의 감정에 따라 분류된 표정의 예를 도시하는 도면으로, 도 4의 (a) 내지 (k)는 각각 중간 표정, 약간 웃음, 크게 웃음, 사랑스러움, 놀람, 분노, 화남, 뚱함, 혐오스러움, 뾰로통함 및 슬픔의 11가지 감정에 따라 분류된 표정의 예를 도시한다.

그러나, 도 4에 도시된 표정 분류는 일 예에 불과한 것으로, 본 발명이 반드시 이로 제한되는 것은 아니며, 감정에 따른 표정 분류의 개수 및 감정의 종류는 다양하게 변경될 수 있다.

리타겟팅부(150)는 표정 분류부(130)에 의한 표정 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하기 위한 것이다.

일 실시예에 따르면, 리타겟팅부(150)는 리타겟팅 정보 DB(140)에 저장된 최적의 표정을 활용하여 표정 분류부(130)에서 출력된 블랜드쉐입 데이터를 보정할 수 있다.

이를 위해, 리타겟팅부(150)는 학습모델을 기반으로 표정을 리타겟팅할 수 있다. 학습모델은 예를 들어 CNN(Convolutional Nerual Network) 등을 활용할 수 있으나, 본 발명이 반드시 이로 제한되는 것은 아니다. 또한, 학습모델은 표정 분류 결과 및 이에 상응하는 최적의 표정 정보를 포함하는 학습데이터를 이용하여 사전에 학습될 수 있다.

도 5는 본 발명의 일 실시예에 따라 분류된 표정을 리타겟팅한 예를 도시하는 도면으로, 도 3의 (a) 내지 (c)는 각각 슬픔, 크게 웃음 및 분노로 분류된 원본 영상을 리타겟팅하여 가상 캐릭터의 표정을 예쁘고 실감나게 표현한 예를 도시한다.

도 6은 본 발명의 다른 실시예에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법의 흐름도이다.

도 6을 참조하면, 우선, 카메라나 스테레오 카메라 등에 의해 사람의 얼굴 표정 영상을 획득할 수 있다(S61).

이후, 학습모델 기반으로 사람의 얼굴 표정을 복수의 감정에 따라 분류할 수 있다(S62). 여기서, 학습모델은 기 분류된 복수의 감정별로 획득한 사람의 얼굴 표정 영상을 이용하여 사전에 학습된 것일 수 있다.

이후, 표정 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅할 수 있다(S63).

도 6을 참조하여 상술한 각 단계에 대한 구체적인 내용은 도 1 내지 도 5를 참조하여 상술한 바와 동일하므로 이에 대한 중복적인 설명은 생략한다.

도 6을 참조하여 상술한 상술한 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법은 영상의 편집 및 처리와, 인공지능 모델의 학습이 가능한 프로세싱 장치에 의해 수행될 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 도 6을 참조하여 상술한 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법의 각 단계를 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장매체가 제공될 수 있다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 가상 캐릭터의 표정 최적화 시스템
110: 영상 획득부
120: 학습데이터 제작부
130: 표정 분류부
140: 리타겟팅 정보 DB
150: 리타겟팅부

Claims (9)

1. 사람의 얼굴 표정 영상을 획득하는 영상 획득부;
   상기 영상 획득부에 의해 획득한 얼굴 표정 영상을 이용하여 학습데이터를 제작하는 학습데이터 제작부;
   상기 학습데이터를 이용하여 사전에 학습된 제1 학습모델 기반으로, 상기 영상 획득부를 통해 입력된 사람의 얼굴 표정 영상을 복수의 감정에 따라 분류하는 표정 분류부; 및
   제2 학습모델 기반으로, 상기 표정 분류부에 의한 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하는 리타겟팅부를 포함하며,
   상기 표정 분류부는 상기 얼굴 표정 영상으로부터 블랜드쉐입 데이터를 획득하고, 상기 블랜드쉐입 데이터를 상기 제1 학습모델 기반으로 감정에 따라 분류하며, 감정 분류 정보 및 상기 블랜드쉐입 데이터를 출력하고,
   상기 리타겟팅부는 리타겟팅 정보 DB에 저장된 최적의 표정을 활용하여 상기 제2 학습모델 기반으로 상기 표정 분류부에서 출력된 블랜드쉐입 데이터를 보정하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템.
   
2. 제 1 항에 있어서,
   상기 학습데이터 제작부는 사람이 기 정해진 복수의 감정 분류 각각에 해당하는 표정을 지을 때 획득한 표정 영상을 이용하여, 상기 표정 영상에 대한 블랜드쉐입 데이터와 이에 대한 감정 분류 정보를 연결시켜 학습데이터를 구축하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템.
   
3. 제 2 항에 있어서,
   상기 학습데이터 제작부는 상기 블랜드쉐입 데이터에 기 설정된 범위 내에서 무작위의 노이즈를 적용하여 복수의 학습데이터를 생성하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템.
   
4. 제 2 항에 있어서,
   상기 학습데이터 제작부는 상기 복수의 감정 분류 각각에 해당하는 표정 전 또는 후의 표정은 제외하고 상기 학습데이터를 구축하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템.
   
5. 제 1 항에 있어서,
   상기 학습데이터 제작부는 얼굴의 각 부위별로 아이콘을 이동시켜 각 부위별로 미세 조절이 가능하도록 하여 분류된 표정을 리타겟팅할 최적의 표정을 생성하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템.
   
6. 삭제
7. 삭제
8. 사람의 얼굴 표정 영상을 획득하는 단계;
   제 1 학습모델 기반으로, 상기 얼굴 표정 영상을 복수의 감정에 따라 분류하는 단계; 및
   제2 학습모델 기반으로, 상기 분류 결과에 상응하는 최적의 표정을 표현하기 위해 표정을 리타겟팅하는 단계를 포함하며,
   상기 분류하는 단계는 상기 얼굴 표정 영상으로부터 블랜드쉐입 데이터를 획득하고, 상기 블랜드쉐입 데이터를 상기 제1 학습모델 기반으로 감정에 따라 분류하며, 감정 분류 정보 및 상기 블랜드쉐입 데이터를 출력하고,
   상기 리타겟팅하는 단계는 리타겟팅 정보 DB에 저장된 최적의 표정을 활용하여 상기 제2 학습모델 기반으로 상기 분류하는 단계에서 출력된 블랜드쉐입 데이터를 보정하는 것을 특징으로 하는 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법.
   
9. 제 8 항에 따른 AI 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장 매체.

Images