KR102495136B1 - 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 - Google Patents

Abstract

사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템이 제공된다. 상기 메타버스 캐릭터 제작 시스템은 제1 사용자의 바디 움직임을 센싱하여 제1 모션 데이터를 생성하는 모션 캡쳐 장치, 상기 제1 사용자와, 상기 제1 사용자와 다른 제2 사용자의 바디 움직임을 촬영하여 제1 영상 데이터를 생성하는 촬영 장치, 상기 제1 영상 데이터에서 상기 제1 사용자를 추적하여 분할 영상 데이터를 생성하고, 상기 제1 모션 데이터를 이용하여 생성된 메타버스 캐릭터의 바디 움직임과, 상기 분할 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임을 비교하여 모션 보정 서포트 데이터를 생성하는 데이터 보정 모듈 및 상기 모션 보정 서포트 데이터를 이용하여, 상기 메타버스 캐릭터를 구현하는 메타버스 캐릭터 구현 모듈을 포함한다.

Description

사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템{Metaverse character making system for using user tracking and image analysis}

본 발명은 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템에 관한 것이다. 구체적으로, 본 발명은 사용자 추적을 통해 사용자 중심의 분할 영상 데이터를 생성하고, 영상 분석을 통해 배우의 연기를 촬영한 영상과, 배우의 연기로 인해 생성된 모션 데이터를 기초로 생성된 메타버스 캐릭터의 영상을 비교하여, 모션 데이터를 보정하는 메타버스 캐릭터 제작 시스템에 관한 것이다.

메타버스 캐릭터 제작은 매우 복잡한 절차를 통해서 이루어진다. 종래의 메타버스 캐릭터 제작의 경우 2D나 3D 컴퓨터 그래픽 영상은 제작자가 동작들을 일일이 수작업으로 만들기 때문에, 시간적/경제적으로 많은 비용이 소요되었으며, 또한 동작간 리얼리티가 부족하다는 단점이 있다.

그러나, 최근 메타버스 캐릭터 제작 시스템에서는 캐릭터의 리얼리티를 살리기 위해 다양한 방식을 이용하고 있다. 가장 대표적으로 복수의 마커를 부착한 연기자의 움직임을 센싱하여 골격을 생성하고, 미리 구현한 캐릭터 이미지에 생성된 골격을 리깅함으로써 캐릭터에 생동감을 불러 일으키는 작업을 진행하고 있다.

최근 메타버스 캐릭터 제작 시스템은 캐릭터의 리얼리티를 살리고, 제작비용을 절감하기 위한 다양한 메타버스 캐릭터 제작의 자동화된 추가적인 처리 과정들이 개발되고 있다.

공개특허공보 제10-2004-0096799호

본 발명의 과제는, 메타버스 캐릭터의 리얼리티를 극대화하기 위해, 배우의 생체 정보를 이용하여, 메타버스 캐릭터의 움직임 및 연출 효과를 보정하는 메타버스 제작 시스템을 제공하는 것이다.

또한, 본 발명의 과제는, 메타버스 캐릭터의 리얼리티를 극대화하기 위해, 연기 도중 변화되는 배우의 운동 상태 및 감정 상태를 반영하여, 메타버스 캐릭터의 움직임 및 연출 효과를 보정하는 메타버스 제작 시스템을 제공하는 것이다.

또한, 본 발명의 과제는, 복수의 배우가 등장하는 영상 데이터에서, 특정 배우를 추적하여 특정 배우에 대한 영상 데이터를 생성하고, 특정 배우에 대한 영상 데이터와, 모션 데이터로부터 기인한 메타버스 캐릭터를 비교 분석함으로써, 배우의 연기에 의해 생성된 모션 데이터를 추가적으로 보정하는 메타버스 제작 시스템을 제공하는 것이다.

또한, 본 발명의 과제는, 메타버스 캐릭터를 생성하기 위해 수행하는 배우의 연기를 메타버스 캐릭터의 표정에 보다 적절하게 반영하기 위해, 배우의 연기 영상과 메타버스 캐릭터의 영상을 비교 분석함으로써, 배우의 연기에 의해 생성된 모션 데이터를 추가적으로 보정하는 메타버스 제작 시스템을 제공하는 것이다.

또한, 본 발명의 과제는, 배우의 감정 상태 결정을 위해, 배우의 연기를 촬영한 영상을 분석한 결과를 추가적으로 이용하는 메타버스 제작 시스템을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 메타버스 제작 시스템은 제1 사용자의 바디 움직임을 센싱하여 제1 모션 데이터를 생성하는 모션 캡쳐 장치, 상기 제1 사용자와, 상기 제1 사용자와 다른 제2 사용자의 바디 움직임을 촬영하여 제1 영상 데이터를 생성하는 촬영 장치, 상기 제1 영상 데이터에서 상기 제1 사용자를 추적하여 분할 영상 데이터를 생성하고, 상기 제1 모션 데이터를 이용하여 생성된 메타버스 캐릭터의 바디 움직임과, 상기 분할 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임을 비교하여 모션 보정 서포트 데이터를 생성하는 데이터 보정 모듈 및 상기 모션 보정 서포트 데이터를 이용하여, 상기 메타버스 캐릭터를 구현하는 메타버스 캐릭터 구현 모듈을 포함한다.

몇몇 실시예에 따르면, 상기 모션 캡쳐 장치는 상기 제1 사용자의 얼굴 움직임을 센싱하여 제2 모션 데이터를 더 생성하고, 상기 촬영 장치는 상기 제1 사용자의 얼굴을 촬영하여 제2 영상 데이터를 더 생성하고, 상기 데이터 보정 모듈은 상기 제2 모션 데이터를 이용하여 생성된 상기 메타버스 캐릭터의 얼굴 표정과, 상기 제2 영상 데이터에 포함된 상기 제1 사용자의 얼굴 표정을 비교하여 표정 보정 서포트 데이터를 생성하고, 상기 메타버스 캐릭터 구현 모듈은 상기 표정 보정 서포트 데이터를 더 이용하여 상기 메타버스 캐릭터를 구현할 수 있다.

몇몇 실시예에 따르면, 상기 데이터 보정 모듈은, 상기 분할 영상 데이터와, 상기 제1 모션 데이터를 이용하여 생성된 제1 메타버스 캐릭터 리깅 데이터와, 상기 모션 보정 서포트 데이터를 이용하여 생성된 제2 메타버스 캐릭터 리깅 데이터를 디스플레이하는 디스플레이부 및 상기 제1 메타버스 캐릭터 리깅 데이터 및 상기 제2 메타버스 캐릭터 리깅 데이터 중 어느 하나를 선택하는 입력 신호를 생성하는 입력부를 포함할 수 있다.

몇몇 실시예에 따르면, 상기 메타버스 캐릭터 구현 모듈은 특정 구간마다 입력되는 상기 입력 신호에 따라, 상기 제1 메타버스 캐릭터 리깅 데이터 및 상기 제2 메타버스 캐릭터 리깅 데이터 중 어느 하나를 이용하여 구현될 수 있다.

몇몇 실시예에 따르면, 상기 제1 모션 데이터를 이용하여 제1 골격 데이터를 생성하고, 상기 모션 보정 서포트 데이터를 이용하여 제2 골격 데이터를 생성하는 골격 생성 모듈 및 상기 메타버스 캐릭터의 이미지에 상기 제1 골격 데이터를 리깅하여, 상기 제1 메타버스 캐릭터 리깅 데이터를 생성하고, 상기 메타버스 캐릭터의 이미지에 상기 제2 골격 데이터를 리깅하여, 상기 제2 메타버스 캐릭터 리깅 데이터를 생성하는 리타겟 모듈을 더 포함할 수 있다.

몇몇 실시예에 따르면, 상기 데이터 보정 모듈은, 상기 제1 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임과, 상기 제1 모션 데이터를 이용하여 생성된 제1 메타버스 캐릭터 리깅 데이터에 포함된 상기 메타버스 캐릭터의 바디 움직임을 분석하는 모션 데이터 보정부를 포함할 수 있다.

몇몇 실시예에 따르면, 상기 모션 데이터 보정부는, 인공지능 분석을 통해 상기 제1 영상 데이터에 포함된 상기 제1 사용자의 모션을 분석하여, 상기 제1 사용자의 모션에 포함된 제1 모션 요소와, 상기 제1 모션 요소에 대한 제1 모션 범위를 결정하고, 인공지능 분석을 통해 상기 제1 메타버스 캐릭터 리깅 데이터에 포함된 상기 메타버스 캐릭터의 모션을 분석하여, 상기 메타버스 캐릭터의 모션에 포함된 제2 모션 요소와, 상기 제2 모션 요소에 대한 제2 모션 범위를 결정하고, 상기 제1 모션 요소, 상기 제2 모션 요소, 상기 제1 모션 범위 및 상기 제2 모션 범위를 비교하여 상기 모션 보정 서포트 데이터를 생성할 수 있다.

몇몇 실시예에 따르면, 상기 제1 사용자의 생체 정보를 측정하여 생체 정보 데이터를 생성하는 생체 정보 측정 장치를 더 포함하고, 상기 데이터 보정 모듈은, 상기 생체 정보 데이터를 이용하여, 상기 제1 사용자의 운동 상태를 결정하는 운동 상태 결정부 및 상기 생체 정보 데이터와 상기 제1 영상 데이터를 이용하여, 상기 제1 사용자의 감정 상태를 결정하는 감정 상태 결정부를 포함하고, 상기 제1 사용자의 운동 상태와 상기 제1 사용자의 감정 상태와 상기 모션 보정 서포트 데이터를 이용하여 제1 보정 데이터를 생성할 수 있다.

몇몇 실시예에 따르면, 상기 데이터 보정 모듈은 상기 제1 사용자의 운동량의 증가에 따라, 상기 생체 정보 측정 장치를 이용하여, 미리 정한 시간 간격 또는 연속적으로 기록된 상기 제1 사용자의 생체 정보 기록 데이터를 포함하는 생체 정보 라이브러리, 상기 제1 사용자의 생체 정보 기록 데이터를 이용하여 상기 제1 사용자의 운동 상태 구간을 구획하고, 상기 제1 사용자의 운동 상태 구간과 상기 제1 사용자의 생체 정보 데이터를 이용하여 상기 제1 사용자의 운동 상태를 결정하는 운동 상태 결정부, 상기 제1 사용자의 제1 신체 부위의 체온 변화량이 제1 기준 이상인지 여부 및 상기 제1 사용자의 상기 제1 신체 부위와 다른 제2 신체 부위의 체온 변화량이 제2 기준 이상인지 여부를 기초로 상기 제1 사용자의 감정 상태를 결정하는 감정 상태 결정부를 포함할 수 있다.

몇몇 실시예에 따르면, 상기 운동 상태 결정부는 상기 제1 사용자의 생체 정보 기록 데이터를 참고하여, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 크고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 체온이 증가하는 구간을 제1 운동 상태 구간으로 결정하고, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 크고, 상기 제1 사용자의 체온이 증가하는 구간을 제2 운동 상태 구간으로 결정하고, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 체온은 상대적으로 높고, 상기 제1 사용자의 체온이 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간으로 결정할 수 있다.

본 발명의 메타버스 캐릭터 제작 시스템은, 연기를 수행하는 사용자의 현재 상태를 반영하여, 메타버스 캐릭터의 움직임과 연출 효과에 적용하므로 캐릭터의 리얼리티를 극대화할 수 있다.

또한, 본 발명의 메타버스 캐릭터 제작 시스템은 사용자의 현재 상태를 지속적으로 갱신하여, 상황 변화에 따른 연출을 손쉽게 수행할 수 있다.

또한, 본 발명의 메타버스 캐릭터 제작 시스템은 실제 배우의 연기를 촬영한 영상과, 배우의 연기에 의해 생성된 모션 데이터를 이용하여 생성된 메타버스 캐릭터의 영상을 비교 분석함으로써, 모션 데이터를 추가적으로 보정함으로써, 배우의 연기를 보다 더 적절하게 반영한 메타버스 캐릭터를 제작할 수 있다.

또한, 본 발명의 메타버스 캐릭터 제작 시스템은 생체 정보 데이터 뿐만 아니라, 배우의 표정을 추가적으로 분석하여 배우의 감정 상태를 파악하므로, 배우의 감정 상태를 보다 정확하게 판단할 수 있어, 배우의 상태를 보다 적절히 반영하는 메타버스 캐릭터를 제작할 수 있다.

상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.

도 1은 본 발명의 몇몇 실시예에 따른 영상 분석을 이용한 메타버스 캐릭터 제작 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치의 구성을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치의 구성을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 몇몇 실시예에 따른 데이터 보정 모듈의 구성을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 몇몇 실시예에 따른 생체 정보 기록 데이터에 대해 운동 상태 구간을 정의하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 몇몇 실시예에 따른 제1 사용자의 체온 측정 위치를 설명하기 위한 도면이다.
도 7은 본 발명의 몇몇 실시예에 따른 감정 상태 결정부가 제1 사용자의 생체 정보 데이터를 기초로 제1 사용자의 감정 상태를 결정하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 모션 보정부의 구성을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 몇몇 실시예에 따른 모션 데이터 보정부의 구성을 설명하기 위한 도면이다.
도 10은 본 발명의 몇몇 실시예에 따른 사용자 중심 영상 생성부의 동작을 설명하기 위한 도면이다.
도 11은 본 발명의 몇몇 실시예에 따른 바디 모션 비교부의 구성을 설명하기 위한 도면이다.
도 12는 본 발명의 몇몇 실시예에 따른 표정 비교부의 구성을 설명하기 위한 도면이다.
도 13 및 도 14는 본 발명의 몇몇 실시예에 따른 디스플레이부를 설명하기 위한 예시적인 도면이다.
도 15는 본 발명의 몇몇 실시예에 따른 효과 보정부의 구성을 설명하기 위한 예시적인 도면이다.
도 16 내지 도 19는 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터의 제작 방법에 대해 설명하기 위한 도면이다.

본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.

본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.

본 발명은 메타버스 캐릭터 제작 시스템에 관한 것으로, '메타버스 캐릭터 제작'은 메타버스, 가상현실, 증강현실 혹은 확장현실에서 이용되는 메타버스 캐릭터의 움직임 및 연출 효과를 포함하는 이미지의 제작을 의미할 수 있다. 다시 말해서, 본 명세서에서 '메타버스 캐릭터'는 2D 또는 3D로 구현된 가상의 디지털 아이돌 캐릭터, 게임 캐릭터 등을 포함할 수 있다. 또한, '메타버스 컨텐츠'라 함은 메타버스 캐릭터를 포함하는 이미지로서, 메타버스 캐릭터 뿐만 아니라, 메타버스 배경, 구조물 등을 모두 포함하는 이미지를 의미할 수 있다.

이하, 도 1 내지 도 19를 참조하여, 본 발명의 몇몇 실시예에 따른 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템 및 방법을 설명한다.

도 1은 본 발명의 몇몇 실시예에 따른 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템을 개략적으로 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 영상 분석을 이용한 메타버스 캐릭터 제작 시스템(1)은 모션 캡쳐 장치(100), 생체 정보 측정 장치(200), 데이터 보정 모듈(300), 골격 생성 모듈(400), 리타겟 모듈(500), 메타버스 캐릭터 구현 모듈(600), 데이터 백업 모듈(700) 및 촬영 장치(800)를 포함할 수 있다.

모션 캡쳐 장치(100)는 연기를 수행하는 제1 사용자(즉, 배우)의 움직임에 따라 모션 데이터를 생성할 수 있다. 모션 데이터는 페이셜 모션 데이터(fMC_Data) 및 바디 모션 데이터(bMC_Data)를 포함할 수 있다. 페이셜 모션 데이터(fMC_Data)는 제1 사용자의 얼굴의 움직임을 센싱한 데이터, 즉 제1 사용자의 표정에 대한 데이터일 수 있다. 바디 모션 데이터(bMC_Data)는 제1 사용자의 바디의 움직임, 즉 제1 사용자의 활동 모션에 대한 데이터일 수 있다.

모션 캡쳐 장치(100)는 제1 사용자의 움직임을 센싱할 수 있는 센싱 수단과, 센싱된 값을 이용하여 데이터를 생성하는 수단을 포함할 수 있다. 이에 대한 예시적인 설명은 후술한다. 모션 캡쳐 장치(100)에서 생성된 모션 데이터는 데이터 보정 모듈(300), 골격 생성 모듈(400) 및 데이터 백업 모듈(700)에 제공될 수 있다.

생체 정보 측정 장치(200)는 연기를 수행하는 제1 사용자에게 부착되고, 연기를 수행하는 제1 사용자의 생체 정보를 측정하여, 생체 정보 데이터(BM_Data)를 생성할 수 있다. 생체 정보 데이터(BM_Data)는 데이터 보정 모듈(300) 및 데이터 백업 모듈(700)에 제공될 수 있다.

데이터 보정 모듈(300)은 촬영 장치(800)에서 생성된 제1 영상 데이터(IMG_Data#1) 및 제2 영상 데이터(IMG_Data#2), 모션 캡쳐 장치(100)에서 생성된 페이셜 모션 데이터(fMC_Data) 및 바디 모션 데이터(bMC_Data), 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data) 중 적어도 일부를 이용하여, 제1 보정 데이터(CB_Data#1) 및 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 이때, 제1 영상 데이터(IMG_Data#1)는 제1 사용자와 제2 사용자(USER#2)의 바디 움직임을 촬영한 영상 데이터일 수 있다. 또한, 제2 영상 데이터(IMG_Data#2)는 제1 사용자의 얼굴 표정을 촬영한 영상 데이터일 수 있다. 이에 대한 구체적 설명은 후술한다. 또한, 제1 보정 데이터(CB_Data#1)는 모션 캡쳐 장치(100)에서 생성된 모션 데이터를 보정하여 생성된 데이터일 수 있다. 다시 말해서, 제1 보정 데이터(CB_Data#1)는 제1 사용자의 움직임에 따라 생성된 모션 데이터를 보정한 데이터일 수 있다. 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터를 구현하기 위한 연출 효과와 관련된 데이터일 수 있다. 예를 들어, 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터를 렌더링하는 메타버스 캐릭터 구현 모듈(600)에 제공되는 렌더링 효과와 관련된 데이터일 수 있다.

몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 제1 보정 데이터(CB_Data#1)를 생성하기 위해, 촬영 장치(800)에서 생성된 영상 데이터와, 리타겟 모듈(500)에서 생성된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 더 이용할 수 있다. 영상 데이터는 제1 영상 데이터(IMG_Data#1) 및 제2 영상 데이터(IMG_Data#2)를 포함할 수 있다. 이에 대한 구체적인 설명은 후술한다.

제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되고, 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여 제1 골격 데이터(SK_Data#1)를 생성할 수 있다. 제1 보정 데이터(CB_Data#1)는 전술한 바와 같이, 데이터 보정 모듈(300)에 의해 보정된 모션 데이터일 수 있다.

몇몇 실시예에 따르면, 모션 데이터는 데이터 보정 모듈(300)을 거치지 않고 바로 골격 생성 모듈(400)에 제공될 수도 있다. 다시 말해서, 페이셜 모션 데이터(fMC_Data) 및 바디 모션 데이터(bMC_Data)는 골격 생성 모듈(400)에 직접 제공될 수 있다. 골격 생성 모듈(400)은 모션 데이터를 직접 이용하여, 제2 골격 데이터(SK_Data#2)를 생성할 수 있다. 다시 말해서, 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여 제1 골격 데이터(SK_Data#1)를 생성하고, 모션 데이터를 직접 이용하여 제2 골격 데이터(SK_Data#2)를 생성할 수 있다.

골격 생성 모듈(400)에서 생성된 제1 골격 데이터(SK_Data#1)와 제2 골격 데이터(SK_Data#2)는 리타겟 모듈(500)에 제공될 수 있다. 리타겟 모듈(500)은 제1 골격 데이터(SK_Data#1)와 제2 골격 데이터(SK_Data#2)를 미리 설정한 메타버스 캐릭터 이미지에 리깅하여, 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 생성할 수 있다. 다시 말해서, 메타버스 캐릭터 리깅 데이터는 메타버스 캐릭터의 이미지와 움직임을 포함하는 메타버스 캐릭터 영상을 의미할 수 있다.

몇몇 실시예에 따르면, 리타겟 모듈(500)은 제1 골격 데이터(SK_Data#1)를 이용하여 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)를 생성하고, 제2 골격 데이터(SK_Data#2)를 이용하여 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 생성할 수 있다. 리타겟 모듈(500)은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 메타버스 캐릭터 구현 모듈(600)에 제공할 수 있다. 또한, 리타겟 모듈(500)은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 데이터 보정 모듈(300)에 제공할 수 있다.

다시 말해서, 데이터 보정 모듈(300)을 거친 모션 데이터, 즉 제1 보정 데이터(CB_Data#1)를 이용하여 생성된 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)는 데이터 보정 모듈(300)에 제공될 수 있다. 또한, 데이터 보정 모듈(300)을 거치지 않은 모션 데이터를 이용하여 생성된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)는 데이터 보정 모듈(300)에 제공될 수 있다. 몇몇 실시예에 따르면, 제1 사용자는 데이터 보정 모듈(300)을 이용하여 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터 중 어느 하나를 선택하여, 이를 메타버스 캐릭터 구현 모듈(600)에 제공할 수 있다.

또한, 데이터 보정 모듈(300)은 제1 보정 데이터(CB_Data#1)를 생성하는데 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 이용할 수 있다. 즉, 데이터 보정 모듈(300)은 제1 보정 데이터(CB_Data#1)를 생성하기 위해, 원본 상태인 모션 데이터를 이용하여 생성된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 이용할 수 있다. 이에 대한 구체적 설명은 후술한다.

메타버스 캐릭터 구현 모듈(600)은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 제공받을 수 있다. 메타버스 캐릭터 구현 모듈(600)은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 이용하여, 메타버스 캐릭터 영상(M_C)을 생성할 수 있다.

몇몇 실시예에 따르면, 모션 캡쳐 장치(100), 생체 정보 측정 장치(200), 데이터 보정 모듈(300), 골격 생성 모듈(400), 리타겟 모듈(500), 메타버스 캐릭터 구현 모듈(600), 데이터 백업 모듈(700) 및 촬영 장치(800)는 네트워크를 통해 서로 데이터를 교환할 수 있다. 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.

무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

네트워크를 통해서 통신하는 영상 분석을 이용한 메타버스 캐릭터 제작 시스템(1)은 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.

몇몇 실시예에 따르면, 모션 캡쳐 장치(100)는 연기를 수행하는 제1 사용자(이하, 제1 사용자)의 신체에 센서 및/또는 마커를 부착하여, 제1 사용자의 움직임을 데이터로 기록할 수 있다. 다시 말해서, 모션 캡쳐 장치(100)는 제1 사용자의 움직임을 센싱하여, 모션 데이터를 생성할 수 있다. 모션 데이터는 제1 사용자의 골격 및 근육의 움직임을 표현하는 데이터일 수 있다.

예를 들어, 모션 캡쳐 장치(100)는 광학식, 자기식 및/또는 관성식 모션 캡쳐 장치로 구현될 수 있다. 광학식 모션 캡쳐 장치는, 마커 및 카메라를 포함할 수 있다. 광학식 모션 캡쳐 장치는 마커를 부착한 제1 사용자의 움직임을 하나 이상의 카메라로 촬상하고, 삼각측량법을 통해 제1 사용자에게 부착된 마커의 삼차원적 좌표를 역산하여 모션 데이터를 생성하는 장치일 수 있다. 자기식 모션 캡쳐 장치는 제1 사용자의 관절 등에 자기장을 계측할 수 있는 센서를 부착한 뒤 자기장 발생 장치 근처에서 각 센서의 자기장 변화량을 계산하여 움직임을 측정함으로써 모션 데이터를 생성하는 장치일 수 있다. 관성식 모션 캡쳐 장치는 가속도 센서, 자이로 센서 및 지자기센서를 포함하는 관성 센서를 제1 사용자의 관절 등에 부착하여, 제1 사용자의 움직임, 회전 및/또는 방향을 읽어내어 모션 데이터를 생성하는 장치일 수 있다. 다만, 상술한 광학식, 자기식 및 관성식 모션 캡쳐 장치는, 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치(100)가 구현될 수 있는 일례를 설명한 것일 뿐, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 모션 캡쳐 장치(100)는 인공지능을 이용한 영상 처리 기술을 이용하거나, 이를 광학식, 자기식 및/또는 관성식 모션 캡쳐 장치(100)와 병행하여 모션 데이터를 생성할 수도 있을 것이다. 이하에서는, 설명의 편의를 위해, 모션 캡쳐 장치(100)는 마커 및 카메라를 포함하는 광학식 모션 캡쳐 장치인 것을 가정하여 설명한다.

몇몇 실시예에 따르면, 모션 캡쳐 장치(100)는 제1 사용자의 행동을 센싱하거나, 제1 사용자의 표정 변화를 센싱하거나, 제1 사용자의 손 움직임을 센싱하여 모션 데이터를 생성할 수 있다. 예시적인 설명을 위해, 도 2를 더 참조한다.

도 2는 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치의 구성을 설명하기 위한 예시적인 도면이다.

도 2를 참조하면, 모션 캡쳐 장치(100)는 바디 캡쳐 모듈(110), 페이셜 캡쳐 모듈(120) 및 핸드 캡쳐 모듈(130)을 포함할 수 있다. 바디 캡쳐 모듈(110)은 제1 사용자의 행동을 센싱하여 바디 모션 데이터를 생성할 수 있다. 다시 말해서, 바디 캡쳐 모듈(110)은 머리, 목, 팔, 몸, 다리 등 제1 사용자의 신체의 움직임을 센싱하여 바디 모션 데이터(bMC_Data)를 생성할 수 있다. 예를 들어, 바디 캡쳐 모듈(110)은 제1 사용자가 특정 행동(걷기, 뛰기, 기기, 앉기, 서기, 눕기, 춤추기, 싸우기, 발길질하기, 팔 휘두르기 등)을 할 때의 머리, 목, 팔, 몸, 다리 등의 움직임을 센싱하여 바디 모션 데이터(bMC_Data)를 생성할 수 있다. 바디 캡쳐 모듈(110)은 예를 들어, 제1 사용자의 신체에 마커를 부착하고, 이를 센싱하여 바디 모션 데이터(bMC_Data)를 생성할 수 있으나, 실시예가 이에 제한되는 것은 아니다.

페이셜 캡쳐 모듈(120)은 제1 사용자의 표정 변화를 센싱하여 페이셜 모션 데이터(fMC_Data)를 생성할 수 있다. 다시 말해서, 페이셜 캡쳐 모듈(120)은 제1 사용자의 얼굴의 움직임을 센싱하여 페이셜 모션 데이터(fMC_Data)를 생성할 수 있다. 예를 들어, 페이셜 캡쳐 모듈(120)은 제1 사용자의 특정 표정(우는 표정, 웃는 표정, 놀란 표정, 화난 표정, 경멸하는 표정, 아쉬운 표정, 사랑스러운 표정, 혐오하는 표정 등)에서의 얼굴의 움직임을 센싱하여 페이셜 모션 데이터(fMC_Data)를 생성할 수 있다. 페이셜 캡쳐 모듈(120)은 예를 들어, 제1 사용자의 얼굴에 마커를 부착하고 이를 센싱한 데이터와, 제1 사용자의 얼굴 표정에 대한 영상 처리 기술을 추가적으로 이용하여 페이셜 모션 데이터(fMC_Data)를 생성할 수 있으나, 실시예가 이에 제한되는 것은 아니다.

핸드 캡쳐 모듈(130)은 제1 사용자의 손 움직임을 센싱하여 핸드 모션 데이터를 생성할 수 있다. 다시 말해서, 핸드 캡쳐 모듈(130)은 제1 사용자의 손 움직임을 센싱하여 핸드 모션 데이터를 생성할 수 있다. 예를 들어, 핸드 캡쳐 모듈(130)은 제1 사용자의 손 동작(손가락 오므리기, 손가락 펴기 등)에서의 손가락 마디의 움직임을 센싱하여 핸드 모션 데이터를 생성할 수 있다. 핸드 캡쳐 모듈(130)은 예를 들어, 손가락 관절의 움직임을 센싱할 수 있는 특수 장갑 또는 웨어러블 장치로 구현될 수 있으나, 실시예가 이에 제한되는 것은 아니다.

다시 도 1을 참조하면, 생체 정보 측정 장치(200)는 제1 사용자의 생체 정보를 측정할 수 있다. 생체 정보는 예를 들어, 심박수, 호흡수 및/또는 체온을 포함할 수 있다. 생체 정보 측정 장치(200)는 측정한 제1 사용자의 생체 정보를 기록하여, 생체 정보 데이터(BM_Data)를 생성할 수 있다. 다시 말해서, 생체 정보 측정 장치(200)는 제1 사용자의 심박, 호흡 및/또는 체온을 측정하여, 이를 생체 정보 데이터(BM_Data)로 생성할 수 있다. 생체 정보 데이터(BM_Data)는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하는데 이용될 수 있다. 예시적인 설명을 위해 도 3을 더 참조한다.

도 3은 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치의 구성을 설명하기 위한 예시적인 도면이다.

도 3을 참조하면, 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치(200)는 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)을 포함할 수 있다.

몇몇 실시예에 따르면, 체온 측정 모듈(210)은 전자섬유 온도 센서를 포함할 수 있다. 체온 측정 모듈(210)은 제1 사용자의 하나 이상의 신체 위치에 대한 체온을 측정할 수 있다. 예를 들어, 체온 측정 모듈(210)은 전자섬유 온도 센서를 포함하므로, 제1 사용자의 행동에 제약을 최소화하는 의류 형태, 장갑 형태, 양말 형태 등으로 구현될 수 있다.

몇몇 실시예에 따르면, 호흡 측정 모듈(220)은 전자섬유 압력 센서 또는 실리콘 기반의 액체금속 센서를 포함할 수 있다. 호흡 측정 모듈(220)은 제1 사용자의 가슴 부위에 부착될 수 있다. 제1 사용자는 흡기 시 흉부의 부피가 커져 가슴 부위에 부착된 호흡 측정 모듈(220)에 압력을 가할 수 있고, 호기 시 흉부의 부피가 작아져 호흡 측정 모듈(220)에 전달되는 압력이 감소할 수 있다. 따라서, 제1 사용자의 가슴 부위에 부착된 호흡 측정 모듈(220)은 센싱되는 압력의 차이를 기초로, 제1 사용자의 호기 및 흡기를 인식할 수 있으며, 이에 따라 제1 사용자의 호흡수를 측정할 수 있다. 예를 들어, 호흡 측정 모듈(220)은 의류 형태 또는 가슴 보호대 형태로 구현될 수 있다.

몇몇 실시예에 따르면, 심박 측정 모듈(230)은 심전도법, 광전 맥파법, 혈압계법 또는 심음도법에 따라 제1 사용자의 심박수를 측정할 수 있다. 예를 들어, 심박 측정 모듈(230)은 제1 사용자의 행동에 제약을 최소화하도록, 손목 시계 또는 손목 밴드형 웨어러블 장치로 구현될 수 있다. 다른 예를 들어, 심박 측정 모듈(230)은 전자섬유 심박 센서를 이용한 의류 형태로 구현될 수 있다.

몇몇 실시예에 따르면, 생체 정보 측정 장치(200)는 의류 형태로 구현될 수 있다. 이때, 의류 형태의 생체 정보 측정 장치(200)는, 의류의 가슴 부위에 호흡 측정 모듈(220)이 위치하고, 의류의 손목 부위에 심박 측정 모듈(230)이 위치하고, 제1 사용자의 신체의 제1 위치 내지 제4 위치에 대응하여 체온 측정 모듈(210)이 위치할 수 있다.

생체 정보 측정 장치(200)가 의류 형태로 구현되는 경우, 모션 캡쳐 장치(100)에 포함된 마커는, 생체 정보 측정 장치(200) 상에 부착될 수 있다. 다시 말해서, 의류 형태의 생체 정보 측정 장치(200) 상에 마커가 부착될 수 있다.

이상, 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)의 구현예에 대해 설명하였으나, 이는 단순히 예시적인 것일 뿐 실시예가 이에 제한되는 것은 아니다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고, 상술한 방식 외의 다른 기술을 통해 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)을 구현할 수 있을 것이다.

다시 도 1을 참조하면, 데이터 보정 모듈(300)은 모션 캡쳐 장치(100)로부터 모션 데이터를 수신할 수 있다. 또한, 데이터 보정 모듈(300)은 생체 정보 측정 장치(200)로부터 생체 정보 데이터(BM_Data)를 수신할 수 있다.

몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 수신한 생체 정보 데이터(BM_Data)를 기초로, 모션 데이터를 보정할 수 있다. 다시 말해서, 데이터 보정 모듈(300)은 생체 정보 데이터(BM_Data)를 이용하여 모션 데이터의 적어도 일부를 보정하여, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되어, 사실감과 생동감 있는 메타버스 캐릭터의 골격 움직임을 생성하는데 이용될 수 있다.

또한, 몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 촬영 장치(800)에서 생성된 영상 데이터와, 리타겟 모듈(500)에서 생성된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 더 이용하여 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 예를 들어, 데이터 보정 모듈(300)은 영상 데이터와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 비교하여, 바디 모션 데이터(bMC_Data) 및 페이셜 모션 데이터(fMC_Data) 중 적어도 하나를 보정하여, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 이에 대한 구체적인 설명은 후술한다.

또한, 몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 수신한 생체 정보 데이터(BM_Data)를 기초로, 메타버스 캐릭터 구현 모듈(600)에서의 캐릭터 효과를 보정하기 위한 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터 구현 모듈(600)에서의 사실감과 생동감 있는 캐릭터 연출 효과(예를 들어, 피부 색 등)를 추가적으로 보정하는데 이용될 수 있다. 제1 보정 데이터(CB_Data#1)와 제2 보정 데이터(CB_Data#2)에 대한 구체적 설명은 후술한다. 데이터 보정 모듈(300)에 대한 예시적인 설명을 위해, 도 4를 더 참조한다.

도 4는 본 발명의 몇몇 실시예에 따른 데이터 보정 모듈의 구성을 설명하기 위한 예시적인 도면이다.

도 4를 참조하면, 데이터 보정 모듈(300)은 생체 정보 라이브러리(310), 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340), 감정 상태 갱신부(350), 모션 보정부(360), 효과 보정부(370) 및 메타버스 캐릭터 설정부(380)를 포함할 수 있다.

생체 정보 라이브러리(310)는 제1 사용자마다 측정된 운동량에 따른 생체 정보 데이터(BM_Data)를 포함할 수 있다. 몇몇 실시예에 따르면, 제1 사용자는 전술한 생체 정보 측정 장치(200)를 이용하여, 운동량에 따른 생체 정보 데이터(BM_Data)를 측정할 수 있다. 이때, 제1 사용자의 운동량에 따른 생체 정보 데이터(BM_Data)는 생체 정보 라이브러리(310)에 저장될 수 있다. 이와 유사하게, 제2 사용자(USER#2)는 생체 정보 측정 장치(200)를 이용하여, 운동량에 따른 생체 정보 데이터(BM_Data)를 측정할 수 있다. 이때, 제2 사용자(USER#2)의 운동량에 따른 생체 정보 데이터(BM_Data)는 생체 정보 라이브러리(310)에 저장될 수 있다.

예를 들어, 제1 사용자는 운동량을 서서히 늘려가면서, 미리 정한 시간 간격으로 또는 연속적으로 제1 사용자의 생체 정보 데이터(BM_Data)를 생성하고, 이를 생체 정보 라이브러리(310)에 기록할 수 있다. 또한, 제2 사용자(USER#2)는 운동량을 서서히 늘려가면서, 미리 정한 시간 간격으로 또는 연속적으로 제2 사용자(USER#2)의 생체 정보 데이터(BM_Data)를 생성하고, 이를 생체 정보 라이브러리(310)에 기록할 수 있다. 제1 사용자는 제2 사용자(USER#2)와 체중, 골격근량, 체지방량 등이 모두 상이하기 때문에, 제1 사용자별로 최대 운동량은 서로 다를 수 있다. 뿐만 아니라, 제1 사용자별로 생체 정보 최소치, 평균치 및 최대치는 서로 상이하기 때문에, 특정 운동 구간에서의 생체 정보 데이터(BM_Data)는 제1 사용자별로 상이할 수 있다. 따라서, 제1 사용자별 운동량에 따른 생체 정보 데이터(BM_Data)를 생체 정보 라이브러리(310)에 미리 기록해 두고, 이를 운동 상태 결정부(320)에서 제1 사용자의 운동 상태를 구획하는 기초 자료로 이용할 수 있다. 이하에서는 설명의 편의를 위해, 생체 정보 라이브러리(310)에 저장된 제1 사용자별 운동량에 따른 생체 정보 데이터(BM_Data)를 사용자별 생체 정보 기록 데이터로 명명한다. 다시 말해서, 생체 정보 라이브러리(310)는 제1 사용자의 제1 생체 정보 기록 데이터와, 제2 사용자(USER#2)의 제2 생체 정보 기록 데이터를 포함할 수 있다.

몇몇 실시예에 따르면, 생체 정보 라이브러리(310)는 사용자별 생체 정보 기록 데이터를 이용하여, 사용자별로 제1 운동 상태 구간 내지 제3 운동 상태 구간을 정의할 수 있다. 예시적인 설명을 위해, 도 5를 더 참조한다.

도 5는 본 발명의 몇몇 실시예에 따른 생체 정보 기록 데이터에 대해 운동 상태 구간을 정의하는 과정을 설명하기 위한 예시적인 도면이다.

도 4 및 도 5를 참조하면, 생체 정보 라이브러리(310)는 사용자별 생체 정보 기록 데이터를 포함할 수 있다. 예컨대, 도 5는 제1 사용자에 대한 제1 생체 정보 기록 데이터일 수 있다. 생체 정보 라이브러리(310)는 제1 사용자의 생체 정보 기록 데이터를 이용하여, 제1 사용자의 운동 상태를 제1 운동 상태 구간(S1), 제2 운동 상태 구간(S2) 및 제3 운동 상태 구간(S3)으로 구획할 수 있다.

먼저, 생체 정보 라이브러리(310)는 제1 사용자의 생체 정보 기록 데이터를 참고하여, 제1 사용자의 심박수의 증가폭은 상대적으로 크고, 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 제1 사용자의 체온이 증가하고 있는 구간을 제1 운동 상태 구간(S1)으로 구획할 수 있다. 다시 말해서, 제1 운동 상태 구간(S1)은 제1 사용자의 심박수의 증가폭이 제1 사용자의 호흡수보다 상대적으로 높은 상태를 의미하며, 제1 운동 상태 구간(S1)은 체온이 비교적 일정한 폭으로 증가하는 구간일 수 있다. 즉, 제1 운동 상태 구간(S1)은 제1 사용자의 심박수가 제1 사용자의 호흡수 및 제1 사용자의 체온보다 더 높은 고려 요소로 작용되는 구간일 수 있다.

또한, 생체 정보 라이브러리(310)는 제1 사용자의 생체 정보 기록 데이터를 참고하여, 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 제1 사용자의 호흡수의 증가폭은 상대적으로 크고, 제1 사용자의 체온이 증가하고 있는 구간을 제2 운동 상태 구간(S2)으로 구획할 수 있다. 제2 운동 상태 구간(S2)은 예를 들어, 중간 운동 상태를 의미할 수 있다. 다시 말해서, 제2 운동 상태 구간(S2)은 제1 사용자의 호흡수의 증가폭이 제1 사용자의 심박수보다 상대적으로 높은 상태를 의미하며, 제2 운동 상태 구간(S2)은 체온이 비교적 일정한 폭으로 증가하는 구간일 수 있다. 즉, 제2 운동 상태 구간(S2)은 제1 사용자의 호흡수가 제1 사용자의 심박수 및 제1 사용자의 체온보다 더 높은 고려 요소로 작용되는 구간일 수 있다.

또한, 생체 정보 라이브러리(310)는 제1 사용자의 생체 정보 기록 데이터를 참고하여, 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 제1 사용자의 체온은 상대적으로 높으나, 체온이 미세하게 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간(S3)으로 구획할 수 있다. 제3 운동 상태 구간(S3)은 예를 들어, 강한 운동 상태를 의미할 수 있다. 제1 사용자의 체온은 항상성으로 인해, 체온이 최대치로 증가한 이후부터는 체온을 유지하거나 오히려 체온이 감소될 수 있다. 다시 말해서, 제3 운동 상태 구간(S3)은 제1 사용자의 체온이 제1 사용자의 심박수 및 제1 사용자의 호흡수보다 더 높은 고려 요소로 작용되는 구간일 수 있다.

다시 도 4를 참조하면, 운동 상태 결정부(320)는 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)와, 생체 정보 라이브러리(310)에 저장된 생체 정보 기록 데이터를 이용하여, 제1 사용자의 운동 상태를 결정할 수 있다. 다시 말해서, 운동 상태 결정부(320)는 생체 정보 측정 장치(200)에서 생성되는 생체 정보 데이터(BM_Data)로부터, 제1 사용자가 현재 어떤 운동 상태인지 여부를 결정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제1 운동 상태 구간(S1) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제1 운동 상태로 결정할 수 있다. 제1 운동 상태는 예를 들어, 약한 운동 상태를 의미할 수 있다. 또한, 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제2 운동 상태 구간(S2) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 제2 운동 상태는 예를 들어, 중간 운동 상태를 의미할 수 있다. 또한, 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제3 운동 상태 구간(S3) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 제3 운동 상태는 예를 들어, 강한 운동 상태를 의미할 수 있다.

운동 상태 갱신부(330)는 주기적/비주기적, 혹은 실시간으로 생체 정보 측정 장치(200)에서 생성되는 제1 사용자의 생체 정보 데이터(BM_Data)를 확인하여, 제1 사용자의 운동 상태를 갱신할 수 있다. 몇몇 실시예에 따르면, 운동 상태 갱신부(330)는 제1 사용자의 생체 정보 데이터(BM_Data)의 데이터 값을 기초로, 제1 사용자의 운동 상태를 갱신할 수 있다. 예를 들어, 운동 상태 갱신부(330)는 제1 운동 상태 구간(S1) 내에 포함되어 있던 제1 사용자의 생체 정보 데이터(BM_Data)가 변화하여, 제2 운동 상태 구간(S2)에 진입한 경우, 제1 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다.

또한, 몇몇 실시예에 따르면, 운동 상태 갱신부(330)는 제1 사용자의 생체 정보 데이터(BM_Data)가 특정 운동 상태 구간 내에 유지된 시간을 기초로, 제1 사용자의 운동 상태를 갱신할 수 있다. 예를 들어, 운동 상태 갱신부(330)는 제1 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1) 내에 포함되어 유지된 시간이, 미리 정한 제1 시간 이상인 경우, 제1 사용자의 운동 상태를 제2 운동 상태로 갱신할 수 있다. 다시 말해서, 제1 사용자의 운동 상태가 특정 운동 상태에서 제1 시간 이상 지속되는 경우, 운동 상태 갱신부(330)는 제1 사용자의 운동 상태를 다음 운동 상태로 갱신할 수 있다.

감정 상태 결정부(340)는 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)를 기초로, 제1 사용자의 감정 상태를 결정할 수 있다. 몇몇 실시예에 따르면, 감정 상태 결정부(340)는 제1 사용자의 신체 위치별 체온 변화량에 기초하여, 제1 사용자의 감정 상태를 결정할 수 있다. 예시적인 설명을 위해 도 6 및 도 7을 더 참조한다.

도 6은 본 발명의 몇몇 실시예에 따른 제1 사용자의 체온 측정 위치를 설명하기 위한 도면이다. 도 7은 본 발명의 몇몇 실시예에 따른 감정 상태 결정부가 제1 사용자의 생체 정보 데이터를 기초로 제1 사용자의 감정 상태를 결정하는 과정을 설명하기 위한 도면이다.

도 6을 참조하면, 생체 정보 측정 장치(200)는 제1 위치 내지 제4 위치에서, 제1 사용자의 체온을 측정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)는 전자섬유 온도 센서를 이용하여, 제1 위치 내지 제4 위치의 체온을 측정할 수 있다.

먼저, 생체 정보 측정 장치(200)는 제1 위치에서 제1 체온(Temp#1)을 측정할 수 있다. 제1 위치는 제1 사용자의 얼굴 부위일 수 있다. 예를 들어, 제1 위치의 제1 체온(Temp#1)을 측정하기 위한 생체 정보 측정 장치(200)는 모자 또는 머리 밴드 형태로 제작된 전자섬유 온도 센서를 포함할 수 있다.

또한, 생체 정보 측정 장치(200)는 제2 위치에서 제2 체온(Temp#2)을 측정할 수 있다. 제2 위치는 제1 사용자의 몸통 부위일 수 있다. 예를 들어, 제2 위치의 제2 체온(Temp#2)을 측정하기 위한 생체 정보 측정 장치(200)는 의류 형태로 제작된 전자섬유 온도 센서를 포함할 수 있다.

또한, 생체 정보 측정 장치(200)는 제3 위치에서 제3 체온(Temp#3)을 측정할 수 있다. 제3 위치는 제1 사용자의 팔 부위일 수 있다. 예를 들어, 제3 위치에서 제3 체온(Temp#3)을 측정하기 위한 생체 정보 측정 장치(200)는 제2 체온(Temp#2)을 측정하기 위해 의류 형태로 제작된 전자섬유 온도 센서와 일체화된, 의류 형태의 전자섬유 온도 센서를 포함할 수 있다. 다른 예를 들어, 제3 위치에서 제3 체온(Temp#3)을 측정하기 위한 생체 정보 측정 장치(200)는 토시 또는 장갑 형태로 제작된 전자 섬유 온도 센서를 포함할 수 있다.

또한, 생체 정보 측정 장치(200)는 제4 위치에서 제4 체온(Temp#4)을 측정할 수 있다. 제4 위치는 제1 사용자의 다리 부위일 수 있다. 예를 들어, 제4 위치에서 제4 체온(Temp#4)을 측정하기 위한 생체 정보 측정 장치(200)는 의류 형태의 전자섬유 온도 센서를 포함할 수 있다.

몇몇 실시예에 따르면, 감정 상태 결정부(340)는 제1 위치 내지 제4 위치에서 측정된 제1 체온(Temp#1) 내지 제4 체온(Temp#4)의 변화량을 기초로, 제1 사용자의 감정 상태를 결정할 수 있다. 예시적인 설명을 위해, 도 7을 더 참조한다.

감정 상태 결정부(340)는 제1 체온(Temp#1)에 대한 제1 체온 변화량(Temp variation#1), 제2 체온(Temp#2)에 대한 제2 체온 변화량(Temp variation#2), 제3 체온(Temp#3)에 대한 제3 체온 변화량(Temp variation#3) 및 제4 체온(Temp#4)에 대한 제4 체온 변화량(Temp variation#4)을 기초로, 제1 사용자의 감정 상태를 결정할 수 있다.

예를 들어, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 내지 제3 체온 변화량(Temp variation#3)이 상대적으로 높고, 제4 체온 변화량(Temp variation#4)이 중간인 경우, 제1 사용자의 감정 상태를 'Anger' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1), 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높은 경우, 제1 사용자의 감정 상태를 'Fear' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)이 상대적으로 높은 경우, 제1 사용자의 감정 상태를 'Happiness' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 상대적으로 낮은 경우, 제1 사용자의 감정 상태를 'Sadness' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 및 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간인 경우, 제1 사용자의 감정 상태를 'Pride' 상태로 결정할 수 있다. 다만, 이러한 설명은 예시적인 것이며, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에 따르면, 체온 변화량이 상대적으로 높은지, 중간인지, 낮은지 여부는 미리 결정된 기준에 따를 수 있다. 이때, 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)에 대한 기준은 서로 다를 수도 있고, 적어도 일부가 동일할 수도 있다. 예를 들어, 제1 체온 변화량(Temp variation#1)이 제1 기준보다 낮은 경우, 제1 체온 변화량(Temp variation#1)은 상대적으로 낮은 것으로 결정될 수 있다. 또한, 제1 체온 변화량(Temp variation#1)이 제1 기준 이상이고, 제2 기준 미만인 경우, 제2 체온 변화량(Temp variation#2)은 중간으로 결정될 수 있다. 또한, 제1 체온 변화량(Temp variation#1)이 제2 기준 이상인 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 높은 것으로 결정될 수 있다. 한편, 제2 체온 변화량(Temp variation#2)이 제3 기준보다 낮은 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 낮은 것으로 결정될 수 있다. 또한, 제2 체온 변화량(Temp variation#2)이 제3 기준 이상이고, 제4 기준 미만인 경우, 제2 체온 변화량(Temp variation#2)은 중간으로 결정될 수 있다. 또한, 제2 체온 변화량(Temp variation#2)이 제4 기준 이상인 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 높은 것으로 결정될 수 있다. 이때, 제1 기준과 제3 기준, 제2 기준과 제4 기준은 서로 다를 수도 있고, 적어도 일부가 동일할 수도 있다. 다시 말해서, 제1 사용자의 신체 부위에 따라, 체온 변화량을 결정하기 위한 임계값은 서로 다르거나, 적어도 일부가 동일할 수 있다.

도 5를 이용하여 설명한 제1 사용자의 생체 정보 기록 데이터의 체온은, 도 6의 제1 체온(Temp#1) 내지 제4 체온(Temp#4)의 평균값일 수도 있고, 제1 체온(Temp#1) 내지 제4 체온(Temp#4) 중 특정 체온을 의미할 수도 있다. 다만, 이러한 설명은 예시적인 것이며, 실시예들이 이에 제한되는 것은 아니다.

다시 도 4를 참조하면, 몇몇 실시예에 따르면 감정 상태 결정부(340)는 제1 사용자의 감정 상태를 결정하기 위해, 제1 표정 분석부(fANA_1)에서 생성된 제1 표정 분석 데이터(fANA_Data#1)를 더 이용할 수 있다. 제1 표정 분석 데이터(fANA_Data#1)에 대한 구체적인 설명은 후술한다.

감정 상태 갱신부(350)는 주기적/비주기적, 혹은 실시간으로 생체 정보 측정 장치(200)에서 생성되는 제1 사용자의 생체 정보 데이터(BM_Data)를 확인하여, 제1 사용자의 감정 상태를 갱신할 수 있다. 몇몇 실시예에 따르면, 감정 상태 갱신부(350)는 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)의 데이터 값을 기초로, 제1 사용자의 감정 상태를 갱신할 수 있다. 예를 들어, 'Anger' 상태인 제1 사용자의 제1 체온 변화량(Temp variation#1) 및 제3 체온 변화량(Temp variation#3)이 중간이 되는 경우, 감정 상태 갱신부(350)는 제1 사용자의 감정 상태를 'Fear' 상태로 갱신할 수 있다.

또한, 몇몇 실시예에 따르면, 감정 상태 갱신부(350)는 주기적/비주기적, 혹은 실시간으로 제1 표정 분석 데이터(fANA_Data#1)를 더 참고하여, 제1 사용자의 감정 상태를 갱신할 수 있다.

모션 보정부(360)는 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340) 및 감정 상태 갱신부(350)에서 결정된 제1 사용자의 운동 상태, 제1 사용자의 감정 상태 및 표정 보정 서포트 데이터(CS_Data#2)를 기초로, 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하여 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 모션 보정부(360)에 대한 예시적인 설명을 위해, 도 8을 더 참조한다.

도 8은 본 발명의 몇몇 실시예에 따른 모션 보정부의 구성을 설명하기 위한 예시적인 도면이다.

도 8을 참조하면, 모션 보정부(360)는 모션 데이터 보정 가중치 결정부(361), 모션 데이터 보정부(362), 디스플레이부(363) 및 입력부(364)를 포함할 수 있다.

모션 데이터 보정 가중치 결정부(361)는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하기 위한 가중치를 결정할 수 있다. 다시 말해서, 모션 데이터 보정 가중치 결정부(361)는 제1 사용자의 운동 상태, 제1 사용자의 감정 상태, 모션 보정 서포트 데이터(CS_Data#1) 및 표정 보정 서포트 데이터(CS_Data#2)를 기초로, 모션 데이터에 대한 보정을 얼마나 수행할지 여부를 결정할 수 있다. 몇몇 실시예에 따르면, 모션 데이터 보정 가중치 결정부(361)는 제1 사용자의 운동 상태에 따른 가중치, 제1 사용자의 감정 상태에 따른 가중치, 모션 보정 서포트 데이터(CS_Data#1)에 대한 가중치 및 표정 보정 서포트 데이터(CS_Data#2)에 따른 가중치를 각각 결정할 수도 있고, 제1 사용자의 운동 상태에 따른 가중치, 제1 사용자의 감정 상태에 따른 가중치, 모션 보정 서포트 데이터(CS_Data#1)에 대한 가중치 및 표정 보정 서포트 데이터(CS_Data#2)에 따른 가중치를 통합하여 하나로 결정할 수도 있다.

모션 데이터 보정부(362)는 제1 사용자의 운동 상태, 제1 사용자의 감정 상태, 모션 보정 서포트 데이터(CS_Data#1) 및 표정 보정 서포트 데이터(CS_Data#2)에 따라, 모션 캡쳐 장치(100)에서 생성된 모션 데이터를 보정하여 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 보다 구체적으로, 모션 데이터 보정부(362)는 제1 사용자의 운동 상태, 제1 사용자의 감정 상태 및 모션 보정 서포트 데이터(CS_Data#1)에 따라 바디 캡쳐 모듈(110)에서 생성된 바디 모션 데이터(bMC_Data)를 보정하고, 제1 사용자의 운동 상태, 제1 사용자의 감정 상태 및 표정 보정 서포트 데이터(CS_Data#2)에 따라 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정함으로써, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 보다 구체적인 설명을 위해 도 9를 더 참조한다.

도 9는 본 발명의 몇몇 실시예에 따른 모션 데이터 보정부의 구성을 설명하기 위한 도면이다.

도 9를 참조하면, 모션 데이터 보정부(362)는 사용자 중심 영상 생성부(CUV_G), 바디 모션 비교부(BC_C), 바디 모션 데이터 보정부(362), 표정 비교부(FC_C) 및 페이셜 모션 데이터 보정부(362)를 포함할 수 있다.

사용자 중심 영상 생성부(CUV_G)는 촬영 장치(800)에서 생성된 제1 영상 데이터(IMG_Data#1)를 수신할 수 있다. 전술한 바와 같이, 제1 영상 데이터(IMG_Data#1)는 제1 사용자와 제2 사용자(USER#2)의 바디 움직임을 촬영한 영상일 수 있다. 사용자 중심 영상 생성부(CUV_G)는 제1 영상 데이터(IMG_Data#1)에서, 제1 사용자를 추적하여, 제1 사용자에 대한 분할 영상 데이터를 생성할 수 있다. 예시적인 설명을 위해, 도 10을 더 참조한다.

도 10은 본 발명의 몇몇 실시예에 따른 사용자 중심 영상 생성부의 동작을 설명하기 위한 도면이다.

도 10을 참조하면, 촬영 장치(800)에서 생성된 제1 영상 데이터(IMG_Data#1)는 제1 사용자(USER#1)의 움직임과, 제2 사용자(USER#2)의 움직임을 촬영한 영상 데이터일 수 있다. 이때, 제1 사용자(USER#1)와 제2 사용자(USER#2)는 각각 모션 데이터의 생성을 위한 마커가 부착된 의상을 장착할 수 있다.

몇몇 실시예에 따르면, 제1 사용자(USER#1)는 제1 식별 수단을 갖는 의상을 장착하고, 제2 사용자(USER#2)는 제2 식별 수단을 갖는 의상을 장착할 수 있다. 제1 식별 수단 및 제2 식별 수단은 촬영 장치(800)에서 생성된 제1 영상 데이터(IMG_Data#1)에서, 제1 사용자(USER#1)를 식별 및 추적하기 위한 수단일 수 있다. 예를 들어, 제1 및 제2 식별 수단은 서로 다른 색상의 의상일 수 있다. 다른 예를 들어, 제1 식별 수단은 원형의 마커이고, 제2 식별 수단은 사각형의 마커일 수 있다. 다만 실시예들이 이에 제한되는 것은 아니고, 제1 식별 수단 및 제2 식별 수단은 제1 사용자(USER#1)와 제2 사용자(USER#2)를 구별하고, 제1 영상 데이터(IMG_Data#1)에서 제1 사용자(USER#1)의 움직임을 추적하기 위한 다양한 수단이 될 수 있다. 본 실시예에서는, 설명의 편의를 위해, 제1 식별 수단은 흰색 의상이고, 제2 식별 수단은 회색 의상인 것을 가정하여 설명한다.

예를 들어, 제1 사용자(USER#1)는 복수의 마커를 포함하는 흰색 의상(제1 식별 수단)을 장착할 수 있다. 또한, 제2 사용자(USER#2)는 복수의 마커를 포함하는 회색 의상(제2 식별 수단)을 장착할 수 있다. 몇몇 실시예에 따르면, 사용자 중심 영상 생성부(CUV_G)는 제1 식별 수단을 추적하여, 제1 사용자(USER#1)의 움직임만 볼 수 있도록 분할 영상 데이터(dIMG_Data)를 생성할 수 있다. 다시 말해서, 사용자 중심 영상 생성부(CUV_G)는 제1 식별 수단을 식별하고, 제1 식별 수단과 관련된 제1 사용자(USER#1)에 대한 영상을 크롭핑하여, 제1 사용자(USER#1)의 움직임이 중심으로 나타나는 분할 영상 데이터(dIMG_Data)를 생성할 수 있다. 분할 영상 데이터(dIMG_Data)는 제1 사용자(USER#1)의 모션 데이터를 기초로 생성된 메타버스 캐릭터 리깅 데이터와, 제1 사용자(USER#1)의 실제 움직임을 비교하기 위해 이용될 수 있다. 이에 대한 구체적인 설명은 후술한다.

다시 도 9를 참조하면, 사용자 중심 영상 생성부(CUV_G)는 제1 영상 데이터(IMG_Data#1)로부터 제1 사용자(USER#1)를 추적하고 이를 분할함으로써, 분할 영상 데이터(dIMG_Data)를 생성할 수 있다. 사용자 중심 영상 생성부(CUV_G)에서 생성된 분할 영상 데이터(dIMG_Data)는 바디 모션 비교부(BC_C)에 제공될 수 있다. 바디 모션 비교부(BC_C)는 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)에 포함된 메타버스 캐릭터의 바디 움직임과, 분할 영상 데이터(dIMG_Data)를 비교하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다.

몇몇 실시예에 따르면, 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)는 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)와, 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 포함할 수 있다. 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)는 바디 모션 데이터(bMC_Data)를 직접 이용하여 생성된, 메타버스 캐릭터의 바디 움직임에 대한 영상 데이터를 의미할 수 있다. 다시 말해서, 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)는 모션 캡쳐 장치(100)에서 생성된 제1 사용자(USER#1)의 바디 모션 데이터(bMC_Data)를 직접 골격 생성 모듈(400)에 제공하여 골격 데이터를 생성하고, 해당 골격 데이터를 리타겟 모듈(500)에 제공함으로써 생성된, 메타버스 캐릭터의 바디 움직임에 대한 영상 데이터일 수 있다. 또한, 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)는 페이셜 모션 데이터(fMC_Data)를 직접 이용하여 생성된, 메타버스 캐릭터의 페이셜 움직임에 대한 영상 데이터를 의미할 수 있다. 다시 말해서, 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)는 모션 캡쳐 장치(100)에서 생성된 제1 사용자(USER#1)의 페이셜 모션 데이터(fMC_Data)를 직접 골격 생성 모듈(400)에 제공하여 골격 데이터를 생성하고, 해당 골격 데이터를 리타겟 모듈(500)에 제공함으로써 생성된, 메타버스 캐릭터의 페이셜 움직임에 대한 영상 데이터일 수 있다.

즉, 바디 모션 비교부(BC_C)는 제1 사용자(USER#1)의 바디 움직임을 포함하는 분할 영상 데이터(dIMG_Data)와, 제1 사용자(USER#1)의 움직임을 센싱하여 생성된 메타버스 캐릭터의 바디 움직임을 포함하는 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)를 비교하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다. 바디 모션 비교부(BC_C)에서 생성된 모션 보정 서포트 데이터(CS_Data#1)는 바디 모션 데이터 보정부(362)에 제공될 수 있다.

바디 모션 데이터 보정부(362)는 바디 모션 비교부(BC_C)로부터 모션 보정 서포트 데이터(CS_Data#1)를 제공받을 수 있다. 또한, 바디 모션 데이터 보정부(362)는 운동 상태 결정부(320) 및/또는 운동 상태 갱신부(330)에서 결정된 제1 사용자의 운동 상태(ST_EXE)를 제공받을 수 있다. 또한, 바디 모션 데이터 보정부(362)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 제1 사용자의 감정 상태(ST_EMO)를 제공받을 수 있다.

바디 모션 데이터 보정부(362)는 제1 사용자의 운동 상태(ST_EXE), 감정 상태(ST_EMO) 및 모션 보정 서포트 데이터(CS_Data#1)를 기초로, 바디 모션 데이터(bMC_Data)를 보정하여 제1 보정 데이터를 생성할 수 있다.

예를 들어, 운동 상태 결정부(320)에서 결정된 제1 사용자의 운동 상태가 제1 운동 상태인 경우, 바디 모션 데이터 보정부(BM_C)는 메타버스 캐릭터의 상체가 상대적으로 약하게 흔들리도록 바디 모션 데이터(bMC_Data)를 보정할 수 있다. 또한, 예를 들어, 운동 상태 결정부(320)에서 결정된 제1 사용자의 운동 상태가 제2 운동 상태인 경우, 모션 데이터 보정부(362)는 메타버스 캐릭터의 상체가 상대적으로 약하게 흔들리도록 바디 모션 데이터(bMC_Data)를 보정하고, 메타버스 캐릭터의 복부가 상대적으로 적게 팽창/수축하도록 바디 모션 데이터(bMC_Data)를 보정할 수 있다. 또한, 예를 들어, 운동 상태 결정부(320)에서 결정된 제1 사용자의 운동 상태가 제3 운동 상태인 경우, 모션 데이터 보정부(362)는 메타버스 캐릭터의 상체가 상대적으로 강하게 흔들리도록 바디 모션 데이터(bMC_Data)를 보정하고, 메타버스 캐릭터의 복부가 상대적으로 많이 팽창/수축하도록 바디 모션 데이터(bMC_Data)를 보정할 수 있다.

다른 예를 들어, 바디 모션 데이터 보정부(BM_C)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 제1 사용자의 감정 상태(ST_EMO)를 이용하여, 바디 모션 데이터(bMC_Data)를 보정할 수 있다. 예를 들어, 감정 상태 결정부(340)에서 결정된 제1 사용자의 감정 상태(ST_EMO)가 'Anger'인 경우, 모션 데이터 보정부(362)는 메타버스 캐릭터의 상체가 흔들리도록 바디 캡쳐 모듈(110)에서 생성된 바디 모션 데이터(bMC_Data)를 보정할 수 있다.

또 다른 예를 들어, 바디 모션 데이터 보정부(362)는 바디 모션 비교부(BC_C)에서 생성된 모션 보정 서포트 데이터(CS_Data#1)에 따라, 노이즈 값을 포함하는 바디 모션 데이터(bMC_Data)를 보정할 수 있다. 바디 모션 비교부(BC_C)에 대한 보다 구체적 설명을 위해, 도 11을 더 참조한다.

도 11은 본 발명의 몇몇 실시예에 따른 바디 모션 비교부의 구성을 설명하기 위한 도면이다.

도 11을 참조하면, 바디 모션 비교부(BC_C)는 제1 바디 모션 분석부(bANA_1), 제2 바디 모션 분석부(bANA_2) 및 모션 보정 서포트 데이터 생성부(bCS_G)를 포함할 수 있다.

제1 바디 모션 분석부(bANA_1)는 분할 영상 데이터(dIMG_Data)를 수신할 수 있다. 제1 바디 모션 분석부(bANA_1)는 분할 영상 데이터(dIMG_Data)에 포함된 제1 사용자의 바디 움직임을 분석하여, 제1 바디 모션 분석 데이터(bANA_Data#1)를 생성할 수 있다. 제1 바디 모션 분석 데이터(bANA_Data#1)는 분할 영상 데이터(dIMG_Data)에 포함된 제1 사용자의 움직임의 종류에 관한 제1 모션 요소와, 제1 사용자의 움직임의 범위에 관한 제1 모션 범위를 포함할 수 있다. 제1 사용자의 움직임의 종류는 다양할 수 있다. 예를 들어, 제1 모션 요소는 머리를 숙임, 팔을 뻗음, 팔을 굽힘, 다리를 벌림, 높이 뜀, 도움닫기, 걷기, 달리기, 춤추기 등 다양한 움직임의 종류를 포함할 수 있다. 예를 들어, 제1 모션 요소가 높이 뜀의 경우, 제1 모션 범위는 제1 사용자가 어느정도 높이 뛰는지를 의미할 수 있다. 즉, 제1 모션 범위는 예를 들어, 상/중/하로 구분될 수 있다.

제2 바디 모션 분석부(bANA_2)는 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)를 수신할 수 있다. 제2 바디 모션 분석부(bANA_2)는 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)에서 메타버스 캐릭터의 바디 움직임을 분석하여, 제2 바디 모션 분석 데이터(bANA_Data#2)를 생성할 수 있다. 제2 바디 모션 분석 데이터(bANA_Data#2)는 제2 모션 요소 및 제2 모션 범위를 포함할 수 있다.

몇몇 실시예에 따르면, 제1 바디 모션 분석부(bANA_1) 및 제2 바디 모션 분석부(bANA_2)는 머신 러닝, 딥 러닝 등의 인공지능 분석을 이용할 수 있다. 제1 바디 모션 분석부(bANA_1) 및 제2 바디 모션 분석부(bANA_2)는 제1 사용자와 메타버스 캐릭터의 바디 모션을 분석하기 위해 다양한 공지의 인공지능 모델을 이용할 수 있다.

제1 바디 모션 분석부(bANA_1)에서 생성된 제1 바디 모션 분석 데이터(bANA_Data#1)와, 제2 바디 모션 분석부(bANA_2)에서 생성된 제2 바디 모션 분석 데이터(bANA_Data#2)는 모션 보정 서포트 데이터 생성부(bCS_G)에 제공될 수 있다. 모션 보정 서포트 데이터 생성부(bCS_G)는 제1 바디 모션 분석 데이터(bANA_Data#1)와 제2 바디 모션 분석 데이터(bANA_Data#2)를 이용하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다.

모션 보정 서포트 데이터 생성부(bCS_G)는 제1 바디 모션 분석 데이터(bANA_Data#1)에 포함된 제1 모션 요소와 제2 바디 모션 분석 데이터(bANA_Data#2)에 포함된 제2 모션 요소를 비교하고, 제1 바디 모션 분석 데이터(bANA_Data#1)에 포함된 제1 모션 범위와 제2 바디 모션 분석 데이터(bANA_Data#2)에 포함된 제2 모션 범위를 비교하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다.

모션 보정 서포트 데이터(CS_Data#1)는 제2 바디 모션 분석 데이터(bANA_Data#2)가 제1 바디 모션 분석 데이터(bANA_Data#1)에 가까워지는 방향으로의 보정을 포함할 수 있다. 예를 들어, 제1 모션 요소가 걷기이고, 제2 모션 요소가 뛰기인 경우, 모션 보정 서포트 데이터(CS_Data#1)는 바디 모션 데이터(bMC_Data)가 나타내는 모션이 걷기에 가까워지도록 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다.

다시 도 9를 참조하면, 표정 비교부(FC_C)는 제2 영상 데이터(IMG_Data#2)와 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 수신할 수 있다. 표정 비교부(FC_C)는 제2 영상 데이터(IMG_Data#2)에 포함된 제1 사용자의 표정과, 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)에 포함된 메타버스 캐릭터의 표정을 비교하여, 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다.

페이셜 모션 데이터 보정부(FM_C)는 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)에 대한 보정을 수행할 수 있다. 페이셜 모션 데이터 보정부(FM_C)는 운동 상태 결정부(320) 및/또는 운동 상태 갱신부(330)에서 결정된 제1 사용자의 운동 상태(ST_EXE)를 이용하여, 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정할 수 있다. 예를 들어, 운동 상태 결정부(320)에서 결정된 제1 사용자의 운동 상태(ST_EXE)가 제3 운동 상태인 경우, 페이셜 모션 데이터 보정부(FM_C)는 메타버스 캐릭터의 눈 크기가 작아지고, 입이 커지도록 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정할 수 있다.

또한, 페이셜 모션 데이터 보정부(FM_C)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 제1 사용자의 감정 상태(ST_EMO)를 이용하여, 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정할 수 있다. 예를 들어, 감정 상태 결정부(340)에서 결정된 제1 사용자의 감정 상태(ST_EMO)가 'Anger'인 경우, 페이셜 모션 데이터 보정부(FM_C)는 메타버스 캐릭터의 미간이 좁혀지고, 눈꼬리가 올라가고, 입이 쳐지도록 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정할 수 있다.

또한, 페이셜 모션 데이터 보정부(FM_C)는 표정 비교부(FC_C)에서 생성된 표정 보정 서포트 데이터(CS_Data#2)에 따라 페이셜 캡쳐 모듈(120)에서 생성된 페이셜 모션 데이터(fMC_Data)를 보정할 수 있다. 표정 비교부(FC_C)는 제1 사용자의 연기를 촬영하여 생성된 영상 데이터(IMG_Data)와 리타겟 모듈(500)에서 생성된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 비교 및 분석하여 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다. 영상 데이터(IMG_Data)는 제1 사용자의 연기를 촬영한 이미지를 포함할 수 있다. 보다 구체적으로, 영상 데이터(IMG_Data)는 제1 사용자가 연기를 수행할 때의 표정을 촬영한 이미지를 포함할 수 있다. 다시 말해서, 영상 데이터(IMG_Data)는 연기를 수행하는 제1 사용자의 표정을 포함할 수 있다. 표정 비교부(FC_C)에 대한 보다 구체적인 설명을 위해, 도 12를 더 참조한다.

도 12는 본 발명의 몇몇 실시예에 따른 표정 비교부의 구성을 설명하기 위한 도면이다.

도 10을 참조하면, 표정 비교부(FC_C)는 제1 표정 분석부(fANA_1), 제2 표정 분석부(fANA_2) 및 표정 보정 서포트 데이터 생성부(fCS_G)를 포함할 수 있다.

제1 표정 분석부(fANA_1)는 제2 영상 데이터(IMG_Data#2)를 수신할 수 있다. 제1 표정 분석부(fANA_1)는 제2 영상 데이터(IMG_Data#2)에 포함된 제1 사용자의 표정을 분석하여, 제1 표정 분석 데이터(fANA_Data#1)를 생성할 수 있다. 제1 표정 분석 데이터(fANA_Data#1)는 제2 영상 데이터(IMG_Data#2)에 포함된 제1 사용자의 표정에 나타나 있는 제1 감정 요소와, 제1 감정 요소에 대한 제1 감정 비율을 포함할 수 있다. 제1 사용자의 표정은 복합적인 감정 요소를 포함할 수 있다. 감정 요소는 기쁨, 슬픔, 놀람, 반가움, 화남 등 구분되는 단어로 표현될 수 있는 요소를 의미한다. 즉, 표정은 단순히 특정 감정 상태를 나타내는 것이 아니라, 하나 이상의 복합적인 감정 상태를 포함할 수 있다. 예를 들어, 제1 사용자의 특정 표정에는 '화남'의 감정과, '놀람'의 감정을 포함할 수 있으며, 그 중 '화남'의 비율이 80%, '놀람'의 비율이 20%로 구성될 수 있다. 이때, '화남' 및 '놀람'은 제1 감정 요소이며, 80%, 20%는 각각의 제1 감정 요소에 대응하는 제1 감정 비율이다. 다시 말해서, 제1 표정 분석부(fANA_1)는 제1 사용자가 연기를 수행하는 동안 형성되는 제1 사용자의 표정을 분석하여, 이를 하나 이상의 제1 감정 요소와, 제1 감정 요소에 대한 제1 감정 비율을 생성할 수 있다.

제2 표정 분석부(fANA_2)는 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 수신할 수 있다. 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)는 페이셜 모션 데이터(fMC_Data)에 의해 생성된 메타버스 캐릭터의 골격에 캐릭터 이미지가 리깅된 데이터일 수 있다. 제2 표정 분석부(fANA_2)는 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)에서, 메타버스 캐릭터의 표정 부분을 구분하고, 메타버스 캐릭터의 표정을 분석하여, 제2 표정 분석 데이터(fANA_Data#2)를 생성할 수 있다. 제2 표정 분석 데이터(fANA_Data#2)는 메타버스 캐릭터의 표정에 나타나 있는 제2 감정 요소와, 제2 감정 요소에 대한 제2 감정 비율을 포함할 수 있다.

몇몇 실시예에 따르면, 제1 표정 분석부(fANA_1)와 제2 표정 분석부(fANA_2)는 머신 러닝, 딥 러닝 등의 인공지능 분석을 통해 감정 요소와 감정 비율을 생성할 수 있다. 제1 표정 분석부(fANA_1)와 제2 표정 분석부(fANA_2)는 제1 사용자의 메타버스 캐릭터의 표정 분석을 위해 다양한 공지의 인공지능 모델을 이용할 수 있다.

제1 표정 분석부(fANA_1)에서 생성된 제1 표정 분석 데이터(fANA_Data#1)와, 제2 표정 분석부(fANA_2)에서 생성된 제2 표정 분석 데이터(fANA_Data#2)는 표정 보정 서포트 데이터 생성부(fCS_G)에 제공될 수 있다. 표정 보정 서포트 데이터 생성부(fCS_G)는 제1 표정 분석 데이터(fANA_Data#1)와 제2 표정 분석 데이터(fANA_Data#2)를 이용하여 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다. 표정 보정 서포트 데이터 생성부(fCS_G)는 제1 표정 분석 데이터(fANA_Data#1)에 포함된 제1 감정 요소와, 제2 표정 분석 데이터(fANA_Data#2)에 포함된 제2 감정 요소를 비교하고, 제1 표정 분석 데이터(fANA_Data#1)에 포함된 제1 감정 비율과, 제2 표정 분석 데이터(fANA_Data#2)에 포함된 제2 감정 비율을 비교하여 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다.

표정 보정 서포트 데이터(CS_Data#2)는 제2 표정 분석 데이터(fANA_Data#2)가 제1 표정 분석 데이터(fANA_Data#1)에 가까워지는 방향으로의 보정을 포함할 수 있다. 예를 들어, 제1 감정 요소는 '화남' 및 '놀람'이고, 제2 감정 요소는 '화남'인 경우, 표정 보정 서포트 데이터 생성부(fCS_G)는 페이셜 모션 데이터(fMC_Data)가 '놀람'의 감정 요소를 더 반영할 수 있는 방향으로 보정되도록 하는 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다. '놀람'의 감정 요소를 더 반영할 수 있는 방향이란, 메타버스 캐릭터의 눈의 크기가 더 커지고, 입의 크기가 더 커지는 등에 대한 보정을 의미할 수 있으나, 실시예들이 이에 제한되는 것은 아니다. 다른 예를 들어, 제1 감정 요소는 '화남' 및 '놀람'이고, 제1 감정 비율은 각각 80%, 20%이고, 제2 감정 요소는 '화남' 및 '놀람'이고, 제2 감정 비율은 각각 50%, 50%인 경우, 표정 보정 서포트 데이터 생성부(fCS_G)는 페이셜 모션 데이터(fMC_Data)가 '화남'의 감정 요소를 더 반영할 수 있는 방향으로 보정되도록 하는 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다. '화남'의 감정 요소를 더 반영할 수 있는 방향이란, 메타버스 캐릭터의 미간 사이가 좁아지고, 입이 더 쳐지는 등에 대한 보정을 의미할 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

다시 말해서, 표정 비교부(FC_C)는 제1 사용자의 표정을 포함하는 제2 영상 데이터(IMG_Data#2)와, 메타버스 캐릭터의 표정을 포함하는 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 비교하여, 메타버스 캐릭터의 표정이 제1 사용자의 표정을 더 반영할 수 있도록 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다. 즉, 모션 캡쳐 장치(100)를 통해 생성된 페이셜 모션 데이터(fMC_Data)는 측정 오차 및 측정 한계로 인해 제1 사용자의 표정을 그대로 반영하기에 무리가 있을 수 있다. 따라서, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 시스템(1)은 제1 사용자의 연기를 촬영한 제2 영상 데이터(IMG_Data#2)를 이용하여, 메타버스 캐릭터의 페이셜 모션 데이터(fMC_Data)를 추가적으로 보정하는데 이용될 수 있다. 이를 통해, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 시스템(1)은 제1 사용자가 연기를 통해 표현하고자 하는 바를 더욱 잘 표현할 수 있으며, 상황에 따라 더욱 더 적절한 표정을 갖는 메타버스 캐릭터를 생성할 수 있다.

다시 도 9를 참조하여 정리하면, 모션 데이터 보정부(362)는 제1 사용자의 운동 상태(ST_EXE), 제1 사용자의 감정 상태(ST_EMO) 및 바디 모션 비교부(BC_C)에서 생성된 모션 보정 서포트 데이터(CS_Data#1) 중 적어도 하나를 이용하여 바디 캡쳐 모듈(110)에 의해 생성된 바디 모션 데이터(bMC_Data)를 보정하고, 제1 사용자의 운동 상태(ST_EXE), 제1 사용자의 감정 상태(ST_EMO) 및 표정 비교부(FC_C)에서 생성된 표정 보정 서포트 데이터(CS_Data#2)를 이용하여 페이셜 캡쳐 모듈(120)에 의해 생성된 페이셜 모션 데이터(fMC_Data)를 보정함으로써, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다.

다시 도 8을 참조하면, 디스플레이부(363)는 영상 데이터, 제1 메타버스 캐릭터 리깅 데이터 및 제2 메타버스 캐릭터 리깅 데이터를 디스플레이할 수 있다. 전술한 바와 같이, 영상 데이터는 제1 사용자의 바디 움직임을 촬영한 제1 영상 데이터(IMG_Data#1)와 제1 사용자의 페이셜 움직임을 촬영한 제2 영상 데이터(IMG_Data#2)를 포함할 수 있다. 또한, 제1 및 제2 메타버스 캐릭터 리깅 데이터는 각각 메타버스 캐릭터 모션 리깅 데이터 및 메타버스 캐릭터 표정 리깅 데이터를 포함할 수 있다.

입력부(364)는 데이터 보정 모듈(300)의 보정 가중치를 결정하고, 특정 구간에서 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어떤 것을 이용하여 메타버스 컨텐츠를 제작할 지 결정하는 입력 신호를 생성할 수 있다. 다시 말해서, 입력부(364)는 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 선택하는 입력 신호를 생성할 수 있다. 즉, 메타버스 컨텐츠는 특정 구간마다 입력되는 입력 신호에 따라, 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 선택하여 제작될 수 있다. 예시적인 설명을 위해, 도 13 및 도 14를 더 참조한다.

도 13 및 도 14는 본 발명의 몇몇 실시예에 따른 디스플레이부를 설명하기 위한 예시적인 도면이다.

도 13을 참조하면, 디스플레이부(363)는 제1 윈도우(WD_1), 제2 윈도우(WD_2) 및 제3 윈도우(WD_3)를 포함할 수 있다.

제1 윈도우(WD_1)는 분할 영상 데이터(dIMG_Data)가 디스플레이될 수 있다. 또한, 제2 윈도우(WD_2)는 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)가 디스플레이될 수 있다. 또한, 제3 윈도우(WD_3)는 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1)가 디스플레이될 수 있다. 이때, 제1 윈도우(WD_1) 내지 제3 윈도우(WD_3)에서 디스플레이되는 분할 영상 데이터(dIMG_Data), 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1) 및 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)는 서로 동기화될 수 있다. 다시 말해서, 제2 윈도우(WD_2) 및 제3 윈도우(WD_3)에 디스플레이되는 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1) 및 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)는, 제1 윈도우(WD_1)에 디스플레이되는 분할 영상 데이터(dIMG_Data)가 생성될 당시에 생성된 바디 모션 데이터(bMC_Data)를 이용하여 생성된 것일 수 있다.

메타버스 컨텐츠의 편집자 또는 감독은 디스플레이부(363)에 디스플레이되는 분할 영상 데이터(dIMG_Data), 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1) 및 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)를 한눈에 비교하여, 연기를 수행하는 제1 사용자(즉, 배우)의 모션이 메타버스 캐릭터의 모션에 얼마나 잘 반영이 되었는지 비교할 수 있다. 이를 통해 메타버스 컨텐츠의 편집자 또는 감독은 특정 구간(예를 들어, 특정 프레임)에서 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1) 및 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2) 중 어떤 캐릭터 모션 리깅 데이터를 이용하여 메타버스 캐릭터를 구현할 지 결정할 수 있다.

즉, 경우에 따라 보정이 수행된 제1 보정 데이터(CB_Data#1)를 이용하여 생성된 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1)가 제1 사용자의 바디 모션(동작)을 더욱 더 잘 반영할 수도 있고, 원본 데이터인 바디 모션 데이터(bMC_Data)를 이용하여 생성된 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)가 제1 사용자의 바디 모션을 더욱 더 잘 반영할 수도 있다. 따라서, 메타버스 컨텐츠의 편집자 또는 감독은 선호에 따라 적절한 메타버스 캐릭터의 영상을 선택하고, 이를 이용하여 메타버스 캐릭터를 구현할 수 있다.

또한, 디스플레이부(363)는 보정 가중치를 결정하기 위한 화면을 함께 디스플레이할 수 있다. 메타버스 컨텐츠의 편집자 또는 감독은 보정 가중치를 조절하여, 보정이 수행됨에 따라 제1 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#1)가 어떻게 변화되는지 디스플레이부(363)를 통해 쉽게 확인할 수 있으며, 이를 통해 보정 가중치를 보다 쉽게 결정할 수 있다.

이와 유사하게, 도 14를 참조하면, 제1 윈도우(WD_1)는 제2 영상 데이터(IMG_Data#2)가 디스플레이될 수 있다. 또한, 제2 윈도우(WD_2)는 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)가 디스플레이될 수 있다. 또한, 제3 윈도우(WD_3)는 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1)가 디스플레이될 수 있다. 이때, 제1 윈도우(WD_1) 내지 제3 윈도우(WD_3)에서 디스플레이되는 제2 영상 데이터(IMG_Data#2), 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1) 및 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)는 서로 동기화될 수 있다. 다시 말해서, 제2 윈도우(WD_2) 및 제3 윈도우(WD_3)에 디스플레이되는 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1) 및 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)는, 제1 윈도우(WD_1)에 디스플레이되는 제2 영상 데이터(IMG_Data#2)가 생성될 당시에 생성된 페이셜 모션 데이터(fMC_Data)를 이용하여 생성된 것일 수 있다.

메타버스 컨텐츠의 편집자 또는 감독은 디스플레이부(363)에 디스플레이되는 제2 영상 데이터(IMG_Data#2), 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1) 및 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 한눈에 비교하여, 연기를 수행하는 제1 사용자(즉, 배우)의 표정이 메타버스 캐릭터의 표정에 얼마나 잘 반영이 되었는지 비교할 수 있다. 이를 통해 메타버스 컨텐츠의 편집자 또는 감독은 특정 구간(예를 들어, 특정 프레임)에서 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1) 및 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2) 중 어떤 캐릭터 표정 리깅 데이터를 이용하여 메타버스 캐릭터를 구현할 지 결정할 수 있다.

즉, 경우에 따라 보정이 수행된 제1 보정 데이터(CB_Data#1)를 이용하여 생성된 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1)가 제1 사용자의 표정을 더욱 더 잘 반영할 수도 있고, 원본 데이터인 바디 모션 데이터(bMC_Data)를 이용하여 생성된 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)가 제1 사용자의 표정을 더욱 더 잘 반영할 수도 있다. 따라서, 메타버스 컨텐츠의 편집자 또는 감독은 선호에 따라 적절한 메타버스 캐릭터의 영상을 선택하고, 이를 이용하여 메타버스 캐릭터를 구현할 수 있다.

또한, 디스플레이부(363)는 보정 가중치를 결정하기 위한 화면을 함께 디스플레이할 수 있다. 메타버스 컨텐츠의 편집자 또는 감독은 보정 가중치를 조절하여, 보정이 수행됨에 따라 제1 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#1)가 어떻게 변화되는지 디스플레이부(363)를 통해 쉽게 확인할 수 있으며, 이를 통해 보정 가중치를 보다 쉽게 결정할 수 있다.

다시 도 4를 참조하면, 효과 보정부(370)는 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340) 및 감정 상태 갱신부(350)에서 결정된 제1 사용자의 운동 상태 및 제1 사용자의 감정 상태 중 적어도 하나를 기초로, 메타버스 캐릭터에 제공될 연출 효과를 결정할 수 있다. 효과 보정부(370)에 대한 예시적인 설명을 위해, 도 15를 더 참조한다.

도 15는 본 발명의 몇몇 실시예에 따른 효과 보정부의 구성을 설명하기 위한 예시적인 도면이다.

도 15를 참조하면, 효과 보정부(370)는 효과 데이터 보정 가중치 결정부(371) 및 효과 데이터 보정부(372)를 포함할 수 있다.

효과 데이터 보정 가중치 결정부(371)는 제1 사용자의 운동 상태 및 제1 사용자의 감정 상태 중 적어도 하나를 기초로 결정되는 메타버스 캐릭터의 연출 효과 보정을 위한 가중치를 결정할 수 있다. 다시 말해서, 효과 데이터 보정 가중치 결정부(371)는 제1 사용자의 운동 상태 및 제1 사용자의 감정 상태 중 적어도 하나를 기초로, 메타버스 캐릭터의 연출 효과 보정을 얼마나 수행할지 여부를 결정할 수 있다. 몇몇 실시예에 따르면, 효과 데이터 보정 가중치 결정부(371)는 제1 사용자의 운동 상태에 따른 가중치 및 제1 사용자의 감정 상태에 따른 가중치를 각각 결정할 수도 있고, 제1 사용자의 운동 상태에 따른 가중치와 제1 사용자의 감정 상태에 따른 가중치를 통합하여 하나로 결정할 수도 있다.

효과 데이터 보정부(372)는 제1 사용자의 운동 상태 및/또는 제1 사용자의 감정 상태에 따라, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 몇몇 실시예에 따르면, 효과 데이터 보정부(372)는 운동 상태 결정부(320) 및/또는 운동 상태 갱신부(330)에서 결정된 제1 사용자의 운동 상태를 이용하여, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 예를 들어, 효과 데이터 보정부(372)는 제1 사용자의 운동 상태가 제1 운동 상태인 경우, 메타버스 캐릭터에 대한 특별한 효과 데이터를 생성하지 않을 수 있다. 또한, 효과 데이터 보정부(372)는 제1 사용자의 운동 상태가 제2 운동 상태인 경우, 메타버스 캐릭터의 옆머리 반사도 증가 연출 효과, 메타버스 캐릭터의 인중, 눈가 및 이마의 반사도 상승 및 맺혀있는 땀 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. 또한, 효과 데이터 보정부(372)는 제1 사용자의 운동 상태가 제3 운동 상태인 경우, 메타버스 캐릭터의 헤어 형태의 변경 연출 효과, 메타버스 캐릭터의 헤어 재질의 변경 연출 효과(땀에 의한 반사도 및 컬러 변경), 메타버스 캐릭터의 인중, 눈가, 이마 및 광대에 흐르는 땀 연출 효과 및 메타버스 캐릭터의 피부 반사도 증가 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다.

또한, 효과 데이터 보정부(372)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 제1 사용자의 감정 상태를 이용하여, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 예를 들어, 효과 데이터 보정부(372)는 감정 상태 결정부(340)에서 결정된 제1 사용자의 감정 상태가 'Anger'인 경우, 메타버스 캐릭터의 이마에 힘줄 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. 또한, 효과 데이터 보정부(372)는 감정 상태 결정부(340)에서 결정된 제1 사용자의 감정 상태가 'Sadness'인 경우, 메타버스 캐릭터의 눈동자 반사도 증가(눈물 맺힘) 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다.

정리하면, 효과 데이터 보정부(372)는 효과 데이터 보정 가중치 결정부(371)의 보정 가중치에 따라, 제1 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 이용하여, 메타버스 캐릭터에 적용하기 위한 효과 데이터, 즉 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 다시 말해서, 제2 보정 데이터(CB_Data#2)는 제1 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 고려하여, 메타버스 캐릭터에 반영될 추가적인 연출 효과에 대한 데이터를 의미할 수 있다.

다시 도 4를 참조하면, 메타버스 캐릭터 설정부(380)는 메타버스 캐릭터의 기본 설정을 결정할 수 있다. 메타버스 캐릭터 설정부(380)는 메타버스 캐릭터의 기본 설정, 예를 들어 땀이 많은 메타버스 캐릭터, 안면 홍조가 있는 메타버스 캐릭터, 운동량이 높은 메타버스 캐릭터 등 메타버스 캐릭터의 특징을 설정할 수 있다. 메타버스 캐릭터 설정부(380)에서 설정된 메타버스 캐릭터의 기본 설정값은 모션 보정부(360) 및 효과 보정부(370) 중 적어도 하나에 제공될 수 있다.

모션 보정부(360)는 제공받은 메타버스 캐릭터의 기본 설정값을 이용하여, 모션 데이터 보정 가중치를 추가적으로 조절할 수 있다. 예를 들어, 메타버스 캐릭터가 과체중인 경우, 모션 보정부(360)는 운동 상태에 따른 모션 데이터 보정 가중치를 증가시켜, 메타버스 캐릭터의 상체 및 복부가 더 많이 흔들리도록 보정할 수 있다.

이와 유사하게, 효과 보정부(370)는 제공받은 메타버스 캐릭터의 기본 설정값을 이용하여, 효과 데이터를 추가적으로 조절할 수 있다. 예를 들어, 메타버스 캐릭터가 과체중인 경우, 효과 보정부(370)는 운동 상태에 따른 효과 데이터의 가중치를 증가시켜, 메타버스 캐릭터의 안면 반사도를 더 증가시킬 수 있다.

다시 도 1을 참조하면, 모션 캡쳐 장치(100)에서 생성된 모션 데이터와 데이터 보정 모듈(300)에서 생성된 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공될 수 있다. 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여, 모션에 대한 정보를 포함하는 메타버스 캐릭터의 제1 골격 데이터(SK_Data#1)를 생성할 수 있다. 또한, 골격 생성 모듈(400)은 모션 데이터를 이용하여, 모션에 대한 정보를 포함하는 메타버스 캐릭터의 제2 골격 데이터(SK_Data#2)를 생성할 수 있다.

골격 생성 모듈(400)에서 생성된 제1 골격 데이터(SK_Data#1)와 제2 골격 데이터(SK_Data#2)는 리타겟 모듈(500)에 제공될 수 있다. 리타겟 모듈(500)은 제1 골격 데이터(SK_Data#1)를 이용하여 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)를 생성할 수 있다. 또한, 리타겟 모듈(500)은 제2 골격 데이터(SK_Data#2)를 이용하여 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)를 생성할 수 있다. 캐릭터 리깅 데이터(CR_Data#1, CR_Data#2)는 미리 디자인된 메타버스 캐릭터 이미지에, 모션에 대한 정보를 포함하는 메타버스 캐릭터의 골격 데이터(SK_Data#1, SK_Data#2)가 결합된 데이터일 수 있다.

리타겟 모듈(500)에서 생성된 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)는 데이터 보정 모듈(300)에 제공될 수 있다. 데이터 보정 모듈(300)에 제공된 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)는 전술한 바와 같이, 제1 보정 데이터(CB_Data#1)를 생성하는데 이용될 수 있다. 또한, 전술한 바와 같이, 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2)는 데이터 보정 모듈(300)의 디스플레이부(363)에 제공되어, 메타버스 컨텐츠의 편집자 또는 감독은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 선택할 수 있다. 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 선택된 어느 하나는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 메타버스 캐릭터 구현 모듈(600)은 예를 들어, 게임 엔진일 수 있다.

또한, 데이터 보정 모듈(300)에서 생성된 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 메타버스 캐릭터 구현 모듈(600)은 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1)와 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 선택된 어느 하나와, 제2 보정 데이터(CB_Data#2)를 이용하여 랜더링을 수행함으로써 메타버스 캐릭터 영상(M_C)을 생성할 수 있다. 메타버스 캐릭터 구현 모듈(600)은 메타버스 캐릭터 영상(M_C)을 실시간으로 생성할 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

모션 캡쳐 장치(100)에서 생성된 모션 데이터(fMC_Data, bMC_Data)와, 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data)와, 촬영 장치(800)에서 생성된 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)는 데이터 백업 모듈(700)에 저장될 수 있다. 이때, 데이터 백업 모듈(700)에 저장되는 모션 데이터(fMC_Data, bMC_Data)와, 생체 정보 데이터(BM_Data)와 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)의 싱크는 서로 동기화되어 저장될 수 있다. 다시 말해서, 모션 데이터(fMC_Data, bMC_Data)와, 생체 정보 데이터(BM_Data)와, 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)는 생성 시점이 서로 동기화되어, 데이터 백업 모듈(700)에 저장될 수 있다. 몇몇 실시예에 따르면, 보정 가중치를 추가적으로 조절할 필요가 있는 경우, 데이터 백업 모듈(700)에 저장된 모션 데이터(fMC_Data, bMC_Data)와, 생체 정보 데이터(BM_Data)와, 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)를 다시 데이터 보정 모듈(300)로 로드하여, 보정 가중치를 조절할 수 있다. 다시 말해서, 메타버스 캐릭터 구현 모듈(600)은 데이터 백업 모듈(700)에 저장된 모션 데이터(fMC_Data, bMC_Data)와, 생체 정보 데이터(BM_Data)와, 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)를 로드 및 리테이크(retake)하여 메타버스 캐릭터 영상(M_C)을 재생성할 수 있다.

촬영 장치(800)는 사용자의 연기를 촬영하여, 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)를 생성할 수 있다. 촬영 장치(800)는 카메라, 캠코더 등을 포함할 수 있다.

몇몇 실시예에 따르면, 메타버스 캐릭터 제작 시스템(1)은 제1 사용자의 움직임을 측정하는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(fMC_Data, bMC_Data)와, 제1 사용자의 생체 정보를 측정하는 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data), 그리고 촬영 장치(800)에서 생성된 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)를 이용하여, 메타버스 캐릭터 영상(M_C)을 생성할 수 있다. 더욱 구체적으로, 메타버스 캐릭터 제작 시스템(1)은 모션 데이터(fMC_Data, bMC_Data), 생체 정보 데이터(BM_Data) 및 제1 및 제2 영상 데이터(IMG_Data#1, IMG_Data#2)를 이용하여, 제1 사용자의 생체 정보를 반영하고, 영상 분석을 이용하여 캐릭터 모션에 대한 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 또한, 메타버스 캐릭터 제작 시스템(1)은 모션 데이터(fMC_Data, bMC_Data) 및 생체 정보 데이터(BM_Data)를 이용하여 제1 사용자의 생체 정보를 반영한 캐릭터 효과에 대한 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 따라서, 단순히 제1 사용자의 움직임에만 국한되는 것이 아니라, 제1 사용자의 현재 상태(운동 상태 및 감정 상태)를 모두 반영하고, 제1 사용자의 표정과 메타버스 캐릭터의 표정을 비교 분석하고, 제1 사용자의 움직임과 메타버스 캐릭터의 움직임을 비교 분석하여, 이를 메타버스 캐릭터 영상(M_C)에 적용하기 때문에, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 시스템(1)은 메타버스 캐릭터 영상(M_C)의 리얼리티를 극대화할 수 있다는 장점이 있다. 또한, 제1 사용자의 현재 상태는 상황에 따라 지속적으로 갱신되기 때문에, 메타버스 캐릭터 제작 시스템(1)에서 생성되는 메타버스 캐릭터 영상(M_C)는 상황 변화에 따라 변경되는 연출을 쉽게 반영할 수 있다는 장점이 있다. 이하에서는, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 방법에 대해 설명한다.

도 16 내지 도 19는 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터의 제작 방법에 대해 설명하기 위한 도면이다.

도 1 내지 도 16을 참조하면, 사용자별 생체 정보 기록 데이터를 생성하고 운동 상태 구간을 결정할 수 있다(S100). 생체 정보 측정 장치(200)는 제1 사용자의 운동량을 서서히 증가시키면서, 제1 사용자의 생체 정보 데이터(BM_Data)의 범위 및 변화량을 측정하여 생체 정보 기록 데이터를 생성할 수 있다. 데이터 보정 모듈(300)은 생체 정보 기록 데이터에 기록된 생체 정보 데이터의 값 및 데이터 변화량에 따라 제1 사용자의 운동 상태 구간을 구획할 수 있다.

도 17을 참조하면, 데이터 보정 모듈(300)은 제1 사용자의 심박수의 증가폭은 상대적으로 크고, 호흡수의 증가폭은 상대적으로 작고, 체온이 증가하고 있는 구간을 제1 운동 상태 구간(S1)으로 결정할 수 있다(S110).

또한, 데이터 보정 모듈(300)은 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 호흡수의 증가폭은 상대적으로 크고, 체온이 증가하고 있는 구간을 제2 운동 상태 구간(S2)으로 결정할 수 있다(S120).

또한, 데이터 보정 모듈(300)은 심박수의 증가폭과 호흡수의 증가폭은 상대적으로 작고, 체온은 상대적으로 높으나, 체온이 미세하게 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간(S3)으로 결정할 수 있다(S130).

전술한 바와 같이, 제1 운동 상태 구간(S1)은 제1 사용자가 약한 운동을 수행하고 있는 구간일 수 있고, 제2 운동 상태 구간(S2)은 제1 사용자가 중간 운동을 수행하고 있는 구간일 수 있고, 제3 운동 상태 구간(S3)은 제1 사용자가 강한 운동을 수행하고 있는 구간일 수 있다.

다시 도 16을 참조하면, 데이터 보정 모듈(300)은 제1 사용자의 생체 정보 데이터(BM_Data)를 기초로, 제1 사용자의 운동 상태를 결정할 수 있다(S200). 데이터 보정 모듈(300)은 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)와, 미리 정한 제1 운동 상태 구간(S1) 내지 제3 운동 상태 구간(S3)을 이용하여, 제1 사용자의 운동 상태를 결정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1)에 포함되는 경우, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태를 제1 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)가 제2 운동 상태 구간(S2)에 포함되는 경우, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)가 제3 운동 상태 구간(S3)에 포함되는 경우, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 한편, 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1)에서 제1 시간 이상 유지된 경우, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 제1 사용자의 생체 정보 데이터(BM_Data)가 제2 운동 상태 구간(S2)에서 제2 시간 이상 유지된 경우, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 몇몇 실시예에 따르면, 제1 사용자의 운동 상태는 실시간으로, 주기적으로 또는 비주기적으로 갱신될 수 있다.

데이터 보정 모듈(300)은 제1 사용자의 신체별 체온 변화량 및 제1 표정 분석 데이터(fANA_Data#1)를 기초로, 제1 사용자의 감정 상태를 결정할 수 있다(S300). 데이터 보정 모듈(300)은 제1 사용자의 신체별 체온 변화량이 상대적으로 높은지, 중간인지, 상대적으로 낮은지를 기초로, 제1 사용자의 감정 상태를 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 사용자의 표정에 대한 영상 데이터(IMG_Data) 분석을 통해, 제1 사용자의 표정에 포함되어 있는 제1 감정 요소 및 제1 감정 비율을 생성하고, 이를 이용하여 제1 사용자의 감정 상태를 결정할 수 있다. 예를 들어, 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1), 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높은 경우, 제1 사용자의 감정 상태를 'Fear' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)이 상대적으로 높은 경우, 제1 사용자의 감정 상태를 'Happiness' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 상대적으로 낮은 경우, 제1 사용자의 감정 상태를 'Sadness' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1) 및 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간인 경우, 제1 사용자의 감정 상태를 'Pride' 상태로 결정할 수 있다. 몇몇 실시예에 따르면, 제1 사용자의 감정 상태는 실시간으로, 주기적으로 또는 비주기적으로 갱신될 수 있다. 또한, 예를 들어, 제1 표정 분석 데이터(fANA_Data#1)에 포함된 제1 감정 요소 중 제1 감정 비율이 가장 높은 감정을 제1 사용자의 감정 상태로 결정할 수 있다.

데이터 보정 모듈(300)은 제1 영상 데이터(IMG_Data#1)에 포함된 식별 수단을 구별함으로써, 제1 사용자에 대한 분할 영상 데이터(dIMG_Data)를 생성할 수 있다(S400). 데이터 보정 모듈(300)은 분할 영상 데이터(dIMG_Data)와 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)를 비교하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다(S500).

도 18을 참조하면, 데이터 보정 모듈(300)은 분할 영상 데이터(dIMG_Data)를 분석하여, 제1 모션 요소 및 제1 모션 범위를 생성할 수 있다(S510). 또한, 데이터 보정 모듈(300)은 제2 메타버스 캐릭터 모션 리깅 데이터(bCR_Data#2)를 분석하여, 제2 모션 요소 및 제2 모션 범위를 생성할 수 있다(S520).

이어서, 데이터 보정 모듈(300)은 제1 모션 요소, 제1 모션 범위, 제2 모션 요소 및 제2 모션 범위를 비교하여, 모션 보정 서포트 데이터(CS_Data#1)를 생성할 수 있다(S530).

다시 도 16을 참조하면, 데이터 보정 모듈(300)은 제2 영상 데이터(IMG_Data#2)와 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 비교하여 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다(S600).

도 19를 참조하면, 데이터 보정 모듈(300)은 제2 영상 데이터(IMG_Data#2)를 분석하여, 제1 사용자의 표정에 포함된 제1 감정 요소와 제1 감정 요소에 대한 제1 감정 비율을 생성할 수 있다(S610). 또한, 데이터 보정 모듈(300)은 제2 메타버스 캐릭터 표정 리깅 데이터(fCR_Data#2)를 분석하여, 메타버스 캐릭터의 표정에 포함된 제2 감정 요소와 제2 감정 요소에 대한 제2 감정 비율을 생성할 수 있다(S620). 이어서, 데이터 보정 모듈(300)은 제1 감정 요소, 제1 감정 비율, 제2 감정 요소 및 제2 감정 비율을 비교하여, 표정 보정 서포트 데이터(CS_Data#2)를 생성할 수 있다(S630).

다시 도 16을 참조하면, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태, 감정 상태, 모션 보정 서포트 데이터(CS_Data#1) 및 표정 보정 서포트 데이터(CS_Data#2)를 이용하여, 모션 데이터(MC_Data)를 보정함으로써 제1 보정 데이터(CB_Data#1)를 생성할 수 있다(S700).

또한, 데이터 보정 모듈(300)은 제1 사용자의 운동 상태 및 제1 사용자의 감정 상태를 이용하여, 메타버스 캐릭터의 연출 효과를 보정하여 제2 보정 데이터(CB_Data#2)를 생성할 수 있다(S800).

데이터 보정 모듈(300)은 메타버스 컨텐츠의 편집자 또는 감독으로부터의 선택에 따라 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 어느 하나를 선택하고, 제1 메타버스 캐릭터 리깅 데이터(CR_Data#1) 및 제2 메타버스 캐릭터 리깅 데이터(CR_Data#2) 중 선택된 어느 하나와, 제2 보정 데이터(CB_Data#2)를 이용하여 메타버스 캐릭터 영상(M_C)을 생성할 수 있다(S900).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예는 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

1. 제1 사용자의 바디 움직임을 센싱하여 제1 모션 데이터를 생성하는 모션 캡쳐 장치;
   제1 식별 수단을 포함하는 의상을 장착한 상기 제1 사용자와, 상기 제1 식별 수단과 다른 제2 식별 수단을 포함하는 의상을 장착한 제2 사용자의 바디 움직임을 촬영하여 제1 영상 데이터를 생성하는 촬영 장치;
   상기 제1 영상 데이터에서 상기 제1 식별 수단과 상기 제2 식별 수단을 구별하고, 상기 제1 식별 수단을 추적하여, 상기 제1 사용자에 대한 분할 영상 데이터를 생성하고, 상기 제1 모션 데이터를 이용하여 생성된 메타버스 캐릭터의 바디 움직임과, 상기 분할 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임을 비교하여 모션 보정 서포트 데이터를 생성하는 데이터 보정 모듈; 및
   상기 모션 보정 서포트 데이터를 이용하여, 상기 메타버스 캐릭터를 구현하는 메타버스 캐릭터 구현 모듈을 포함하고,
   상기 데이터 보정 모듈은,
   상기 제1 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임과, 상기 제1 사용자에 대한 상기 제1 모션 데이터를 이용하여 생성된 제1 메타버스 캐릭터 리깅 데이터에 포함된 상기 메타버스 캐릭터의 바디 움직임을 분석하는 모션 데이터 보정부를 포함하고,
   상기 모션 데이터 보정부는,
   인공지능 분석을 통해 상기 제1 영상 데이터에 포함된 상기 제1 사용자의 바디 움직임을 분석하여, 상기 제1 사용자의 모션에 포함된 제1 모션 요소와, 상기 제1 모션 요소에 대한 제1 모션 범위를 결정하고,
   인공지능 분석을 통해 상기 제1 사용자에 대한 상기 제1 메타버스 캐릭터 리깅 데이터에 포함된 상기 메타버스 캐릭터의 바디 움직임을 분석하여, 상기 메타버스 캐릭터의 바디 움직임에 포함된 제2 모션 요소와, 상기 제2 모션 요소에 대한 제2 모션 범위를 결정하고,
   상기 제1 모션 요소, 상기 제2 모션 요소, 상기 제1 모션 범위 및 상기 제2 모션 범위를 비교하여 상기 모션 보정 서포트 데이터를 생성하고,
   상기 제1 사용자의 생체 정보를 측정하여 생체 정보 데이터를 생성하는 생체 정보 측정 장치를 더 포함하고,
   상기 데이터 보정 모듈은,
   상기 생체 정보 데이터를 이용하여, 상기 제1 사용자의 운동 상태를 결정하는 운동 상태 결정부; 및
   상기 생체 정보 데이터와 상기 제1 영상 데이터를 이용하여, 상기 제1 사용자의 감정 상태를 결정하는 감정 상태 결정부를 포함하고,
   상기 제1 사용자의 운동 상태와 상기 제1 사용자의 감정 상태와 상기 모션 보정 서포트 데이터를 이용하여 제1 보정 데이터를 생성하고,
   상기 데이터 보정 모듈은 상기 제1 사용자의 운동량의 증가에 따라, 상기 생체 정보 측정 장치를 이용하여, 미리 정한 시간 간격 또는 연속적으로 기록된 상기 제1 사용자의 생체 정보 기록 데이터를 포함하는 생체 정보 라이브러리, 상기 제1 사용자의 생체 정보 기록 데이터를 이용하여 상기 제1 사용자의 운동 상태 구간을 구획하고, 상기 제1 사용자의 운동 상태 구간과 상기 제1 사용자의 생체 정보 데이터를 이용하여 상기 제1 사용자의 운동 상태를 결정하는 운동 상태 결정부, 상기 제1 사용자의 제1 신체 부위의 체온 변화량이 제1 기준 이상인지 여부 및 상기 제1 사용자의 상기 제1 신체 부위와 다른 제2 신체 부위의 체온 변화량이 제2 기준 이상인지 여부를 기초로 상기 제1 사용자의 감정 상태를 결정하는 감정 상태 결정부를 포함하는,
   사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.
   
2. 제1 항에 있어서,
   상기 모션 캡쳐 장치는 상기 제1 사용자의 얼굴 움직임을 센싱하여 제2 모션 데이터를 더 생성하고,
   상기 촬영 장치는 상기 제1 사용자의 얼굴을 촬영하여 제2 영상 데이터를 더 생성하고,
   상기 데이터 보정 모듈은 상기 제2 모션 데이터를 이용하여 생성된 상기 메타버스 캐릭터의 얼굴 표정과, 상기 제2 영상 데이터에 포함된 상기 제1 사용자의 얼굴 표정을 비교하여 표정 보정 서포트 데이터를 생성하고,
   상기 메타버스 캐릭터 구현 모듈은 상기 표정 보정 서포트 데이터를 더 이용하여 상기 메타버스 캐릭터를 구현하는,
   사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.
   
3. 제1 항에 있어서,
   상기 데이터 보정 모듈은,
   상기 분할 영상 데이터와, 상기 제1 모션 데이터를 이용하여 생성된 제1 메타버스 캐릭터 리깅 데이터와, 상기 모션 보정 서포트 데이터를 이용하여 생성된 제2 메타버스 캐릭터 리깅 데이터를 디스플레이하는 디스플레이부; 및
   상기 제1 메타버스 캐릭터 리깅 데이터 및 상기 제2 메타버스 캐릭터 리깅 데이터 중 어느 하나를 선택하는 입력 신호를 생성하는 입력부를 포함하는,
   사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.
   
4. 제3 항에 있어서,
   상기 메타버스 캐릭터 구현 모듈은 특정 구간마다 입력되는 상기 입력 신호에 따라, 상기 제1 메타버스 캐릭터 리깅 데이터 및 상기 제2 메타버스 캐릭터 리깅 데이터 중 어느 하나를 이용하여 구현되는,
   사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.
   
5. 제3 항에 있어서,
   상기 제1 모션 데이터를 이용하여 제1 골격 데이터를 생성하고, 상기 모션 보정 서포트 데이터를 이용하여 제2 골격 데이터를 생성하는 골격 생성 모듈; 및
   상기 메타버스 캐릭터의 이미지에 상기 제1 골격 데이터를 리깅하여, 상기 제1 메타버스 캐릭터 리깅 데이터를 생성하고, 상기 메타버스 캐릭터의 이미지에 상기 제2 골격 데이터를 리깅하여, 상기 제2 메타버스 캐릭터 리깅 데이터를 생성하는 리타겟 모듈을 더 포함하는,
   사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.
   
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 제1 항에 있어서,
    상기 운동 상태 결정부는 상기 제1 사용자의 생체 정보 기록 데이터를 참고하여, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 크고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 체온이 증가하는 구간을 제1 운동 상태 구간으로 결정하고, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 크고, 상기 제1 사용자의 체온이 증가하는 구간을 제2 운동 상태 구간으로 결정하고, 상기 제1 사용자의 심박수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 호흡수의 증가폭은 상대적으로 작고, 상기 제1 사용자의 체온은 상대적으로 높고, 상기 제1 사용자의 체온이 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간으로 결정하는,
    사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템.

Images