KR102254193B1

KR102254193B1 - 3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법

Info

Publication number: KR102254193B1
Application number: KR1020200101211A
Authority: KR
Inventors: 조현석; 정석화
Original assignee: 주식회사 오텀리브스; 조현석; 정석화
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2021-06-02

Abstract

본 발명의 일 실시예에 따른 3차원 캐릭터를 생성하는 캐릭터 생성 방법은 입력부가 실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 행위자 데이터 획득 단계; 컨트롤러가 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 행위자 데이터 가공 단계; 디스플레이부가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 행위자 데이터 디스플레이 단계; 및 컨트롤러가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하는 캐릭터 생성 단계;를 포함하며, 상기 행위자 데이터 가공 단계는 하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공할 수 있다.

Description

3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법{System of generating animation character and Method thereof}

본 발명은 3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 행위자로부터 실시간으로 데이터를 획득하여 가상의 3차원 캐릭터를 생성하는 캐릭터 생성 시스템 및 그 방법에 관한 것이다.

캐릭터는 가상 공간인 인터넷이나 이동 통신 환경에 존재하는 또 다른 자아는 나타내는 것으로, 사람의 형상뿐만 아니라, 동물 및 식물은 물론, 상상 속에 존재하는 생물 등 표현될 수 있는 모든 형태로 변형이 가능한 존재이다.

이러한 캐릭터의 생성 및 이용은 사용자로 하여금 자신의 모습과 유사하며, 자신의 특징을 나타낼 수 있는 표현 도구로서, 사용자의 호기심이나 대리만족, 개인이 요구하는 이상적인 인물 등의 의미를 내포할 수 있다. 그에 따라, 사용자는 개인을 나타내는 캐릭터의 생성 및 이용에 많은 관심을 가지게 되었다.

최근에는 가상 캐릭터가 영화, 게임, 방송, 아바타(avatar) 등과 같은 디지털 콘텐츠(digital contents) 분야에 폭넓게 사용되고 있다.

기존에 캐릭터의 동작을 생성하는 방법으로는 키-프레임 애니메이션(key-frame animation) 방식이 널리 사용되어 왔다.

이는 사용자가 원하는 스타일의 동작을 매우 자유롭게 생성할 수 있다는 장점이 있으나, 주요 프레임에 해당하는 동작 타이밍을 편집하는 과정은 다음과 같은 이유로 많은 노력과 시간을 요구한다.

나아가, 동작뿐만 아니라 해당 동작에 대응되는 표정 및 음성 역시 생성해야 하며, 생성된 표정 및 음성을 동작의 타이밍이 맞게 편집해야 한다.

이를 위해, 대부분의 상업용 3차원 모델링 도구(modeling tool)들은 복잡한 편집 프로세스(process) 및 사용자 인터페이스(user interface)로 인해 초보 사용자가 이런 도구를 이용하여 사실적인 애니메이션을 제작하기는 매우 어렵다. 이러한 이유들로 현재 키 프레임 방식으로 높은 품질의 캐릭터 애니메이션을 제작하기 위해서는 길이가 짧은 애니메이션이라도 많은 전문 애니메이터를 필요로 하고, 이는 높은 제작 비용의 원인이 되고 있다.

한편, 대한민국 공개특허 제10-2017-0086317호(2017.07.26.공개)에서는 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법을 개시하고 있다.

그러나, 동작뿐만 아니라 동작에 매칭되는 얼굴의 표정 및 음성을 별도로 생성하여 상호간의 타이밍 편집을 해야 한다는 점에서 고도의 숙련된 전문가가 필요한 실정이다.

본 발명은 상기와 같은 문제를 해결하기 위한 것으로서, 동작, 표정 및 음성을 가지는 3차원의 가상의 캐릭터를 저비용, 단시간에 효율적으로 생성하기 위한 캐릭터 생성 시스템 및 그 방법을 제공하고자 함이다.

본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 다른 일 실시예에 따른 3차원 캐릭터를 생성하는 캐릭터 생성 시스템은 실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 입력부; 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 컨트롤러; 및 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 디스플레이부;를 포함하며, 상기 컨트롤러는 하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며, 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성할 수 있다.

본 발명의 일 실시예에 따른 캐릭터 생성 시스템 및 그 방법에 의하면, 동작, 표정 및 음성을 가지는 3차원의 가상의 캐릭터를 저비용, 단시간에 효율적으로 생성할 수 있는 장점이 있다.

본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 캐릭터 생성 방법을 구현하는 캐릭터 생성 시스템의 개략 구성도.
도 2는 본 발명의 일 실시예에 따른 캐릭터 생성 방법에 의해 캐릭터가 생성되는 것을 도시한 개략도.
도 3은 본 발명의 일 실시예에 따른 캐릭터 생성 방법에 대한 음성 데이터, 표정 데이터 및 모션 데이터를 설명하기 위한 개략도.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 캐릭터 생성 방법의 행위자 데이터 가공 단계를 설명하기 위한 개략도.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.

또, 상기 행위자 데이터 가공 단계는 상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며, 상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고, 상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑할 수 있다.

또, 상기 행위자 데이터 가공 단계는 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터 간을 그룹핑 및 하나의 시간축에 대한 구간 하에 상호 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우, 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 음성 데이터와 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 표정 데이터와 매칭된 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우, 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 모션 데이터 중 어느 하나의 상기 부분 모션 데이터를 선택받는 경우, 선택된 상기 부분 모션 데이터와 그룹핑된 다수의 상기 부분 모션 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 모션 데이터와 매칭할 수 있다.

또, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며, 상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고, 상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑할 수 있다.

또, 상기 컨트롤러는 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터 간을 그룹핑 및 하나의 시간축에 대한 구간 하에 상호 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 다수의 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 음성 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 선택된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 다수의 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 선택된 상기 부분 표정 데이터와 매칭된 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우, 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 다수의 상기 부분 모션 데이터 중 어느 하나의 상기 부분 모션 데이터를 선택받는 경우, 선택된 상기 부분 모션 데이터와 그룹핑된 다수의 상기 부분 모션 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 모션 데이터와 매칭할 수 있다.

또, 상기 컨트롤러는 사용자로부터 선택된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

본 발명의 다른 일 실시예에 따른 컴퓨터 판독 가능 기록매체는 상기 캐릭터 생성 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체일 수 있다.

각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 캐릭터 생성 방법을 구현하는 캐릭터 생성 시스템의 개략 구성도.

도 2는 본 발명의 일 실시예에 따른 캐릭터 생성 방법에 의해 캐릭터가 생성되는 것을 도시한 개략도.

도 3은 본 발명의 일 실시예에 따른 캐릭터 생성 방법에 대한 음성 데이터, 표정 데이터 및 모션 데이터를 설명하기 위한 개략도.

도 4 내지 도 6은 본 발명의 일 실시예에 따른 캐릭터 생성 방법의 행위자 데이터 가공 단계를 설명하기 위한 개략도.

첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위하여, 본 발명의 기술적 사상과 관련성이 떨어지거나 당업자로부터 용이하게 도출될 수 있는 부분은 간략화 하거나 생략하였다.

도 1 내지 도 6에 도시한 바와 같이, 본 발명의 일 실시예에 따른 캐릭터 생성 방법은 행위자(액터)의 음성, 표정 및 몸의 모션을 획득하여, 이를 기초로 가상의 3차원 캐릭터를 생성하는 방법을 의미할 수 있다.

일반적으로, 게임이나 영화 등의 가상의 캐릭터를 생성하기 위해서는 행위자의 몸에 다수의 자이로 센서, 가속도 센서, 지자기 센서 및/또는 광학 방식의 3D 센서 등을 부착하고 이를 센싱하여 행위자의 모션에 대한 데이터를 획득한다.

이 후, 별도로 행위자의 얼굴에 다수의 자이로 센서, 가속도 센서, 지자기 센서 및/또는 광학 방식의 3D 센서 등을 부착하고 이를 센싱하여 표정에 대한 데이터를 획득한다.

이 후, 별도로 행위자의 음성을 센싱하여 음성에 대한 데이터를 획득한다.

이 때, 캐릭터 생성 전문가는 각각 별개로 획득한 행위자의 모션에 대한 데이터, 표정에 대한 데이터 및 음성에 대한 데이터를 선택하고, 모션에 대한 데이터에 표정 및 음성을 맵핑함으로써 가상의 캐릭터를 생성한다.

그 결과, 하나의 가상의 캐릭터를 생성하기 위해, 행위자의 모션을 센싱하는 작업, 표정을 센싱하는 작업, 음성을 센싱하는 작업이 각각 필요하며, 나아가 이러한 복수의 데이터를 선택하고 타이밍이 맞도록 맵핑을 해야 하는 번거로움이 있다.

본 발명은 이러한 문제를 해결하고자 1인의 행위자로부터 동시에 실시간으로 모션 데이터, 표정 데이터 및 음성 데이터를 획득하고, 이러한 복수의 데이터들을 효율적으로 가공, 편집할 수 있는 방법을 제공하고자 함이다.

이하에서는, 도 1 내지 도 6을 참조하여, 본 발명에 대해 더욱 자세히 설명하겠다.

본 발명의 일 실시예에 따른 캐릭터 생성 방법은 캐릭터 생성 시스템(10)에 의해 구현될 수 있다.

일례로, 상기 캐릭터 생성 방법은 상기 캐릭터 생성 시스템(10)의 입력부(200)가 실시간으로 행위자의 음성을 센싱하는 마이크(21)로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서(22)로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서(23)로부터 모션 데이터를 획득하는 행위자 데이터 획득 단계를 포함할 수 있다.

일례로, 상기 행위자 데이터는 실제로 행위하는 행위자로부터 획득되는 데이터로서, 행위자의 음성 데이터, 표정 데이터 및 모션 데이터를 포함하는 개념일 수 있다.

일례로, 상기 마이크(21)는 행위자의 음성을 센싱하는 장치로서, 행위자의 몸에 연결될 수도 있고 행위자와 근접한 공간 상에 설치될 수도 있다.

상기 마이크(21)와 같이 행위자의 음성을 센싱하는 장치는 이미 수 많은 기술이 공지되어 있다는 점에서 자세한 설명은 생략하겠다.

일례로, 상기 헤드 마운트 센서(22)는 행위자의 얼굴에 부착된 다수의 자이로 센서, 가속도 센서, 지자기 센서일 수 있으며, 또는 행위자 얼굴에 부착된 다수의 마커의 영상을 획득하는 이미지 센싱 장치일 수도 있다.

일례로, 상기 헤드 마운트 센서(22)는 행위자의 머리에 설치되어 행위자의 몸의 움직임(모션)에 영향을 받지 않고 독립적으로 행위자의 얼굴의 표정을 센싱할 수 있다.

상기 헤드 마운트 센서(22)와 같이 행위자의 얼굴의 표정을 센싱하는 장치는 이미 수 많은 기술이 공지되어 있다는 점에서 자세한 설명은 생략하겠다.

일례로, 모션 센서(23)는 행위자의 몸 동작인 모션을 센싱하는 장치로서, 행위자의 몸에 다수의 자이로 센서, 가속도 센서, 지자기 센서 및/또는 광학 방식을 위한 마커 등을 부착하고 이를 센싱하여 행위자의 모션에 대한 데이터를 획득하는 장치일 수 있다.

마찬가지로, 상기 모션 센서(23)와 같이 행위자의 모션을 센싱하는 장치는 이미 수 많은 기술이 공지되어 있다는 점에서 자세한 설명은 생략하겠다.

한편, 상기 행위자 데이터 획득 단계는 1명의 행위자로부터 실시간으로 상기 마이크(21), 상기 헤드 마운트 센서(22) 및 상기 모션 센서(23)를 통해 상기 입력부(200)로 동시에 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 획득할 수 있다.

상기 입력부(200)는 상기 마이크(21), 상기 헤드 마운트 센서(22) 및 상기 모션 센서(23)로부터 소정의 데이터를 입력받을 수 있는 구성으로, 입력 포트 등일 수 있다.

한편, 상기 입력부(200)를 통해 입력된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터는 상기 캐릭터 생성 시스템(10)의 메모리부(400)에 저장될 수 있다.

여기서, 일례로, 상기 캐릭터 생성 방법은 상기 캐릭터 생성 시스템(10)의 컨트롤러(100)가 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 행위자 데이터 가공 단계를 더 포함할 수 있다.

일례로, 상기 컨트롤러(100)는 상기 입력부(200)가 획득한 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 이용하여 3차원 캐릭터를 생성하기 위해 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공/처리하는 구성일 수 있다.

가공의 의미는 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터의 정렬, 선택, 편집, 맵핑, 랜더링 등을 의미할 수 있다.

일례로, 상기 행위자 데이터 가공 단계는 상기 컨트롤러(100)가 하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬할 수 있다.

이를 보다 자세히 설명하자면, 도 3에 도시한 바와 같이, 상기 행위자 데이터 가공 단계는 상기 마이크(21), 상기 헤드 마운트 센서(22) 및 상기 모션 센서(23)로부터 각각 획득한 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 하나의 시간축을 기준으로 정렬할 수 있다.

일례로, 상기 컨트롤러(100)는 실시간으로 획득하는 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터에 대해 시간에 대한 기준인 기준 시점 포인트를 동일하게 부여할 수 있다.

상기 컨트롤러(100)는 상기 기준 시점 포인트를 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 하나의 시간축 상에 병렬적으로 정렬할 수 있다.

일례로, 상기 컨트롤러(100)는 상기 기준 시점 포인트를 기준으로 상기 음성 데이터를 가공하여 도 3에 도시한 바와 같이, 시간에 따른 소정의 변화되는 음파를 가시적으로 생성할 수 있다.

즉, X축은 시간축을 의미할 수 있으며, Y축은 음파를 의미할 수 있다.

일례로, 상기 컨트롤러(100)는 상기 기준 시점 포인트를 기준으로 상기 표정 데이터를 가공하여 도 3에 도시한 바와 같이, 시간에 따른 소정의 변화되는 파형을 가시적으로 생성할 수 있다.

일례로, 상기 컨트롤러(100)는 행위자의 얼굴에 부착된 복수개의 마커 각각의 위치 변화량을 산술적으로 수치화하고, 이를 합산하여 시간에 따라 변화되는 합산된 수치를 산출할 수 있다.

즉, X축은 시간축을 의미할 수 있으며, Y축은 얼굴에 부착된 복수개의 마커의 위치 변화량의 합산 수치일 수 있다.

일례로, 상기 컨트롤러(100)는 상기 기준 시점 포인트를 기준으로 상기 모션 데이터를 가공하여 도 3에 도시한 바와 같이, 시간에 따른 소정의 변화되는 파형을 가시적으로 생성할 수 있다.

일례로, 상기 컨트롤러(100)는 행위자의 몸에 부착된 복수개의 마커 각각의 위치 변화량을 산술적으로 수치화하고 이를 합산하여 시간에 따라 변화되는 합산된 수치를 산출할 수 있다.

즉, X축은 시간축을 의미할 수 있으며, Y축은 몸에 부착된 복수개의 마커의 위치 변화량의 합산 수치일 수 있다.

즉, 상기 컨트롤러(100)는 상기 입력부(200)에 의해 획득한 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 하나의 시간축을 기준으로 정렬하여 소정의 파형으로 가시화한 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 생성할 수 있다.

여기서, 일례로, 상기 캐릭터 생성 방법은 상기 캐릭터 생성 시스템(10)의 디스플레이부(300)가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 행위자 데이터 디스플레이 단계를 더 포함할 수 있다.

즉, 사용자는 상기 디스플레이부(300)를 통해 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 볼 수 있다.

일례로, 상기 디스플레이부(300)는 도 3에 도시된 바와 같이, 하나의 시간축을 기준으로 정렬된 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터의 파형을 볼 수 있다.

여기서, 일례로, 사용자는 상기 입력부(200)를 통해 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터의 파형 중 일부를 선택할 수 있다.

여기서, 일례로, 상기 캐릭터 생성 방법은 상기 컨트롤러(100)가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하는 캐릭터 생성 단계를 더 포함할 수 있다.

일례로, 상기 컨트롤러(100)는 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터 간을 상호 맵핑하여 가상의 3차원 캐릭터를 생성할 수 있다.

사용자는 상기 디스플레이부(300)를 통해 생성된 3차원 캐릭터를 볼 수 있다.

이하에서는, 도 3 내지 도 6을 참조하여, 앞서 설명한 상기 행위자 데이터 가공 단계에 대해 더욱 자세히 설명하겠다.

도 3에서 도시한 그래프의 파형은 본 발명을 쉽게 설명하기 위한 하나의 예시임을 가정하고 설명하겠다.

앞서 설명한 바와 같이, 도 3과 같이, 상기 컨트롤러(100)는 입력부(200)로부터 획득한 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하여 하나의 시간축을 기준으로 정렬된 각각의 파형을 생성할 수 있다.

이 때, 상기 행위자 데이터 가공 단계는 상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑할 수 있다.

이를 보다 자세히 설명하자면, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 가공되어 패턴화된 상기 음성 데이터를 구성하는 복수의 부분 음성 데이터의 파형을 분석하여 유사한 파형을 가지는 부분 음성 데이터 간을 그룹핑할 수 있다.

여기서, 상기 그룹핑 조건은 미리 설정된 유사도 이상를 가지는 부분 음성 데이터의 파형간을 그룹핑하는 조건일 수 있다.

그 결과, 상기 컨트롤러(100)는 상기 음성 데이터를 구성하는 복수의 부분 음성 데이터에 대해 미리 설정된 유사도 이상으로 유사한 파형을 가지는 부분 음성 데이터 간을 그룹핑하고 ①, ②, ③과 같이 부분 음성 데이터에 고유의 코드를 부여할 수 있다.

따라서, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 ①로 부여된 부분 음성 데이터 간을 그룹핑할 수 있고, ②로 부여된 부분 음성 데이터 간을 그룹핑할 수 있으며, ③으로 부여된 부분 음성 데이터 간을 그룹핑할 수 있다.

한편, 상기 행위자 데이터 가공 단계는 상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑할 수 있다.

이를 보다 자세히 설명하자면, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 가공되어 패턴화된 상기 표정 데이터를 구성하는 복수의 부분 표정 데이터의 파형을 분석하여 유사한 파형을 가지는 부분 표정 데이터 간을 그룹핑할 수 있다.

여기서, 상기 그룹핑 조건은 미리 설정된 유사도 이상를 가지는 부분 표정 데이터의 파형간을 그룹핑하는 조건일 수 있다.

그 결과, 상기 컨트롤러(100)는 상기 표정 데이터를 구성하는 복수의 부분 표정 데이터에 대해 미리 설정된 유사도 이상으로 유사한 파형을 가지는 부분 표정 데이터 간을 그룹핑하고 ⓐ, ⓑ, ⓒ와 같이 부분 표정 데이터에 고유의 코드를 부여할 수 있다.

따라서, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 ⓐ로 부여된 부분 표정 데이터 간을 그룹핑할 수 있고, ⓑ로 부여된 부분 표정 데이터 간을 그룹핑할 수 있으며, ⓒ로 부여된 부분 표정 데이터 간을 그룹핑할 수 있다.

한편, 상기 행위자 데이터 가공 단계는 상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑할 수 있다.

이를 보다 자세히 설명하자면, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 가공되어 패턴화된 상기 모션 데이터를 구성하는 복수의 부분 모션 데이터의 파형을 분석하여 유사한 파형을 가지는 부분 모션 데이터 간을 그룹핑할 수 있다.

여기서, 상기 그룹핑 조건은 미리 설정된 유사도 이상를 가지는 부분 모션 데이터의 파형간을 그룹핑하는 조건일 수 있다.

그 결과, 상기 컨트롤러(100)는 상기 모션 데이터를 구성하는 복수의 부분 모션 데이터에 대해 미리 설정된 유사도 이상으로 유사한 파형을 가지는 부분 모션 데이터 간을 그룹핑하고 ⅰ, ⅱ, ⅲ과 같이 부분 모션 데이터에 고유의 코드를 부여할 수 있다.

따라서, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 ⅰ로 부여된 부분 표정 데이터 간을 그룹핑할 수 있고, ⅱ로 부여된 부분 표정 데이터 간을 그룹핑할 수 있으며, ⅲ으로 부여된 부분 표정 데이터 간을 그룹핑할 수 있다.

여기서, 일례로, 상기 컨트롤러(100)는 사용자가 상기 입력부(200)를 통해 ① 또는 ①에 해당하는 파형을 선택하는 경우, ①로 그룹핑된 복수의 부분 음성 데이터만을 필터하여 상기 캐릭터 생성 시스템(10)의 스피커를 통해 해당 음성을 순차적으로 재생할 수 있다.

마찬가지로, 일례로, 상기 컨트롤러(100)는 사용자가 상기 입력부(200)를 통해 ⓑ 또는 ⓑ에 해당하는 파형을 선택하는 경우, ⓑ로 그룹핑된 복수의 부분 표정 데이터만을 필터하여 상기 캐릭터 생성 시스템(10)의 상기 디스플레이를 통해 해당 표정 데이터와 대응되는 3차원 캐릭터의 표정 변화 영상을 순차적으로 재생할 수 있다.

또한, 일례로, 상기 컨트롤러(100)는 사용자가 상기 입력부(200)를 통해 ⅲ 또는 ⅲ에 해당하는 파형을 선택하는 경우, ⅲ으로 그룹핑된 복수의 부분 모션 데이터만을 필터하여 상기 캐릭터 생성 시스템(10)의 상기 디스플레이를 통해 해당 모션 데이터와 대응되는 3차원 캐릭터의 모션 변화 영상을 순차적으로 재생할 수 있다.

여기서 일례로, 상기 행위자 데이터 가공 단계는 상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 구분하는 기준 시간, 상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 구분하는 기준 기간 및 상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 구분하는 기준 시간을 설정할 수 있다.

이를 보다 자세히 설명하자면, 도 3에 도시한 바와 같이, 상기 컨트롤러(100)는 시간에 따른 파형의 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 구성하는 각각의 파형을 분석하여 파형의 변화가 있는(기 설정된 파형 임계값 이상의 파형의 변화가 있는) 시작점과 끝점을 각각 산출할 수 있고, 시작점으로부터 끝점까지의 시간을 상기 기준 시간으로 정의할 수 있다.

이 때, 일례로, 상기 컨트롤러(100)는 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 구성하는 각각의 복수의 시작점으로부터 끝점까지의 상기 기준시간 중 가장 긴 시간을 선택하여 상기 기준 시간으로 정의할 수 있고, 이러한 상기 기준 시간을 기초로 하여 다수의 부분 음성 데이터, 다수의 부분 표정 데이터 및 다수의 부분 모션 데이터를 구분할 수 있다.

이하에서는, 도 4 내지 도 6을 참조하여, 상기 행위자 데이터 가공 단계에 의해 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터 간이 상호 매칭되는 것을 설명하겠다.

도 4 내지 도 6은 도 3을 참조하여 설명한 바와 같이, 설명의 편의를 위해 상기 음성 데이터를 구성하는 복수의 부분 음성 데이터, 상기 표정 데이터를 구성하는 복수의 부분 표정 데이터 및 상기 모션 데이터를 구성하는 복수의 부분 모션 데이터를 고유의 코드로 단순화하여 표현한 도면이다.

일례로, 상기 행위자 데이터 가공 단계는 상기 컨트롤러(100)가 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터 간을 그룹핑 및 하나의 시간축에 대한 구간 하에 상호 매칭할 수 있다.

이를 보다 자세히 설명하자면, 상기 행위자 데이터 가공 단계는 앞서 설명한 바와 같이 상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 그룹핑하고, 상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 그룹핑하며, 상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 그룹핑한 결과에서, 상기 부분 음성 데이터와 상기 부분 표정 데이터와 상기 부분 모션 데이터 간을 매칭하기 위해 추가적으로 하나의 시간축에 대한 구간이 기준이 될 수 있다.

즉, 상기 컨트롤러(100)는 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터가 각각 그룹핑된 상태에서, 하나의 시간축에 대한 구간이 기준이 되어 상기 부분 음성 데이터와 상기 부분 표정 데이터와 상기 부분 모션 데이터 간을 매칭할 수 있다. 즉, 상기 컨트롤러(100)는 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭할 수 있다.

상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터를 상호 매칭하기 위해서는 상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터 중 어느 하나가 매칭의 기준이 될 수 있다.

일례로, 상기 부분 음성 데이터가 나머지 데이터의 매칭의 기준이 될 수 있고, 상기 부분 모션 데이터가 나머지 데이터의 매칭의 기준이 될 수 있으며, 상기 부분 모션 데이터가 나머지 데이터의 매칭의 기준이 될 수 있다.

순차적으로, 도 4를 참조하여, 상기 부분 음성 데이터가 나머지 데이터의 매칭의 기준이 되는 것을 설명하겠다.

일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우, 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 음성 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 4에 도시한 바와 같이, 사용자는 상기 음성 데이터를 구성하는 복수의 상기 부분 음성 데이터 중 어느 하나를 선택할 수 있다.

일례로, 도 4(a)에 도시한 바와 같이, 사용자는 복수의 상기 부분 음성 데이터 중 1열에 해당하는 ①로 정의된 상기 부분 음성 데이터를 선택할 수 있다.

이 경우, 도 4(b)에 도시한 바와 같이, 상기 컨트롤러(100)는 사용자로부터 선택된 1열의 ①로 정의된 상기 부분 음성 데이터 구간과 동일한 구간인 1열의 ⓐ로 정의된 상기 부분 표정 데이터를 추출하여, 이를 1열에 해당하는 ①로 정의된 상기 부분 음성 데이터와 매칭할 수 있다.

여기서 나아가, 상기 컨트롤러(100)는 1열에 해당하는 ⓐ로 정의된 상기 부분 표정 데이터뿐만 아니라 이와 그룹핑된 6열, 7열의 ⓐ로 정의된 상기 부분 표정 데이터도 1열에 해당하는 ①로 정의된 상기 부분 음성 데이터와 매칭할 수 있다.

그 결과, 상기 컨트롤러(100)에 의해, 1열에 해당하는 ①로 정의된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터는 ⓐ로 정의된 1열, 6열, 7열의 상기 부분 표정 데이터일 수 있다.

이 때, 사용자가 1열의 ①로 정의된 상기 부분 음성 데이터를 선택하는 경우, 상기 컨트롤러(100)는 선택한 부분 음성 데이터 상에, 순차적으로 ⓐ로 정의된 1열, 6열, 7열의 상기 부분 표정 데이터를 맵핑하여, 순차적으로 1열의 ①과 1열의 ⓐ로 형성되는 3차원 캐릭터, 1열의 ①과 6열의 ⓐ로 형성되는 3차원 캐릭터, 및 1열의 ①과 7열의 ⓐ로 형성되는 3차원 캐릭터를 형성하여 상기 디스플레이부(300) 및 상기 스피커를 통해 재생될 수 있도록 할 수 있다.

그 결과, 사용자는 자신이 선택한 1열의 ①로 정의된 상기 부분 음성 데이터와 어울리는 ⓐ로 정의된 1열, 6열, 7열의 상기 부분 표정 데이터 중 어느 하나를 쉽게 선택할 수 있다.

이 때, 일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 4(b)에 도시한 바와 같이, 사용자는 1열에 해당하는 ①로 정의된 상기 부분 음성 데이터와 매칭된 ⓐ로 정의된 1열, 6열, 7열의 상기 부분 표정 데이터 중 6열의 상기 부분 표정 데이터를 상기 입력부(200)를 통해 선택한 경우, 도 4(c)에 도시한 바와 같이, 상기 컨트롤러(100)는 선택된 6열의 상기 부분 표정 데이터와 동일한 구간인 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 추출하고, 나아가 1열의 ①로 정의된 상기 부분 음성 데이터와 동일한 구간인 1열의 ⅰ로 정의된 상기 부분 모션 데이터를 추출할 수 있다.

이에 나아가, 상기 컨트롤러(100)는 추출된 6열의 ⅱ로 정의된 상기 부분 모션 데이터와 그룹핑된 2열, 5열의 상기 부분 모션 데이터와, 추출된 1열의 ⅰ로 정의된 상기 부분 모션 데이터와 그룹핑된 7열의 상기 부분 모션 데이터를 이미 선택된 1열의 ①로 정의된 상기 부분 음성 데이터 및 이미 선택된 6열의 ⓐ로 정의된 상기 부분 표정 데이터와 매칭시킬 수 있다.

그 결과, 컨트롤러(100)는 사용자가 선택한 1열의 ①로 정의된 상기 부분 음성 데이터와 6열의 ⓐ로 정의된 상기 부분 표정 데이터를 상호 맵핑하여 형성된 3차원 캐릭터 상에서, 매칭된 1열, 2열, 5열, 6열, 7열의 상기 부분 모션 데이터를 순차적으로 맵핑하여, 맵핑된 3차원 캐릭터가 상기 디스플레이부(300) 및 상기 스피커를 통해 재생되도록 할 수 있다.

그 결과, 상기 사용자는 자신이 선택한 1열의 ①로 정의된 상기 부분 음성 데이터 및 자신이 선택한 6열의 ⓐ로 정의된 상기 부분 표정 데이터 상에서, 1열, 2열, 5열, 6열, 7열의 상기 부분 모션 데이터 중 어느 하나를 쉽게 선택할 수 있다.

여기서, 만약 사용자가 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 선택한 경우, 상기 컨트롤러(100)는 최종적으로 1열의 ①로 정의된 상기 부분 음성 데이터, 6열의 ⓐ로 정의된 상기 부분 표정 데이터 및 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 상호 맵핑하여 3차원 캐릭터를 생성할 수 있다.

이하에서는, 도 5를 참조하여, 상기 부분 표정 데이터가 나머지 데이터의 매칭의 기준이 되는 것을 설명하겠다.

일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 5에 도시한 바와 같이, 사용자는 상기 표정 데이터를 구성하는 복수의 상기 부분 표정 데이터 중 어느 하나를 선택할 수 있다.

이 경우, 도 5(b)에 도시한 바와 같이, 상기 컨트롤러(100)는 사용자로부터 선택된 3열의 ⓒ로 정의된 상기 부분 표정 데이터 구간과 동일한 구간인 3열의 ③으로 정의된 상기 부분 음성 데이터를 추출하여, 이를 3열에 해당하는 ⓒ로 정의된 상기 부분 표정 데이터와 매칭할 수 있다.

여기서 나아가, 상기 컨트롤러(100)는 3열에 해당하는 ③으로 정의된 상기 부분 음성 데이터뿐만 아니라 이와 그룹핑된 5열의 ③으로 정의된 상기 부분 음성 데이터도 3열에 해당하는 ⓒ로 정의된 상기 부분 표정 데이터와 매칭할 수 있다.

이 때, 사용자가 3열의 ⓒ로 정의된 상기 부분 표정 데이터를 선택하는 경우 상기 컨트롤러(100)는 선택한 부분 표정 데이터 상에, 순차적으로 ③으로 정의된 3열, 5열의 상기 부분 음성 데이터를 각각 맵핑하여, 순차적으로 3열의 ⓒ와 3열의 ③으로 형성되는 3차원 캐릭터 및 3열의 ⓒ와 5열의 ③으로 형성되는 3차원 캐릭터가 상기 디스플레이부(300) 및 상기 스피커를 통해 재생될 수 있도록 할 수 있다.

이 때, 일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 표정 데이터와 매칭된 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우, 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고, 추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 5(b)에 도시한 바와 같이, 사용자는 3열에 해당하는 ⓒ로 정의된 상기 부분 표정 데이터와 매칭된 ③으로 정의된 3열, 5열의 상기 부분 음성 데이터 중 5열의 상기 부분 음성 데이터를 상기 입력부(200)를 통해 선택한 경우, 도 5(c)에 도시한 바와 같이, 상기 컨트롤러(100)는 선택된 5열의 상기 부분 음성 데이터와 동일한 구간인 5열의 ⅱ로 정의된 상기 부분 모션 데이터를 추출하고, 나아가 3열의 ⓒ로 정의된 상기 부분 표정 데이터와 동일한 구간인 3열의 ⅲ으로 정의된 상기 부분 모션 데이터를 추출할 수 있다.

이에 나아가, 상기 컨트롤러(100)는 추출된 5열의 ⅱ로 정의된 상기 부분 모션 데이터와 그룹핑된 2열, 6열의 상기 부분 모션 데이터와, 추출된 3열의 ⅲ으로 정의된 상기 부분 모션 데이터와 그룹핑된 4열의 상기 부분 모션 데이터를 이미 선택된 3열의 ⓒ로 정의된 상기 부분 표정 데이터 및 이미 선택된 5열의 ③으로 정의된 상기 부분 음성 데이터와 매칭시킬 수 있다.

그 결과, 컨트롤러(100)는 사용자가 선택한 3열의 ⓒ로 정의된 상기 부분 표정 데이터와 5열의 ③으로 정의된 상기 부분 음성 데이터가 상호 맵핑된 3차원 캐릭터 상에, 매칭된 2열, 3열, 4열, 5열, 6열의 상기 부분 모션 데이터를 맵핑하여, 맵핑된 3차원 캐릭터를 순차적으로 상기 디스플레이부(300) 및 상기 스피커를 통해 재생되도록 할 수 있다.

그 결과, 사용자는 자신이 선택한 3열의 ⓒ로 정의된 상기 부분 표정 데이터 및 자신이 선택한 5열의 ③으로 정의된 상기 부분 표정 데이터 상에서, 2열, 3열, 4열, 5열, 6열의 상기 부분 모션 데이터 중 어느 하나를 쉽게 선택할 수 있다.

여기서, 만약 사용자가 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 선택한 경우, 상기 컨트롤러(100)는 최종적으로 3열의 ⓒ로 정의된 상기 부분 표정 데이터, 5열의 ③으로 정의된 상기 부분 음성 데이터 및 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 상호 맵핑하여 3차원 캐릭터를 생성할 수 있다.

이하에서는, 도 6을 참조하여, 상기 부분 모션 데이터가 나머지 데이터의 매칭의 기준이 되는 것을 설명하겠다.

일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 다수의 상기 부분 모션 데이터 중 어느 하나의 상기 부분 모션 데이터를 선택받는 경우, 선택된 상기 부분 모션 데이터와 그룹핑된 다수의 상기 부분 모션 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고, 추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 모션 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 6에 도시한 바와 같이, 사용자는 상기 모션 데이터를 구성하는 복수의 상기 부분 모션 데이터 중 어느 하나를 선택할 수 있다.

일례로, 도 6(a)에 도시한 바와 같이, 사용자는 복수의 상기 부분 모션 데이터 중 2열에 해당하는 ⅱ로 정의된 상기 부분 모션 데이터를 선택할 수 있다.

이 경우, 도 6(a)에 도시한 바와 같이, 상기 컨트롤러(100)는 사용자로부터 선택된 2열의 ⅱ로 정의된 상기 부분 모션 데이터와 그룹핑된 5열, 6열의 ⅱ로 정의된 상기 부분 모션 데이터를 추출할 수 있다.

이 때, 도 6(b)에 도시한 바와 같이, 상기 컨트롤러(100)는 2열, 5열, 6열의 ⅱ로 정의된 상기 부분 모션 데이터의 구간과 동일한 구간인 2열, 5열, 6열의 상기 부분 표정 데이터를 추출하고, 나아가 2열, 5열, 6열의 ⓐ, ⓑ로 정의된 상기 부분 표정 데이터와 그룹핑된 1열, 7열의 상기 부분 표정 데이터를 추가로 추출하여, 결과적으로 사용자가 선택한 2열에 해당하는 ⅱ로 정의된 상기 부분 모션 데이터를 1열, 2열, 5열, 6열, 7열의 상기 부분 표정 데이터를 상호 매칭할 수 있다.

그 결과, 상기 컨트롤러(100)에 의해, 2열에 해당하는 ⅱ로 정의된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터는 1열, 2열, 5열, 6열, 7열의 상기 부분 표정 데이터일 수 있다.

이 때, 사용자가 2열의 ⅱ로 정의된 상기 부분 모션 데이터를 선택하는 경우, 상기 컨트롤러(100)는 선택한 부분 모션 데이터 상에, 순차적으로 1열, 2열, 5열, 6열, 7열의 상기 부분 표정 데이터를 각각 맵핑하여, 순차적으로 2열의 ⅱ와 1열의 ⓐ로 형성되는 3차원 캐릭터부터 2열의 ⅱ와 7열 ⓐ로 형성되는 3차원 캐릭터까지 상기 디스플레이부(300) 및 상기 스피커를 통해 재생될 수 있도록 할 수 있다.

그 결과, 사용자는 자신이 선택한 2열의 ⅱ로 정의된 상기 부분 모션 데이터와 어울리는 1열, 2열, 5열, 6열, 7열의 상기 부분 표정 데이터 중 어느 하나를 쉽게 선택할 수 있다.

이 때, 일례로, 상기 행위자 데이터 가공 단계는 사용자로부터 선택된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우, 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고, 추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터와 매칭할 수 있다.

이를 보다 자세히 설명하자면, 도 6(b)에 도시한 바와 같이, 사용자는 2열에 해당하는 ⅱ로 정의된 상기 부분 모션 데이터와 매칭된 1열, 2열, 5열, 6열, 7열의 상기 부분 표정 데이터 중 1열의 ⓐ로 정의된 상기 부분 표정 데이터를 상기 입력부(200)를 통해 선택한 경우, 도 6(c)에 도시한 바와 같이, 상기 컨트롤러(100)는 선택된 1열의 상기 부분 표정 데이터와 동일한 구간인 1열의 ①로 정의된 상기 부분 음성 데이터를 추출하고, 나아가 1열의 ①로 정의된 상기 부분 음성 데이터와 그룹핑된 ①로 정의된 4열, 7열의 상기 부분 음성 데이터를 이미 선택된 2열의 ⅱ로 정의된 상기 부분 모션 데이터 및 이미 선택된 1열의 ⓐ로 정의된 상기 부분 표정 데이터와 매칭시킬 수 있다.

그 결과, 컨트롤러(100)는 사용자가 선택한 2열의 ⅱ로 정의된 상기 부분 모션 데이터와 1열의 ⓐ로 정의된 상기 부분 표정 데이터가 상호 맵핑된 3차원 캐릭터 상에, 매칭된 1열, 4열, 7열의 상기 부분 음성 데이터를 맵핑하여, 맵핑된 3차원 캐릭터를 순차적으로 상기 디스플레이부(300) 및 상기 스피커를 통해 재생되도록 할 수 있다.

그 결과, 사용자는 자신이 선택한 2열의 ⅱ로 정의된 상기 부분 모션 데이터 및 자신이 선택한 1열의 ⓐ로 정의된 상기 부분 표정 데이터 상에서, 1열, 4열, 7열의 상기 부분 음성 데이터 중 어느 하나를 쉽게 선택할 수 있다.

여기서, 만약 사용자가 1열의 ①로 정의된 상기 부분 음성 데이터를 선택한 경우, 상기 컨트롤러(100)는 최종적으로 2열의 ⅱ로 정의된 상기 부분 모션 데이터, 1열의 ⓐ로 정의된 상기 부분 표정 데이터 및 1열의 ①로 정의된 상기 부분 음성 데이터를 상호 맵핑하여 3차원 캐릭터를 생성할 수 있다.

한편, 본 발명의 다른 일 실시예에 따른 3차원 캐릭터를 생성하는 캐릭터 생성 시스템(10)은 앞서 설명한 3차원 캐릭터 생성 방법을 구현하는 시스템일 수 있다.

도 1에 도시한 바와 같이, 상기 캐릭터 생성 시스템(10)은 상기 마이크(21), 상기 헤드 마운트 센서(22), 상기 모션 센서(23), 사용자 등으로부터 상기 캐릭터 생성 방법을 구현하는데 필요한 소정의 데이터/정보를 입력받는 상기 입력부(200)를 포함할 수 있으며, 상기 캐릭터 생성 방법을 구현하는데 필요한 소정의 데이터/정보를 저장하는 상기 메모리부(400)를 포함할 수 있고, 소정의 데이터/정보를 연산, 가공하여 3차원 캐릭터를 생성하는 상기 컨트롤러(100)를 더 포함할 수 있다.

또한, 상기 캐릭터 생성 시스템(10)은 소정의 데이터/정보와 3차원 캐릭터를 디스플레이하는 디스플레이부(300) 및 스피커를 더 포함할 수 있으며, 상기 캐릭터 생성 방법을 구현하는데 필요한 소정의 데이터/정보를 다른 전자장치(20)로 송신하거나 수신하는 통신부(500)를 더 포함할 수도 있다.

한편, 본 발명의 다른 일 실시예에 따른 컴퓨터 판독 가능 기록매체는 앞서 설명한 상기 캐릭터 생성 방법을 실행하는 프로그램을 포함할 수 있다.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

100: 컨트롤러
200: 입력부
300: 디스플레이부
400: 메모리부

Claims

삭제
삭제
삭제
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 방법에 있어서,
입력부가 실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 행위자 데이터 획득 단계;
컨트롤러가 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 행위자 데이터 가공 단계;
디스플레이부가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 행위자 데이터 디스플레이 단계; 및
컨트롤러가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하는 캐릭터 생성 단계;를 포함하며,
상기 행위자 데이터 가공 단계는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
상기 행위자 데이터 가공 단계는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하며,
상기 행위자 데이터 가공 단계는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 다수의 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우,
선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고,
추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 음성 데이터와 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 선택된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고,
추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는,
캐릭터 생성 방법.
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 방법에 있어서,
입력부가 실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 행위자 데이터 획득 단계;
컨트롤러가 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 행위자 데이터 가공 단계;
디스플레이부가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 행위자 데이터 디스플레이 단계; 및
컨트롤러가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하는 캐릭터 생성 단계;를 포함하며,
상기 행위자 데이터 가공 단계는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
상기 행위자 데이터 가공 단계는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하며,
상기 행위자 데이터 가공 단계는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 다수의 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고,
추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 표정 데이터와 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 선택된 상기 부분 표정 데이터와 매칭된 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우,
선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고,
추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는
캐릭터 생성 방법.
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 방법에 있어서,
입력부가 실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 행위자 데이터 획득 단계;
컨트롤러가 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 행위자 데이터 가공 단계;
디스플레이부가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 행위자 데이터 디스플레이 단계; 및
컨트롤러가 가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하는 캐릭터 생성 단계;를 포함하며,
상기 행위자 데이터 가공 단계는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
상기 행위자 데이터 가공 단계는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하며,
상기 행위자 데이터 가공 단계는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 다수의 상기 부분 모션 데이터 중 어느 하나의 상기 부분 모션 데이터를 선택받는 경우,
선택된 상기 부분 모션 데이터와 그룹핑된 다수의 상기 부분 모션 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고,
추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 모션 데이터와 매칭하며,
상기 행위자 데이터 가공 단계는,
사용자로부터 선택된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고,
추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는,
캐릭터 생성 방법.
삭제
삭제
삭제
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 시스템에 있어서,
실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 입력부;
상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 컨트롤러; 및
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 디스플레이부;를 포함하며,
상기 컨트롤러는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하며,
상기 컨트롤러는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 컨트롤러는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 컨트롤러는,
사용자로부터 다수의 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우,
선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고,
추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 음성 데이터와 매칭하며,
상기 컨트롤러는,
사용자로부터 선택된 상기 부분 음성 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고,
추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는,
캐릭터 생성 시스템.
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 시스템에 있어서,
실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 입력부;
상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 컨트롤러; 및
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 디스플레이부;를 포함하며,
상기 컨트롤러는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하며,
상기 컨트롤러는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 컨트롤러는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 컨트롤러는,
사용자로부터 다수의 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고,
추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 표정 데이터와 매칭하며,
상기 컨트롤러는,
사용자로부터 선택된 상기 부분 표정 데이터와 매칭된 상기 부분 음성 데이터 중 어느 하나의 상기 부분 음성 데이터를 선택받는 경우,
선택된 상기 부분 음성 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 모션 데이터를 추출하고,
추출된 상기 부분 모션 데이터와 그룹핑된 상기 부분 모션 데이터를 선택된 상기 부분 음성 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는,
캐릭터 생성 시스템.
삭제
3차원 캐릭터를 생성하는 캐릭터 생성 시스템에 있어서,
실시간으로 행위자의 음성을 센싱하는 마이크로부터 음성 데이터를 획득하고, 행위자의 표정을 센싱하는 헤드 마운트 센서로부터 표정 데이터를 획득하며, 행위자의 몸의 모션을 센싱하는 모션 센서로부터 모션 데이터를 획득하는 입력부;
상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 가공하는 컨트롤러; 및
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 디스플레이하는 디스플레이부;를 포함하며,
상기 컨트롤러는,
하나의 시간축을 기준으로 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 정렬하여 가공하며,
가공된 상기 음성 데이터, 상기 표정 데이터 및 상기 모션 데이터를 기초로 3차원 캐릭터를 생성하며,
상기 컨트롤러는,
상기 음성 데이터를 구성하는 다수의 부분 음성 데이터 간을 기 설정된 그룹핑 조건에 기초하여 그룹핑하며,
상기 표정 데이터를 구성하는 다수의 부분 표정 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 모션 데이터를 구성하는 다수의 부분 모션 데이터 간을 상기 그룹핑 조건에 기초하여 그룹핑하고,
상기 컨트롤러는,
상기 부분 음성 데이터, 상기 부분 표정 데이터 및 상기 부분 모션 데이터간을 상기 그룹핑 조건에 기초한 그룹핑과 하나의 시간축에 대한 구간의 조합 하에 상호 매칭하며,
상기 컨트롤러는,
사용자로부터 다수의 상기 부분 모션 데이터 중 어느 하나의 상기 부분 모션 데이터를 선택받는 경우,
선택된 상기 부분 모션 데이터와 그룹핑된 다수의 상기 부분 모션 데이터의 구간과 대응되는 구간의 상기 부분 표정 데이터를 추출하고,
추출된 상기 부분 표정 데이터와 그룹핑된 상기 부분 표정 데이터를 선택된 상기 부분 모션 데이터와 매칭하며,
상기 컨트롤러는,
사용자로부터 선택된 상기 부분 모션 데이터와 매칭된 상기 부분 표정 데이터 중 어느 하나의 상기 부분 표정 데이터를 선택받는 경우,
선택된 상기 부분 표정 데이터의 구간과 대응되는 구간의 상기 부분 음성 데이터를 추출하고,
추출된 상기 부분 음성 데이터와 그룹핑된 상기 부분 음성 데이터를 선택된 상기 부분 모션 데이터 및 선택된 상기 부분 표정 데이터와 매칭하는,
캐릭터 생성 시스템.
제5항, 제7항 및 제9항 중 어느 한 항에 따른 캐릭터 생성 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체.