KR20240022675A - 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템 - Google Patents

모션 기반의 디지털 콘텐츠 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20240022675A
KR20240022675A KR1020220101021A KR20220101021A KR20240022675A KR 20240022675 A KR20240022675 A KR 20240022675A KR 1020220101021 A KR1020220101021 A KR 1020220101021A KR 20220101021 A KR20220101021 A KR 20220101021A KR 20240022675 A KR20240022675 A KR 20240022675A
Authority
KR
South Korea
Prior art keywords
motion
character
digital content
module
pose
Prior art date
Application number
KR1020220101021A
Other languages
English (en)
Inventor
김기호
황대균
형용준
황영진
Original Assignee
(주)무버스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)무버스 filed Critical (주)무버스
Priority to KR1020220101021A priority Critical patent/KR20240022675A/ko
Publication of KR20240022675A publication Critical patent/KR20240022675A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

모션 기반의 디지털 콘텐츠 생성 방법 및 시스템이 제공된다. 본 발명의 실시 예에 따른 모션 기반의 디지털 콘텐츠 생성 시스템은 3D 캐릭터 데이터에 모션 데이터를 결합하여 캐릭터-모션 콘텐츠를 생성하는 캐릭터 연동 모듈, 상기 캐릭터-모션 콘텐츠의 제1 포즈와 상기 캐릭터-모션 콘텐츠의 제2 포즈를 연결하여 캐릭터 애니메이션을 생성하는 모션별 이음 모듈, 및 상기 캐릭터 애니메이션을 미리 설정된 스테이지 상에 구현하는 메타버스 스테이지 모듈을 포함할 수 있다.

Description

모션 기반의 디지털 콘텐츠 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING DIGITAL CONTENTS BASED ON MOTIONS}
본 발명은 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템에 관한 것으로, 더욱 상세하게는 사전에 준비된 복수의 모션들을 조합하여 사용자 맞춤형 디지털 콘텐츠를 생성하는 방법 및 시스템에 관한 것이다.
최근 메타버스(Metaverse)와 디지털 휴먼에 대한 관심이 증가하며, 가상 공간 상에서 구현되는 디지털 콘텐츠에 대한 관심도 함께 증가하고 있다. 메타버스 플랫폼인 로브록스나 포트나이트 등은 회원수가 10억명 이상으로 추정되며, 디지털 휴먼인 릴 미켈라 등의 경우 130억원 이상의 매출을 올리는 등, 관련 시장이 가시적으로 성장하고 있다.
그러나, 이러한 디지털 콘텐츠의 제작에는 많은 비용이 소요되어, 개인이나 중소규모의 회사에서 디지털 콘텐츠를 직접 제작하는 것에 많은 어려움이 있었다. 예를 들어, 애니메이션으로 제작되는 디지털 콘텐츠의 경우 분당 제작 비용이 3,000달러에서 100,000달러에 이르는 등 고비용을 요구하였으며, 디지털 콘텐츠 제작에 필요한 소프트웨어 툴 또한 이를 다루기 위해서는 별도의 전문가가 필요하는 등 많은 어려움이 있었다.
이에, 큰 비용이나 전문성을 필요로 하지 않고, 일반 사용자가 손쉽게 이용할 수 있는 디지털 콘텐츠 제작 방법에 대한 요구가 날로 높아지고 있는 실정이다.
본 발명의 실시예들을 통해 해결하고자 하는 기술적 과제는, 합리적인 비용으로 손쉽게 디지털 콘텐츠를 제작할 수 있는 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템을 제공하는 것이다.
본 발명의 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 사전에 미리 준비된 복수의 모션을 조합하여 사용자 맞춤형 디지털 콘텐츠를 제작할 수 있는 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 모션 기반의 디지털 콘텐츠 생성 시스템은, 3D 캐릭터 데이터에 모션 데이터를 결합하여 캐릭터-모션 콘텐츠를 생성하는 캐릭터 연동 모듈, 상기 캐릭터-모션 콘텐츠의 제1 포즈와 상기 캐릭터-모션 콘텐츠의 제2 포즈를 연결하여 캐릭터 애니메이션을 생성하는 모션별 이음 모듈, 및 상기 캐릭터 애니메이션을 미리 설정된 스테이지 상에 구현하는 메타버스 스테이지 모듈을 포함할 수 있다.
일 실시예로서, 상기 캐릭터 연동 모듈은 스크린 사이즈에 따라 FBX 파일의 목표 용량을 산출하고, 상기 산출된 목표 용량에 기초하여 FBX 파일을 압축할 수 있다.
일 실시예로서, 상기 캐릭터 연동 모듈은 제1 객체에 대해 FBX 파일의 목표 용량을 제1 크기로 산출하고, 제2 객체에 대해 FBX 파일의 목표 용량을 제2 크기로 산출하되, 상기 스테이지 상에서 상기 제2 객체가 상기 제1 객체보다 더 멀리 위치한 경우, 상기 제2 크기가 상기 제1 크기보다 더 작아지도록 상기 제2 크기를 산출할 수 있다.
일 실시예로서, 상기 모션별 이음 모듈은 모션 캡처한 스테레오 영상으로부터 생성된 3D 데이터를 3D 인체 모델의 각 부위별로 라벨링하고, 상기 라벨링 된 3D 데이터와 3D 인체 모델의 타원체 간 간격이 최소가 되는 형태로 3D 인체 모델을 피팅하고, 상기 피팅된 3D 인체 모델을 3D 모션으로서 출력할 수 있다.
일 실시예로서, 상기 모션별 이음 모듈은 상기 제1 포즈와 상기 제2 포즈의 조인트별 좌표 값 및 로테이션 값에 기초하여 중간 모션을 생성하고, 상기 중간 모션을 상기 제1 포즈와 상기 제2 포즈 사이에 삽입하여 상기 캐릭터 애니메이션을 생성할 수 있다.
일 실시예로서, 상기 메타버스 스테이지 모듈은 상기 스테이지 상에 복수의 캐릭터를 동시에 배치하고, 미리 결정된 BGM 아이템이 재생됨에 따라 상기 복수의 캐릭터 각각의 모션을 렌더링할 수 있다.
본 발명의 실시 예에 따르면, 합리적인 비용으로 손쉽게 디지털 콘텐츠를 손쉽게 제작할 수 있게 된다.
또한, 사전에 미리 준비된 복수의 모션을 조합함으로써 모션 기반의 사용자 맞춤형 디지털 콘텐츠를 제작할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법이 구동되는 시스템 개요를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 시스템의 주요 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 캐릭터 연동 모듈 방식을 설명하기 위한 순서도이다.
도 4는 캐릭터와 모션이 결합되는 형태를 부연설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 모션별 이음 모듈 방식을 설명하기 위한 순서도이다.
도 6 및 도 7은 모션별 이음 모듈의 구현 형태를 부연설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 메타버스 스테이지 모듈을 설명하기 위한 개요도이다.
도 9 및 도 10은 메타버스 스테이지 모듈의 구현 형태를 부연설명하기 위한 도면이다.
도 11은 본 발명의 실시 예에 따른 시스템을 컴퓨팅 장치로 구현한 예를 설명하기 위한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법이 구동되는 시스템 개요를 나타내는 도면이다.
또한, 본 발명의 실시 예에 따른 모션 기반의 디지털 콘텐츠 생성 시스템(100)은, 본 발명의 실시 예에 따른 서비스 제공을 위해, 사용자 단말(200)과 유/무선 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.
상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
그리고, 디지털 콘텐츠 생성 시스템(100)은, 사전에 준비된 복수의 모션 및 캐릭터를 이용하여 사용자 맞춤형 디지털 콘텐츠를 제작할 수 있도록 관련 솔루션을 제공하는 플랫폼 시스템일 수 있다.
사용자 단말(200)은, 휴대폰, 스마트 폰(smart phone), 스마트 패드(smart pad), PDA(Personal Digital Assistants) 중 어느 하나의 개별적 기기일 수 있으며, 본 발명의 실시 예에 따른 디지털 콘텐츠 생성 시스템(100)으로부터 제공되는 서비스를 받아 출력하고, 이에 대응하는 입력을 처리하여 디지털 콘텐츠 생성 시스템(100)으로 전달하는 기능을 수행하는 디스플레이 장치로서, 이를 위한 다양한 서비스 인터페이스를 출력할 수 있다.
이러한 시스템 구성에 있어서, 본 발명의 실시 예에 따른 디지털 콘텐츠 생성 시스템(100)은, 사용자 맞춤형 디지털 콘텐츠 제작을 위한 다양한 서비스를 제공할 수 있다.
일 실시예로서, 디지털 콘텐츠 생성 시스템(100)은 스크린 사이즈에 따라 몇 메가바이트의 용량이 요구 시간 내에 FBX 파일을 렌더링하기에 최적인지 계산하고, 계산된 파일 용량에 따라 파일 사이즈를 압축하여 파일로드 및 렌더링 시간을 최소화할 수 있다.
일 실시예로서, 디지털 콘텐츠 생성 시스템(100)은 모션 캡처를 통해 생성된 3D 데이터를 각 신체 부위별로 라벨링하고, 라벨링된 3D 데이터와 3D 인체 모델의 타원체 간의 간격이 최소화 되도록 3D 인체 모델을 피팅함으로써, 자연스럽게 모션이 이어지도록 할 수 있다.
일 실시예로서, 디지털 콘텐츠 생성 시스템(100)은 사용자가 선택한 BGM 아이템, 3D 캐릭터 아이템, 및 모션 아이템을 조합하여, BGM에 따라 캐릭터가 모션을 구현하는 방식으로 메타버스 스테이지가 구현되도록 할 수 있다.
이하에서는, 도 2 내지 도 10을 참조하여, 앞서 설명한 모션 기반의 디지털 콘텐츠 생성 시스템의 주요 기능 및 동작을 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 시스템의 주요 구성을 나타내는 블록도이다. 도 2를 참조하면, 디지털 콘텐츠 생성 시스템(100)은 캐릭터 연동 모듈(110), 모션별 이음 모듈(120), 및 메타버스 스테이지 모듈(130)을 포함한다.
캐릭터 연동 모듈(110)은 캐릭터에 모션을 연동하는 모듈이다. 캐릭터 연동 모듈(110)의 기능에 대한 구체적인 설명을 위해 도 3 내지 도 4를 참조한다.
도 3은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 캐릭터 연동 모듈 방식을 설명하기 위한 순서도이다.
도 3의 실시예는 캐릭터 연동 모듈에 의해 수행되는 것으로서, 스크린 사이즈에 따라 몇 메가바이트의 용량이 요구 시간 내(예를 들어, 밀리세컨드) FBX 파일을 렌더링하기에 최적인지(또는, 최소인지) 산출하고, 그에 따라 FBX 파일을 압축하는 방법을 설명한다. 이하, 도면을 참조하여 설명한다.
S110 단계에서, 고화질 FBX 파일가 생성되어 데이터베이스에 저장된다.
S120 단계에서, 반응형 FBX 처리 최적화 기술을 활용하여, 스크린 사이즈에 최적인 목표 FBX 파일 용량을 산출하고, 산출된 목표 FBX 파일 용량이 서버에 전송된다.
S130 단계에서, 서버에서 요청된 목표 FBX 파일 용량으로 파일 사이즈가 압축된 뒤, 압축된 FBX 파일이 리턴된다.
S140 단계에서, 압축된 FBX 파일을 로드 및 렌더링한다. 이때, 추가적인 애니메이션 작업이 있으면, 원본 파일 작업은 레이지(Lazy) 처리될 수 있고, 이를 통해 사용자에게 끊김없은 데이터 렌더링이 제공될 수 있다.
이에 따르면, 최적의 파일 용량으로 파일 크기가 조정되므로, 파일 로드 및 렌더링에 소요되는 시간이 감소될 뿐 아니라, 메모리의 부담도 최소화될 수 있다.
도 4는 캐릭터와 모션이 결합되는 형태를 부연설명하기 위한 도면이다.
캐릭터와 모션의 융합에 있어, 렌더링 시 원본 파일 간 융합은 레이지 작업을 통해 별도로 처리함으로써, 원본 애니메이션의 퀄리티를 손상하지 않으면서 사용자에게는 빠르게 렌더링 속도를 제공할 수 있다.
일 실시예로서, 다수의 객체를 동시에 표현하는 경우, 메모리의 부담을 줄이기 위해 상대적으로 멀리 있는 것으로 표시되는 객체는 더욱 작은 용량의 파일로 구현함으로써, 렌더링 품질 저하는 최소화하면서 메모리에 가해지는 부하가 감소되도록 할 수 있다.
모션별 이음 모듈(120)은 사용자가 선택한 모션들을 인체 구조와 어울리도록 자연스럽게 이어주는 모듈이다. 모션별 이음 모듈(110)의 기능에 대한 구체적인 설명을 위해 도 5 내지 도 7을 참조한다.
도 5는 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 모션별 이음 모듈 방식을 설명하기 위한 순서도이다.
도 5의 실시예는 모션별 이음 모듈에 의해 수행되는 것으로서, 모션 캡처를 통해 생성된 3D 데이터와 3D 인체 모델을 정합시키고, 이를 기반으로 각 모션을 연결함으로써 모션간 이음이 자연스러워지도록 하는 방법을 설명한다. 이하, 도면을 참조하여 설명한다.
S210 단계에서, 모션 캡처한 스테레오 영상에서 영상 간의 변위를 이용하여 3D 데이터가 생성된다.
S220 단계에서, 다수의 타원체와 그 타원체 사이를 연결하는 조인트를 포함하는 3D 인체 모델이 생성된다.
S230 단계에서, 생성된 3D 데이터가 인체 부위 별로 라벨링된ㄷ.
S240 단계에서, 라벨링 된 3D 데이터 중 같은 인체 부위에 속하는 데이터가 가우시안 분포로 생성된다.
S250 단계에서, 라벨링 된 3D 데이터에 3D 인체 모델의 타원체와 간격이 최소화 되도록 3D 인체 모델이 피팅(fitting)된다.
S360 단계에서, 피팅된 3D 인체 모델이 3D 모션으로 출력된다.
도 6 및 도 7은 모션별 이음 모듈의 구현 형태를 부연설명하기 위한 도면이다.
모션별 이음 모듈은 예를 들어, A 모델의 마지막 포즈인 제1 포즈와 B 모델의 시작 포즈인 제2 포즈가 연결되는 경우, 제1 포즈와 제2 포즈의 각 조인트(joint) 별 좌표 값과 로테이션 값을 적절한 프레임으로 나눔으로써, 두 포즈가 자연스럽게 이어지도록 애니메이션 FBX 파일을 생성할 수 있다.
가령, 스켈레톤(Skeleton)을 이루는 뼈대(Bone)들의 연결 및 계층 관계로 인해, 단순히 좌표 변환만으로 모션을 연결하는 경우 인체 구조상 부자연스러운 형태로 각 모션이 연결될 수 있다.
이에, 모션별 이음 모듈은 딥러닝을 기반으로, 뼈대들 간 연결 및 계층 관계에 어울리도록 모션 이음에 따른 조인트의 좌표 및 로테이션 값을 조정하여 중간 모션을 생성한 후, 해당 모션의 연결시 그 중간에 생성된 중간 모션을 중간에 삽입하여 모션들이 자연스럽게 이어지도록 한다.
일 실시예로서, 모션별 이음 모듈은 LSTM을 이용한 딥러닝 기반의 3D 좌표 및 로테이션 전환 모델일 수 있다.
일 실시예로서, 모션별 이음 모듈은 다양한 포즈를 변환한 모캡(Mocap) 데이터로 훈련된 모델일 수 있으며, 특정 포즈 2개를 입력으로 넣었을 때 그에 맞는 조인트 별 좌표와 로테이션의 변환 값들을 남은 시간 만큼의 프레임에 적합한 개수의 배열로 생성하여 출력할 수 있다.
메타버스 스테이지 모듈(130)은 사용자가 선택한 BGM 아이템, 캐릭터 아이템, 및 모션 아이템을 연동하여 메타버스 스테이지 상에서 움직이는 캐릭터를 구현하는 모듈이다. 메타버스 스테이지 모듈(130)의 기능에 대한 구체적인 설명을 위해 도 8 내지 도 10을 참조한다.
도 8은 본 발명의 일 실시예에 따른, 모션 기반의 디지털 콘텐츠 생성 방법에서의 메타버스 스테이지 모듈을 설명하기 위한 개요도이다.
도 8에는 각 사용자(Me, Friend 1, Friend 2, Friend 3)가 각 BGM 아이템에 따라 캐릭터 및 모션 아이템을 선택한 테이블이 도시된다. 이를 통해, 각 사용자가 선택한 BGM 아이템, 캐릭터 아이템, 및 모션 아이템에 기초하여, BGM에 맞춰 캐릭터가 모션을 수행하는 디지털 콘텐츠가 제작될 수 있으며, 여러 사용자가 생성한 각 디지털 컨텐츠가 하나의 스테이지(메타버스 스테이지) 상에 동시에 구현될 수 있다.
도 9 및 도 10은 메타버스 스테이지 모듈의 구현 형태를 부연설명하기 위한 도면이다.
메타버스 스테이지의 구현을 위해, 먼저 BGM 아이템이 선택된다. BGM 아이템은 BGM 아이템 몰에서 선택 또는 구매될 수 있다. 다음으로 3D 캐릭터 아이템이 선택된다. 3D 캐릭터 아이템은 3D 캐릭터 아이템 몰에서 선택 또는 구매될 수 있다. 마지막으로 모션 아이템이 선택된다. 모션 아이템은 모션 아이템 몰에서 선택 또는 구매될 수 있다.
이렇게 BGM 아이템, 캐릭터 아이템, 모션 아이템이 선택되면, 선택된 캐릭터 아이템과 모션 아이템이 융합되어 모션을 수행하는 캐릭터 콘텐츠가 생성되고, 해당 캐릭터 콘텐츠가 BGM에 맞춰 모션을 수행하는 형태로 메타버스 스테이지가 구현될 수 있다.
도 10은 메타버스 스테이지의 예시적인 형태를 도시한다. 하나의 메타버스 스테이지 상에 다수의 캐릭터가 동시에 렌더링되고, 각 캐릭터는 사전에 할당, 융합된 모션을 BGM에 맞춰 수행하게 된다.
본 실시 예에 따른 모션 기반의 디지털 콘텐츠 생성 시스템(100)에 의하면, 합리적인 비용으로 손쉽게 디지털 콘텐츠를 손쉽게 제작할 수 있게 된다.
또한, 사전에 미리 준비된 복수의 모션을 조합함으로써 모션 기반의 사용자 맞춤형 디지털 콘텐츠를 제작할 수 있게 된다.
이하에서는, 도 11을 참조하여 본 발명의 다양한 실시예에 따른 시스템이 구현되는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다.
도 11은 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.
도 11에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 11에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 11에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.
메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.
버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션(Instruction)들을 포함할 수 있다. 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (7)

  1. 3D 캐릭터 데이터에 모션 데이터를 결합하여 캐릭터-모션 콘텐츠를 생성하는 캐릭터 연동 모듈;
    상기 캐릭터-모션 콘텐츠의 제1 포즈와 상기 캐릭터-모션 콘텐츠의 제2 포즈를 연결하여 캐릭터 애니메이션을 생성하는 모션별 이음 모듈; 및
    상기 캐릭터 애니메이션을 미리 설정된 스테이지 상에 구현하는 메타버스 스테이지 모듈을 포함하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  2. 제1 항에 있어서,
    상기 캐릭터 연동 모듈은,
    스크린 사이즈에 따라 FBX 파일의 목표 용량을 산출하고, 상기 산출된 목표 용량에 기초하여 FBX 파일을 압축하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  3. 제2 항에 있어서,
    상기 캐릭터 연동 모듈은,
    제1 객체에 대해 FBX 파일의 목표 용량을 제1 크기로 산출하고, 제2 객체에 대해 FBX 파일의 목표 용량을 제2 크기로 산출하되,
    상기 스테이지 상에서 상기 제2 객체가 상기 제1 객체보다 더 멀리 위치한 경우, 상기 제2 크기가 상기 제1 크기보다 더 작아지도록 상기 제2 크기를 산출하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  4. 제1 항에 있어서,
    상기 모션별 이음 모듈은,
    모션 캡처한 스테레오 영상으로부터 생성된 3D 데이터를 3D 인체 모델의 각 부위별로 라벨링하고, 상기 라벨링 된 3D 데이터와 3D 인체 모델의 타원체 간 간격이 최소가 되는 형태로 3D 인체 모델을 피팅하고, 상기 피팅된 3D 인체 모델을 3D 모션으로서 출력하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  5. 제1 항에 있어서,
    상기 모션별 이음 모듈은,
    상기 제1 포즈와 상기 제2 포즈의 조인트별 좌표 값 및 로테이션 값에 기초하여 중간 모션을 생성하고, 상기 중간 모션을 상기 제1 포즈와 상기 제2 포즈 사이에 삽입하여 상기 캐릭터 애니메이션을 생성하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  6. 제1 항에 있어서,
    상기 메타버스 스테이지 모듈은,
    상기 스테이지 상에 복수의 캐릭터를 동시에 배치하고, 미리 결정된 BGM 아이템이 재생됨에 따라 상기 복수의 캐릭터 각각의 모션을 렌더링하는,
    모션 기반의 디지털 콘텐츠 생성 시스템.
  7. 3D 캐릭터 데이터에 모션 데이터를 결합하여 캐릭터-모션 콘텐츠를 생성하는 단계;
    상기 캐릭터-모션 콘텐츠의 제1 포즈와 상기 캐릭터-모션 콘텐츠의 제2 포즈를 연결하여 캐릭터 애니메이션을 생성하는 단계; 및
    상기 캐릭터 애니메이션을 미리 설정된 스테이지 상에 구현하는 단계를 포함하는,
    모션 기반의 디지털 콘텐츠 생성 방법.

KR1020220101021A 2022-08-12 2022-08-12 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템 KR20240022675A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220101021A KR20240022675A (ko) 2022-08-12 2022-08-12 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220101021A KR20240022675A (ko) 2022-08-12 2022-08-12 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20240022675A true KR20240022675A (ko) 2024-02-20

Family

ID=90056686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220101021A KR20240022675A (ko) 2022-08-12 2022-08-12 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20240022675A (ko)

Similar Documents

Publication Publication Date Title
CN109961507B (zh) 一种人脸图像生成方法、装置、设备及存储介质
CN108010112B (zh) 动画处理方法、装置及存储介质
CN113661471B (zh) 混合渲染
US8248420B2 (en) Method and system for displaying animation with an embedded system graphics API
CN106575158B (zh) 环境映射虚拟化机构
US20230120253A1 (en) Method and apparatus for generating virtual character, electronic device and readable storage medium
CN111161392B (zh) 一种视频的生成方法、装置及计算机系统
CN111368137A (zh) 视频的生成方法、装置、电子设备及可读存储介质
JP2022036319A (ja) 画像のレンダリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN112330805A (zh) 人脸3d模型生成方法、装置、设备及可读存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
EP2463762B1 (en) Information processing device, information processing method, and data structure for content files
CN117292039A (zh) 顶点坐标生成方法、装置、电子设备及计算机存储介质
CN114491352A (zh) 模型加载方法、装置、电子设备及计算机可读存储介质
KR20240022675A (ko) 모션 기반의 디지털 콘텐츠 생성 방법 및 시스템
KR20240022676A (ko) 3d 캐릭터 데이터에 모션 애니메이션을 생성하는 방법
KR20240022677A (ko) 메타버스 스테이지 기반 모션 캐릭터 생성 방법
CN111402369A (zh) 互动广告的处理方法、装置、终端设备及存储介质
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
JP2021086462A (ja) データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム
CN115239856A (zh) 3d虚拟对象的动画生成方法、装置、终端设备及介质
CN112367399B (zh) 滤镜效果生成方法及装置、电子设备以及存储介质
CN110223367B (zh) 动画显示方法、装置、终端及存储介质
KR102111499B1 (ko) 얼굴 애니메이션을 위한 얼굴 형태 변화 전사 방법 및 컴퓨터 판독 가능한 저장매체
CN115035231A (zh) 阴影烘焙方法、装置、电子设备和存储介质