KR102343581B1 - 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 - Google Patents

생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 Download PDF

Info

Publication number
KR102343581B1
KR102343581B1 KR1020210115959A KR20210115959A KR102343581B1 KR 102343581 B1 KR102343581 B1 KR 102343581B1 KR 1020210115959 A KR1020210115959 A KR 1020210115959A KR 20210115959 A KR20210115959 A KR 20210115959A KR 102343581 B1 KR102343581 B1 KR 102343581B1
Authority
KR
South Korea
Prior art keywords
character
amount
module
information
change
Prior art date
Application number
KR1020210115959A
Other languages
English (en)
Inventor
서보국
김종철
Original Assignee
주식회사 에스에이엠지엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스에이엠지엔터테인먼트 filed Critical 주식회사 에스에이엠지엔터테인먼트
Priority to KR1020210115959A priority Critical patent/KR102343581B1/ko
Application granted granted Critical
Publication of KR102343581B1 publication Critical patent/KR102343581B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 인공지능 기반 디지털아이돌 제작 시스템은, 제작자로부터 작업 지시를 수신하고, 상기 작업 지시에 따라 프리 카메라 워크 정보를 생성하고, 상기 프리 카메라 워크 정보에 최적화된 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 애니메이션 작업 및 렌더링 작업을 수행하고, 애니메이션 이미지를 생성하는 디지털아이돌 제작 장치, 및 상기 프리 카메라 워크 정보와의 유사성 판단을 통해서, 상기 최적 라이브러리 데이터를 찾아 상기 디지털아이돌 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되, 상기 프리 카메라 워크 정보는, 특정 캐릭터의 심박수를 포함하는 캐릭터 모션 정보를 포함하고, 상기 디지털아이돌 제작 장치는, 상기 심박수를 기초로 상기 캐릭터의 땀 배출량을 도출하고, 상기 땀 배출량을 이용하여 도출된 셰이딩 데이터를 이용하여 상기 캐릭터의 렌터링을 수행하는 것을 포함한다.

Description

생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템{Artificial intelligence-based digital-idol making system for enhancing character reality using biometric information}
본 발명은 생체정보를 이용한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템에 관한 것이다. 구체적으로, 본 발명은 디지털아이돌 컨텐츠 제작 과정에서 캐릭터와 관련된 생체정보를 기초로 캐릭터의 디테일한 움직임(예를 들어, 땀의 반짝임, 또는 클로딩의 마찰력 변화)을 자동으로 표현하는 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템에 관한 것이다.
디지털아이돌 컨텐츠 제작은 매우 복잡한 절차를 통해서 이루어진다. 종래의 디지털아이돌 컨텐츠 제작의 경우 3D 그래픽을 다루는 DCC(Digital Content Creation tools)을 이용하여 선형적인 방식으로 제작이 이루어진다. 구체적으로, 현재의 디지털아이돌 컨텐츠 제작 방식은 모델링 단계, 애니메이션 단계, 렌더링 단계 및 컴포짓 단계를 순차적으로 수행하여 최종적인 애니메이션 이미지가 생성된다.
이러한 방식의 디지털아이돌 컨텐츠 제작 방법에서는 캐릭터의 리얼리티를 살리기 위해 다양한 방식을 이용하고 있다. 가장 대표적으로 복수의 센서를 부착한 연기자의 움직임을 기초로 3D 메쉬를 생성한 뒤, 생성된 3D 메쉬를 캐릭터에 적용함으로써 캐릭터에 생동감을 불러 일으키는 작업을 진행하고 있다.
디지털아이돌 컨텐츠 제작 과정에서는 다양한 캐릭터와 배경이 이용되고, 각 캐릭터와 배경에 대한 설정 및 상황이 다를 수 있다. 다만, 이러한 캐릭터와 배경의 설정 및 상황이 달라질 때마다, 연기자가 새로 연기를 하여 3D 메쉬를 생성하고 적용하는 경우 시간과 비용이 증가되며, 새로운 캐릭터 및 상황에 따른 변화에 대한 즉각적인 적용이 어렵다는 문제가 존재하였다.
따라서, 캐릭터의 리얼리티를 살리고, 제작비용을 절감하기 위한 다양한 디지털아이돌 컨텐츠 제작의 자동화된 추가적인 처리 과정들이 개발되고 있는 실정이다.
공개특허공보 제10-2004-0096799호
본 발명의 과제는, 디지털아이돌 컨텐츠 제작 과정의 효율성을 극대화하기 위해 기존 캐릭터의 생체정보의 변화에 따른 움직임 변화와 땀 배출량을 산출하여, 이를 애니메이션 단계 또는 렌더링 단계에 적용하는 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 제공하는 것이다.
또한, 본 발명의 다른 과제는, 캐릭터의 리얼리티를 극대화하기 위해 생체정보를 기초로 캐릭터의 신체 각 부분에 대한 움직임의 변화 및 땀 배출량 등을 도출하고, 캐릭터의 모션 정보, 배경 정보, 설정 정보를 이용하여 캐릭터의 움직임 및 클로딩의 움직임을 보정하는 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 제공하는 것이다.
또한, 본 발명의 다른 과제는, 캐릭터의 생체정보를 기초로 산출한 땀 배출량 등의 데이터를 이용하여 캐릭터의 피부에 표현되는 리얼리티를 극대화하기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 인공지능 기반 디지털아이돌 제작 시스템은, 제작자로부터 작업 지시를 수신하고, 상기 작업 지시에 따라 프리 카메라 워크 정보를 생성하고, 상기 프리 카메라 워크 정보에 최적화된 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 애니메이션 작업 및 렌더링 작업을 수행하고, 애니메이션 이미지를 생성하는 디지털아이돌 제작 장치, 및 상기 프리 카메라 워크 정보와의 유사성 판단을 통해서, 상기 최적 라이브러리 데이터를 찾아 상기 디지털아이돌 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되, 상기 프리 카메라 워크 정보는, 특정 캐릭터의 심박수를 포함하는 캐릭터 모션 정보를 포함하고, 상기 디지털아이돌 제작 장치는, 상기 심박수를 기초로 상기 캐릭터의 땀 배출량을 도출하고, 상기 땀 배출량을 이용하여 도출된 셰이딩 데이터를 이용하여 상기 캐릭터의 렌터링을 수행하는 것을 포함한다.
또한, 상기 디지털아이돌 제작 장치는, 상기 최적 라이브러리 데이터에 포함된 배경 정보를 기초로 광량 및 광원위치를 포함하는 광원정보를 산출하고, 상기 산출된 광원정보, 상기 최적 라이브러리 데이터에 포함된 상기 캐릭터 모션 정보, 캐릭터 설정 정보, 배경 정보를 기초로 상기 캐릭터 셰이딩 데이터를 생성하고, 상기 생성된 셰이딩 데이터를 기초로 상기 캐릭터의 렌더링을 수행하는 렌더링 모듈을 포함할 수 있다.
또한, 상기 캐릭터 모션 정보는, 상기 캐릭터의 자세, 피로도, 및 감정 중 적어도 하나와, 상기 캐릭터의 심박수를 포함하고, 상기 배경 정보는, 상기 레이아웃 작업에 이용되는 배경의 온도, 습도, 및 시간대 중 적어도 하나를 포함하고, 상기 캐릭터 설정 정보는, 상기 캐릭터의 성별, 나이, 체형, 사이즈, 피부색, 및 클로딩 중 적어도 하나를 포함할 수 있다.
또한, 상기 렌더링 모듈은, 상기 심박수를 입력받고, 이에 대한 출력으로 상기 땀 배출량을 출력하는 인공지능 모듈과, 상기 인공지능 모듈에서 출력된 상기 땀 배출량을 상기 배경 정보 또는 상기 캐릭터 설정 정보를 기초로 보정하여 상기 캐릭터 셰이딩 데이터를 출력하는 셰이더 모듈을 포함할 수 있다.
또한, 상기 빅데이터 라이브러리는, 적어도 하나의 카메라 워크 라이브러리 데이터를 저장하는 라이브러리 데이터베이스와, 상기 카메라 워크 라이브러리 데이터와 상기 프리 카메라 워크 정보를 비교하여 유사성을 기반으로 최적 라이브러리 데이터를 선정하는 최적 라이브러리 선정 모듈을 포함할 수 있다.
또한, 상기 프리 카메라 워크 정보에 포함된 상기 캐릭터 모션 정보의 유형에 관한 모션 파라미터를 생성하는 파라미터 변환 모듈을 더 포함하고, 상기 최적 라이브러리 선정 모듈은, 상기 모션 파라미터를 통해서 상기 카메라 워크 라이브러리 데이터 중 동일한 유형의 필터링 데이터를 선정하고, 상기 필터링 데이터 중 상기 프리 카메라 워크 정보와 가장 유사한 데이터를 상기 최적 라이브러리 데이터로 선정할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 인공지능 기반 디지털아이돌 제작 시스템은, 제작자로부터 작업 지시를 수신하고, 상기 작업 지시에 따라 프리 카메라 워크 정보를 생성하고, 상기 프리 카메라 워크 정보에 최적화된 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 애니메이션 작업 및 렌더링 작업을 수행하고, 애니메이션 이미지를 생성하는 디지털아이돌 제작 장치, 및 상기 프리 카메라 워크 정보와의 유사성 판단을 통해서, 상기 최적 라이브러리 데이터를 찾아 상기 디지털아이돌 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되, 상기 최적 라이브러리 데이터는, 특정 캐릭터의 심박수를 포함하는 캐릭터 모션 정보를 포함하고, 상기 디지털아이돌 제작 장치는, 상기 심박수를 기초로 상기 캐릭터의 움직임 변화량을 나타내는 캐릭터 모션 시퀀스 및 상기 캐릭터의 땀 배출량을 도출하고, 도출된 상기 캐릭터 모션 시퀀스 및 상기 땀 배출량을 이용하여, 상기 캐릭터가 착용하고 있는 클로딩의 움직임에 대한 클로딩 모션 시퀀스를 도출하는 것을 포함한다.
또한, 상기 디지털아이돌 제작 장치는, 상기 작업 지시를 기초로 상기 캐릭터와 상기 클로딩을 모델링하는 모델링 모듈과, 모델링된 상기 캐릭터 및 상기 클로딩의 움직임을 생성하는 애니메이션 모듈을 포함하되, 상기 애니메이션 모듈은, 상기 캐릭터의 심박수를 추출하고, 상기 심박수에 따른 상기 캐릭터의 폐용적 변화량, 자세 변화량, 신체 각 부위의 모양 변화량 및 땀 배출량을 포함하는 제1 데이터를 도출하고, 상기 제1 데이터를 상기 캐릭터 모션 정보, 배경 정보, 또는 캐릭터 설정 정보를 기초로 보정한 제2 데이터를 도출하고, 상기 제2 데이터를 기초로 상기 캐릭터 모션 시퀀스를 생성하는 것을 포함할 수 있다.
또한, 상기 애니메이션 모듈은, 상기 캐릭터 모션 시퀀스를 기초로 상기 캐릭터의 프리 클로딩 모션 시퀀스를 산출하고, 상기 땀 배출량을 기초로 상기 캐릭터의 바디와 클로딩 간 마찰력을 산출하고, 산출된 상기 마찰력을 기초로 상기 프리 클로딩 모션 시퀀스를 보정한 클로딩 모션 시퀀스를 출력하고, 출력된 상기 클로딩 모션 시퀀스를 이용하여 상기 캐릭터의 상기 클로딩의 모션 변화를 표현하는 것을 포함할 수 있다.
또한, 상기 애니메이션 모듈은, 상기 심박수를 입력받고, 이에 대한 출력으로 상기 폐용적 변화량, 상기 자세 변화량, 신체 각 부위의 상기 모양 변화량, 및 상기 땀 배출량을 제공하는 인공지능 모듈과, 상기 인공지능 모듈에서 출력된 상기 각각의 데이터를 상기 캐릭터 모션 정보, 상기 배경 정보, 또는 상기 캐릭터 설정 정보를 기초로 보정하여 상기 캐릭터 모션 시퀀스를 출력하는 모션 보정 모듈을 포함할 수 있다.
본 발명의 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템은, 미리 저장된 빅데이터에서 캐릭터의 생체정보에 따른 움직임 변화를 도출함으로써 캐릭터의 리얼리티를 극대화할 수 있으며, 상황 변화에 따른 연출을 손쉽게 수행할 수 있다.
또한, 이러한 작업의 효율을 위해서 기존의 애니메이션 데이터를 인공지능을 이용하여 모션 파라미터 별로 분류하고, 분류된 모션 파라미터에 맞추어 최적 라이브러리 데이터를 도출함으로써 연산량을 최소화하고 제작 기간을 단축시킬 수 있다.
또한, 본 발명은 생체정보를 기초로 캐릭터 신체의 각 부위별 자세 변화량, 모양 변화량, 및 땀 배출량을 도출하고, 캐릭터 설정 정보, 캐릭터 모션 정보 또는 배경 정보에 포함된 복수의 파라미터 중 일부를 이용하여 도출된 데이터들을 보정함으로써, 캐릭터의 움직임 및 캐릭터의 클로딩 움직임에 대한 리얼리티를 극대화할 수 있다.
또한, 본 발명은 캐릭터의 생체정보를 기초로 산출한 땀 배출량 등의 데이터를 이용하여 캐릭터의 피부에 표현되는 땀과 혈색의 변화를 렌더링 단계에서 세밀하게 표현할 수 있다. 제작자는 이러한 캐릭터의 변화를 수작업으로 일일이 정의하고 설정하는 것이 아닌, 작업 지시에 캐릭터의 설정값을 조정하는 것만으로 캐릭터의 디테일한 외관의 변화를 표현할 수 있어, 애니메이션 제작의 편의성 및 작업의 속도를 높일 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 설명하기 위한 개념도이다.
도 2는 도 1의 디지털아이돌 제작 장치를 세부적으로 설명하기 위한 블록도이다.
도 3은 애니메이션 제작의 레이아웃을 설명하기 위한 개념도이다.
도 4는 도 1의 프리 카메라 워크 정보의 구조를 세부적으로 설명하기 위한 개념도이다.
도 5는 도 1의 빅데이터 라이브러리를 세부적으로 설명하기 위한 블록도이다.
도 6은 도 5의 카메라 워크 라이브러리 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.
도 7은 도 6의 캐릭터 상태정보, 배경정보 및 캐릭터 설정정보를 세부적으로 설명하기 위한 개념도이다.
도 8은 도 1의 디지털아이돌 제작 장치의 개략적인 동작을 설명하기 위한 순서도이다.
도 9는 도 2의 애니메이션 모듈을 설명하기 위한 블록도이다.
도 10은 도 9의 애니메이션 모듈의 동작 방법을 설명하기 위한 순서도이다.
도 11은 도 10에 나타난 각각의 파라미터의 산출 흐름을 설명하기 위한 개념도이다.
도 12는 심박수에 따른 캐릭터 모션 시퀀스의 변화를 설명하기 위한 예시도이다.
도 13은 도 9의 모션 변화 연산 모듈의 세부적인 구조를 설명하기 위한 블록도이다.
도 14은 도 13의 인공지능 훈련 모듈의 동작을 설명하기 위한 순서도이다.
도 15는 본 발명의 실시예에 따른 애니메이션 모듈의 동작 방법의 일 예를 설명하기 위한 순서도이다.
도 16은 본 발명의 실시예에 따른 애니메이션 모듈의 동작 방법의 다른 예를 설명하기 위한 순서도이다.
도 17은 도 2의 애니메이션 모듈의 추가적인 구성을 설명하기 위한 블록도이다.
도 18은 도 17의 애니메이션 모듈의 동작 방법을 설명하기 위한 순서도이다.
도 19는 도 2의 렌더링 모듈을 설명하기 위한 블록도이다.
도 20은 도 19의 렌더링 모듈의 동작 방법을 설명하기 위한 순서도이다.
도 21은 도 20에 나타난 파라미터의 산출 흐름을 설명하기 위한 개념도이다.
Figure 112021100919580-pat00001
Figure 112021100919580-pat00002
Figure 112021100919580-pat00003
Figure 112021100919580-pat00004
Figure 112021100919580-pat00005
Figure 112021100919580-pat00006
Figure 112021100919580-pat00007
Figure 112021100919580-pat00008
Figure 112021100919580-pat00009
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
본 발명은 디지털아이돌 컨텐츠 제작 시스템 및 방법에 관한 것으로, '디지털아이돌 컨텐츠 제작'은 '애니메이션 제작'의 범주 안에 포함될 수 있다. 본 명세서에서 '디지털아이돌 컨텐츠'는 애니메이션으로 구현된 가상의 캐릭터 및 가상의 배경을 포함하는 컨텐츠를 의미한다.
이하, 도 1 내지 도 21을 참조하여, 본 발명의 몇몇 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템은, 제작자(100)로부터 작업 지시(Wp)를 수신하고, 애니메이션 이미지(Pr)를 제공할 수 있다. 본 발명의 몇몇 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템은 디지털아이돌 제작 장치(200) 및 빅데이터 라이브러리(300)를 포함한다.
제작자(100)는 디지털아이돌 컨텐츠와 관련된 애니메이션을 제작하는 사람일 수 있다. 이때, 제작자(100)는 1명 이상의 인력일 수 있다. 제작자(100)는 단순히 자연인 뿐만 아니라 기업과 같은 법인체일 수도 있다. 제작자(100)는 3D 애니메이션의 제작을 위해서 디지털아이돌 제작 장치(200)에 작업 지시(Wp)를 전송할 수 있다. 작업 지시(Wp)는 1회성이 아닌 연속적인 지시로 디지털아이돌 제작 장치(200)에 전송될 수 있다. 다르게 표현하면, 제작자(100)는 디지털아이돌 제작 장치(200)를 이용하여 애니메이션 이미지(Pr)를 제작할 수 있고, 이를 위해서 수행되는 일련의 작업을 작업 지시(Wp)로 표현할 수 있다.
디지털아이돌 제작 장치(200)는 제작자(100)로부터 작업 지시(Wp)를 수신하고, 빅데이터 라이브러리(300)로 프리 카메라 워크 정보(Ipcw)를 전송할 수 있다.
여기에서, 프리 카메라 워크 정보(Ipcw)는 제작자(100)의 작업 지시(Wp)에 의해 러프하게 생성된 카메라 워크에 대한 정보일 수 있다. 프리 카메라 워크 정보(Ipcw)는 세밀하게 계산되어 확정된 카메라 워크가 아니라 애니메이션 장면에서 어떤 방식으로 카메라 연출이 진행될지에 대한 대략적인 지시사항을 포함할 수 있다. 또한, 프리 카메라 워크 정보(Ipcw)는 캐릭터의 움직임 또는 배경의 움직임에 대한 대략적인 지시사항을 포함할 수 있다. 이때, 프리 카메라 워크 정보(Ipcw)는 캐릭터의 초기 설정 정보(예를 들어, 성별, 나이, 체형, 신체 사이즈, 피부색, 캐릭터의 클로딩(clothing)) 뿐만 아니라, 캐릭터의 상태정보(예를 들어, 심박수, 자세, 피로도, 감정)와, 배경의 상태정보(예를 들어, 온도, 습도, 시간대)에 대한 정보를 포함할 수 있다. 프리 카메라 워크 정보(Ipcw)는 텍스트, 이미지 및 영상 중 적어도 하나의 방법으로 형성될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
빅데이터 라이브러리(300)는 내부에 기존에 제작된 애니메이션의 파일이 모두 저장되어 있을 수 있다. 빅데이터 라이브러리(300)는 저장된 애니메이션 파일의 레이아웃 정보를 유형별로 분류하여 카메라 워크 라이브러리 데이터(CamL)로 보유할 수 있다. 이때, 카메라 워크 라이브러리 데이터(CamL)는 연출되는 카메라의 움직임(예를 들어, 카메라의 속도, 위치, 캐릭터와의 거리 등), 또는 캐릭터의 상태정보(예를 들어, 캐릭터의 심박수, 자세, 피로도, 감정 등)를 기초로 유형이 분류되어 이용될 수 있다. 이에 대한 설명은 이하에서 자세히 후술하도록 한다.
빅데이터 라이브러리(300)는 프리 카메라 워크 정보(Ipcw)를 수신하고 그에 대응하는 최적의 레이아웃 데이터 즉, 최적 라이브러리 데이터(CamL_op)를 디지털아이돌 제작 장치(200)로 전송할 수 있다.
이어서, 디지털아이돌 제작 장치(200)는 최적 라이브러리 데이터(CamL_op)를 수신하고, 이를 이용하여 애니메이션 이미지(Pr)를 생성할 수 있다. 여기에서, 최적 라이브러리 데이터(CamL_op)는 생체정보(예를 들어, 심박수(Ihr))를 포함하는 캐릭터의 모션 정보를 포함할 수 있다. 다만, 본 발명의 생체정보가 심박수에 한정되는 것은 아니며, 혈류량, 맥박수, 호흡량, 혈압, 땀 배출량, 칼로리 소모량 등이 더 포함되어 이용될 수 있음은 물론이다. 다만, 이하에서는 설명의 편의를 위하여 생체정보가 심박수를 포함하는 것을 예로 들어 설명하도록 한다.
디지털아이돌 제작 장치(200)는 심박수(Ihr)를 기초로 캐릭터의 움직임 변화량을 나타내는 캐릭터 모션 시퀀스(Scm)를 도출한다. 이어서, 디지털아이돌 제작 장치(200)는 도출된 캐릭터 모션 시퀀스(Scm)를 이용하여 레이아웃 작업을 수행하고 이를 기초로 애니메이션 이미지(Pr)를 생성할 수 있다.
또한, 디지털아이돌 제작 장치(200)는 심박수(Ihr)를 기초로 캐릭터가 착용하고 있는 클로딩의 움직임 변화량을 나타내는 클로딩 모션 시퀀스(Sclm)를 도출할 수 있다. 이때, 디지털아이돌 제작 장치(200)는 심박수(Ihr)를 기초로 캐릭터의 땀 배출량(Vw)을 산출하고, 땀 배출량에 따른 캐릭터의 바디와 클로딩 사이의 마찰력(Friction Force; 이하 Ff)을 산출하고, 이러한 마찰력(Ff)의 변화를 클로딩 모션 시퀀스(Sclm)에 반영할 수 있다. 이에 대한 자세한 설명은 이하에서 후술하도록 한다.
또한, 디지털아이돌 제작 장치(200)는 산출된 땀 배출량(Vw)을 기초로 캐릭터의 사실적인 질감을 표현하기 위한 렌더링 단계를 수행할 수 있다. 예를 들어, 디지털아이돌 제작 장치(200)는 땀 배출량(Vw)에 따라 변화되는 캐릭터 셰이딩 데이터(shading data)를 생성하고, 이를 기초로 렌더링을 수행함으로써 애니메이션 이미지(Pr)를 생성할 수 있다. 이에 대한 자세한 설명도 이하에서 후술하도록 한다.
이어서, 디지털아이돌 제작 장치(200)는 생성된 애니메이션 이미지(Pr)를 제작자(100)에게 전송할 수 있다.
전술한 디지털아이돌 제작 장치(200) 및 빅데이터 라이브러리(300)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
디지털아이돌 제작 장치(200) 및 빅데이터 라이브러리(300)는 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 디지털아이돌 제작 장치(200) 및 빅데이터 라이브러리(300)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 2는 도 1의 디지털아이돌 제작 장치를 세부적으로 설명하기 위한 블록도이다. 도 3은 애니메이션 제작의 레이아웃을 설명하기 위한 개념도이다. 도 4는 도 1의 프리 카메라 워크 정보의 구조를 세부적으로 설명하기 위한 개념도이다.
우선, 도 2를 참조하면, 디지털아이돌 제작 장치(200)는 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)을 포함할 수 있다. 디지털아이돌 제작 장치(200)는 예를 들어, DCC(Digital Content Creation tools)일 수 있다. 또는, 디지털아이돌 제작 장치(200)는 DCC 및 3D 게임 엔진을 포함할 수도 있다. 나아가, 디지털아이돌 제작 장치(200)는 인공지능 모듈을 통해서 DCC 및 3D 게임 엔진 사이의 데이터 익스포트/임포트(export/import)를 조율할 수도 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 각각 작업 지시(Wp)를 수신할 수 있다. 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 작업 지시(Wp)에 따라서 각각 모델링 작업, 애니메이션 작업, 렌더링 작업 및 컴포짓 작업을 수행할 수 있다. 이때, 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 서로 다른 하드웨어로 구현될 수도 있고, 동일 혹은 일부가 중복되는 하드웨어에 의해서 각각 구현될 수 있다.
구체적으로, 모델링 모듈(210)은 작업 지시(Wp)에 의해서 모델링 작업을 수행할 수 있다. 모델링 작업이란, 디지털아이돌 제작 장치(200)를 이용하여 캐릭터 및 배경과 같은 오브젝트를 모델링(modeling)하는 것을 의미할 수 있다. 즉, 추후 애니메이션 단계에서 사용하기 위해서 오브젝트의 디자인은 모델링 작업에서 완성되어야 한다. 모델링 모듈(210)은 폴리곤 모델링을 수행할 수 있다. 모델링 모듈(210)은 폴리곤 모델링을 수행한 후에 텍스쳐링 작업을 수행할 수 있다. 텍스쳐링 작업은 오브젝트의 표면의 질감 및 색상을 적용하기 위한 작업일 수 있다. 텍스쳐링 작업은 쉐이더를 이용하여 메티리얼을 적용하는 방식으로 진행될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
이어서, 모델링 모듈(210)은 리깅(rigging)을 수행할 수 있다. 리깅은 모델링된 오브젝트에 뼈를 붙이는 작업을 의미할 수 있다. 리깅을 수행해야 추후 애니메이션 단계를 거친 오브젝트의 움직임이 자연스러울 수 있다. 따라서 모델링 모듈(210)은 움직일 수 있는 관절 부분과 같이 움직여야 하는 뼈 부분을 작업 지시(Wp)에 따라 정의할 수 있다.
애니메이션 모듈(220)은 애니메이션 작업을 하기 위해서 레이아웃 작업을 수행할 수 있다. 레이아웃 작업은 카메라 및 캐릭터의 동선을 설정할 수 있다. 이러한 카메라와 캐릭터의 동선은 대략적으로 프리 프로덕션 단계에서 콘티 등에 의해서 대략적으로 정해질 수 있으나, 실제 적용을 위해서는 세세한 부분의 수정이 필요할 수 있다.
또한, 애니메이션 모듈(220)은 캐릭터의 움직임을 표현할 수 있다. 이때, 애니메이션 모듈(220)은 작업 지시(Wp)에 포함된 캐릭터의 상태정보를 기초로 캐릭터의 움직임을 설정할 수 있다.
구체적으로, 애니메이션 모듈(220)은 작업 지시(Wp)를 수신하고, 작업 지시(Wp)에 따라 프리 카메라 워크 정보(Ipcw)를 생성한 뒤, 프리 카메라 워크 정보(Ipcw)에 대응되는 최적화된 최적 라이브러리 데이터(CamL_op)를 수신할 수 있다. 이때, 프리 카메라 워크 정보(Ipcw)는 촬영 대상이 되는 캐릭터의 심박수(Ihr)를 포함할 수 있다. 한편, 최적 라이브러리 데이터(CamL_op)는 프리 카메라 워크 정보(Ipcw)에 대응되는 심박수(Ihr)와 관련된 데이터를 포함할 수 있다.
이때, 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)에 포함된 심박수(Ihr)를 이용하여 캐릭터의 움직임 변화량을 산출하여 캐릭터 모션 시퀀스(Scm)를 생성한다. 애니메이션 모듈(220)은 생성된 캐릭터 모션 시퀀스(Scm)를 이용하여 시간의 흐름에 따라 변화하는 카메라의 동선 변화와 함께, 심박수(Ihr)에 따른 캐릭터의 섬세한 움직임 변화를 표현할 수 있다.
도 3 내지 도 4를 참조하면, 애니메이션 모듈(220)은 카메라(Cam)의 위치, 캐릭터(ch)의 위치, 캐릭터(ch)가 움직이는 제1 경로(M1), 카메라(Cam)가 움직이는 제2 경로(M2) 및 지면과 같은 배경(BG)을 결정할 수 있다.
애니메이션 모듈(220)은 레이아웃이 최종적으로 확정되기 전에 대략적인 카메라 워크에 대한 정보 즉, 프리 카메라 워크 정보(Ipcw)를 생성할 수 있다. 애니메이션 모듈(220)은 작업 지시(Wp)에 의해서 프리 카메라 워크 정보(Ipcw)를 생성할 수 있다.
프리 카메라 워크 정보(Ipcw)는 프리 카메라 물리 정보(CPp), 프리 카메라 모션 정보(CMp), 프리 캐릭터 모션 정보(MIp), 프리 배경 정보(BIp) 및 프리 바운딩 박스 정보(BBIp)를 포함할 수 있다.
구체적으로, 프리 카메라 물리 정보(CPp)는 카메라의 물리적 특성에 대한 정보일 수 있다. 예를 들어, 프리 카메라 물리 정보(CPp)는 카메라의 렌즈의 크기, 모양, 개수 및 셔터의 속도 중 적어도 하나를 포함할 수 있다.
프리 카메라 모션 정보(CMp)는 시간에 따른 시계열 데이터일 수 있다. 프리 카메라 모션 정보(CMp)는 시간에 따른 카메라(Cam)의 3차원 위치, 방향, 회전 방향 및 회전 각도 중 적어도 하나를 포함할 수 있다. 프리 카메라 모션 정보(CMp)는 즉, 카메라(Cam)의 절대적인 움직임을 모두 포함하는 빅데이터일 수 있다.
프리 캐릭터 모션 정보(MIp)도 시간에 따른 시계열 데이터일 수 있다. 프리 캐릭터 모션 정보(MIp)는 시간에 따른 캐릭터(ch)의 3차원 위치, 방향, 회전 방향 및 회전 각도 중 적어도 하나를 포함할 수 있다.
나아가, 프리 캐릭터 모션 정보(MIp)는 단순히 캐릭터(ch)의 대표 좌표의 3차원 위치뿐만 아니라 캐릭터(ch)의 자세(Pose) 및 모양(Shape)을 결정하는 복수의 유효 좌표의 3차원 위치도 포함할 수 있다. 이를 통해서, 프리 캐릭터 모션 정보(MIp)는 캐릭터(ch)의 시간에 따른 위치(Position) 뿐만 아니라 시간에 따른 자세 및 모양도 정의할 수 있다.
구체적으로, 프리 캐릭터 모션 정보(MIp)는 캐릭터의 심박수(Ihr), 자세, 피로도 및 감정에 관한 정보를 포함할 수 있다. 이후에 자세히 설명하겠으나, 애니메이션 모듈(220)은 프리 캐릭터 모션 정보(MIp)에 대응되는 캐릭터 모션 정보(MI)를 기초로 캐릭터의 자세 변화량(Vp) 및 신체 각 부위의 모양 변화량(Vs)을 도출하여 캐릭터의 움직임을 세밀하게 표현할 수 있다. 이러한 캐릭터의 움직임의 변화는 캐릭터 모션 시퀀스(Scm)에 포함될 수 있으며, 프리 캐릭터 모션 정보(MIp)는 캐릭터 모션 시퀀스(Scm)를 생성하기 위한 기초 데이터로 이용될 수 있다. 즉, 프리 캐릭터 모션 정보(MIp)는 애니메이션 내에서의 캐릭터(ch)의 절대적인 움직임을 모두 포함하는 빅데이터일 수 있다.
프리 배경 정보(BIp)는 배경(BG)의 위치 및 형상과 시간에 따른 변형에 대한 정보를 포함할 수 있다. 즉, 프리 배경 정보(BIp)도 시간에 따라 달라지는 시계열 데이터일 수 있다. 배경(BG)은 지면, 나무, 바다, 강 및 건물과 같은 구조 중 적어도 하나를 포함할 수 있다. 또한, 프리 배경 정보(BIp)는 배경(BG)에 적용되는 부가적인 파라미터(예를 들어, 온도, 습도, 시간대, 지역 등)가 추가적으로 정의되어 이용될 수 있다.
프리 바운딩 박스 정보(BBIp)는 캐릭터(ch)와 같은 오브젝트의 바운딩 박스에 대한 정보일 수 있다. 바운딩 박스란, 3차원 직교 좌표에서 오브젝트의 최대 크기를 규정하기 위한 직육면체 박스를 의미할 수 있다. 즉, 캐릭터(ch)의 바운딩 박스는 캐릭터(ch)가 시간에 따라 변형되어 크기가 커지더라도 항상 캐릭터(ch)를 감쌀 수 있다. 위에서, 바운딩 박스는 직육면체라고 설명하였지만, 본 실시예가 이에 제한되는 것은 아니다. 바운딩 박스의 형태는 필요에 따라 얼마든지 달라질 수 있다.
애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)를 수신할 수 있다. 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)에 따라 카메라(Cam), 캐릭터(ch) 및 배경(BG)의 세부 사항을 세팅할 수 있다. 즉, 최적 라이브러리 데이터(CamL_op)의 내용을 그대로 적용하여 레이아웃 작업을 수행할 수 있다.
애니메이션 모듈(220)은 모델링 모듈(210)이 생성한 오브젝트의 레이아웃을 세팅한 후에 오브젝트들을 움직이게 할 수 있다. 즉, 애니메이션 모듈(220)은 작업 지시(Wp)에 따라서 레이아웃 작업을 포함하는 애니메이션 단계를 수행할 수 있다. 애니메이션 단계는 오브젝트의 움직이는 포인트 즉, 리깅 단계에서 관절에 해당하는 부분의 전 위치와 후 위치를 정의하는 방식을 사용할 수 있다. 애니메이션 모듈(220)은 시간에 따른 전 위치 및 후 위치를 정의하고, 그 사이의 오브젝트의 움직임을 인터폴레이션을 이용하여 자연스럽게 채울 수 있다. 이에 따라서, 오브젝트의 움직임이 사실적으로 표현될 수 있다.
이어서, 다시 도 2를 참조하면, 렌더링 모듈(230)은 작업 지시(Wp)에 따라서 렌더링 작업을 수행할 수 있다. 3D 애니메이션 제작과정에서 렌더링 작업은 오브젝트들의 3D 움직임을 구현하는 애니메이션 작업 이후에 카메라(Cam)에 의해서 촬영되는 2차원적인 영상을 만들어 내는 단계일 수 있다. 이때, 2차원의 의미는 애니메이션 이미지가 2차원이라는 것이 아니라 3차원의 세계를 촬영하여 2차원의 화면에 투사하는 영상물로 제작한다는 의미일 수 있다.
렌더링 모듈(230)은 애니메이션 작업까지 완료된 오브젝트들의 애니메이션 이미지를 생성해야 하므로, 오브젝트의 배열, 시점, 텍스쳐 매핑, 조명 및 쉐이딩의 세부 단계를 거쳐 렌더링 작업을 수행할 수 있다. 렌더링 모듈(230)은 여러 채널을 이용하여 복수의 레이어로 렌더링을 수행할 수 있다. 멀티 채널 렌더링은 색상의 톤을 맞추거나 대조하여 밝기를 수정하는 작업을 용이하게 할 수 있다. 또한, 멀티 채널 렌더링은 이펙트나 실사합성 같은 작업을 수행하기 위해서 필요할 수 있다.
이때, 렌더링 모듈(230)은 애니메이션 모듈(220)이 수신한 최적 라이브러리 데이터(CamL_op)를 함께 수신하여 이용할 수 있다.
구체적으로, 렌더링 모듈(230)은 전술한 애니메이션 모듈(220)과 마찬가지로 작업 지시(Wp)를 수신하고, 작업 지시(Wp)에 따라 프리 카메라 워크 정보(Ipcw)를 생성한 뒤, 프리 카메라 워크 정보(Ipcw)에 대응되는 최적화된 최적 라이브러리 데이터(CamL_op)를 수신할 수 있다. 이때, 프리 카메라 워크 정보(Ipcw)는 촬영 대상이 되는 캐릭터의 심박수(Ihr)를 포함할 수 있다. 한편, 최적 라이브러리 데이터(CamL_op)는 프리 카메라 워크 정보(Ipcw)에 대응되는 심박수(Ihr)와 관련된 데이터를 포함할 수 있다.
렌더링 모듈(230)은 최적 라이브러리 데이터(CamL_op)에 포함된 심박수(Ihr)를 이용하여 캐릭터의 땀 배출량을 산출하고, 이를 기초로 캐릭터 세이딩 데이터(Dcs)를 생성한다. 렌더링 모듈(230)은 생성된 캐릭터 세이딩 데이터(Dcs)를 이용하여 시간의 흐름에 따라 변화하는 카메라의 동선 변화와 함께, 땀 배출량에 따른 캐릭터의 섬세한 피부질감 또는 재질 변화를 표현할 수 있다. 렌더링 모듈(230)은 렌더링이 완료된 이미지를 컴포짓 모듈(240)로 전송할 수 있다.
컴포짓 모듈(240)은 렌더링된 여러 개의 이미지를 수신하고, 이를 하나의 최종 장면으로 통합하는 컴포짓 작업을 수행할 수 있다. 컴포짓 모듈(240)은 하나의 이미지를 다양한 레이어를 합성하여 완성시킬 수 있다. 예를 들어, 컴포짓 모듈(240)은 하나의 이미지를 각기 다른 속성별로 분류된 여러 장의 레이어를 적층시켜 형성할 수 있다. 이때, 레이어는 캐릭터, 배경, 이펙트, 그림자 및 재질로 나누어질 수 있다. 또한, 재질 레이어는 세부적으로 디퓨즈, 스펙귤러 및 리플렉션으로 나누어질 수 있다.
또한, 컴포짓 모듈(240)은 알파채널의 마스크를 이용하여 크로마키, 글자 및 그림을 합성할 수 있다. 이를 통해서, 최종적으로 완성된 애니메이션 이미지(Pr)가 생성될 수 있다. 컴포짓 모듈(240)은 생성된 애니메이션 이미지(Pr)를 제작자(100)에게 전송할 수 있다.
도 5는 도 1의 빅데이터 라이브러리를 세부적으로 설명하기 위한 블록도이다. 도 6은 도 5의 카메라 워크 라이브러리 데이터의 구조를 세부적으로 설명하기 위한 개념도이다. 도 7은 도 6의 캐릭터 상태정보, 배경정보 및 캐릭터 설정정보를 세부적으로 설명하기 위한 개념도이다.
우선, 도 5를 참조하면, 빅데이터 라이브러리(300)는 라이브러리 데이터베이스(310), 최적 라이브러리 선정 모듈(320) 및 파라미터 변환 모듈(330)을 포함할 수 있다.
라이브러리 데이터베이스(310)는 기존에 작업된 애니메이션 파일이 모두 저장되어 있을 수 있다. 라이브러리 데이터베이스(310)는 내부에 저장된 모든 애니메이션 파일에 대해서 카메라 워크 정보와 관련된 카메라 워크 라이브러리 데이터(CamL)를 추출할 수 있다.
도 6 및 도 7을 참조하면, 카메라 워크 라이브러리 데이터(CamL)는 카메라 물리 정보(CP), 카메라 모션 정보(CM), 캐릭터 모션 정보(MI), 배경 정보(BI) 및 바운딩 박스 정보(BBI)를 포함할 수 있다. 이때, 카메라 워크 라이브러리 데이터(CamL)의 각각의 정보(CP, CM, MI, BI, BBI)는 도 4를 참조하여 전술한 프리 카메라 워크 정보(Ipcw)에 포함된 각각의 정보(CPp, CMp, MIp, BIp, BBIp)와 실질적으로 동일한 데이터를 포함할 수 있으므로, 여기에서 중복되는 설명은 생략하도록 한다.
이때, 캐릭터 모션 정보(MI)는 캐릭터의 심박수(Ihr), 자세(I1), 피로도(I2) 및 감정(I3)에 관한 정보를 포함할 수 있다. 각각의 정보(Ihr, I1, I2, I3)는 시계열적으로 이루어진 데이터로 구성될 수 있다. 즉, 캐릭터 모션 정보(MI)는 시간의 흐름에 따른 캐릭터의 심박수의 변화, 자세의 변화, 피로도의 변화 및 감정의 변화를 포함할 수 있다.
카메라의 모션 정보(CM)는 캐릭터 모션 정보(MI)의 각 파라미터에 대한 변화에 대응되는 카메라의 동선 및 연출방법을 포함할 수 있다.
배경 정보(BI)는 배경(BG)의 온도(B1), 습도(B2) 및 시간대(B3)를 포함할 수 있다. 마찬가지로, 카메라의 모션 정보(CM)는 배경 정보(BI)의 각 파라미터에 대응되는 카메라의 동선 및 연출방법을 포함할 수 있다.
정리하면, 카메라 워크 라이브러리 데이터(CamL)는 캐릭터 모션 정보(MI) 및 배경 정보(BI)에 따른 카메라 워크에 대한 정보를 포함할 수 있으며, 다양한 캐릭터의 상태 및 배경 상태에 따라 서로 다른 카메라 워크가 정의될 수 있다.
라이브러리 데이터베이스(310)는 하나 이상의 카메라 워크 라이브러리 데이터(CamL)를 캐릭터 모션의 유형 별로 분류하여 저장할 수 있다. 이때, 캐릭터 모션의 유형은, 캐릭터 모션 정보(MI)에 포함된 심박수, 자세, 피로도 및 감정 중 적어도 하나 이상의 파라미터를 기준으로 구분될 수 있다. 예를 들어, 캐릭터의 심박수를 기초로 캐릭터의 상태는 흥분 상태, 정상 상태, 휴식 상태로 구분될 수 있다. 또한, 캐릭터의 자세는 기립 자세, 앉은 자세, 공격 자세, 방어 자세 등으로 구분될 수 있다. 피로도는 미리 정해진 기준치를 이용하여 활력, 정상, 피로 상태로 구분될 수 있으며, 감정은 기쁨, 슬픔, 흥분, 우울, 감동 등으로 구분될 수 있다.
라이브러리 데이터베이스(310)는 이러한 캐릭터 모션의 유형을 파라미터화 한 모션 파라미터(MP2)를 기초로 카메라 워크 라이브러리 데이터(CamL)를 분류하고 저장할 수 있다.
파라미터 변환 모듈(330)은 라이브러리 데이터베이스(310)로부터 카메라 워크 라이브러리 데이터(CamL)를 수신하고, 카메라 워크 라이브러리 데이터(CamL)에 포함된 캐릭터 모션 정보(MI)를 기초로 전술한 모션 파라미터(MP2)를 생성할 수 있다. 모션 파라미터(MP2)는 캐릭터 모션 정보(MI)에 포함된 적어도 하나의 파라미터(예를 들어, 심박수, 자세, 피로도 및 감정 관련)를 기초로 생성되며, 복수의 파라미터의 조합을 기초로 생성될 수 있음은 물론이다.
또한, 파라미터 변환 모듈(330)은 애니메이션 모듈(220)로부터 수신한 프리 카메라 워크 정보(Ipcw)에 포함된 프리 캐릭터 모션 정보(MIp)를 기초로 모션 파라미터(MP1)를 생성할 수 있다. 마찬가지로, 모션 파라미터(MP1)는 프리 캐릭터 모션 정보(MIp)에 포함된 적어도 하나의 파라미터(예를 들어, 심박수, 자세, 피로도 및 감정 관련)를 기초로 생성되며, 복수의 파라미터의 조합을 기초로 생성될 수 있음은 물론이다.
이어서, 최적 라이브러리 선정 모듈(320)은 라이브러리 데이터베이스(130)로부터 카메라 워크 라이브러리 데이터(CamL)를 수신할 수 있다. 또한, 최적 라이브러리 선정 모듈(320)은 디지털아이돌 제작 장치(200)로부터 프리 카메라 워크 정보(Ipcw)도 수신할 수 있다. 최적 라이브러리 선정 모듈(320)은 프리 카메라 워크 정보(Ipcw)와 카메라 워크 라이브러리 데이터(CamL)를 비교하여 최적 라이브러리 데이터(CamL_op)를 선정할 수 있다. 최적 라이브러리 데이터(CamL_op)는 카메라 워크 라이브러리 데이터(CamL) 중 프리 카메라 워크 정보(Ipcw)와 가장 유사한 데이터일 수 있다.
이때, 최적 라이브러리 선정 모듈(320)은 프리 카메라 워크 정보(Ipcw)의 모션 파라미터(MP1)와 동일한 모션 파라미터(MP2)를 가진 카메라 워크 라이브러리 데이터(CamL)를 필터링할 수 있다. 이를 통해서, 최적 라이브러리 선정 모듈(320)은 프리 카메라 워크 정보(Ipcw)와 카메라 워크 라이브러리 데이터(CamL) 간의 유사성 검토에 필요한 연산량을 대폭 감소시키고, 연산 속도를 향상시킬 수 있다.
최적 라이브러리 선정 모듈(320)은 모션 파라미터가 동일한(또는, 가장 유사한) 카메라 워크 라이브러리 데이터(CamL) 중에서 프리 카메라 워크 정보(Ipcw)와 가장 유사한 데이터를 최적 라이브러리 데이터(CamL_op)로 선정할 수 있다.
이때, 최적 라이브러리 선정 모듈(320)은 딥러닝 모델을 통해서 유사성을 판단할 수 있다. 최적 라이브러리 선정 모듈(320)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network) 및 SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 8은 도 1의 디지털아이돌 제작 장치의 개략적인 동작을 설명하기 위한 순서도이다. 이하에서는 전술한 내용과 유사한 내용은 생략하고 차이점을 위주로 설명하도록 한다.
도 8을 참조하면, 디지털아이돌 제작 장치(200)는 프리 카메라 워크 정보(Ipcw) 및 빅데이터 라이브러리(300)에 미리 저장된 복수의 카메라 워크 라이브러리 데이터(CamL)를 비교한다. 이어서, 복수의 카메라 워크 라이브러리 데이터(CamL) 중에서 프리 카메라 워크 정보(Ipcw)에 대응되는 최적 라이브러리 데이터(CamL_op)를 선정한다(S10).
이때, 디지털아이돌 제작 장치(200)는 프리 카메라 워크 정보(Ipcw)에서 도출한 모션 파라미터를 이용하여 복수의 카메라 워크 라이브러리 데이터(CamL)에 대한 필터링을 수행한다. 디지털아이돌 제작 장치(200)는 필터링된 카메라 워크 라이브러리 데이터(CamL) 중에서 미리 학습된 딥러닝 모듈을 이용하여 프리 카메라 워크 정보(Ipcw)와 가장 유사한 카메라 워크 라이브러리 데이터(CamL)를 최적 라이브러리 데이터(CamL_op)로 선정한다.
한편, 디지털아이돌 제작 장치(200)는 수신된 작업 지시(Wp)를 기초로 모델링 단계를 수행한다(S20).
이어서, 디지털아이돌 제작 장치(200)는 선정된 최적 라이브러리 데이터(CamL_op)를 기초로 애니메이션 단계를 수행한다(S30). 구체적으로, 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)에 포함된 심박수(Ihr)를 이용하여 캐릭터의 움직임 변화량을 산출하여 캐릭터 모션 시퀀스(Scm) 및 클로딩 모션 시퀀스(Sclm)를 생성한다. 애니메이션 모듈(220)은 생성된 캐릭터 모션 시퀀스(Scm) 및 클로딩 모션 시퀀스(Sclm)를 이용하여 시간의 흐름에 따라 변화하는 카메라의 동선 변화와 함께, 심박수(Ihr)에 따른 캐릭터와 클로딩의 섬세한 움직임 변화를 표현할 수 있다.
이어서, 디지털아이돌 제작 장치(200)는 선정된 최적 라이브러리 데이터(CamL_op)를 기초로 렌더링 단계를 수행한다(S40). 구체적으로, 렌더링 모듈(230)은 최적 라이브러리 데이터(CamL_op)에 포함된 심박수(Ihr)를 이용하여 캐릭터의 땀 배출량을 산출하고, 이를 기초로 생성된 캐릭터 세이딩 데이터(Dcs)를 이용하여 캐릭터의 피부에 표현되는 땀과 혈색의 변화를 렌더링 단계에서 세밀하게 표현할 수 있다.
이어서, 디지털아이돌 제작 장치(200)는 컴포짓 단계를 수행하여 애니메이션 이미지를 생성한다(S50). 구체적으로, 컴포짓 모듈(240)은 렌더링된 여러 개의 이미지를 수신하고, 이를 하나의 최종 장면으로 통합하는 컴포짓 작업을 수행할 수 있다. 컴포짓 모듈(240)은 하나의 이미지를 다양한 레이어를 합성하여 완성시킬 수 있다. 이를 통해서, 컴포짓 모듈(240)은 애니메이션 이미지(Pr)를 최종적으로 완성할 수 있다.
이하에서는, 빅데이터 라이브러리(300)에서 수신한 최적 라이브러리 데이터(CamL_op)를 이용하는 애니메이션 모듈(220) 및 렌더링 모듈(230)의 동작을 구체적으로 설명하도록 한다.
도 9는 도 2의 애니메이션 모듈을 설명하기 위한 블록도이다.
도 9를 참조하면, 애니메이션 모듈(220)에 포함된 모션 변화 연산 모듈(PCM)은 최적 라이브러리 데이터(CamL_op)에 포함된 캐릭터 모션 정보(MI) 및 배경 정보(BI)와, 작업 지시(Wp)에 포함된 캐릭터 설정 정보(CI)를 이용하여 캐릭터 모션 시퀀스(Scm)를 생성한다.
여기에서, 캐릭터 설정 정보(CI)는 작업 지시(Wp)에 포함된 정보일 수 있다. 구체적으로, 캐릭터 설정 정보(CI)는 캐릭터의 성별(C1), 나이(C2), 체형(C3), 사이즈(C4), 피부색(C5), 및 클로딩(C6)(예를 들어, 캐릭터가 착용하고 있는 의복)를 포함할 수 있다. 다만, 각 항목은 임의적인 것이며, 각 항목은 다르게 변형되어 이용될 수 있음은 물론이다.
모델링 모듈(210)은 캐릭터 설정 정보(CI)를 기초로 캐릭터의 오브젝트를 선정하고 모델링 작업을 진행할 수 있다. 이어서, 애니메이션 모듈(220)은 캐릭터 설정 정보(CI)를 기초로 캐릭터의 움직임 변화량을 도출하거나 보정할 수 있다.
캐릭터 모션 시퀀스(Scm)는 시간의 흐름에 따른 캐릭터의 움직임 변화량에 관한 정보를 포함한다. 구체적으로, 캐릭터 모션 시퀀스(Scm)는 캐릭터의 폐용적 변화량, 자세 변화량, 신체 각 부위에 대한 모양 변화량, 신체 각 부위의 땀 배출량을 포함할 수 있다.
이하에서는, 모션 변화 연산 모듈(PCM)에서 수행되는 캐릭터 모션 시퀀스(Scm)의 생성 및 애니메이션 단계의 수행 방법에 대해 설명하도록 한다.
도 10은 도 9의 애니메이션 모듈의 동작 방법을 설명하기 위한 순서도이다. 도 11은 도 10에 나타난 각각의 파라미터의 산출 흐름을 설명하기 위한 개념도이다. 도 12는 심박수에 따른 캐릭터 모션 시퀀스의 변화를 설명하기 위한 예시도이다.
도 10 및 도 11을 참조하면, 애니메이션 모듈(220)의 모션 변화 연산 모듈(PCM)은 캐릭터 모션 정보(MI)에 포함된 캐릭터의 심박수(Ihr)를 수신한다(S110). 모션 변화 연산 모듈(PCM)은 수신된 최적 라이브러리 데이터(CamL_op)에서 캐릭터에 대한 심박수(Ihr)를 추출하여 이용할 수 있다.
이어서, 심박수에 따른 폐용적 변화량(Vl)을 도출한다(S120). 여기에서, 폐용적 변화량(Vl)은 캐릭터의 폐의 크기(lung volume)에 대한 시계열적인 변화량을 의미한다.
이어서, 심박수에 따른 자세 변화량(Vp)을 도출한다(S130). 여기에서, 자세 변화량(Vp)은 캐릭터의 자세(pose)에 대한 시계열적인 변화량을 의미한다. 자세 변화량(Vp)은 캐릭터의 신체의 부위별로 상체 모션 변화량, 어깨 모션 변화량, 팔 모션 변화량 등으로 구분될 수 있다. 또한, 자세 변화량(Vp)은 캐릭터의 움직임을 표현하는 복수의 포인트들의 변화들로 표현될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
이어서, 심박수에 따른 신체 각 부위의 모양 변화량(Vs)을 도출한다(S140). 여기에서, 모양 변화량(Vs)은 캐릭터의 신체 모양(Shape)에 대한 시계열적인 변화량을 의미한다. 모양 변화량(Vs)은 캐릭터의 신체의 부위별로 가슴모양 변화량, 복부모양 변화량으로 구분될 수 있다.
예를 들어, 심박수가 상대적으로 높은 경우 캐릭터는 흉식호흡을 주로 하게 되므로 가슴모양 변화량은 복부모양 변화량 보다 크게 설정될 수 있다. 반면, 심박수가 상대적으로 낮은 경우 캐릭터는 복식호흡을 주로 하게 되므로 가슴모양 변화량은 복부모양 변화량 보다 작게 설정될 수 있다. 즉, 모양 변화량(Vs)을 기초로 캐릭터의 흉식 호흡과 복식 호흡을 구분하여 표현할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
이어서, 심박수에 따른 캐릭터의 신체 각 부위의 땀 배출량(Vw)을 도출한다(S150). 땀 배출량(Vw)은 이후 단계에서 캐릭터의 클로딩의 움직임을 표현하는 클로딩 모션 시퀀스(Sclm)를 생성하는데 이용될 수 있다.
구체적으로, 도출된 땀 배출량(Vw)이 상대적으로 많은 부위의 경우, 클로딩의 움직임은 캐릭터의 해당 신체 부위에 대한 종속성이 높게 설정되도록 표현될 수 있다. 예를 들어, 땀 배출량(Vw)이 많은 부위는 캐릭터의 신체 부위에 밀착되어 클로딩이 움직이는 것으로 표현될 수 있다.
반면, 도출된 땀 배출량(Vw)이 상대적으로 적은 부위의 경우, 클로딩의 움직임은 캐릭터의 해당 신체 부위의 움직임에 대한 종속성이 낮게 설정되도록 표현될 수 있다. 예를 들어, 땀 배출량(Vw)이 적은 부위는 캐릭터의 신체 부위의 움직임과는 별도로 중력 또는 관성에 대한 종속성이 높도록 클로딩의 움직임이 표현될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
이러한 캐릭터의 신체와 클로딩 사이의 종속성은 클로딩 마찰력(Ff)을 통하여 수치로 환산될 수 있다. 클로딩 마찰력(Ff)은 클로딩 모션 변화량(Vclm)을 산출하는데 반영될 수 있다. 이에 대한 자세한 설명은 이하에서 후술하도록 한다.
이어서, 심박수를 기초로 도출된 값(Vl, Vp, Vs, Vw)을 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 기초로 보정한다(S160). 예를 들어, 캐릭터의 각각의 변화량(Vl, Vp, Vs)은 캐릭터의 자세(I1), 피로도(I2), 감정(I3)에 따라 변화될 수 있다. 캐릭터의 각각의 변화량(Vl, Vp, Vs)은 캐릭터의 성별(C1), 나이(C2), 체형(C3) 및 사이즈(C4)에 따라 변화될 수 있다. 또한, 캐릭터의 각각의 변화량(Vl, Vp, Vs)은 배경 공간의 온도(B1), 습도(B2), 시간대(B3)에 따라 변화될 수 있다.
이때, 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)가 각각의 변화량(Vl, Vp, Vs)에 반영되는 비율은 미리 정해진 가중치에 의해 정해질 수 있다. 예를 들어, 캐릭터 모션 정보(MI) 및 캐릭터 설정 정보(CI)는 배경 정보(BI)에 비해 높은 가중치를 두고 각각의 변화량(Vl, Vp, Vs)에 반영될 수 있다.
이어서, 보정된 각각의 변화량(Vl, Vp, Vs)을 이용하여 캐릭터 모션 시퀀스(Scm)를 생성한다(S170). 생성된 캐릭터 모션 시퀀스(Scm)는 레이아웃 작업 및 애니메이션 작업에 이용될 수 있다.
예를 들어, 도 12를 참조하면, 심박수에 따른 폐용적 변화량(Vl)은 도 12의 그래프(SC)와 같이 나타낼 수 있다. 이때, 폐용적 변화량(Vl)은 캐릭터의 종류(Type), 성별(Gender) 등에 대한 요소들을 기초로 보정되어 시계열적인 그래프(SC)로 표현될 수 있다.
또한, 폐용적 변화량(Vl)은 자세 변화량(Vp) 및 모양 변화량(Vs)에 반영될 수 있으며, 각각의 변화량(Vl, Vp, Vs)을 기초로 캐릭터의 가슴 움직임(Chest Motion) 및 복부 움직임(Stomach Motion)을 세밀히 표현할 수 있다. 또한, 이들을 종합한 전체 움직임(Overall Motion)이 표현될 수 있음은 물론이다.
도 13은 도 9의 모션 변화 연산 모듈의 세부적인 구조를 설명하기 위한 블록도이다. 도 14은 도 13의 인공지능 훈련 모듈의 동작을 설명하기 위한 순서도이다. 이하에서는 전술한 내용과 중복되는 내용은 생략하고 차이점을 위주로 설명하도록 한다.
도 13을 참조하면, 모션 변화 연산 모듈(PCM)은 인공지능 모듈(AIM1), 인공지능 훈련 모듈(ATM) 및 모션 보정 모듈(MAM)을 포함할 수 있다.
인공지능 모듈(AIM1)은 심박수(Ihr)를 수신한다. 인공지능 모듈(AIM1)은 심박수를 입력받고, 이에 대한 출력으로 캐릭터의 폐용적 변화량(Vl), 자세 변화량(Vp), 심박수에 따른 신체 각 부위의 모양 변화량(Vs), 및 땀 배출량(Vw)을 제공한다. 이때, 인공지능 모듈(AIM1)은 딥러닝 모듈일 수 있다. 인공지능 모듈(AIM1)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다. 이때, 인공지능 모듈(AIM1)은 지도 학습을 이용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니고, 인공지능 모듈(AIM1)은 비지도 학습을 이용할 수도 있다.
인공지능 모듈(AIM1)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network) 및 SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
다른 예로, 인공지능 모듈(AIM1)은 심박수(Ihr)와 함께, 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 수신할 수 있다. 인공지능 모듈(AIM1)은 심박수(Ihr), 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 입력받고, 이에 대한 출력으로 캐릭터의 폐용적 변화량(Vl), 자세 변화량(Vp), 신체 각 부위의 모양 변화량(Vs) 및 땀 배출량(Vw)을 출력할 수 있다.
이때, 인공지능 모듈(AIM1)은 심박수(Ihr), 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 입력 노드로 하는 입력 레이어와, 폐용적 변화량(Vl), 자세 변화량(Vp), 모양 변화량(Vs), 땀 배출량(Vw)을 출력 노드로 하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트될 수 있다.
모션 보정 모듈(MAM)은 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 기초로, 인공지능 모듈(AIM1)에서 출력된 각각의 변화량(Vl, Vp, Vs)을 보정한다. 모션 보정 모듈(MAM)은 보정된 각각의 값(Vl, Vp, Vs, Vw)들을 포함하는 캐릭터 모션 시퀀스(Scm)를 출력한다.
한편, 인공지능 훈련 모듈(ATM)은 인공지능 모듈(AIM1)을 훈련시키는 트레이닝 데이터를 생성하고, 생성된 트레이닝 데이터를 인공지능 모듈(AIM1)에 제공한다.
구체적으로, 도 14를 참조하면, 인공지능 훈련 모듈(ATM)은 호흡하는 대상(예를 들어, 복수의 센서를 부착한 연기자)을 스캔한 복수의 3D 메쉬를 수신한다(S210).
이어서, 복수의 3D 메쉬(3D Mesh)를 캐릭터 설정 정보(CI)에 포함된 각 파라미터 별로 그룹핑한다(S220). 예를 들어, 캐릭터의 성별(C1), 나이(C2), 체형(C3), 사이즈(C4)가 유사한 복수의 3D 메쉬들을 그룹핑한다.
이어서, 미리 저장된 템플릿 메쉬를 이용하여 그룹핑된 3D 메쉬를 정렬한다(S230). 이는 복수의 서로 다른 3D 메쉬의 평균값을 구하기 위한 전처리 과정에 해당한다.
이어서, 각 그룹핑된 3D 메쉬에 대해 심박수(Ihr)에 따른 폐용적 변화량(Vl), 자세 변화량(Vp), 모양 변화량(Vs), 땀 배출량(Vw)의 평균값을 도출한다(S240). 또한, 그룹핑된 3D 메쉬의 캐릭터 모션 시퀀스(Scm)의 각 파라미터에 대한 평균값도 함께 도출한다.
이어서, 도출된 값(Vl, Vp, Vs, Vw)에 대한 각각의 평균값을 이용하여 인공지능 모듈(AIM1)을 훈련시킨다(S250). 이때, 도출된 값(Vl, Vp, Vs, Vw)과 심박수(Ihr)에 대한 각각의 평균값은 인공지능 모듈(AIM1)의 입력 노드에 인가되고, 이에 대응되는 캐릭터 모션 시퀀스(Scm)는 인공지능 모듈(AIM1)의 출력 노드에 인가된다. 즉, 트레이닝 데이터는 도출된 값(Vl, Vp, Vs, Vw) 및 심박수(Ihr)에 대한 각각의 평균값과, 이에 대응되는 캐릭터 모션 시퀀스(Scm)의 평균값을 포함할 수 있다. 인공지능 훈련 모듈(ATM)은 생성된 트레이닝 데이터를 이용하여 인공지능 모듈(AIM1)을 훈련시킬 수 있다.
예를 들어, 트레이닝 데이터는 성별(C1)과 나이(C2)가 동일한 복수의 3D 메쉬들의 그룹에 대하여, 심박수(Ihr), 폐용적 변화량(Vl), 자세 변화량(Vp), 모양 변화량(Vs), 땀 배출량(Vw)의 평균값을 포함할 수 있다. 또한, 트레이닝 데이터는 성별(C1)과 체형(C3)이 기준치보다 유사한 복수의 3D 메쉬들의 그룹에 대하여, 전술한 데이터(Vl, Vp, Vs, Vw, Ihr)에 대한 평균값을 포함할 수 있다. 즉, 트레이닝 데이터는 캐릭터 설정 정보(CI)에 포함된 파라미터들의 서로 다른 조합을 기초로 생성될 수 있다.
또한, 본 발명이 이에 한정되는 것은 아니며, 트레이닝 데이터는 캐릭터 모션 정보(MI) 또는 배경 정보(BI)에 포함된 파라미터들의 서로 다른 조합을 기초로 생성되어 인공지능 모듈(AIM1)을 훈련시킬 수 있음은 물론이다.
이하에서는, 전술한 애니메이션 모듈(220)에서 수행되는 본 발명의 몇몇 실시예에 대해 살펴보도록 한다.
도 15는 본 발명의 실시예에 따른 애니메이션 모듈의 동작 방법의 일 예를 설명하기 위한 순서도이다.
도 15를 참조하면, 본 발명의 실시예에 따른 애니메이션 모듈(220)은, 레이아웃 대상이 되는 캐릭터의 심박수(Ihr)에 따라 호흡량 변화패턴을 추정한다(S310). 여기에서, 호흡량 변화패턴은 심박수를 기초로 생성된 시계열적인 호흡량에 대한 변화를 나타낸다. 호흡량 변화패턴은 실제 사용자로부터 측정한 호흡량의 변화량과 심박수와의 관계를 기초로 생성될 수 있다. 예를 들어, 호흡량 변화패턴은 도 11에 개시된 그래프(SC)와 같이 도시될 수 있다. 또한, 호흡량 변화패턴은 심박수를 기초로 생성된 폐용적 변화량을 기초로 생성될 수 있다.
이때, 이용되는 심박수(Ihr)는 최적 라이브러리 데이터(CamL_op)에 포함된 캐릭터의 심박수 또는 프리 카메라 워크 정보(Ipcw)에서 설정된 캐릭터의 심박수가 이용될 수 있다.
이어서, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 설정 정보(CI)를 기초로 캐릭터 신체의 각 부위별 자세 변화량(Vp)을 도출한다(S320). 이때, 캐릭터 설정 정보(CI)는 캐릭터의 성별(C1), 나이(C2), 체형(C3), 사이즈(C4)를 포함할 수 있다. 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 자세 변화량(Vp)을 도출할 수 있다.
애니메이션 모듈(220)은 심박수(Ihr)를 기초로 자세 변화량(Vp)의 기준값을 먼저 도출하고, 캐릭터 설정 정보(CI)를 이용하여 세부 수치를 보정하는 방식으로 동작할 수 있다. 예를 들어, 30세에 키 180cm의 뚱뚱한 체형의 남성에 대한 제1 캐릭터의 제1 보정값은 60세에 키 160cm의 마른 체형의 여성에 대한 제2 캐릭터의 제2 보정값보다 크게 형성될 수 있다.
또한, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 설정 정보(CI)를 기초로 캐릭터 신체의 각 부위별 모양 변화량(Vs)을 도출한다(S330). 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 모양 변화량(Vs)을 도출할 수 있다. 모양 변화량(Vs)은 캐릭터의 신체의 부위별로 가슴모양 변화량, 복부모양 변화량으로 구분될 수 있다. 예를 들어, 심박수가 상대적으로 높은 경우 캐릭터는 흉식호흡을 주로 하게 되므로 가슴모양 변화량은 복부모양 변화량 보다 크게 설정될 수 있다. 반면, 심박수가 상대적으로 낮은 경우 캐릭터는 복식호흡을 주로 하게 되므로 가슴모양 변화량은 복부모양 변화량 보다 작게 설정될 수 있다.
또한, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 설정 정보(CI)를 기초로 캐릭터 신체의 각 부위별 땀 배출량(Vw)을 도출한다(S340). 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 캐릭터의 신체 각 부위에 대한 땀 배출량(Vw)을 도출할 수 있다.
이때, S320 단계 내지 S340 단계의 동작순서는 변경되어 수행될 수 있음은 물론이다.
이어서, 애니메이션 모듈(220)은 도출된 자세 변화량(Vp), 모양 변화량(Vs), 및 땀 배출량(Vw)을 배경 정보(BI)를 기초로 보정한다(S350). 배경 정보(BI)는 배경(BG)의 온도(B1), 습도(B2) 및 시간대(B3)를 포함할 수 있다. 예를 들어, 온도가 상대적으로 높고 낮시간대의 제1 캐릭터의 경우, 온도가 상대적으로 낮고 밤시간대의 제2 캐릭터보다, 자세 변화량(Vp), 모양 변화량(Vs), 땀 배출량(Vw)의 보정량이 클 수 있다. 다만, 이는 하나의 예시에 불과하고 본 발명이 이에 한정되는 것은 아니다.
도 16은 본 발명의 실시예에 따른 애니메이션 모듈의 동작 방법의 다른 예를 설명하기 위한 순서도이다. 이하에서는 전술한 내용과 중복되는 내용은 생략하고 차이점을 위주로 설명하도록 한다.
도 16을 참조하면, 본 발명의 실시예에 따른 애니메이션 모듈(220)은, 레이아웃 대상이 되는 캐릭터의 심박수(Ihr)에 따라 호흡량 변화패턴을 추정한다(S410).
이어서, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 모션 정보(MI)를 기초로 캐릭터 신체의 각 부위별 자세 변화량(Vp)을 도출한다(S420). 이때, 캐릭터 모션 정보(CI)는 캐릭터의 자세(I1), 피로도(I2) 및 감정(I3)에 관한 정보를 포함할 수 있다. 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 자세 변화량(Vp)을 도출할 수 있다. 애니메이션 모듈(220)은 호흡량 변화패턴을 기초로 자세 변화량(Vp)의 기준값을 먼저 도출하고, 캐릭터 모션 정보(MI)를 이용하여 세부 수치를 보정하는 방식으로 동작할 수 있다. 예를 들어, 기립자세로 활력이 넘치는 기쁜 감정상태의 제1 캐릭터의 제1 보정값은, 앉은자세로 피로하고 우울한 제2 캐릭터의 제2 보정값보다 크게 형성될 수 있다.
또한, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 모션 정보(MI)를 기초로 캐릭터 신체의 각 부위별 모양 변화량(Vs)을 도출한다(S430). 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 모양 변화량(Vs)을 도출할 수 있다.
또한, 애니메이션 모듈(220)은 호흡량 변화패턴과 캐릭터 모션 정보(MI)를 기초로 캐릭터 신체의 각 부위별 땀 배출량(Vw)을 도출한다(S440). 애니메이션 모듈(220)은 전술한 미리 학습된 인공지능 모듈(AIM1)을 이용하여 캐릭터의 신체 각 부위에 대한 땀 배출량(Vw)을 도출할 수 있다.
이때, S420 단계 내지 S440 단계의 동작순서는 변경되어 수행될 수 있음은 물론이다.
이어서, 애니메이션 모듈(220)은 도출된 자세 변화량(Vp), 모양 변화량(Vs), 및 땀 배출량(Vw)을 배경 정보(BI)를 기초로 보정한다(S450).
정리하면, 애니메이션 모듈(220)은 심박수(Ihr)를 기초로 캐릭터 신체의 각 부위별 자세 변화량(Vp), 모양 변화량(Vs), 및 땀 배출량(Vw)을 도출한다. 이어서, 애니메이션 모듈(220)은 캐릭터 설정 정보(CI), 캐릭터 모션 정보(MI), 또는 배경 정보(BI)에 포함된 복수의 파라미터 중 일부를 이용하여, 도출된 자세 변화량(Vp), 모양 변화량(Vs), 및 땀 배출량(Vw)을 보정할 수 있다.
이하에서는, 산출된 캐릭터 모션 시퀀스(Scm)를 기초로 클로딩 모션 시퀀스(Sclm)를 생성하는 애니메이션 모듈(220)의 추가적인 구성에 대해 설명하도록 한다.
도 17은 도 2의 애니메이션 모듈의 추가적인 구성을 설명하기 위한 블록도이다. 도 18은 도 17의 애니메이션 모듈의 동작 방법을 설명하기 위한 순서도이다.
도 17 및 도 18을 참조하면, 애니메이션 모듈(220)은 클로딩 모션 산출 모듈(CMM) 및 클로딩 모션 보정 모듈(CMAM)을 포함한다.
클로딩 모션 산출 모듈(CMM)은 캐릭터의 움직임을 나타내는 캐릭터 모션 시퀀스(Scm)를 기초로 프리 클로딩 모션 시퀀스(Sclmp)를 생성하여 출력한다(S510). 여기에서, 프리 클로딩 모션 시퀀스(Sclmp)는 캐릭터가 착용하고 있는 클로딩의 시계열적인 움직임을 나타내는 데이터를 의미한다. 이때, 클로딩 모션 산출 모듈(CMM)은 캐릭터 설정 정보(CI)와 캐릭터 모션 시퀀스(Scm)를 참조하여 프리 클로딩 모션 시퀀스(Sclmp)를 생성할 수 있다.
예를 들어, 클로딩 모션 산출 모듈(CMM)은 캐릭터 설정 정보(CI)에 포함된 캐릭터의 체형(C3), 사이즈(C4), 클로딩(C6)에 관한 데이터를 기초로, 캐릭터 모션 시퀀스(Scm)를 이용하여 클로딩의 움직임을 나타내는 프리 클로딩 모션 시퀀스(Sclmp)를 생성할 수 있다.
클로딩 모션 보정 모듈(CMAM)은 캐릭터의 사실적인 움직임을 부가하기 위해 클로딩 모션 산출 모듈(CMM)에서 출력된 프리 클로딩 모션 시퀀스(Sclmp)를 보정하는 기능을 수행한다. 클로딩 모션 보정 모듈(CMAM)은 전술한 인공지능 모듈(AIM1)에서 출력된 땀 배출량(Vw)을 기초로 프리 클로딩 모션 시퀀스(Sclmp)를 보정하여 클로딩 모션 시퀀스(Sclmp)를 출력할 수 있다.
구체적으로, 클로딩 모션 보정 모듈(CMAM)은 캐릭터의 땀 배출량(Vw)을 기초로 캐릭터의 바디와 클로딩(C6) 사이의 마찰력(즉, 클로딩 마찰력(Ff))을 산출한다(S520).
이어서, 클로딩 모션 보정 모듈(CMAM)은 산출된 클로딩 마찰력(Ff)을 기초로 프리 클로딩 모션 시퀀스(Sclmp)를 보정한 클로딩 모션 시퀀스(Sclm)를 출력한다(S530). 클로딩 모션 시퀀스(Sclm)는 캐릭터의 클로딩 모션 변화량(Vclm)을 포함한다.
구체적으로, 캐릭터의 신체 중에 땀 배출량(Vw)이 상대적으로 많은 부위의 경우, 클로딩 모션 변화량(Vclm)은 캐릭터의 해당 신체 부위에 대한 자세 변화량(Vp) 및 모양 변화량(Vs)의 종속성이 높게 설정되도록 표현될 수 있다.
반면, 캐릭터의 신체 중에 땀 배출량(Vw)이 상대적으로 적은 부위의 경우, 클로딩 모션 변화량(Vclm)은 캐릭터의 해당 신체 부위에 대한 자세 변화량(Vp) 및 모양 변화량(Vs)의 종속성이 낮게 설정되도록 표현될 수 있다. 예를 들어, 땀 배출량(Vw)이 적은 부위는 캐릭터의 신체 부위의 움직임과는 별도로 중력 또는 관성에 대한 종속성이 높도록 클로딩 모션 변화량(Vclm)이 설정될 수 있다. 다만, 이는 하나의 예시에 불과하고, 본 발명이 이에 한정되는 것은 아니다.
클로딩 모션 보정 모듈(CMAM)은 이러한 캐릭터의 움직임과 클로딩 사이의 종속성을 클로딩 마찰력(Ff)을 통하여 수치로 환산할 수 있다. 즉, 클로딩 모션 보정 모듈(CMAM)은 클로딩 모션 변화량(Vclm)을 클로딩 마찰력(Ff)과 캐릭터의 자세 변화량(Vp) 및 모양 변화량(Vs)을 기초로 산출함으로써 클로딩 모션 시퀀스(Sclm)를 생성할 수 있다.
이어서, 애니메이션 모듈(220)은 캐릭터 모션 시퀀스(Scm), 클로딩 모션 시퀀스(Sclm), 및 최적 라이브러리 데이터(CamL_op)에 포함된 여러 정보들을 기초로 레이아웃 작업 및 애니메이션 작업을 수행한다.
이를 통해, 본 발명의 실시예들에 따른 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템은 심박수를 기초로 캐릭터의 호흡과 관련된 디테일한 움직임의 변화를 표현함으로써 리얼리티를 극대화할 수 있다.
또한, 인공지능을 통해서 기존에 제작된 애니메이션 파일의 캐릭터에 대한 모션과 관련된 파라미터를 유형별로 분류하고, 새로 제작되는 애니메이션에 파라미터의 세부사항을 적용시켜 애니메이션 제작 기간을 대폭 단축시키고, 애니메이션의 품질도 더 향상시킬 수 있다. 나아가, 딥러닝 모듈을 통해서 빅데이터의 유형을 분류하는 작업을 수행하여 인력의 소모를 최소화하고, 높은 효율을 도모할 수 있다.
이하에서는, 애니메이션 단계에 이어서 렌더링 단계를 수행하는 렌더링 모듈(230)의 구조 및 동작 방법에 대해 설명하도록 한다.
도 19는 도 2의 렌더링 모듈을 설명하기 위한 블록도이다. 도 20은 도 19의 렌더링 모듈의 동작 방법을 설명하기 위한 순서도이다. 도 21은 도 20에 나타난 파라미터의 산출 흐름을 설명하기 위한 개념도이다.
도 19 내지 도 21을 참조하면, 렌더링 모듈(230)은 인공지능 모듈(AIM2) 및 셰이더 모듈(SM)을 포함할 수 있다.
인공지능 모듈(AIM2)은 심박수(Ihr)를 수신한다. 인공지능 모듈(AIM2)은 심박수(Ihr)를 입력받고, 이에 대한 출력으로 캐릭터의 신체 각 부위별 땀 배출량(Vw)을 제공한다. 인공지능 모듈(AIM2)은 딥러닝 모듈일 수 있다. 인공지능 모듈(AIM2)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다. 이때, 인공지능 모듈(AIM2)은 지도 학습을 이용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니고, 인공지능 모듈(AIM2)은 비지도 학습을 이용할 수도 있다.
인공지능 모듈(AIM2)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network) 및 SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
다른 예로, 인공지능 모듈(AIM2)은 심박수(Ihr)와 함께, 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 수신할 수 있다. 인공지능 모듈(AIM2)은 심박수(Ihr), 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 입력받고, 이에 대한 출력으로 캐릭터의 신체 각 부위의 땀 배출량(Vw)을 출력할 수 있다.
이때, 인공지능 모듈(AIM2)은 심박수(Ihr), 캐릭터 모션 정보(MI), 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 입력 노드로 하는 입력 레이어와, 땀 배출량(Vw)을 출력 노드로 하는 출력 레이어와, 상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고, 상기 입력 노드와 상기 출력 노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트될 수 있다.
셰이더 모듈(SM)은 인공지능 모듈(AIM2)에서 출력된 땀 배출량(Vw)을 기초로, 배경 정보(BI) 및 캐릭터 설정 정보(CI)를 이용하여 레이아웃 대상이 되는 캐릭터의 셰이딩(Shading)을 수행하기 위한 캐릭터 셰이딩 데이터(Dcs)를 생성한다.
여기에서, 셰이딩(Shading)은 물체와 광원 간의 거리 및 각도에 따라 물체 표면의 조도를 변화시키는 작업을 의미한다. 셰이딩(Shading) 단계에서 캐릭터를 구성하는 각각의 폴리곤의 표면은 광원의 위치 및 밝기, 색깔에 따라 음영이 부가됨으로써 물체에 대한 입체감과 사실감을 표현할 수 있다.
구체적으로, 도 20을 참조하면, 셰이더 모듈(SM)은 스킨 셰이딩(skin shading), Ÿ‡ 셰이딩(wet shading), 글리터 셰이딩(glitter shading)을 수행할 수 있다.
여기에서, 스킨 셰이딩은 사람의 피부에 가까운 효과를 내기 위한 쉐이딩을 의미한다. 특히, 인간의 피부는 색감과 질감은 물론 반사와 투과에 있어서 독특하고 복잡한 구조를 가지고 있다. 피부의 반투명한 효과를 위해 SSS(Sub-Surface Scattering)　기법을 이용할 수 있으며, SSS 기법은 피부나 종이 등 반투명 물체들의 표면에 빛이 닿아서 투과하지 못하고 산란되면서 이뤄지는 현상을 표현할 수 있다.
Ÿ‡ 셰이딩은 사람의 피부에 맺힌 땀, 물기 등을 표현하고, 피부의 수분감을 나타내어 피부의 사실감을 강조하기 위한 쉐이딩을 의미한다.
글리터 셰이딩은 피부의 수분감으로 인해 반사되거나 반짝이는 효과를 내기 위한 쉐이딩을 의미한다.
셰이더 모듈(SM)은 땀 배출량(Vw)을 기초로 스킨 셰이딩, Ÿ‡ 셰이딩 및 글리터 셰이딩 중 적어도 하나 이상을 수행할 수 있다. 스킨 셰이딩, Ÿ‡ 셰이딩, 글리터 셰이딩은 일부가 통합되거나, 별도의 단계로 구분되어 셰이더 모듈(SM)에 의해 수행될 수 있다. 또한, 셰이더 모듈(SM)은 전술한 셰이딩의 일부만을 수행하거나, 추가적인 셰이딩을 수행할 수 있음은 물론이다.
도 21을 참조하면, 렌더링 모듈(230)은 캐릭터의 심박수(Ihr)에 따른 땀 배출량(Vw)을 산출한다(S610). 이때, 렌더링 모듈(230)은 전술한 인공지능 모듈(AIM2)을 이용하여 땀 배출량(Vw)을 산출할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
이어서, 렌더링 모듈(230)은 배경 정보(BI)에 포함된 시간대(B3)에 관한 정보를 기초로 광원의 위치 및 광량을 포함하는 광원정보를 산출한다(S620). 추가적으로, 렌더링 모듈(230)은 배경 정보(BI)에 포함된 지역에 관한 정보(예를 들어, 위도, 경도, 일조량, 날씨, 구름량 등)를 기초로 미리 정해진 계산식을 통하여 광원정보를 세밀하게 도출할 수 있다. 또한, 광원정보는 미리 정해진 인조광과 자연광으로 구분되어 포함될 수 있다.
이어서, 렌더링 모듈(230)은 산출된 광원정보와, 캐릭터 설정 정보(CI) 및 땀 배출량(Vw)을 기초로, 캐릭터 셰이딩 데이터(Dcs)를 생성한다(S630). 캐릭터 셰이딩 데이터(Dcs)는 전술한 스킨 셰이딩, Ÿ‡ 셰이딩 및 글리터 셰이딩 중 적어도 하나 이상을 수행하기 위한 데이터를 의미한다.
이어서, 렌더링 모듈(230)은 생성된 캐릭터 셰이딩 데이터(Dcs)를 기초로 캐릭터의 렌더링 단계를 수행한다(S640).
즉, 본 발명은 캐릭터의 심박수(Ihr)를 기초로 산출한 땀 배출량(Vw) 등의 데이터를 이용하여 캐릭터의 피부에 표현되는 땀 또는 반짝임 등의 변화를 렌더링 단계에서 세밀하게 표현할 수 있다. 제작자는 이러한 캐릭터의 디테일한 변화를 수작업으로 일일이 정의하고 설정하는 것이 아닌, 작업 지시(Wp)에서 캐릭터 또는 배경의 설정값을 조정하는 것만으로 캐릭터의 디테일한 외관의 변화를 표현할 수 있어, 캐릭터의 리얼리티를 극대화하고, 애니메이션 제작의 편의성 및 작업의 속도를 높일 수 있다.
또한, 본 발명은 생체정보를 기초로 캐릭터 신체의 각 부위별 자세 변화량, 모양 변화량, 및 땀 배출량을 도출하고, 캐릭터 설정 정보, 캐릭터 모션 정보 또는 배경 정보에 포함된 복수의 파라미터 중 일부를 이용하여 도출된 데이터들을 보정함으로써, 캐릭터의 움직임 및 캐릭터의 클로딩 움직임에 대한 리얼리티를 극대화할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제작자로부터 작업 지시를 수신하고, 상기 작업 지시에 따라 프리 카메라 워크 정보를 생성하고, 상기 프리 카메라 워크 정보에 최적화된 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 애니메이션 작업 및 렌더링 작업을 수행하고, 애니메이션 이미지를 생성하는 디지털아이돌 제작 장치; 및
    상기 프리 카메라 워크 정보와의 유사성 판단을 통해서, 상기 최적 라이브러리 데이터를 찾아 상기 디지털아이돌 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되,
    상기 최적 라이브러리 데이터는, 특정 캐릭터의 심박수를 포함하는 캐릭터 모션 정보를 포함하고,
    상기 디지털아이돌 제작 장치는,
    상기 작업 지시를 기초로 상기 캐릭터와, 상기 캐릭터가 착용하고 있는 클로딩을 모델링하는 모델링 모듈; 및
    상기 캐릭터의 움직임 변화량을 나타내는 캐릭터 모션 시퀀스와, 상기 클로딩의 움직임 변화량을 나타내는 클로딩 모션 시퀀스를 도출하고, 도출된 상기 캐릭터 모션 시퀀스 및 상기 클로딩 모션 시퀀스를 이용하여 상기 애니메이션 이미지를 생성하는 애니메이션 모듈을 포함하고,
    상기 애니메이션 모듈은,
    상기 캐릭터의 심박수를 추출하고,
    상기 심박수에 따른 상기 캐릭터의 폐용적 변화량, 자세 변화량, 신체 각 부위의 모양 변화량, 및 신체 각 부위의 땀 배출량을 포함하는 제1 데이터를 도출하되, 상기 폐용적 변화량은 상기 캐릭터의 폐의 크기에 대한 시계열적인 변화량을 의미하고, 상기 자세 변화량은 상기 캐릭터의 움직임을 표현하는 복수의 포인트들의 시계열적인 변화량을 의미하고, 상기 모양 변화량은 상기 캐릭터의 가슴모양 변화량 및 복부모양 변화량을 포함하는 신체 각 부위의 변화량을 의미하고,
    상기 심박수가 미리 정해진 기준치 보다 높은 경우, 상기 가슴모양 변화량은 상기 복부모양 변화량보다 크게 설정되고,
    상기 심박수가 미리 정해진 기준치 보다 낮은 경우, 상기 가슴모양 변화량은 상기 복부모양 변화량보다 작게 설정되며,
    상기 제1 데이터를, 상기 캐릭터 모션 정보, 배경 정보, 및 캐릭터 설정 정보를 포함하는 상기 최적 라이브러리 데이터를 기초로 보정한 제2 데이터를 도출하되, 상기 캐릭터 모션 정보는 상기 캐릭터의 자세, 피로도 및 감정 중 적어도 하나와 상기 캐릭터의 심박수를 포함하고, 상기 배경 정보는 상기 애니메이션 이미지의 생성 작업에 이용되는 배경의 온도, 습도 및 시간대 중 적어도 하나를 포함하고, 상기 캐릭터 설정 정보는 상기 캐릭터의 성별, 나이, 체형 및 사이즈 중 적어도 하나를 포함하고,
    상기 제2 데이터를 기초로 상기 캐릭터 모션 시퀀스를 생성하고,
    상기 캐릭터 모션 시퀀스를 기초로 상기 캐릭터가 착용하고 있는 클로딩의 시계열적인 움직임을 나타내는 프리 클로딩 모션 시퀀스를 산출하고,
    상기 신체 각 부위의 땀 배출량을 기초로 상기 캐릭터의 바디와 클로딩 간 마찰력을 산출하고,
    산출된 상기 마찰력을 기초로 상기 프리 클로딩 모션 시퀀스를 보정한 클로딩 모션 시퀀스를 출력하고,
    출력된 상기 클로딩 모션 시퀀스를 이용하여 상기 캐릭터가 착용하고 있는 상기 클로딩의 모션 변화를 표현하는 것을 포함하는
    인공지능 기반 디지털아이돌 컨텐츠 제작 시스템.
  8. 삭제
  9. 삭제
  10. 제7 항에 있어서,
    상기 애니메이션 모듈은,
    상기 심박수를 입력받고, 이에 대한 출력으로 상기 폐용적 변화량, 상기 자세 변화량, 신체 각 부위의 상기 모양 변화량, 및 상기 땀 배출량을 제공하는 인공지능 모듈과,
    상기 인공지능 모듈에서 출력된 상기 폐용적 변화량, 상기 자세 변화량, 및 상기 모양 변화량을 상기 캐릭터 모션 정보, 상기 배경 정보, 또는 상기 캐릭터 설정 정보를 기초로 보정하여 상기 캐릭터 모션 시퀀스를 출력하는 모션 보정 모듈을 포함하는 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템.
KR1020210115959A 2021-08-31 2021-08-31 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템 KR102343581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210115959A KR102343581B1 (ko) 2021-08-31 2021-08-31 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115959A KR102343581B1 (ko) 2021-08-31 2021-08-31 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템

Publications (1)

Publication Number Publication Date
KR102343581B1 true KR102343581B1 (ko) 2021-12-29

Family

ID=79176765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115959A KR102343581B1 (ko) 2021-08-31 2021-08-31 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템

Country Status (1)

Country Link
KR (1) KR102343581B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040096799A (ko) 2004-06-30 2004-11-17 주식회사 연세교육미디어 인터랙티브 출판물을 이용한 온/오프라인 통합교육 시스템및 그 구현방법
KR20060032409A (ko) * 2004-10-12 2006-04-17 삼성전자주식회사 건강상태에 따른 아바타 영상 생성 방법 및 장치
KR20170068741A (ko) * 2015-12-10 2017-06-20 주식회사 매니아마인드 가상현실에서의 의류 피팅방법 및 피팅프로그램
KR20200071990A (ko) * 2018-12-12 2020-06-22 삼성전자주식회사 전자 장치 및 그의 3d 이미지 표시 방법
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040096799A (ko) 2004-06-30 2004-11-17 주식회사 연세교육미디어 인터랙티브 출판물을 이용한 온/오프라인 통합교육 시스템및 그 구현방법
KR20060032409A (ko) * 2004-10-12 2006-04-17 삼성전자주식회사 건강상태에 따른 아바타 영상 생성 방법 및 장치
KR20170068741A (ko) * 2015-12-10 2017-06-20 주식회사 매니아마인드 가상현실에서의 의류 피팅방법 및 피팅프로그램
KR20200071990A (ko) * 2018-12-12 2020-06-22 삼성전자주식회사 전자 장치 및 그의 3d 이미지 표시 방법
KR20210006662A (ko) * 2019-07-09 2021-01-19 (사)한국애니메이션제작자협회 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102343582B1 (ko) 생체정보를 이용한 인공지능 기반 메타버스 컨텐츠 제작 시스템
US11538216B2 (en) Dynamically estimating light-source-specific parameters for digital images using a neural network
US10997787B2 (en) 3D hand shape and pose estimation
KR102341866B1 (ko) 메타버스 디지털아이돌을 구현하는 인공지능 기반 플랫폼 제공 시스템 및 그 방법
JP6522060B2 (ja) オブジェクト認識装置、分類ツリー学習装置及びその動作方法
US10540817B2 (en) System and method for creating a full head 3D morphable model
US10846903B2 (en) Single shot capture to animated VR avatar
US10796480B2 (en) Methods of generating personalized 3D head models or 3D body models
US8624901B2 (en) Apparatus and method for generating facial animation
US20200151963A1 (en) Training data set generation apparatus and method for machine learning
EP3475920A1 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
CN108961369A (zh) 生成3d动画的方法和装置
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN113628327A (zh) 一种头部三维重建方法及设备
CN112784621A (zh) 图像显示方法及设备
KR102316114B1 (ko) 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법
Wang et al. Digital twin: Acquiring high-fidelity 3D avatar from a single image
CN109658508A (zh) 一种多尺度细节融合的地形合成方法
KR102343581B1 (ko) 생체정보를 이용하여 캐릭터 리얼리티를 향상시키기 위한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템
KR100889854B1 (ko) 캐리커처 비디오 생성 방법 및 장치
KR102341863B1 (ko) 생체정보를 이용한 인공지능 기반 디지털아이돌 컨텐츠 제작 시스템
US20230050535A1 (en) Volumetric video from an image source
KR102316111B1 (ko) 빅데이터를 활용한 인공지능 기반 애니메이션 레이아웃 시스템 및 그 방법
KR102316112B1 (ko) 빅데이터를 활용한 인공지능 기반 멀티 오브젝트 레이아웃 시스템 및 그 방법
KR102627659B1 (ko) 후면 영상정보 생성 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant