KR102316114B1 - 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법 - Google Patents

애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법 Download PDF

Info

Publication number
KR102316114B1
KR102316114B1 KR1020210115956A KR20210115956A KR102316114B1 KR 102316114 B1 KR102316114 B1 KR 102316114B1 KR 1020210115956 A KR1020210115956 A KR 1020210115956A KR 20210115956 A KR20210115956 A KR 20210115956A KR 102316114 B1 KR102316114 B1 KR 102316114B1
Authority
KR
South Korea
Prior art keywords
camera
image
animatic
data
module
Prior art date
Application number
KR1020210115956A
Other languages
English (en)
Inventor
서보국
김종철
Original Assignee
주식회사 에스에이엠지엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스에이엠지엔터테인먼트 filed Critical 주식회사 에스에이엠지엔터테인먼트
Priority to KR1020210115956A priority Critical patent/KR102316114B1/ko
Application granted granted Critical
Publication of KR102316114B1 publication Critical patent/KR102316114B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Abstract

본 발명은 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법을 개시한다. 상기 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템은, 제작자로 부터 작업 지시를 수신하고, 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행하고, 애니메이션 이미지를 생성하는 애니메이션 제작 장치 및 애니메이션 파일에서 적어도 하나의 카메라 워크 정보를 추출하고, 상기 적어도 하나의 카메라 워크 정보를 연출 유형에 따라 인공지능을 이용하여 분류하여 카메라 워크 라이브러리 데이터를 생성하고, 상기 제작자로부터 애니메틱 영상을 수신하고, 상기 애니메틱 영상과 상기 카메라 워크 라이브러리 데이터와의 유사성 판단을 통해서 상기 최적 라이브러리 데이터를 선정하여 상기 애니메이션 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되, 상기 애니메틱 영상은 상기 제작자가 프리프로덕션 단계에서 생성한 2차원 스토리보드를 영상으로 편집하여 생성되고, 상기 유사성 판단은 인공지능에 의해서 수행된다.

Description

애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법{Artificial intelligence-based layout system utilizing animatic image and big data and method therefor}
본 발명은 애니메틱 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법에 관한 것이다. 구체적으로, 본 발명은 애니메이션 제작 과정에서 애니메틱 영상 빅데이터를 통해서 자동으로 레이아웃을 세팅하는 인공지능 시스템 및 방법에 관한 것이다.
애니메이션의 제작은 매우 복잡한 절차를 통해서 이루어진다. 종래의 애니메이션 제작의 경우 3D 그래픽을 다루는 DCC(Digital Content Creation tools)을 이용하여 선형적인 방식으로 제작이 이루어진다. 구체적으로, 현재의 애니메이션 제작 방식은 모델링 단계, 애니메이션 단계, 렌더링 단계 및 컴포짓 단계를 순차적으로 수행하여 최종적인 애니메이션 이미지가 생성된다.
이러한 방식의 애니메이션 제작 방법은 영화에서 사용되는 카메라의 레이아웃 기법을 적용하여 수행되고 있다. 즉, 카메라 워크에 있어서 특유의 극적 효과를 내기 위하여 기존에 사용되었던 다양한 카메라 워크 방식을 그대로 사용되는 경우가 많다. 이러한 연출 방식은 미장센(Mise-en-Sc
Figure 112021100918297-pat00001
ne)이라는 용어로 표현되기도 하며, 서로 다른 작품에서 반복적으로 사용될 수 있다.
따라서, 새로운 애니메이션 작품을 제작하는 경우에도 기존의 작품에서 사용된 카메라 워크를 차용하여 사용하는 것이 전혀 어색하지 않으며, 오히려 효율성 및 효과에서 더욱 좋은 결과를 가져올 수 있다.
카메라 워크를 차용할 때 어떤 카메라 워크를 사용할지에 대해서는 인공지능이 자동으로 판단할 수 있다면 애니메이션 제작의 비용 및 노력이 대폭 줄어들 수 있다.
공개특허공보 제10-2004-0096799호
본 발명의 과제는, 애니메이션 제작 과정의 효율성을 극대화하기 위해 기존의 카메라 워크의 레이아웃에 관한 빅데이터를 활용한 인공지능 기반 멀티 오브젝트 레이아웃 시스템을 제공하는 것이다.
또한, 본 발명의 다른 과제는, 애니메이션 제작 과정의 효율성을 극대화하기 위해 기존의 카메라 워크의 레이아웃에 관한 빅데이터를 활용한 인공지능 기반 멀티 오브젝트 레이아웃 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템은, 제작자로 부터 작업 지시를 수신하고, 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행하고, 애니메이션 이미지를 생성하는 애니메이션 제작 장치 및 애니메이션 파일에서 적어도 하나의 카메라 워크 정보를 추출하고, 상기 적어도 하나의 카메라 워크 정보를 연출 유형에 따라 인공지능을 이용하여 분류하여 카메라 워크 라이브러리 데이터를 생성하고, 상기 제작자로부터 애니메틱 영상을 수신하고, 상기 애니메틱 영상과 상기 카메라 워크 라이브러리 데이터와의 유사성 판단을 통해서 상기 최적 라이브러리 데이터를 선정하여 상기 애니메이션 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되, 상기 애니메틱 영상은 상기 제작자가 프리프로덕션 단계에서 생성한 2차원 스토리보드를 영상으로 편집하여 생성되고, 상기 유사성 판단은 인공지능에 의해서 수행된다.
또한, 상기 빅데이터 라이브러리는, 적어도 하나의 애니메이션 파일을 저장하고, 상기 적어도 하나의 애니메이션 파일에서 각각 적어도 하나의 카메라 워크 정보를 추출하는 애니메이션 파일 데이터베이스와, 상기 적어도 하나의 카메라 워크 정보를 인공지능을 통해서 연출 유형에 따라 분류하여 카메라 워크 라이브러리 데이터를 생성하는 연출 유형 분류 모듈과, 상기 카메라 워크 라이브러리 데이터를 저장하는 라이브러리 데이터베이스와, 상기 카메라 워크 라이브러리 데이터와 상기 애니메틱 영상을 비교하여 유사성을 기반으로 최적 라이브러리 데이터를 선정하는 최적 라이브러리 검색 모듈을 포함할 수 있다.
또한, 상기 카메라 워크 정보는 복수의 1차 파라미터 데이터를 포함하고, 상기 연출 유형 분류 모듈은, 상기 복수의 1차 파라미터를 연산하여 생성된 2차 파라미터를 생성하는 2차 파라미터 생성 모듈과, 인공지능을 통해, 상기 2차 파라미터를 이용하여 연출 유형을 분류하고, 분류 결과에 따라 상기 카메라 워크 라이브러리 데이터를 생성하는 인공지능 모듈을 포함할 수 있다.
또한, 상기 1차 파라미터 데이터는 카메라 물리 정보, 카메라 모션 정보, 캐릭터 모션 정보, 배경 정보 및 바운딩 박스 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 2차 파라미터 생성 모듈은, 상기 카메라 워크 정보에 포함된 각 캐릭터와 카메라와 사이의 일대일 관계에서 정의되는 단일 객체 파라미터를 생성하는 단일 객체 파라미터 생성 모듈과, 상기 카메라 워크 정보에 포함된 캐릭터가 복수인 경우 상기 캐릭터들과 상기 카메라 사이의 다대일 관계에서 정의되는 복수 객체 파라미터를 생성하는 복수 객체 파라미터 생성 모듈과, 상기 단일 객체 파라미터 및 상기 복수 객체 파라미터를 통합하여 상기 2차 파라미터를 생성하는 파라미터 통합 모듈을 포함할 수 있다.
또한, 상기 최적 라이브러리 검색 모듈은, 상기 애니메틱 영상의 유형을 확인하여 유형 정보를 생성하는 유형 확인 모듈과, 상기 유형 정보를 통해서 상기 카메라 워크 라이브러리 데이터 중 동일한 유형의 필터링 데이터를 선정하고, 상기 필터링 데이터 중 상기 애니메틱 영상과 가장 유사한 데이터를 상기 최적 라이브러리 데이터로 선정하는 최적 라이브러리 선정 모듈을 포함할 수 있다.
또한, 상기 애니메틱 영상은 적어도 하나의 프레임을 포함하고, 상기 적어도 하나의 프레임은 시간의 흐름에 따라 재생될 수 있다.
상기 다른 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법은, 카메라 워크 정보를 통해서 연출 유형을 분류하여 카메라 라이브러리 데이터를 생성하고, 제작자로부터 애니메틱 영상을 수신하되, 상기 애니메틱 영상은 상기 제작자가 프리프로덕션 단계에서 생성한 2차원 스토리보드를 영상으로 편집하여 생성되고, 상기 카메라 라이브러리 데이터와 상기 애니메틱 영상의 유사성을 인공지능을 통해 검토하여 가장 유사한 최적 라이브러리 데이터를 선정하고, 상기 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행하고, 상기 레이아웃 작업 이후, 렌더링 단계 및 컴포짓 단계를 수행하여 애니메이션 이미지를 생성하는 것을 포함한다.
또한, 상기 카메라 워크 라이브러리 데이터를 생성하는 것은, 애니메이션 파일에서 상기 카메라 워크 정보를 추출하되, 상기 카메라 워크 정보는 1차 파라미터를 포함하고, 상기 1차 파라미터를 이용하여 2차 파라미터를 계산하고, 인공지능을 통해, 상기 2차 파라미터를 이용하여 카테고리 식별 정보를 추가하여 카메라 워크 라이브러리 데이터를 생성하는 것을 포함할 수 있다.
또한, 상기 최적 라이브러리 데이터를 선정하는 것은, 상기 애니메틱 영상의 유형을 확인하고, 상기 애니메틱 영상과 동일한 유형의 상기 카메라 워크 라이브러리 데이터 중 가장 유사한 데이터를 상기 최적 라이브러리 데이터로 선정하는 것을 포함할 수 있다.
본 발명의 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법은, 미리 저장된 빅데이터에서 레이아웃 세팅을 차용하여 손쉽게 연출을 수행할 수 있다.
또한, 이러한 작업의 효율을 위해서 프리프로덕션 단계에서 제작된 애니메틱 영상과 가장 유사한 카메라 라이브러리 데이터를 인공지능을 통해서 선정하여 애니메이션 제작의 노력, 비용 및 기간을 대폭 단축시킬 수 있다.
나아가, 인공지능을 통해 2차 파라미터를 사용하여 유형을 분류하여 높은 수준의 정밀도를 확보할 수 있다. 이때, 2차 파라미터는 단일 객체 파라미터 및 복수 객체 파라미터를 각각 생성한 뒤 통합하여 생성되어 카메라 워크 유형을 더욱 정밀하게 분류할 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템을 설명하기 위한 개념도이다.
도 2는 도 1의 애니메틱 영상을 설명하기 위한 개념도이다.
도 3은 도 1의 애니메이션 제작 장치를 세부적으로 설명하기 위한 블록도이다.
도 4는 도 1의 빅데이터 라이브러리를 세부적으로 설명하기 위한 블록도이다.
도 5는 애니메이션 제작의 레이아웃을 설명하기 위한 개념도이다.
도 6은 도 4의 카메라 워크 정보를 세부적으로 설명하기 위한 개념도이다.
도 7은 도 6의 카메라 모션 정보를 설명하기 위한 예시도이다.
도 8은 도 6의 캐릭터 모션 정보를 설명하기 위한 예시도이다.
도 9는 도 4의 연출 유형 분류 모듈을 세부적으로 설명하기 위한 블록도이다.
도 10은 도 9의 2차 파라미터 생성 모듈을 세부적으로 설명하기 위한 블록도이다.
도 11은 카메라의 연출 유형을 설명하기 위한 표이다.
도 12는 도 4의 카메라 워크 라이브러리 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.
도 13은 도 4의 최적 라이브러리 검색 모듈을 세부적으로 설명하기 위한 블록도이다.
도 14는 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법을 설명하기 위한 순서도이다.
도 15는 도 14의 카메라 워크 라이브러리 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이다.
도 16은 도 15의 2차 파라미터를 계산하는 단계를 세부적으로 설명하기 위한 순서도이다.
도 17은 도 14의 최적 라이브러리 데이터 선정 단계를 세부적으로 설명하기 위한 순서도이다.
도 18은 도 14의 애니메이션 이미지 생성 단계를 세부적으로 설명하기 위한 순서도이다.
Figure 112021100918297-pat00002
Figure 112021100918297-pat00003
Figure 112021100918297-pat00004
Figure 112021100918297-pat00005
Figure 112021100918297-pat00006
Figure 112021100918297-pat00007
Figure 112021100918297-pat00008
Figure 112021100918297-pat00009
Figure 112021100918297-pat00010
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하, 도 1 내지 도 13을 참조하여, 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템을 설명한다.
도 1은 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템은 제작자(100)로부터 작업 지시(Wp)를 수신하고, 애니메이션 이미지(Pr)를 제공할 수 있다. 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템은 애니메이션 제작 장치(200) 및 빅데이터 라이브러리(300)를 포함한다.
제작자(100)는 애니메이션을 제작하는 사람일 수 있다. 제작자(100)는 1명 이상의 인력일 수 있다. 제작자(100)는 단순히 자연인뿐만 아니라 기업과 같은 법인체일 수도 있다. 제작자(100)는 3D 애니메이션의 제작을 위해서 애니메이션 제작 장치(200)에 작업 지시(Wp)를 전송할 수 있다. 작업 지시(Wp)는 1회성이 아닌 연속적인 지시로 애니메이션 제작 장치(200)에 전송될 수 있다. 다르게 표현하면, 제작자(100)는 애니메이션 제작 장치(200)를 이용하여 애니메이션 이미지(Pr)를 제작할 수 있고, 이를 위해서 수행되는 일련의 작업을 작업 지시(Wp)로 표현할 수 있다.
애니메이션 제작 장치(200)는 제작자(100)로부터 작업 지시(Wp)를 수신할 수 있다. 애니메이션 제작 장치(200)는 작업 지시(Wp)에 따라 애니메이션 이미지(Pr)를 생성하여 제작자(100)에게 전달할 수 있다.
빅데이터 라이브러리(300)는 내부에 기존에 제작된 애니메이션의 파일이 모두 저장되어 있을 수 있다. 빅데이터 라이브러리(300)는 저장된 애니메이션 파일의 레이아웃 정보를 유형별로 분류하여 카메라 워크 라이브러리 데이터로 보유할 수 있다. 빅데이터 라이브러리(300)는 제작자(100)로부터 애니메틱 영상(Anm)을 수신할 수 있다. 빅데이터 라이브러리(300)는 애니메틱 영상(Anm)을 저장할 수 있다.
빅데이터 라이브러리(300)는 애니메틱 영상(Anm)에 대응하는 최적의 레이아웃 데이터 즉, 최적 라이브러리 데이터(CamL_op)를 애니메이션 제작 장치(200)로 전송할 수 있다.
애니메이션 제작 장치(200)는 최적 라이브러리 데이터(CamL_op)를 수신하고, 이를 이용하여 애니메이션 이미지(Pr)를 생성할 수 있다. 상술한 바와 같이, 애니메이션 제작 장치(200)는 애니메이션 이미지(Pr)를 제작자(100)에게 전송할 수 있다.
이때, 애니메이션 제작 장치(200) 및 빅데이터 라이브러리(300)는 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 중 적어도 하나로 구현될 수 있으나, 본 실시예가 이에 제한되는 것은 아니다.
애니메이션 제작 장치(200) 및 빅데이터 라이브러리(300)는 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
네트워크를 통해서 통신하는 애니메이션 제작 장치(200) 및 빅데이터 라이브러리(300)는 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 2는 도 1의 애니메틱 영상을 설명하기 위한 개념도이다.
도 2를 참조하면, 애니메틱 영상(Anm)은 적어도 하나의 프레임을 포함할 수 있다. 이때, 프레임의 개수가 n개라고 하면, 첫 프레임은 제1 프레임(Fr1)이고, 마지막 프레임은 제n 프레임(Frn)일 수 있다.
애니메틱 영상(Anm)은 제작자(100)가 프리프로덕션 단계에서 제작할 수 있다. 애니메틱 영상(100)은 콘티나 스토리보드가 만들어지면 이를 영상으로 편집한 것을 의미할 수 있다. 애니메틱 영상(Anm)은 실제 시간에 맞게 동작이나 동선을 시각화한 것으로, 전체적인 애니메이션의 흐름을 파악할 수 있게 제작될 수 있다. 애니메틱 영상(Anm)은 움직임의 디테일을 살리거나, 움직임 자체를 표현할 필요는 없다.
스토리보드나 콘티가 2차원 스케치를 포함할 수도 있으므로 애니메틱 영상(Anm)도 스케치를 기반으로 제작된 영상일 수 있다. 애니메틱 영상(Anm)은 사운드가 없는 것이 일반적이지만, 예외적으로 중요한 부분에서는 사운드도 삽입될 수 있다.
애니메틱 영상(Anm)은 제1 프레임(Fr1)에서 제n 프레임(Frn)까지 복수의 프레임이 시간의 흐름에 따라 재생될 수 있다. 이에 따라서, 애니메이션의 타이밍을 정의하는 데 중요한 자료로 사용될 수 있다.
도 3은 도 1의 애니메이션 제작 장치를 세부적으로 설명하기 위한 블록도이다.
도 3을 참조하면, 애니메이션 제작 장치(200)는 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)을 포함할 수 있다. 애니메이션 제작 장치(200)는 예를 들어, DCC(Digital Content Creation tools)일 수 있다. 또는 애니메이션 제작 장치(200)는 DCC 및 3D 게임 엔진을 포함할 수도 있다. 나아가, 애니메이션 제작 장치(200)는 인공지능 모듈을 통해서 DCC 및 3D 게임 엔진 사이의 데이터 익스포트/임포트를 조율할 수도 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 작업 지시(Wp)를 수신할 수 있다. 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 작업 지시(Wp)에 따라서 각각 모델링 작업, 애니메이션 작업, 렌더링 작업 및 컴포짓 작업을 수행할 수 있다. 모델링 모듈(210), 애니메이션 모듈(220), 렌더링 모듈(230) 및 컴포짓 모듈(240)은 서로 다른 하드웨어로 구현될 수도 있고, 동일 혹은 일부가 중복되는 하드웨어에 의해서 각각 구현될 수 있다.
구체적으로, 모델링 모듈(210)은 작업 지시(Wp)에 의해서 모델링 작업을 수행할 수 있다. 모델링 작업이란 애니메이션 제작 장치(200)를 이용하여 캐릭터 및 배경과 같은 오브젝트를 모델링(modeling)하는 것을 의미할 수 있다. 즉, 추후 애니메이션 단계에서 사용하기 위해서 오브젝트의 디자인은 모델링 작업에서 완성되어야 한다. 모델링 모듈(210)은 폴리곤 모델링을 수행할 수 있다. 모델링 모듈(210)은 폴리곤 모델링을 수행한 후에 텍스쳐링 작업을 수행할 수 있다. 텍스쳐링 작업은 오브젝트의 표면의 질감 및 색상을 적용하기 위한 작업일 수 있다. 텍스쳐링 작업은 쉐이더를 이용하여 메티리얼을 적용하는 방식으로 진행될 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
이어서, 모델링 모듈(210)은 리깅(rigging)을 수행할 수 있다. 리깅은 모델링된 오브젝트에 뼈를 붙이는 작업을 의미할 수 있다. 리깅을 수행해야 추후 애니메이션 단계를 거친 오브젝트의 움직임이 자연스러울 수 있다. 따라서 모델링 모듈(210)은 움직일 수 있는 관절 부분과 같이 움직여야 하는 뼈 부분을 작업 지시(Wp)에 따라 정의할 수 있다.
애니메이션 모듈(220)은 애니메이션 작업을 하기 위해서 레이아웃 작업을 수행할 수 있다. 레이아웃 작업은 카메라 및 캐릭터의 동선을 정하는 것을 주된 목적으로 할 수 있다. 이러한 카메라와 캐릭터의 동선은 대략적으로 프리 프로덕션 단계에서 콘티 등에 의해서 대략적으로 정해질 수 있으나, 실제 적용을 위해서는 세세한 부분의 수정이 필요할 수 있다.
애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)를 수신할 수 있다. 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)에 따라 카메라(Cam), 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 및 배경(BG)의 세부 사항을 세팅할 수 있다. 즉, 최적 라이브러리 데이터(CamL_op)의 내용을 그대로 적용하여 레이아웃 작업을 수행할 수 있다.
애니메이션 모듈(220)은 모델링 모듈(210)이 생성한 오브젝트의 레이아웃을 세팅한 후에 오브젝트들을 움직이게 할 수 있다. 즉, 애니메이션 모듈(220)은 작업 지시(Wp)에 따라서 레이아웃 작업을 포함하는 애니메이션 단계를 수행할 수 있다. 애니메이션 단계는 오브젝트의 움직이는 포인트 즉, 리깅 단계에서 관절에 해당하는 부분의 전 위치와 후 위치를 정의하는 방식을 사용할 수 있다. 애니메이션 모듈(220)은 시간에 따른 전 위치 및 후 위치를 정의하고, 그 사이의 오브젝트의 움직임을 인터폴레이션을 이용하여 자연스럽게 채울 수 있다. 이에 따라서, 오브젝트의 움직임이 사실적으로 표현될 수 있다.
렌더링 모듈(230)은 작업 지시(Wp)에 따라서 렌더링 작업을 수행할 수 있다. 3D 애니메이션 제작과정에서 렌더링 작업은 오브젝트들의 3D 움직임을 구현하는 애니메이션 작업 이후에 카메라(Cam)에 의해서 촬영되는 2차원적인 영상을 만들어 내는 단계일 수 있다. 이때, 2차원의 의미는 애니메이션 이미지가 2차원이라는 것이 아니라 3차원의 세계를 촬영하여 2차원의 화면에 투사하는 영상물로 제작한다는 의미일 수 있다.
렌더링 모듈(230)은 즉, 애니메이션 작업까지 완료된 오브젝트들의 애니메이션 이미지를 생성해야 하므로, 오브젝트의 배열, 시점, 텍스쳐 매핑, 조명 및 쉐이딩의 세부 단계를 거쳐 렌더링 작업을 수행할 수 있다. 렌더링 모듈(230)은 여러 채널을 이용하여 복수의 레이어로 렌더링을 수행할 수 있다. 멀티 채널 렌더링은 색상의 톤을 맞추거나 대조하여 밝기를 수정하는 작업을 용이하게 할 수 있다. 또한, 멀티 채널 렌더링은 이펙트나 실사합성 같은 작업을 수행하기 위해서 필요할 수 있다. 렌더링 모듈(230)은 렌더링이 완료된 이미지를 컴포짓 모듈(240)로 전송할 수 있다.
컴포짓 모듈(240)은 렌더링된 여러 개의 이미지를 수신하고, 이를 하나의 최종 장면으로 통합하는 컴포짓 작업을 수행할 수 있다. 컴포짓 모듈(240)은 하나의 이미지를 다양한 레이어를 합성하여 완성시킬 수 있다. 예를 들어, 컴포짓 모듈(240)은 하나의 이미지를 각기 다른 속성별로 분류된 여러 장의 레이어를 적층시켜 형성할 수 있다. 이때, 레이어는 캐릭터, 배경, 이펙트, 그림자 및 재질로 나누어질 수 있다. 또한, 재질 레이어는 세부적으로 디퓨즈, 스펙귤러 및 리플렉션으로 나누어질 수 있다.
또한, 컴포짓 모듈(240)은 알파채널의 마스크를 이용하여 크로마키, 글자 및 그림을 합성할 수 있다. 이를 통해서, 최종적으로 완성된 애니메이션 이미지(Pr)가 생성될 수 있다. 컴포짓 모듈(240)은 애니메이션 이미지(Pr)를 제작자(100)에게 전송할 수 있다.
도 4는 도 1의 빅데이터 라이브러리를 세부적으로 설명하기 위한 블록도이다.
도 4를 참조하면, 빅데이터 라이브러리(300)는 애니메이션 파일 데이터베이스(310), 연출 유형 분류 모듈(320), 라이브러리 데이터베이스(330) 및 최적 라이브러리 검색 모듈(340)을 포함할 수 있다.
애니메이션 파일 데이터베이스(310)는 기존에 작업된 애니메이션 파일이 모두 저장되어 있을 수 있다. 애니메이션 파일 데이터베이스(310)는 내부에 저장된 모든 애니메이션 파일에 대해서 카메라 워크 정보(Icw)를 추출할 수 있다. 이에 따라서, 애니메이션 파일 각각에 대한 카메라 워크 정보(Icw)가 애니메이션 파일 데이터베이스(310)에 저장될 수 있다.
도 5는 애니메이션 제작의 레이아웃을 설명하기 위한 개념도이고, 도 6은 도 4의 카메라 워크 정보의 구조를 세부적으로 설명하기 위한 개념도이다. 도 5에서는 2개의 캐릭터가 도시되었지만, 본 실시예가 이에 제한되는 것은 아니다. 캐릭터의 개수는 1개일 수도, 3개 이상일 수도 있다.
카메라 워크 정보(Icw)는 카메라 물리 정보(C1), 카메라 모션 정보(C2), 캐릭터 모션 정보(C3), 배경 정보(C4) 및 바운딩 박스 정보(C5)를 포함할 수 있다.
카메라 물리 정보(C1)는 카메라의 물리적 특성에 대한 정보일 수 있다. 예를 들어, 카메라 물리 정보(C1)는 카메라의 렌즈의 크기, 모양, 개수 및 셔터의 속도 중 적어도 하나를 포함할 수 있다.
카메라 모션 정보(C2)는 시간에 따른 시계열 데이터일 수 있다. 카메라 모션 정보(C2)는 시간에 따른 카메라(Cam)의 3차원 위치, 방향, 회전 방향 및 회전 각도 중 적어도 하나를 포함할 수 있다. 카메라 모션 정보(C2)는 즉, 카메라(Cam)의 절대적인 움직임을 모두 포함하는 빅데이터일 수 있다.
캐릭터 모션 정보(C3)도 시간에 따른 시계열 데이터일 수 있다. 캐릭터 모션 정보(C3)는 시간에 따른 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 3차원 위치, 방향, 회전 방향 및 회전 각도 중 적어도 하나를 포함할 수 있다. 나아가, 캐릭터 모션 정보(C3)는 단순히 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 각각의 대표 좌표의 3차원 위치뿐만 아니라 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 포즈를 결정하는 복수의 유효 좌표의 3차원 위치도 포함할 수 있다. 이를 통해서, 캐릭터 모션 정보(C3)는 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 시간에 따른 위치뿐만 아니라 시간에 따른 자세도 정의할 수 있다. 즉, 캐릭터 모션 정보(C3)는 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 절대적인 움직임을 모두 포함하는 빅데이터일 수 있다.
배경 정보(C4)는 배경(BG)의 위치 및 형상과 시간에 따른 변형에 대한 정보를 포함할 수 있다. 즉, 배경 정보(C4)도 시간에 따라 달라지는 시계열 데이터일 수 있다. 배경(BG)은 지면, 나무, 바다, 강 및 건물과 같은 구조 중 적어도 하나를 포함할 수 있다.
바운딩 박스 정보(C5)는 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)와 같은 오브젝트의 바운딩 박스에 대한 정보일 수 있다. 바운딩 박스란, 3차원 직교 좌표에서 오브젝트의 최대 크기를 규정하기 위한 직육면체 박스를 의미할 수 있다. 즉, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 바운딩 박스는 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)가 시간에 따라 변형되어 크기가 커지더라도 항상 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)를 감쌀 수 있다. 위에서, 바운딩 박스는 직육면체라고 설명하였지만, 본 실시예가 이에 제한되는 것은 아니다. 바운딩 박스의 형태는 필요에 따라 얼마든지 달라질 수 있다.
도 7은 도 6의 카메라 모션 정보를 설명하기 위한 예시도이고, 도 8은 도 6의 캐릭터 모션 정보를 설명하기 위한 예시도이다.
도 5 및 도 7을 참조하면, 카메라 모션 정보(C2)는 시간에 따른 3차원 위치 좌표로 표현될 수 있다. 카메라 모션 정보(C2)는 시간에 따라 수치로 기록되는 테이블 형태일 수 있다. 카메라 모션 정보(C2)는 도 7과 같이 그래프로 표현될 수도 있다. 이때, X좌표, Y좌표, Z좌표의 직교 위치 좌표와 카메라(Cam)의 방향에 대한 좌표도 그래프로 표현될 수 있다. 물론, 위치 좌표가 극좌표나 다른 좌표로 표현되는 것도 가능하다. 그래프는 필요한 항목을 체크하면 표시될 수 있다. 즉, 표시된 그래프의 개수는 필요에 따라 달라질 수 있다.
도 5 및 도 8을 참조하면, 캐릭터 모션 정보(C3)는 시간에 따른 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 3차원 위치 좌표로 표현될 수 있다. 캐릭터 모션 정보(C3)는 시간에 따라 수치로 기록되는 테이블 형태일 수 있다. 캐릭터 모션 정보(C3)는 도 8과 같이 그래프로 표현될 수도 있다. 이때, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 대표 좌표의 X좌표, Y좌표, Z좌표의 직교 위치 좌표와 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 다른 유효 부분에 대한 좌표도 그래프로 표현될 수 있다. 또는, 위치 좌표가 극좌표나 다른 좌표로 표현되는 것도 가능하다. 그래프는 필요한 항목을 체크하면 표시될 수 있다. 즉, 표시된 그래프의 개수는 필요에 따라 달라질 수 있다.
다시, 도 4를 참조하면, 연출 유형 분류 모듈(320)은 애니메이션 파일 데이터베이스(310)로부터 카메라 워크 정보(Icw)를 수신할 수 있다. 연출 유형 분류 모듈(320)은 카메라 워크 정보(Icw)를 유형별로 분류하여 카메라 워크 라이브러리 데이터(CamL)를 생성할 수 있다.
도 9는 도 4의 연출 유형 분류 모듈을 세부적으로 설명하기 위한 블록도이다.
도 5 및 도 9를 참조하면, 연출 유형 분류 모듈(320)은 2차 파라미터 생성 모듈(321) 및 인공지능 모듈(322)을 포함할 수 있다.
2차 파라미터 생성 모듈(321)은 카메라 워크 정보(Icw)를 수신할 수 있다. 2차 파라미터(P2)는 1차 파라미터를 이용하여 생성된 파라미터일 수 있다. 2차 파라미터(P2)는 미리 설정된 파라미터일 수 있다. 2차 파라미터(P2)는 연출 유형을 분류하기 쉽게 하기 위한 파라미터일 수 있다.
2차 파라미터(P2)는 예를 들어, 카메라(Cam)의 시간에 따른 속도, 카메라(Cam)의 시간에 따른 가속도, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 시간에 따른 속도, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2)의 시간에 따른 가속도, 카메라(Cam)와 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 사이의 거리, 카메라(Cam)와 배경(BG) 중 지면과의 거리, 카메라(Cam)와 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 사이의 각도 및 카메라(Cam)와 배경(BG) 중 지면과의 각도 중 적어도 하나를 포함할 수 있다.
또한, 2차 파라미터(P2)는 카메라(Cam)와 제1 캐릭터(ch1) 사이의 거리와 카메라(Cam)와 제2 캐릭터(ch2) 사이의 거리의 합, 차, 곱 등 연산 값 그리고, 카메라(Cam)와 제1 캐릭터(ch1) 사이의 각도와 카메라(Cam)와 제2 캐릭터(ch2) 사이의 각도의 연산 값 등을 포함할 수도 있다.
2차 파라미터(P2)는 1차 파라미터 중 일부를 변환 없이 그대로 포함할 수도 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
인공지능 모듈(322)은 2차 파라미터(P2)를 수신할 수 있다. 인공지능 모듈(322)은 2차 파라미터(P2)를 이용하여 카메라 워크 라이브러리 데이터(CamL)를 생성할 수 있다. 인공지능 모듈(322)은 딥러닝 모듈일 수 있다. 인공지능 모듈(322)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다. 인공지능 모듈(322)은 지도 학습을 이용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니고, 인공지능 모듈(322)은 비지도 학습을 이용할 수도 있다.
인공지능 모듈(322)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network) 및 SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
도 10은 도 9의 2차 파라미터 생성 모듈을 세부적으로 설명하기 위한 블록도이다.
도 3 및 도 10을 참조하면, 2차 파라미터 생성 모듈(321)은 단일 객체 파라미터 생성 모듈(321a), 복수 객체 파라미터 생성 모듈(321b) 및 파라미터 통합 모듈(321c)을 포함할 수 있다.
단일 객체 파라미터 생성 모듈(321a)은 카메라 워크 정보(Icw)를 수신하고, 단일 객체 파라미터(P2s)를 생성할 수 있다. 단일 객체 파라미터(P2s)는 카메라(Cam)와 각 오브젝트 즉, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 중 어느 하나와의 일대일 관계에서 정의되는 파라미터일 수 있다.
즉, 예를 들어, 단일 객체 파라미터(P2s)는 카메라(Cam)와 제1 캐릭터(ch1) 사이의 거리, 카메라(Cam)와 제2 캐릭터(ch2) 사이의 거리, 카메라(Cam)와 제2 캐릭터(ch2) 사이의 상대 속도, 제1 캐릭터(ch1)와 카메라(Cam) 사이의 각도와 같이 카메라(Cam)와 하나의 오브젝트 사이의 관계에서 도출되는 파라미터일 수 있다.
단일 객체 파라미터 생성 모듈(321a)은 단일 객체 파라미터(P2s)를 복수 객체 파라미터 생성 모듈(321b) 및 파라미터 통합 모듈(321c)로 전송할 수 있다.
복수 객체 파라미터 생성 모듈(321b)은 카메라 워크 정보(Icw)를 수신하고, 복수 객체 파라미터(P2m)를 생성할 수 있다. 복수 객체 파라미터(P2m)는 카메라(Cam)와 복수의 오브젝트 즉, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 모두와의 다대일 관계에서 정의되는 파라미터일 수 있다.
즉, 예를 들어, 복수 객체 파라미터(P2m)는 카메라(Cam)와 제1 캐릭터(ch1) 사이의 거리와 카메라(Cam)와 제2 캐릭터(ch2) 사이의 거리를 연산한 값일 수 있다. 이때, 연산은 합, 곱, 차 등의 사칙 연산일 수도 있고, 지수 연산, 로그 연산 등 더 복잡한 연산일 수도 있다.
또한, 복수 객체 파라미터(P2m)는 예를 들어, 카메라(Cam)와 제2 캐릭터(ch2) 사이의 상대 속도와 제1 캐릭터(ch1)와 카메라(Cam) 사이의 각도를 서로 연산한 값일 수 있다. 즉, 복수 객체 파라미터(P2m)는 멀티 오브젝트 즉, 복수의 오브젝트가 있는 경우에 생성될 수 있고, 카메라(Cam)와 복수의 오브젝트들 사이의 관계에서 정의될 수 있다. 복수 객체 파라미터(P2m)는 매우 다양하게 정의될 수 있고, 이에 따라서, 연출 유형의 분류가 매우 정밀하게 수행될 수 있다.
복수 객체 파라미터(P2m)는 인공지능에 의해서 미리 정의될 수 있다. 즉, 각 연출 유형에 따라 가장 식별력이 큰 복수 객체 파라미터(P2m)가 무엇인지는 인공지능이 학습 데이터를 통해서 찾아낼 수 있다.
복수 객체 파라미터 생성 모듈(321b)은 단일 객체 파라미터(P2s)를 이용하여 복수 객체 파라미터(P2m)를 생성할 수 있다. 복수 객체 파라미터 생성 모듈(321b)는 파라미터 통합 모듈(321c)로 복수 객체 파라미터(P2m)를 전송할 수 있다.
파라미터 통합 모듈(321c)은 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 수신하여 통합할 수 있다. 파라미터 통합 모듈(321c)은 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 통합하여 2차 파라미터(P2)를 생성할 수 있다. 이때, 통합이란 단순히 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 모두 포함시키는 개념일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 파라미터 통합 모듈(321c)이 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 특정한 순서로 배치하거나, 특정 조건으로 변형하여 2차 파라미터(P2)를 생성하는 것도 가능할 수 있다.
도 11은 카메라의 연출 유형을 설명하기 위한 표이다.
도 5, 도 9 및 도 11을 참조하면, 인공지능 모듈(322)은 카메라 워크 라이브러리 데이터(CamL)를 도 11의 연출 유형 중 하나로 식별하여 생성할 수 있다. 카메라 워크 라이브러리 데이터(CamL)가 식별되는 연출 유형은 복수의 제1 카테고리와 복수의 제2 카테고리 중 어느 하나로 식별될 수 있다.
제1 카테고리는 카메라와 캐릭터의 포지션에 따라 결정되는 카메라 연출일 수 있다. 제1 카테고리는 예를 들어, 빅 클로즈업(big close up, BCU), 클로즈업(close up, CU), 바스트샷(bust shot, BS), 웨이스트샷(waist shot, WS), 니샷(knee shot, KS), 풀샷(Full shot, FS), 롱샷(long shot, LS), 익스트림 롱샷(extream long shot, XLS or ELS) 및 오버더 숄더샷(Over the shoulder shot, OSS) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
빅 클로즈업은 캐릭터의 두 눈과 입을 화면 가득히 크게 잡은 샷을 의미할 수 있다. 캐릭터의 머리 상단부와 턱을 배제시키고 잡은 샷으로 캐릭터의 감정 표현을 강조하는 샷일 수 있다. 빅 클로즈업은 익스트림 클로즈업(Extream close up, XCU or ECU)을 포함할 수도 있다. 이때, 익스트림 클로즈업은 화면에 두 눈만을 잡거나 입만을 잡는 경우 등 매우 근접하게 촬영한 샷을 의미할 수 있다.
클로즈업은 목을 포함하여 얼굴 전체를 촬영한 샷을 의미할 수 있다. 바스트샷과 함께 가장 많이 사용되는 샷일 수 있다. 눈위치(아이레벨)에서 가장 많이 사용되는 안정적인 구도 가운데 하나일 수 있다.
바스트샷은 캐릭터의 가슴 부분의 위를 잡은 샷으로, 완벽한 삼각형 구도를 가질 수 있다. 바스트샷은 캐릭터를 잡을 때, 자극성이 없고 편안하게 캐릭터를 알아볼 수 있는 샷으로 드라마, 인터뷰, 토크쇼 및 뉴스 등에서 가장 많이 사용되는 샷일 수 있다.
웨이스트샷은 캐릭터의 허리 위 상반신을 촬영한 샷으로 바스트 샷 다음으로 많이 사용되며, 두 캐릭터를 촬영할 때 가장 많이 사용될 수 있다.
니샷은 캐릭터의 무릎부터 머리까지 촬영한 샷으로 불안정한 감을 주지만 쇼의 무용단의 움직임 등을 보여줄 때 사용될 수 있다. 공간적인 여유가 있어 움직임을 표현하기 좋은 샷일 수 있다.
풀샷은 무대 전체가 포함된 샷으로, 스튜디오에서 세트의 전경이나 출연자 전원이 들어있는 상태를 촬영한 샷일 수 있다. 배경(BG)이나 캐릭터의 움직임 등 상호 간의 위치가 표현되는 샷일 수 있다.
롱샷은 카메라(Cam)와 캐릭터의 거리가 상당히 멀어서 넓은 느낌을 주는 샷일 수 있다. 옥 외의 풍경이나 원경 샷에 주로 이용될 수 있다. 익스트림 롱샷은 일반 롱샷보다 더 넓은 범위를 잡은 샷으로, 대규모 군중 씬이나 자연환경 스케치에 어울리는 샷일 수 있다. 오버더 숄더샷은 한 캐릭터의 어깨 너머로 다른 캐릭터를 비춰주는 구도를 가지는 샷일 수 있다.
제2 카테고리는 카메라의 모션에 의해 결정되는 카메라 연출일 수 있다. 제2 카테고리는 예를 들어, 줌(zoom), 팬(pan), 틸트(tilt), 트랙(track), 돌리(dolly), 아크(arc), 붐(boom) 및 호리즌탈 앵글(horizontal angle) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
줌은 줌 인, 줌 아웃 및 퀵 줌을 포함할 수 있다. 줌 인은 피사체의 전경 중 어느 한 부분만을 강조하거나 그 부분에 관심을 불러일으키고자 할 때 사용되며, 줌의 폭이 크면 클수록 그 효과는 커질 수 있다.
줌 아웃은 피사체의 한 부분을 클로즈업에서 연속적으로 촬영 범위를 넓게 촬영하고자 할 때 사용될 수 있다. 퀵 줌은 극적인 부분 또는 중요한 순간을 강조하기 위해 매우 빨리 줌 인 또는 줌 아웃하는 것을 의미할 수 있다.
팬은 일정한 높이에서 카메라(Cam)의 헤드를 좌우 수평으로 움직이는 것을 의미할 수 있다. 틸트는 카메라(Cam)의 헤드를 상하 수직으로 움직이는 것을 의미할 수 있다. 트랙은 레일 등을 깔고 그 위에서 이동차를 통해 촬영하는 것과 같은 샷을 의미할 수 있다. 트랙은 카메라를 좌우로 이동시키는 것을 의미할 수 있다.
돌리는 이동차, 레일 등을 이용해 카메라(Cam) 자체가 피사체를 향해 가까이 가거나 멀어지는 것을 의미할 수 있다. 아크는 레일을 이용하여 곡선, 원형 또는 반원형 레일을 따라 피사체를 중심으로 일정한 거리를 유지하여 카메라가 원을 그리듯 좌우로 이동시키며 촬영하는 샷을 의미할 수 있다.
붐은 카메라(Cam)의 높이를 상하로 움직이는 것을 의미할 수 있다. 이를 통해서 피사체에 대한 시각적 원근감을 효과적으로 창출할 수 있다. 호리즌탈 앵글은 카메라맨의 눈높이에서 촬영하여 수평 방향으로 촬영하는 앵글일 수 있다. 아이레벨 앵글이라고도 표현할 수 있다. 이 외에도 하이 앵글, 로 앵글, 경사 앵글 및 버즈아이 뷰 앵글 등 많은 유형이 카메라 워크 라이브러리 데이터(CamL)에 식별되어 기록될 수 있다.
도 12는 도 4의 카메라 워크 라이브러리 데이터의 구조를 세부적으로 설명하기 위한 개념도이다.
도 12를 참조하면, 카메라 워크 라이브러리 데이터(CamL)는 도 6의 카메라 워크 정보(Icw)에서 카테고리 식별 정보(C6)를 더 포함할 수 있다. 카메라 워크 라이브러리 데이터(CamL)는 카테고리 식별 정보(C6)에 따라서 동일한 카테고리 별로 분류되어 저장될 수 있다.
카테고리 식별 정보(C6)는 상술한 도 11의 복수의 제1 카테고리 및 복수의 제2 카테고리 중 어느 하나에 대한 식별 정보일 수 있다. 이에 따라서, 카테고리 식별 정보(C6)는 각각의 카메라 워크 라이브러리 데이터(CamL)가 어떤 카테고리인지를 식별하게 할 수 있다.
다시, 도 4를 참조하면, 라이브러리 데이터베이스(330)는 연출 유형 분류 모듈(320)로부터 카메라 워크 라이브러리 데이터(CamL)를 수신할 수 있다. 라이브러리 데이터베이스(330)는 카메라 워크 라이브러리 데이터(CamL)를 저장할 수 있다. 라이브러리 데이터베이스(330)는 하나 이상의 카메라 워크 라이브러리 데이터(CamL)를 카테고리 별로 분류하여 저장할 수 있다.
최적 라이브러리 검색 모듈(340)은 라이브러리 데이터베이스(330)로부터 카메라 워크 라이브러리 데이터(CamL)를 수신할 수 있다. 최적 라이브러리 검색 모듈(340)은 또한, 제작자(100)로부터 애니메틱 영상(Anm)도 수신할 수 있다. 최적 라이브러리 검색 모듈(340)은 애니메틱 영상(Anm)과 카메라 워크 라이브러리 데이터(CamL)를 비교하여 최적 라이브러리 데이터(CamL_op)를 선정할 수 있다. 최적 라이브러리 데이터(CamL_op)는 카메라 워크 라이브러리 데이터(CamL) 중 애니메틱 영상(Anm)과 가장 유사한 데이터일 수 있다.
도 13은 도 4의 최적 라이브러리 검색 모듈을 세부적으로 설명하기 위한 블록도이다.
도 13을 참조하면, 최적 라이브러리 검색 모듈(340)은 유형 확인 모듈(341) 및 최적 라이브러리 선정 모듈(342)을 포함할 수 있다.
유형 확인 모듈(341)은 제작자(100)로부터 애니메틱 영상(Anm)을 수신할 수 있다. 유형 확인 모듈(341)은 애니메틱 영상(Anm)을 통해서 애니메틱 영상(Anm)이 어떤 카테고리인지를 확인할 수 있다.
구체적으로, 유형 확인 모듈(341)은 도 4의 연출 유형 분류 모듈(320)과 같이 딥러닝 모델을 이용하여 인공지능을 통해 유형을 확인할 수 있다. 단, 애니메틱 영상(Anm)은 프리프로덕션 단계에서 제작된 가벼운 영상일 수 있다. 이에 따라서, 애니메틱 영상(Anm)은 카메라 워크 정보(Icw)에 비해서 훨씬 러프한 정보일 수 있으므로, 유형 확인 모듈(341)은 연출 유형 분류 모듈(320)보다는 훨씬 연산량이 적고 가벼운 딥러닝 모델을 사용할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
유형 확인 모듈(341)은 애니메틱 영상(Anm)의 유형 정보(Ic)를 생성할 수 있다. 유형 정보(Ic)는 애니메틱 영상(Anm)이 도 11의 복수의 제1 카테고리 및 복수의 제2 카테고리 중 어느 카테고리에 속하는 지에 대한 정보일 수 있다.
최적 라이브러리 선정 모듈(342)은 유형 확인 모듈(341)로부터 애니메틱 영상(Anm) 및 유형 정보(Ic)를 수신할 수 있다. 최적 라이브러리 선정 모듈(342)은 라이브러리 데이터베이스(330)로부터 카메라 워크 라이브러리 데이터(CamL)도 수신할 수 있다.
최적 라이브러리 선정 모듈(342)은 카메라 워크 라이브러리 데이터(CamL) 중에 유형 정보(Ic)와 동일한 카테고리 식별 정보(C6)를 가진 카메라 워크 라이브러리 데이터(CamL)를 필터링할 수 있다. 이를 통해서, 최적 라이브러리 선정 모듈(342)은 이어서 진행할 유사성 검토의 연산량을 대폭 감소시키고, 연산 속도를 향상시킬 수 있다.
이어서, 최적 라이브러리 선정 모듈(342)은 유형 정보(Ic)와 동일한 카테고리 식별 정보(C6)를 가진 카메라 워크 라이브러리 데이터(CamL) 중에서 프리 카메라 워크 정보(Ipcw)와 가장 유사한 데이터를 최적 라이브러리 데이터(CamL_op)로 선정할 수 있다.
이때, 최적 라이브러리 선정 모듈(342)은 딥러닝 모델을 통해서 유사성을 판단할 수 있다. 최적 라이브러리 선정 모듈(342)은 예를 들어, DFN(Deep Feedforward Network), CNN(Convolutional Neural Network), GNN(Graph Neural Network), DNN(Deep Neural Network), RNN(Recurrent Neural Network), SVM(Support vector machine), ANN(Artificial Neural Network), LSTM(Long Short-Term Memory), GRU(Gated Recurrent Units), DRN(Deep Residual Network), GAN(Generative Adversarial Network), GCN(Graph Convolutional Network) 및 SNN(Spiking Neural Network) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.
본 발명의 몇몇 실시예들에 따른 빅데이터를 활용한 인공지능 기반 멀티 오브젝트 레이아웃 시스템은 인공지능을 통해서 기존에 제작된 애니메이션 파일의 카메라 워크를 유형별로 분류하고, 새로 제작되는 애니메이션에 그 세부사항을 적용시켜 애니메이션 제작 기간을 대폭 단축시키고, 애니메이션의 품질도 더 향상시킬 수 있다.
나아가, 인공지능을 통해서 빅데이터의 유형을 분류하는 작업을 수행하여 인력의 소모를 최소화하고, 높은 효율을 도모할 수 있다. 또한, 유형 분류시에 단순히 제공된 1차 파라미터가 아닌 1차 파라미터를 연산하여 생성된 2차 파라미터를 이용하여 더욱 정밀한 유형 분류를 수행할 수 있다.
2차 파라미터(P2)는 멀티 오브젝트 즉, 복수의 캐릭터와 같은 오브젝트가 있을 경우에는 더욱 세밀하게 형성될 수 있다. 즉, 2차 파라미터(P2)는 단일 객체 파라미터(P2s)와 복수 객체 파라미터(P2m)를 각각 생성한 뒤에 통합되어 생성될 수 있다. 이에 따라서, 더욱 정밀하게 유형의 분류가 수행될 수 있다.
이하, 도 1 내지 도 13 및 도 14 내지 도 18을 참조하여 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법을 설명한다. 상술한 실시예와 중복되는 부분은 생략하거나 간략히 한다.
도 14는 본 발명의 몇몇 실시예들에 따른 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법을 설명하기 위한 순서도이고, 도 15는 도 14의 카메라 워크 라이브러리 데이터 생성 단계를 세부적으로 설명하기 위한 순서도이다. 도 16은 도 15의 2차 파라미터를 계산하는 단계를 세부적으로 설명하기 위한 순서도이고, 도 17은 도 14의 최적 라이브러리 데이터 선정 단계를 세부적으로 설명하기 위한 순서도이다. 도 18은 도 14의 애니메이션 이미지 생성 단계를 세부적으로 설명하기 위한 순서도이다.
도 14를 참조하면, 카메라 워크 정보를 통해서 연출 유형을 분류하여 카메라 워크 라이브러리 데이터를 생성한다(S100).
세부적으로, 도 15를 참조하면, 애니메이션 파일에서 카메라 워크 정보를 추출한다(S110).
구체적으로, 도 4를 참조하면, 애니메이션 파일 데이터베이스(310)는 내부에 저장된 모든 애니메이션 파일에 대해서 카메라 워크 정보(Icw)를 추출할 수 있다. 이에 따라서, 애니메이션 파일 각각에 대한 카메라 워크 정보(Icw)가 애니메이션 파일 데이터베이스(310)에 저장될 수 있다.
다시, 도 15를 참조하면, 1차 파라미터를 통해서 2차 파라미터를 계산한다(S120).
세부적으로, 도 16을 참조하면, 단일 객체 파라미터를 생성한다(S121).
구체적으로, 도 5 및 도 10을 참조하면, 단일 객체 파라미터 생성 모듈(321a)은 카메라 워크 정보(Icw)를 수신하고, 단일 객체 파라미터(P2s)를 생성할 수 있다. 단일 객체 파라미터(P2s)는 카메라(Cam)와 각 오브젝트 즉, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 중 어느 하나와의 일대일 관계에서 정의되는 파라미터일 수 있다.
다시, 도 16을 참조하면, 복수 객체 파라미터를 생성한다(S122).
구체적으로, 도 5 및 도 10을 참조하면, 복수 객체 파라미터 생성 모듈(321b)은 카메라 워크 정보(Icw)를 수신하고, 복수 객체 파라미터(P2m)를 생성할 수 있다. 복수 객체 파라미터(P2m)는 카메라(Cam)와 복수의 오브젝트 즉, 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 모두와의 다대일 관계에서 정의되는 파라미터일 수 있다. 복수 객체 파라미터(P2m)는 인공지능에 의해서 미리 정의될 수 있다. 즉, 각 연출 유형에 따라 가장 식별력이 큰 복수 객체 파라미터(P2m)가 무엇인지는 인공지능이 학습 데이터를 통해서 찾아낼 수 있다.
다시, 도 16을 참조하면, 단일 객체 파라미터 및 복수 객체 파라미터를 통합하여 2차 파라미터를 생성한다(S123).
구체적으로, 도 5 및 도 10을 참조하면, 파라미터 통합 모듈(321c)은 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 수신하여 통합할 수 있다. 파라미터 통합 모듈(321c)은 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 통합하여 2차 파라미터(P2)를 생성할 수 있다. 이때, 통합이란 단순히 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 모두 포함시키는 개념일 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다. 파라미터 통합 모듈(321c)이 단일 객체 파라미터(P2s) 및 복수 객체 파라미터(P2m)를 특정한 순서로 배치하거나, 특정 조건으로 변형하여 2차 파라미터(P2)를 생성하는 것도 가능할 수 있다.
다시, 도 15를 참조하면, 인공지능을 통해 2차 파라미터를 이용하여 카테고리 식별 정보를 추가하여 카메라 워크 라이브러리 데이터를 생성한다(S130).
구체적으로, 도 9를 참조하면, 인공지능 모듈(322)은 2차 파라미터(P2)를 수신할 수 있다. 인공지능 모듈(322)은 2차 파라미터(P2)를 이용하여 카메라 워크 라이브러리 데이터(CamL)를 생성할 수 있다. 인공지능 모듈(322)은 딥러닝 모듈일 수 있다. 인공지능 모듈(322)은 이미 트레이닝 데이터를 이용하여 트레이닝이 완료된 상태일 수 있다.
도 11을 참조하면, 카메라 워크 라이브러리 데이터(CamL)는 도 6의 카메라 워크 정보(Icw)에서 카테고리 식별 정보(C6)를 더 포함할 수 있다. 카메라 워크 라이브러리 데이터(CamL)는 카테고리 식별 정보(C6)에 따라서 동일한 카테고리 별로 분류되어 저장될 수 있다.
다시, 도 14를 참조하면, 프리프로덕션 단계에서 생성된 애니메틱 영상을 수신한다(S200).
구체적으로, 도 2 및 도 4를 참조하면, 애니메틱 영상(Anm)은 제작자(100)가 프리프로덕션 단계에서 제작할 수 있다. 애니메틱 영상(100)은 콘티나 스토리보드가 만들어지면 이를 영상으로 편집한 것을 의미할 수 있다. 애니메틱 영상(Anm)은 제1 프레임(Fr1)에서 제n 프레임(Frn)까지 복수의 프레임이 시간의 흐름에 따라 재생될 수 있다. 최적 라이브러리 검색 모듈(340)은 또한, 제작자(100)로부터 애니메틱 영상(Anm)을 수신할 수 있다.
다시, 도 14를 참조하면, 카메라 워크 라이브러리 데이터 및 애니메틱 영상의 유사성을 검토하여 최적 라이브러리 데이터를 선정한다(S300).
세부적으로, 도 17을 참조하면, 애니메틱 영상의 카메라 워크 유형을 확인한다(S310).
구체적으로, 도 13을 참조하면, 유형 확인 모듈(341)은 제작자(100)로부터 애니메틱 영상(Anm)을 수신할 수 있다. 유형 확인 모듈(341)은 애니메틱 영상(Anm)을 통해서 애니메틱 영상(Anm)이 어떤 카테고리인지를 확인할 수 있다.
유형 확인 모듈(341)은 애니메틱 영상(Anm)의 유형 정보(Ic)를 생성할 수 있다. 유형 정보(Ic)는 애니메틱 영상(Anm)이 도 11의 복수의 제1 카테고리 및 복수의 제2 카테고리 중 어느 카테고리에 속하는 지에 대한 정보일 수 있다.
다시, 도 17을 참조하면, 동일한 유형 중 가장 유사한 카메라 워크 라이브러리 데이터를 최적 라이브러리 데이터로 선정한다(S320).
구체적으로, 도 13을 참조하면, 최적 라이브러리 선정 모듈(342)은 카메라 워크 라이브러리 데이터(CamL) 중에 유형 정보(Ic)와 동일한 카테고리 식별 정보(C6)를 가진 카메라 워크 라이브러리 데이터(CamL)를 필터링할 수 있다.
이어서, 최적 라이브러리 선정 모듈(342)은 유형 정보(Ic)와 동일한 카테고리 식별 정보(C6)를 가진 카메라 워크 라이브러리 데이터(CamL) 중에서 애니메틱 영상(Anm)과 가장 유사한 데이터를 최적 라이브러리 데이터(CamL_op)로 선정할 수 있다.
다시, 도 14를 참조하면, 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행한다(S400).
구체적으로, 도 3 및 도 5를 참조하면, 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)를 수신할 수 있다. 애니메이션 모듈(220)은 최적 라이브러리 데이터(CamL_op)에 따라 카메라(Cam), 제1 캐릭터(ch1) 및 제2 캐릭터(ch2) 및 배경(BG)의 세부 사항을 세팅할 수 있다. 즉, 최적 라이브러리 데이터(CamL_op)의 내용을 그대로 적용하여 레이아웃 작업을 수행할 수 있다.
다시, 도 14를 참조하면, 애니메이션 이미지를 생성한다(S500).
세부적으로, 도 18을 참조하면, 렌더링 단계를 수행한다(S510).
구체적으로, 도 3을 참조하면, 렌더링 모듈(230)은 작업 지시(Wp)에 따라서 렌더링 작업을 수행할 수 있다. 3D 애니메이션 제작과정에서 렌더링 작업은 오브젝트들의 3D 움직임을 구현하는 애니메이션 작업 이후에 카메라(Cam)에 의해서 촬영되는 2차원적인 영상을 만들어 내는 단계일 수 있다.
렌더링 모듈(230)은 즉, 애니메이션 작업까지 완료된 오브젝트들의 애니메이션 이미지를 생성해야 하므로, 오브젝트의 배열, 시점, 텍스쳐 매핑, 조명 및 쉐이딩의 세부 단계를 거쳐 렌더링 작업을 수행할 수 있다. 렌더링 모듈(230)은 여러 채널을 이용하여 복수의 레이어로 렌더링을 수행할 수 있다.
다시, 도 18을 참조하면, 컴포짓 단계를 수행하여 애니메이션 이미지를 생성한다(S520).
구체적으로, 도 2를 참조하면, 컴포짓 모듈(240)은 렌더링된 여러 개의 이미지를 수신하고, 이를 하나의 최종 장면으로 통합하는 컴포짓 작업을 수행할 수 있다. 컴포짓 모듈(240)은 하나의 이미지를 다양한 레이어를 합성하여 완성시킬 수 있다. 이를 통해서, 컴포짓 모듈(240)은 애니메이션 이미지(Pr)를 최종적으로 완성할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 제작자로부터 작업 지시를 수신하고, 최적 라이브러리 데이터를 수신하고, 상기 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행하고, 애니메이션 이미지를 생성하는 애니메이션 제작 장치; 및
    적어도 하나의 애니메이션 파일에서 적어도 하나의 카메라 워크 정보를 추출하고, 상기 적어도 하나의 카메라 워크 정보를 연출 유형에 따라 인공지능을 이용하여 분류하여 카메라 워크 라이브러리 데이터를 생성하고, 상기 제작자로부터 애니메틱 영상을 수신하고, 상기 애니메틱 영상과 상기 카메라 워크 라이브러리 데이터와의 유사성 판단을 통해서 상기 최적 라이브러리 데이터를 선정하여 상기 애니메이션 제작 장치로 전송하는 빅데이터 라이브러리를 포함하되,
    상기 애니메틱 영상은 상기 제작자가 프리프로덕션 단계에서 생성한 2차원 스토리보드를 영상으로 편집하여 생성되고,
    상기 유사성 판단은 인공지능에 의해서 수행되되,
    상기 빅데이터 라이브러리는,
    상기 적어도 하나의 애니메이션 파일을 저장하고, 상기 적어도 하나의 애니메이션 파일에서 각각 적어도 하나의 카메라 워크 정보를 추출하는 애니메이션 파일 데이터베이스와,
    상기 적어도 하나의 카메라 워크 정보를 인공지능을 통해서 연출 유형에 따라 분류하여 카메라 워크 라이브러리 데이터를 생성하는 연출 유형 분류 모듈과,
    상기 카메라 워크 라이브러리 데이터를 저장하는 라이브러리 데이터베이스와,
    상기 카메라 워크 라이브러리 데이터와 상기 애니메틱 영상을 비교하여 유사성을 기반으로 최적 라이브러리 데이터를 선정하는 최적 라이브러리 검색 모듈을 포함하고,
    상기 카메라 워크 정보는 복수의 1차 파라미터 데이터를 포함하고,
    상기 연출 유형 분류 모듈은,
    상기 복수의 1차 파라미터를 연산하여 생성된 2차 파라미터를 생성하는 2차 파라미터 생성 모듈과,
    인공지능을 통해, 상기 2차 파라미터를 이용하여 연출 유형을 분류하고, 분류 결과에 따라 상기 카메라 워크 라이브러리 데이터를 생성하는 인공지능 모듈을 포함하고,
    상기 카메라 워크 정보는 카메라 물리 정보, 카메라 모션 정보, 캐릭터 모션 정보, 배경 정보 및 바운딩 박스 정보를 포함하고,
    상기 배경 정보는 시간에 따른 배경의 위치 및 시간에 따른 배경의 형상을 포함하고,
    상기 2차 파라미터는 카메라의 시간에 따른 속도, 카메라의 시간에 따른 가속도, 캐릭터의 시간에 따른 속도, 캐릭터의 시간에 따른 가속도, 카메라와 캐릭터 사이의 거리, 카메라와 배경 중 지면과의 거리, 카메라와 캐릭터 사이의 각도 및 카메라와 배경 중 지면과의 각도를 포함하고,
    상기 2차 파라미터 생성 모듈은,
    상기 카메라 워크 정보에 포함된 각 캐릭터와 카메라와 사이의 일대일 관계에서 정의되는 단일 객체 파라미터를 생성하는 단일 객체 파라미터 생성 모듈과,
    상기 카메라 워크 정보에 포함된 캐릭터가 복수인 경우 상기 캐릭터들과 상기 카메라 사이의 다대일 관계에서 정의되는 복수 객체 파라미터를 생성하는 복수 객체 파라미터 생성 모듈과,
    상기 단일 객체 파라미터 및 상기 복수 객체 파라미터를 통합하여 상기 2차 파라미터를 생성하는 파라미터 통합 모듈을 포함하고,
    상기 복수 객체 파라미터는 상기 단일 객체 파라미터를 연산한 값인 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1 항에 있어서,
    상기 최적 라이브러리 검색 모듈은,
    상기 애니메틱 영상의 유형을 확인하여 유형 정보를 생성하는 유형 확인 모듈과,
    상기 유형 정보를 통해서 상기 카메라 워크 라이브러리 데이터 중 동일한 유형의 필터링 데이터를 선정하고, 상기 필터링 데이터 중 상기 애니메틱 영상과 가장 유사한 데이터를 상기 최적 라이브러리 데이터로 선정하는 최적 라이브러리 선정 모듈을 포함하는 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템.
  7. 제1 항에 있어서,
    상기 애니메틱 영상은 적어도 하나의 프레임을 포함하고, 상기 적어도 하나의 프레임은 시간의 흐름에 따라 재생되는 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템.
  8. 카메라 워크 정보를 통해서 연출 유형을 분류하여 카메라 라이브러리 데이터를 생성하고,
    제작자로부터 애니메틱 영상을 수신하되, 상기 애니메틱 영상은 상기 제작자가 프리프로덕션 단계에서 생성한 2차원 스토리보드를 영상으로 편집하여 생성되고,
    상기 카메라 라이브러리 데이터와 상기 애니메틱 영상의 유사성을 인공지능을 통해 검토하여 가장 유사한 최적 라이브러리 데이터를 선정하고,
    상기 최적 라이브러리 데이터를 적용하여 레이아웃 작업을 수행하고,
    상기 레이아웃 작업 이후, 렌더링 단계 및 컴포짓 단계를 수행하여 애니메이션 이미지를 생성하는 것을 포함하되,
    상기 카메라 워크 라이브러리 데이터를 생성하는 것은,
    애니메이션 파일에서 상기 카메라 워크 정보를 추출하되, 상기 카메라 워크 정보는 1차 파라미터를 포함하고,
    상기 1차 파라미터를 이용하여 2차 파라미터를 계산하고,
    인공지능을 통해, 상기 2차 파라미터를 이용하여 카테고리 식별 정보를 추가하여 카메라 워크 라이브러리 데이터를 생성하는 것을 포함하고,
    상기 카메라 워크 정보는 카메라 물리 정보, 카메라 모션 정보, 캐릭터 모션 정보, 배경 정보 및 바운딩 박스 정보를 포함하고,
    상기 배경 정보는 시간에 따른 배경의 위치 및 시간에 따른 배경의 형상을 포함하고,
    상기 2차 파라미터는 카메라의 시간에 따른 속도, 카메라의 시간에 따른 가속도, 캐릭터의 시간에 따른 속도, 캐릭터의 시간에 따른 가속도, 카메라와 캐릭터 사이의 거리, 카메라와 배경 중 지면과의 거리, 카메라와 캐릭터 사이의 각도 및 카메라와 배경 중 지면과의 각도를 포함하고,
    상기 2차 파라미터 생성 모듈은,
    상기 카메라 워크 정보에 포함된 각 캐릭터와 카메라와 사이의 일대일 관계에서 정의되는 단일 객체 파라미터를 생성하는 단일 객체 파라미터 생성 모듈과,
    상기 카메라 워크 정보에 포함된 캐릭터가 복수인 경우 상기 캐릭터들과 상기 카메라 사이의 다대일 관계에서 정의되는 복수 객체 파라미터를 생성하는 복수 객체 파라미터 생성 모듈과,
    상기 단일 객체 파라미터 및 상기 복수 객체 파라미터를 통합하여 상기 2차 파라미터를 생성하는 파라미터 통합 모듈을 포함하고,
    상기 복수 객체 파라미터는 상기 단일 객체 파라미터를 연산한 값인애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법.
  9. 삭제
  10. 제8 항에 있어서,
    상기 최적 라이브러리 데이터를 선정하는 것은,
    상기 애니메틱 영상의 유형을 확인하고,
    상기 애니메틱 영상과 동일한 유형의 상기 카메라 워크 라이브러리 데이터 중 가장 유사한 데이터를 상기 최적 라이브러리 데이터로 선정하는 것을 포함하는 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 방법.
KR1020210115956A 2021-08-31 2021-08-31 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법 KR102316114B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210115956A KR102316114B1 (ko) 2021-08-31 2021-08-31 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115956A KR102316114B1 (ko) 2021-08-31 2021-08-31 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102316114B1 true KR102316114B1 (ko) 2021-10-25

Family

ID=78258501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115956A KR102316114B1 (ko) 2021-08-31 2021-08-31 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102316114B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102518871B1 (ko) * 2021-12-03 2023-04-10 한국과학기술원 가상 카메라 레이아웃 생성을 위한 3d 타겟 객체 프레이밍 방법 및 장치
KR20230062429A (ko) 2021-10-29 2023-05-09 서울대학교산학협력단 문장 기반 스케치 추천 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040096799A (ko) 2004-06-30 2004-11-17 주식회사 연세교육미디어 인터랙티브 출판물을 이용한 온/오프라인 통합교육 시스템및 그 구현방법
KR20180082042A (ko) * 2017-01-09 2018-07-18 진형우 3d 게임엔진기반 머시니마 제작방법
KR20200044714A (ko) * 2018-10-19 2020-04-29 한국과학기술원 카메라 워크를 재현하는 방법 및 장치
KR20200059993A (ko) * 2018-11-22 2020-05-29 주식회사 데이터코볼트 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
KR20210074747A (ko) * 2019-12-12 2021-06-22 한국과학기술원 자동으로 카메라워크를 생성하는 영상 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040096799A (ko) 2004-06-30 2004-11-17 주식회사 연세교육미디어 인터랙티브 출판물을 이용한 온/오프라인 통합교육 시스템및 그 구현방법
KR20180082042A (ko) * 2017-01-09 2018-07-18 진형우 3d 게임엔진기반 머시니마 제작방법
KR20200044714A (ko) * 2018-10-19 2020-04-29 한국과학기술원 카메라 워크를 재현하는 방법 및 장치
KR20200059993A (ko) * 2018-11-22 2020-05-29 주식회사 데이터코볼트 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법
KR20210074747A (ko) * 2019-12-12 2021-06-22 한국과학기술원 자동으로 카메라워크를 생성하는 영상 처리 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230062429A (ko) 2021-10-29 2023-05-09 서울대학교산학협력단 문장 기반 스케치 추천 방법 및 장치
KR102518871B1 (ko) * 2021-12-03 2023-04-10 한국과학기술원 가상 카메라 레이아웃 생성을 위한 3d 타겟 객체 프레이밍 방법 및 장치
US11900607B2 (en) 2021-12-03 2024-02-13 Korea Advanced Institute Of Science And Technology Method and apparatus for framing three dimensional target object for generation of virtual camera layout

Similar Documents

Publication Publication Date Title
US8624901B2 (en) Apparatus and method for generating facial animation
KR102316114B1 (ko) 애니메틱 영상과 빅데이터를 활용한 인공지능 기반 레이아웃 시스템 및 그 방법
Hu et al. Efficient tree modeling from airborne LiDAR point clouds
CN112700523B (zh) 虚拟对象面部动画生成方法及装置、存储介质、终端
US8334872B2 (en) Inverse kinematics for motion-capture characters
US20200151963A1 (en) Training data set generation apparatus and method for machine learning
CN108961369A (zh) 生成3d动画的方法和装置
WO2019207296A1 (en) Method and system for providing photorealistic changes for digital image
CN108038911A (zh) 一种基于ar技术的全息成像控制方法
CN113302694A (zh) 用于基于模板生成个性化视频的系统和方法
US11403800B1 (en) Image generation from 3D model using neural network
WO2022005300A1 (en) Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN106663340A (zh) 用于编辑面部图像的方法和设备
KR20190040746A (ko) 3차원 관심영역 복원 시스템 및 방법
KR102316111B1 (ko) 빅데이터를 활용한 인공지능 기반 애니메이션 레이아웃 시스템 및 그 방법
Krs et al. Skippy: Single view 3D curve interactive modeling
EP1754198A1 (en) Animation systems
CN114600153A (zh) 用于多角度屏幕覆盖分析的设备
CA3180427A1 (en) Synthesizing sequences of 3d geometries for movement-based performance
Flagg et al. Video-based crowd synthesis
CN113065506B (zh) 一种人体姿态识别方法及系统
WO2022075858A1 (en) Method and user interface for generating tangent vector fields usable for generating computer-generated imagery
KR102316112B1 (ko) 빅데이터를 활용한 인공지능 기반 멀티 오브젝트 레이아웃 시스템 및 그 방법
KR100889854B1 (ko) 캐리커처 비디오 생성 방법 및 장치
CN111275804B (zh) 图像光照去除方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant