KR20200016133A

KR20200016133A - 혼합현실동영상 제작 방법 및 시스템

Info

Publication number: KR20200016133A
Application number: KR1020180091473A
Authority: KR
Inventors: 위진
Original assignee: 위진
Priority date: 2018-08-06
Filing date: 2018-08-06
Publication date: 2020-02-14

Abstract

본 발명은 영상과 영상을 혼합하는 Virtal Overlay기술로 크로마키(Chroma-Key)기법 또는 혼합현실영상 제작이 가능한 영상제작기법(3D Studio Max 등)으로 촬영된 영상과 합성하고자 하는 영상을 결합하여 하나의 혼합현실동영상(MRMP)을 만드는 기술로 2차원 또는 3차원으로 촬영되는 크로마키 영상과 패닝(Panning), 텍스처링(Texturing), 렌더링(Rendering), 3D스튜디오맥스 등으로 제작된 배경동영상이 사용자의 선택에 따라 영상 혼합(Mix)되어 사용자가 원한는 혼합현실동영상을 빠르고 쉽게 제작할 수 있도록 시스템을 제공하고, 제작된 혼합현실동영상은 사용자가 원하는 화일형태로 출력 및 저장되어 사용자 단말(PC/스마트폰/기타 영상 저장이 가능한 장치) 또는 사용자가 지정하는 단말(PC/스마트폰/기타 영상 저장이 가능한 장치)로 전송되며, 지정자 단말이 크로마키 영상 촬영 단말인 경우, 클라이언트서버 방식으로도 전송된다. 또한 본 발명은 혼합영상을 제작하기 위해 필요한 배경영상과 콘텐츠영상과 각종 효과 등에 대한 서비스사 시스템에 저작권자 등록을 통해 사용자가 선택하여 혼합영상 제작에 사용한 저작물에 대해 사용수수료를 사용자에게 부과하여 사용요금을 결제받은 후, 저작권자에게 정산해 주는 '과금 및 정산 서버'를 구비하는 '혼합현실동영상(MRMP) 제작 방법 및 시스템'을 제공한다.

Description

혼합현실동영상 제작 방법 및 시스템{The method and system to make mixed reality moving picture}

본 발명은 4차 산업혁명으로 대별되는 가상현실(VR:Virtual Reality) 및 증강현실(AR:Augmented Reality) 동영상을 이용한 혼합현실동영상(MRMP:Mixed Reality Moving Picture) 제작과 관련된 기술분야로 혼합현실동영상의 배경이 되는 동영상(일반영상/가상현실영상/증강현실영상)에 합성하고자 하는 동영상(크로마키 영상 등)을 겹치게(Virtual Overlay)하여 새로운 혼합현실(MR:Mixed Reality) 동영상(Moving Picture)을 제작하는 방법 및 시스템과 관련된 기술분야에 속한다. 또한, 새로운 혼합현실동영상(MRMP)은 마이크로소프트(Microsoft)사의 동영상플레이어 파일 포멧인 AVI(Aoudio Video Interleaved)화일 및 애플사의 동영상플레이어 파일 포멧인 MOV화일 등으로 생성된다. 특히, 크로마키(Chroma-Key)기법으로 촬영된 합성하고자 하는 동영상(Chromakey영상)은 컴퓨터 OS(Operating System)인 Windows 및 핸드폰 OS인 애플사의 iOS 및 Android 등을 배경화면으로 하여 합성이 가능한 화일형태로도 제공할 수 있으며, 문서작업용 OS인 파워포인트, 워드, 엑셀, 아래한글 등의 오피스 계열 형식의 문서를 배경영상으로 하여 합성이 가능한 화일형태로도 제공하는 혼합현실동영상(MRMP) 제작 분야도 포함한다.

본 발명의 배경이 되는 기술은 영상과 영상을 혼합하는 Virtal Overlay기술로 크로마키(Chroma-Key)기법 또는 혼합현실영상 제작이 가능한 영상제작기법(3D Studio Max 등)으로 촬영된 영상과 합성하고자 하는 영상을 결합하여 하나의 혼합현실영상(MRMP)을 만드는 기술로 2차원 또는 3차원으로 촬영되는 크로마키 영상과 패닝(Panning), 텍스처링(Texturing), 렌더링(Rendering), 3D스튜디오맥스 등으로 제작된 배경동영상이 사용자의 선택에 따라 영상 혼합(Mix)된 후, 사용자가 원하는 화일형태로 출력 및 저장되어 사용자 또는 사용자가 지정하는 단말로 전송되는 혼합현실동영상(MRMP) 제작 기술에 속한다.

본 발명은 기존에 혼합영상을 제작할 때 사용되는 크로마키(Chromakey)영상이 통상의 경우, 혼합영상을 만들때 배경영상에 피사체의 영상만을 추출하여 덧입히기 위한 1회성의 보조적 역할에 불과했다. 즉, 배경영상이 메인(Main)이 되고, 크로마키 촬영에 의한 피사체 영상이 배경영상에 종속되는, 다시말하자면 사용자가 배경영상에 종속적인 혼합영상 제작방법이었다. 이러한 방식으로 제작된 혼합영상은 획일적이며 단조로운 영상물이 될 수 밖에 없으며, 혼합영상을 제작하고자 하는 사용자가 여러 배경영상을 대상으로 혼합영상을 제작하고자 하는 경우, 배경영상을 달리할 때 마다 크로마키 촬영을 번거롭게 매번 수행해야 하는 시스템적 한계성을 갖고 있다. 하지만, 본 발명에서와 같이 크로마키(Chromakey)영상을 자체적이고 독립적 영상으로 제작하면 동 크로마키 영상이 메인(Main)영상이 되어, 다양한 배경영상 및 특수효과 등을 선택, 본 발명의 시스템에서와 같이 크로마키 영상과 혼합하게 하면, 1개의 독립된 크로마키 영상으로 다양한 새로운 형태의 혼합현실동영상(MRMP)을 만들 수 있는 새로운 방법과 시스템을 다양한 형태의 혼합현실동영상을 제작하고자 하는 사용자에게 제공할 수 있다. 이는 기존의 제작 방법에 비해 시간과 비용과 수고를 획기적으로 줄일 수 있을 뿐만아니라 사용자가 얻고자 하는 혼합현실동영상의 요구에 부합하는 서비스와 시스템을 다양하고 신속하고 편리하게 제공할 수 있는 보다 발전된 혼합현실동영상 제작 방법과 시스템이 된다.

본 발명이 이루고자 하는 목적인 다양한 배경영상을 대상으로하는 혼합현실동영상(MRMP) 제작의 요구를 충족하기 위해, 본 발명에서는 피사체를 오브젝트(Object)로 하는 크로마키(Chromakey)영상을 사용자가 자체적이고 독립적 영상으로 제작하고 저장매체(PC/USB/기타 저장 가능한 장치)에 화일로 보유한다. 이 화일과 사용자의 선택에 따라 합성할 수 있는 다양한 배경영상 화일을 서비스사 시스템은 영상제작자로부터 서비스사 시스템에 등재하게 하여, 사용자가 선택한 배경영상과 오브젝트 영상인 크로마키영상을 Virtual Overlay기법으로 혼합하여 사용자의 요구에 부합하는 혼합현실동영상을 즉각적이고 다양한 형태로 편리하게 제작할 수 있는 새로운 '혼합현실동영상 제작 방법 및 시스템'을 제공한다.

본 발명의 효과는 오브젝트(Object)영상인 피사체 크로마키 영상을 자체적이고 독립적 영상화일로 제작하여 사용자가 소지함에 따라, 여러 종류의 배경영상을 대상으로 혼합현실동영상을 제작하고자 하는 경우, 종례에는 변경되는 배경영상에 맞추어 매번 번거로운 크로마키 촬영을 해야 하는 단점이 있었다. 이는 사용자에게 비용적, 시간적, 공간적 제약을 초래하여 사용자 부담을 가중시켜 이용에 부정적 요인이 되었다. 하지만 본 발명으로 인하여 사용자는 한번의 크로마키 영상 제작으로 비용적, 시간적, 공간적 제약에서 벗어나 사용자가 원하는 다양한 혼합현실동영상을 제작·활용할 수 있게 된다.

[대표도] 혼합현실동영상을 제작하기 위한 서비스사 시스템을 전체적으로 도식화한 블록도면이다.
[도1] 혼합현실동영상 제작 절차 및 각 단계별 역할을 설명하기 위한 순서도이다
[도2] 혼합현실동영상 제작을 위한 서비스사 시스템을 웹브라우저(Web Browser)화한 예시도이다.
[도3] 혼합현실동영상 제작을 위해 필요한 영상 및 콘텐츠 및 효과 등과 완성된 혼합현실동영상(MRMP)에 대한 파일 형태와 송출 대상 및 방식을 설명하기 위한 블록도이다.
[도4] 제작된 혼합현실동영상을 사용자의 요청에 대응되는 파일 형태로 제공하기 위한 '혼합현실동영상 파일 형태 변환 서버'를 설명하기 위한 블록도이다.
[도5] 혼합현실동영상에 사용할 크로마키 영상 제작 무대 예시도이다.
[도6] 혼합현실동영상 제작과 관련한 사용요금 및 저작권료 정산에 필요한 '과금 및 정산 서버'를 설명하기 위한 도면이다.

본 발명의 명확한 이해를 통해 본 발명이 구체적으로 실시될 수 있도록 본 발명에서 사용하는 용어에 대해 설명한다.

본 발명에서 사용되는 용어는 사용자(200:혼합현실동영상을 제작하고자 하는 개인 또는 회사 또는 단체)가 본 발명을 구현한 [도2]의 서비스사 Website(서비스사 시스템)에 접속하여, 혼합현실동영상 제작에 필요한 배경영상 및 합성영상 및 효과를 위한 콘텐츠(합성콘텐츠) 등을 선택하여 혼합현실동영상을 제작하고, 이를 사용자가 원하는 화일 형식으로 변환하여 사용자 또는 사용자가 지정한 단말로 혼합현실동영상(MRMP:Mixed Reality Moving Picture)을 송출하는 관점에서 기술 되는 바, 사용자(200)는 혼합현실동영상 제작자인 개인 또는 회사 또는 단체 및 그 단말기를 포괄하는 용어로 사용하고, 배경영상(배경MP)제작부는 배경영상을 제작하여 서비스사 배경영상서버에 배경영상을 데이터 형태로 배경영상DB에 등록하는 개인 또는 회사 또는 단체 및 그 단말기를 포괄하는 용어로 사용하고, 배경콘텐츠제작부는 배경영상에 추가할 수 있는 동영상 또는 그래픽 또는 효과(음향효과 포함) 등을 제작하여 서비스사 배경콘텐츠서버에 배경콘텐츠를 데이터로 배경콘텐츠DB에 등록하는 개인 또는 회사 또는 단체 및 그 단말기를 포괄하는 용어로 사용하고, 합성콘텐츠제작부는 크로마키 영상에 추가할 수 있는 각종 영상 또는 그래픽 또는 효과(음향효과 포함) 등을 제작하고 서비스사 합성콘텐츠서버에 합성콘텐츠를 데이터로 합성콘텐츠DB에 등록하는 개인 또는 회사 또는 단체 및 그 단말기를 포괄하는 용어로 사용한다. 또한, 지정자 단말은 사용자가 선택한 모든 영상과 콘텐츠와 효과(음향효과 포함) 등을 사용자의 요청에 의해 전송받는 개인 또는 회사 또는 단체 및 그 단말기를 포괄하는 용어로 크로마키 영상 제작소도 포함하는 용어로 사용한다. 또한, 사용자는 혼합현실동영상(MRMP) 송출시 선택한 배경영상, 합성영상, 합성콘텐츠에 대한 사용요금을 지불하는 비용부담자이기도 하며, 배경영상제작부, 배경콘텐츠제작부, 합성콘텐츠제작부 등은 혼합현실동영상 제작시 사용자로부터 발생된 사용요금의 저작권료에 대한 수익자이기도 하다.

또한, 본 발명에서 사용하는 "...DB", "...서버", "...단말", "...시스템" 등은 본 발명을 이루기 위한 하드웨어(HW) 또는 소프트웨어(SW) 또는 프로그램(PGM) 등을 포함하는 포괄적 개념으로 이해하여야 하며, 각 단을 연결하고 있는 통신망 및 기기는 기존에 사용되거나 사용할 수 있는 각종 통신기기(PC, 모바일단말기, 인터넷 디바이스 등) 및 통신망(유무선 통신망, 인터넷 통신망, 전용회선)등을 기본적으로 수용하는 형태로 이해하여야 한다.

아래에서는 본 발명의 실시예에 있어 도면을 통해 동 업계에 종사하는 일반적인 기술자가 구현할 수 있도록 설명하였으나, 이러한 설명이 본 발명의 목적 또는 효과를 달성할 수 있는 다른 형태의 구현방법을 제한하는 것은 아니다.

각 도면에서 동일한 기능을 하거나 개념이 유사한 구성부분은 명칭이 상이하더라도 동일한 코드로 표기 하였다.

본 발명의 내용은 영상과 영상을 합성하고자 할 때, 즉, 특정 배경영상에 합성하고자 하는 특정 피사체(인물/동물/물건 등)의 영상을 합성할 때, 통상의 경우 피사체 영상은 크로마키(Chromakey)기법 등으로 촬영함과 동시에 배경영상에 합성하는 방법을 사용하여 혼합된 영상을 완성한다. 하지만, 이러한 경우 크로마키 영상 촬영이 가능한 스튜디오에서 배경영상과 크로마키 영상이 실시간으로 동시에 실행되야 하므로 단일 결과물의 혼합영상이 만들어 진다. 하지만 본 발명에서는 피사체의 크로마키 영상 자체를 화일로 제작하여 다양한 배경영상을 선택적으로 선택하여 1한건의 크로마키 영상으로 다양한 배경영상을 합성하여 사용자가 원하는 다양한 배경의 혼합현실동영상(MRMP)을 만드는 새로운 기술과 시스템을 제공할 수 있다. 또한, 영상의 합성(Mix)시 특수효과를 주는 영상, 그래픽 또는 음향 등을 혼합현실동영상 제작 콘텐츠로 제공하여, 보다 완성도 있는 혼합현실동영상을 제작할 수 있는 방법과 시스템도 사용자에게 제공한다. 이렇게 완성된 혼합현실동영상은 각종 동영상 재생프로그램인 마이크로소프트사의 AVI(Audio Video Interleaved), 애플사의 MOV에서 구동되는 화일 형태 및 핸드폰 OS인 iOS와 Android상에서도 구동되는 화일 형태로도 변환하여 사용자에게 제공되며, 특히, 각종 문서작성 프로그램인 파워포인트(PPT), 워드(Woed), 엑셀(Excell), 아래한글 등을 배경화면으로 구동되는 혼합현실동영상 화일을 본 발명의 시스템은 사용자에게 제공한다.

마지막으로 최종적으로 완료된 혼합현실동영상(MRMP)은 사용자 단말(개인PC/스마트폰/기타 저장이 가능한 장치) 및 사용자가 지정하는 단말(PC/스마트폰/기타 저장이 가능한 장치)로 송출하며, 이때, 송출하는 화일에는 합성영상을 촬영하기 위한 크로마키 무대 장치(카메라/조명/음향시설 등)를 제어할 수 있는 명령 값들이 포함된 화일을 전송하는 송출시스템도 포함한다.

상기와 같이 본 발명을 구체적으로 실시하기 위해 [대표도]상의 서비스사 시스템(100)은 혼합현실동영상(MRMP) 제작에 필요한 배경영상(113) 및 합성영상(116)을 등록하고 이를 검색하여 선택할 수 있는 '영상 검색 및 선택 서버(110)'를 구축하고, 선택된 배경영상(113) 및 혼합영상(116)에 배경콘텐츠(123) 및 합성콘텐츠(126)를 추가하여 혼합(Mix)하는 '영상 혼합 서버(120)' 및 '영상 혼합 서버(120)'로부터 생성된 혼합현실동영상을 저장하는 '혼합현실동영상 출력 및 저장 서버(130)'를 구축한다. 또한, 서비스사 시스템(100)은 사용자(200)가 요청하는 화일 형태(AVI,MOV,PPT,Word,Excell,아래한글 등)로 혼합현실동영상(MRMP)을 '혼합현실동영상 화일 형태 변환 서버(140)'를 통해 변환·생성하여, '혼합현실동영상(MRMP) 송출 서버(150)'를 통해 '사용자(200)' 또는 '사용자 지정 단말(300)'로 송출한다. 이때, 혼합현실동영상(MRMP) 제작에 사용된 배경영상(112), 합성영상(116), 각종콘텐츠(123) 및 효과(126) 등에 대한 사용요금을 산출하여 사용자(200)에게 과금하고 이에 대한 사용자의 결제수단별 금융사(400) 결제승인을 득하여 저작권자(113/116/123/126)에게 수익을 정산해 주는 '과금 및 정산 서버(160)'를 '서비스사 시스템(100)'에 구축한다.

또한, [도3]에서와 같이 사용자(200)는 선택한 배경영상(113), 각종콘텐츠(123) 및 효과(126) 등을 '영상 혼합 서버(130)'에서 Mix하여 '크로마키 영상 촬영소(300)'로 송출하여 사용자(200)가 크로마키 영상 촬영소(300)에서 촬영한 크로마키 영상과 합성하여 혼합현실동영상을 완성할 수 있게 한다. 이때, 송출하는 '배경영상(113)'과 '배경콘텐츠(123)'와 '합성콘텐츠(126)'에 대해 '과금·정산 서버(160)'는 '사용자(200)'에게 사용요금을 과금하고 결제를 완료하여, 저작권자에게 저작권료를 정산하도록 하는 과금 및 정산 시스템을 구비한 '서비스사 시스템(100)'을 구축한다.

100:서비스사 시스템 111:배경영상 제작부
200:사용자(단말) 112:배경영상 서버
300:지정자 단말 113:배경영상 DB
400:금융사 115:합성영상 서버
110:영상 검색 및 선택 서버 116:합성영상 DB
120:영상 혼합(Mix) 서버 117:영상효과 제작부
130:혼합동영상 출력 및 저장 서버 118:음향효과 제작부
140:동영상 화일 형태 변환 서버 119:특수효과 제작부
150:혼합동영상 송출 서버 121:배경영상콘텐츠 제작부
160:과금 및 정산 서버 122:배경영상콘텐츠 서버
123:배경영상콘텐츠DB 124:합성영상콘텐츠 제작부
125:합성영상콘텐츠 서버 126:합성영상콘텐츠 DB
141:혼합영상버전(동영상플레이어용) 142:혼합영상버전(각종 OS용)
143:혼합영상버전(각종문서용) 144:혼합영상버전(스마트폰용)
310:지정자단말 제어부 320:지정자 합성영상 제작장치부
321:합성영상 제작용 카메라 322:합성영상 제작용 조명
323:합성영상 제작용 음성장치

Claims

혼합현실동영상을 제작하기 위해 배경영상에 합성하고자 하는 피사체 영상을 크로마키(Chromakey) 영상 등으로 제작하여 데이터 화일로 보유하는 단계와 당해 크로마키 영상과 합성하기 위한 다양한 배경영상을 DB로 구축하는 단계와 배경영상에 다양한 효과를 추가하기 위한 배경영상용 콘텐츠 DB와 피사체 영상인 크로마키 영상에 추가하기 위한 합성콘텐츠 DB를 구축하는 단계와 이렇게 구성된 피사체 영상과 배경영상과 배경콘텐츠와 합성콘텐츠 등을 사용자가 선택하여 혼합하는 혼합(Mix)서버를 구축하는 단계와 혼합(Mix)된 영상을 '영상 혼합(Mix)서버'의 영상 재생기(127)를 통하여 혼합현실동영상을 시청할 수 있도록 설계된 '혼합현실동영상 제작 방법 및 시스템' ; 및
제1항에 있어서
'영상 혼합(Mix)서버'의 혼합현실동영상재생기(127)를 통해 사용자는 혼합현실동영상에 대한 최종상태를 확인하는 단계와 확인 후 혼합현실동영상 제작을 확정하는 단계와 확정된 혼합현실동영상을 '혼합현실동영상 출력 및 저장 서버'에 저장하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제2항에 있어서
'혼합현실동영상 출력 및 저장 서버'에 확정된 혼합현실동영상을 저장하는 단계에서, 사용자가 요청한 화일 형태(또는 형식)로 '혼합현실동영상 화일 형태 변환 서버'를 통해 화일 형태를 전환하여 저장하는 단계와 '영상 혼합(Mix)서버'에서 혼합하여 '출력 및 저장 서버'에 혼합현실동영상을 저장한 후 사용자 단말 또는 사용자가 지정한 단말로 송출하기 전 사용자가 요청한 화일 형태로 변환하여 '혼합현실동영상 송출 서버'로 전달하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제3항에 있어서
확정된 혼합현실동영상이 '혼합현실동영상 송출 서버'에서 사용자 단말로 송출되는 단계와 '혼합현실동영상 송출 서버'에서 사용자가 지정한 단말로 확정된 혼합현실동영상을 송출하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제4항에 있어서
'혼합현실동영상 송출 서버'에서 사용자가 지정한 단말로 확정된 혼합현실동영상을 송출할 때, 사용자가 지정한 단말에 연결된 영상 촬영 장치 및 주변 장치를 제어할 수 있는 '영상 장치 제어 명령을 포함한 혼합현실동영상 데이터'를 생성하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제3항에 있어서
'혼합현실동영상 송출 서버'에서 사용자 단말 또는 사용자가 지정한 단말로 혼합현실동영상을 전송시 혼합현실동영상에 사용된 저작물(배경영상 및 합성영상 및 각종 콘텐츠 및 효과 등)에 대한 사용요금을 사용자에게 청구하는 단계와 청구된 사용요금을 사용자의 결제수단에 따라 당해 금융사에 결제승인을 득하는 단계와 결제승인된 사용요금을 저작권자에게 약정된 저작권 사용요금을 배분하여 지급하는 단계인 '과금 및 정산 서버'를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제4항에 있어서
확정된 혼합현실동영상이 송출되는 사용자 단말과 사용자가 지정한 단말은 컴퓨터, 스마트폰, 호스트(HOST)서버 및 기타 인터넷 접속이 가능한 모든 단말기인 것을 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제3항에 있어서
'혼합현실동영상 출력 및 저장 서버'에 확정된 혼합현실동영상을 저장하는 단계와 혼합현실동영상을 사용자 단말 또는 사용자 지정 단말에 송출하는 단계에서 사용자가 요청하는 화일 형태(또는 형식)로는 동영상재생장치(AVI,MOV)에서 재생되는 화일형태 및 각종 OS(Windows/iOS/Android) 및 각종 문서(PPT/Word/Excell/아래한글 등)에서 재생될 수 있는 화일 형태로 변환하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제5항에 있어서
'혼합현실동영상 송출 서버'에서 사용자가 지정한 단말로 확정된 혼합현실동영상을 송출하고, 송출된 혼합현실동영상을 사용자가 지정한 단말에서 연결된 크로마키에 의한 영상 촬영 장치 및 조명 및 음향 장치 등의 주변 장치에 의해 촬영되고 녹음된 영상이 추가혼합되어 추가혼합현실동영상을 제작하여 저장하는 단계와 당해 추가혼합현실동영상을 '서비스사 시스템'에 전송하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
제2항에 있어서
'영상 혼합(Mix)서버'에서 혼합현실동영상에 대한 영상 및 음향 편집 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템' ; 및
혼합현실동영상을 제작하기 위해 사용자가 피사체 영상을 크로마키(Chromakey) 영상으로 제작하는 단계에서 스마트폰 등으로 크로마키 영상 화일을 만드는 앱을 제공하는 단계와 스마트폰 앱을 통해 만든 사용자의 크로마키 영상을 '서비스사 시스템'에 전송하는 단계를 더 포함하는 '혼합현실동영상 제작 방법 및 시스템'