KR102192412B1 - 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치 - Google Patents

3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치 Download PDF

Info

Publication number
KR102192412B1
KR102192412B1 KR1020200077918A KR20200077918A KR102192412B1 KR 102192412 B1 KR102192412 B1 KR 102192412B1 KR 1020200077918 A KR1020200077918 A KR 1020200077918A KR 20200077918 A KR20200077918 A KR 20200077918A KR 102192412 B1 KR102192412 B1 KR 102192412B1
Authority
KR
South Korea
Prior art keywords
camera
virtual space
real
screen box
virtual
Prior art date
Application number
KR1020200077918A
Other languages
English (en)
Inventor
황영택
Original Assignee
주식회사 소울엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소울엑스 filed Critical 주식회사 소울엑스
Application granted granted Critical
Publication of KR102192412B1 publication Critical patent/KR102192412B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따르면, 가상공간에 실시간 영상을 합성하는 방법에 있어서, 컴퓨팅 장치가, 적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내는 단계; 상기 컴퓨팅 장치가, 트래커가 부착된 상기 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하는 단계; 및 상기 컴퓨팅 장치가, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 단계를 포함하는 방법을 제시한다.

Description

3D 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치{METHOD FOR COMPOSITING REAL TIME VIDEO IN 3D VIRTUAL SPACE AND APPARATUS USING THE SAME}
본 발명은 가상공간에 실시간 영상을 합성하는 방법에 있어서, 컴퓨팅 장치가, 적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내는 단계; 상기 컴퓨팅 장치가, 트래커가 부착된 상기 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하는 단계; 및 상기 컴퓨팅 장치가, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 단계를 포함하는 방법에 관한 것이다.
인터넷 사용자들이 온라인 동영상 플랫폼으로 끊임없이 유입되면서 다양한 분야에서 영상 콘텐츠를 생산하는 일반인이 증가하였다.
기존 방송국 등 일방적으로 정보를 전달하던 기존 영상 방식에서 유튜브, 트위치 등 다양한 인터넷 방송 플랫폼에서 실시간으로 소통하고 공유하는 방식의 영상 콘텐츠로의 전환이 이루어지고 있다.
이때, 3D 가상공간을 실제 공간처럼 촬영 가능하게 하는 3D 가상공간(VR, AR, MR 등) 효과 기술이 많이 이용되고 있으며, 3D 가상공간 효과 기술을 이용하여 차별적인 영상을 제공하고자 하는 영상 콘텐츠 생산자가 증가하고 있다. 다만, 현재의 가상공간에의 영상 합성 방식은 관련 전문가가 아닌 일반인이 제작하기에는 복잡하고 어려운 측면이 있었다.
이에 본 발명자는 3D 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치를 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.
본 발명은 누구라도 쉽게 VR 효과를 가지는 영상을 제작할 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은 실시간으로 촬영되는 실제 영상을 가상공간에 합성하여 즉각적으로 렌더링이 진행되도록 하는 것을 또 다른 목적으로 한다.
또한, 본 발명은 실제 영상을 촬영하는 카메라의 움직임에 따라 가상 공간에서의 시야도 실시간으로 변화시키는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 가상공간에 실시간 영상을 합성하는 방법에 있어서, 컴퓨팅 장치가, 적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내는 단계; 상기 컴퓨팅 장치가, 트래커가 부착된 상기 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하는 단계; 및 상기 컴퓨팅 장치가, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 단계를 포함하는 방법이 제공된다.
또한, 본 발명의 다른 태양에 따르면, 가상공간에 실시간 영상을 합성하는 장치에 있어서, 리얼 카메라와 통신을 수행하는 통신부; 데이터베이스; 및 적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내며, 트래커가 부착된 상기 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하고, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 프로세서를 포함하는 컴퓨팅 장치가 제공된다.
본 발명에 의하면, 다음과 같은 효과가 있다.
본 발명은 누구라도 쉽게 VR 효과를 가지는 영상을 제작할 수 있도록 하는 효과가 있다.
또한, 본 발명은 실시간으로 촬영되는 실제 영상을 가상공간에 합성하여 즉각적으로 렌더링이 진행되도록 하는 효과가 있다.
또한, 본 발명은 실제 영상을 촬영하는 카메라의 움직임에 따라 가상 공간에서의 시야도 실시간으로 변화시키는 효과가 있다.
도 1은 본 발명의 일 실시예에 따라 컴퓨팅 장치의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 리얼 카메라의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치가 달라지기까지의 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 가상 공간을 생성하는 모습을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 리얼 카메라의 촬영 모습을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 리얼 카메라로 촬영된 이미지를 가상공간 상에 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 컴퓨팅 장치의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 컴퓨팅 장치(100)는 통신부(110), 프로세서(120) 및 데이터베이스(130)를 포함할 수 있다. 경우에 따라서는 도 1과 달리 데이터베이스(130)가 포함되지 않을 수 있다. 또한, 컴퓨팅 장치(100)는 영상 캡쳐 보드(그래픽 보드, 140), 디스플레이 장치(150)를 포함할 수 있으며, 상기 영상 캡쳐 보드는 Blackmagic사의 DeckLink　4K Extreme 12G, DeckLink Duo 2, DeckLink 8K　Pro 및 AJA사의 Kona 4, Kona 5, Corvid 44 등이 이용될 수 있다.
상기 컴퓨팅 장치(100)는 통신을 수행하고 디스플레이 기능을 포함하며 게임 엔진(ex Epic Games의 Unreal Engine 이용) 역할을 수행하는 디지털 기기로서, 데스크탑 컴퓨터, 노트북 컴퓨터, 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 컴퓨팅 장치(100)로서 채택될 수 있다.
컴퓨팅 장치(100)의 통신부(110)는 다양한 통신 기술로 구현될 수 있다. 즉, 와이파이(WIFI), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), HSPA(High Speed Packet Access), 모바일 와이맥스(Mobile WiMAX), 와이브로(WiBro), LTE(Long Term Evolution), 5G, 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), NFC(Near Field Communication), 지그비(Zigbee), 무선랜 기술 등이 적용될 수 있다. 또한, 인터넷과 연결되어 서비스를 제공하는 경우 인터넷에서 정보전송을 위한 표준 프로토콜인 TCP/IP를 따를 수 있다.
컴퓨팅 장치(100)는 통신부(110)를 통해 카메라(200) 및 센서(400)와 정보를 송수신할 수 있다. 여기서, 상기 카메라(200)는 후술할 리얼 카메라에 해당하며, 트래커(300)가 부착될 수 있다. 또한, 센서(400)는 일정 범위에서 트래커(300)의 위치와 움직임을 센싱하고, 센싱된 정보를 컴퓨팅 장치(100)에 전달할 수 있다.
도 2는 본 발명의 일 실시예에 따라 리얼 카메라의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치가 달라지기까지의 과정을 나타내는 도면이다.
우선, 컴퓨팅 장치(100)는 적어도 하나의 오브젝트가 포함된 가상 공간을 생성하고, 가상 카메라를 이용하여 가상공간을 나타낼 수 있다(S210).
도 3은 본 발명의 일 실시예에 따라 가상 공간을 생성하는 모습을 나타내는 도면이다.
도 3에서 볼 수 있듯이, 디스플레이 장치(150) 상에 가상 카메라의 시야에 나타나는 가상공간이 제1 화면 박스(151)로서 디스플레이될 수 있다. 상기 가상 공간에는 복수의 오브젝트(ex 나무, 의자, 자전거, 자동차)가 포함될 수 있다.
여기서, 가상 카메라는 실체는 없지만, 가상 공간을 촬영하고 가상 카메라에 의해 촬영된 영상을 제1 화면 박스(151) 상에 나타내는 것으로 가정할 수 있는 것이다.
또한, 상기 복수의 오브젝트는 가상공간 상에 나타날 수 있는 사물 등을 나타내며, 나무, 의자, 자전거, 자동차 등 다양한 사물을 의미할 수 있다. 오브젝트에 대해서는 뒤에서 좀 더 자세히 살펴보기로 한다.
컴퓨팅 장치(100)는 작업자로 하여금 상기 복수의 오브젝트 중 적어도 하나의 오브젝트를 선택하도록 하여 제1 화면 박스(151)로 이동시킬 수 있다. 이때, 컴퓨팅 장치(100)는 작업자로 하여금 나열된 오브젝트 중 하나를 클릭하고, 이를 드래그앤 드롭하여 해당 오브젝트를 제1 화면 박스(151) 내 원하는 위치로 이동시키도록 할 수 있다.
상기 이동된 적어도 하나의 오브젝트는 가상 공간을 이루며, 상기 적어도 하나의 오브젝트 각각은 제1 화면 박스(151) 내에서 작업자의 선택에 따라 회전, 이동 및 외형 변형이 가능할 수 있다.
컴퓨팅 장치(100)는 가상 공간 상의 오브젝트에 대해 작업자로 하여금 편집이 가능하도록 하고, 구체적으로 작업자는 해당 오브젝트를 클릭하여 이동시킬 수도 있고, 해당 오브젝트를 클릭한 후 회전시킬 수도 있다. 또한, 컴퓨팅 장치(100)는 작업자로 하여금 해당 오브젝트의 외형(ex 텍스쳐, 색깔, 크기, 2D/3D 전환) 등을 변경 가능하도록 할 수 있다.
예를 들어, 작업자가 오브젝트 목록 상에서 탁자 오브젝트를 선택하여 제1 화면 박스(151)로 이동시킨 후, 상기 탁자 오브젝트의 색깔, 크기를 변경할 수 있는 것이다. 물론, 작업자는 상기 탁자 오브젝트의 가상 공간상에서의 위치를 변경할 수도 있다.
결국, 컴퓨팅 장치(100)는 디스플레이 장치(150)를 이용하여 눈에 보이는 UI 즉, 오브젝트 및 제1 화면 박스(151)를 제공함으로써, 작업자로 하여금 손쉽게 가상 공간을 생성하도록 할 수 있다.
전술한 오브젝트는 사물 오브젝트(ex 탁자, 의자, 자동차 등)만을 고려하였으나, 사물 오브젝트뿐 아니라 이펙트 오브젝트, 배경 오브젝트, 외부 오브젝트, 텍스트 오브젝트 등 다양한 오브젝트가 존재할 수 있다.
이펙트 오브젝트는 지진, 불, 번개 등의 현상/효과를 보여주는 오브젝트이고, 배경 오브젝트는 가상공간 상에서의 배경(ex 비, 눈, 천둥, 바다, 우주 등)을 나타내는 오브젝트에 해당하며, 외부 오브젝트는 컴퓨팅 장치(100)가 제공할 수 있는 프로그램(ex 유튜브, PPT, 동영상 자료(mp4, mov), 이미지 자료(JPEG, PNG) 등)을 의미할 수 있다.
가령, 가상 공간 상에 컴퓨터 오브젝트 또는 모니터 오브젝트가 존재하고, 상기 오브젝트의 디스플레이 공간에 PPT, 동영상, 이미지 등의 외부 오브젝트가 나타날 수 있는 것이다.
즉, 촬영 대상(리얼 카메라로 촬영되는 사람 및 그에 상응하는 대상)은 가상공간 상에서 PPT를 이용하여 발표를 진행할 수 있는 것이다. 참고로, 프로세서(120)는 상기 외부 오브젝트를 파일(PPT)로서 불러올 수도 있고, URL(유튜브 등 인터넷 상에서 확인가능한 영상), 동영상 자료, 이미지 자료로서 불러와 가상공간에 디스플레이할 수 있을 것이다.
또한, 본 발명의 오브젝트로서 특수 오브젝트도 고려될 수 있다. 구체적으로, 코카콜라 CF 광고 등에서 나타난 코카콜라병, BTS 공연 현장에서 나타난 인형 등을 하나의 오브젝트로 포함시키고, 이들을 디스플레이 장치(150)에 나타낼 수 있는 것이다. 대개, 상기 특수 오브젝트는 계약된 IP 상품 내지 기업 홍보상품 등에 해당할 수 있다.
또한, 본 발명의 오브젝트로서 텍스트 오브젝트 등도 고려될 수 있으며, 상기 텍스트 오브젝트에는 작업자가 직접 입력한 텍스트 또는 기저장된 텍스트(ex nice, good, 사랑해요 등)가 포함될 수 있다.
또한, 적어도 하나의 오브젝트가 제1 오브젝트 및 제2 오브젝트를 포함하고, 상기 제2 오브젝트는 이펙트 오브젝트에 해당한다고 상정할 수 있다.
제1 화면 박스(151) 내에서 제1 오브젝트 및 제2 오브젝트가 겹치도록 위치하는 경우, 컴퓨팅 장치(100)는 제2 오브젝트를 기초로 하는 이펙트를 상기 제1 오브젝트에 나타낼 수 있다.
예를 들어, 가상 공간상에서 의자 오브젝트(제1 오브젝트)에 불 오브젝트(제2 오브젝트)를 겹치도록 위치시키는 경우, 컴퓨팅 장치(100)의 프로세서(120)는 상기 의자가 불타는 모습을 제1 화면 박스(151) 상에서 나타낼 수 있다. 또한, 건물 오브젝트(제1 오브젝트)에 지진 오브젝트(제2 오브젝트)를 겹치도록 위치시키는 경우, 프로세서(120)는 상기 건물에 지진 난 모습을 제1 화면 박스(151) 상에서 나타낼 수 있다.
위 실시예에서는 제2 오브젝트가 이펙트 오브젝트로 한정되었지만, 사물 오브젝트-사물 오브젝트, 사물 오브젝트-외부 오브젝트끼리 겹치는 경우도 고려될 수 있다.
예를 들어, 파이프 오브젝트와 또 다른 파이프 오브젝트를 겹치도록 위치시키면, 상기 2개의 파이프 오브젝트가 서로 연결될 수 있을 것이다. 또한, TV 오브젝트에 영상 오브젝트(외부 오브젝트)를 겹치도록 위치시키면 상기 가상 공간 상의 TV에서 영상(ex 유튜브)이 재생되는 모습이 나타날 수 있다.
참고로, 상기 제1 화면 박스(151)는 제2 화면 박스(152)를 포함할 수 있고, 상기 제1 화면 박스(151)는 디스플레이 장치(150)에서 디스플레이될 수 있다. 이때, 디스플레이 장치(150)의 전체화면에서 상기 제1 화면 박스(151)가 디스플레이될 수도 있고, 일부 화면에서 상기 제1 화면 박스(151)가 디스플레이될 수도 있다.
디스플레이 장치(150)의 일부 화면에서 제1 화면 박스(151)가 디스플레이되는 경우, 다른 일부에서는 복수의 오브젝트가 정렬된 상태로 디스플레이될 수 있을 것이다.
한편, 도 3에서 볼 수 있듯이, 복수의 오브젝트는 디스플레이 장치(150) 상에서 정렬된 상태로 디스플레이되어 있고, 작업자는 쉽게 복수의 오브젝트를 확인할 수 있다. 이때, 복수의 오브젝트는 소정 기준으로 그룹핑될 수 있는데 아래에서 상기 기준에 대해서 살펴보도록 하겠다.
우선, 컴퓨팅 장치(100)의 프로세서(120)는 사물 오브젝트, 배경 오브젝트, 외부 오브젝트를 구분하여 디스플레이할 수 있다. 또한, 상기 사물 오브젝트에 대해서는 테마별로 그룹핑할 수 있다. 예를 들어, 도시(ex 자동차, 건물, 신호등 등), 자연(ex 나무, 숲, 바위 등), 바다(ex 물고기, 배, 갈매기 등), 우주(ex 행성, 별, 우주선 등) 등의 테마별로 사물 오브젝트를 그룹핑할 수 있는 것이다.
위와 같이, 오브젝트들이 포함되어 가상공간이 생성될 수 있고, 생성된 가상공간은 설정에 따라 다양한 크기를 가질 수 있다. 좁은 규모의 오피스 내부, 광활한 우주 공간, 넓은 해저 공간 등 다양한 크기의 가상공간이 존재할 수 있다.
넓은 공간의 가상공간일수록 상기 가상공간상에서 이동할 수 있는 면적은 더 넓어질 수 있다. 리얼 카메라(200)의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치(제1 화면 박스(151))가 달라지므로, 넓은 공간의 가상공간일수록 리얼 카메라(200)가 움직일 수 있는 범위는 넓어질 수 있다.
예를 들어, 절벽, 바다 등 넓은 공간의 가상공간이 존재한다고 할 때, 드론에 부착된 리얼 카메라(200)가 넓은 범위를 움직이면서 촬영 대상(510)을 제2 화면 박스(152) 상에서 나타낼 수 있고, 제1 화면 박스(151) 상에서는 넓은 범위의 가상공간이 배경으로서 나타날 수도 있을 것이다.
도 4는 본 발명의 일 실시예에 따라 리얼 카메라의 촬영 모습을 나타내는 도면이다.
컴퓨팅 장치(100)의 프로세서(120)는 트래커(300)가 부착된 리얼 카메라(200)를 이용하여 배경 스크린(500)에 존재하는 촬영 대상(510)을 촬영(S220)할 수 있다. 상기 배경 스크린(500)은 주로 무배경의 녹색 바탕 또는 파란색 바탕에 해당할 것이며, 촬영 대상(510)은 사람, 동물, 사물 등 다양할 수 있다.
컴퓨팅 장치(100)에 연동된 센서(400)가 상기 트래커(300)의 움직임을 센싱할 수 있고, 센싱된 위치 내지 이동 정보에 기초하여 후술할 가상 카메라의 시야에 나타나는 가상공간의 위치도 실시간으로 달라질 수 있다. 참고로, 센서(400)가 가리지 않는 범위 내에서는 복수의 트래커(300)를 센싱할 수 있고, 본 발명에서는 경우에 따라서 복수 개의 트래커(300)의 이용을 고려할 수 있다.
또한, 컴퓨팅 장치(100)의 프로세서(120)는 상기 리얼 카메라(200)를 통해 촬영되는 촬영 대상(510)을 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라(200)의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치가 실시간으로 달라지도록 할 수 있다(S230).
도 4에서 확인할 수 있듯이, 트래커(300)가 부착된 리얼 카메라(200)가 배경 스크린(500)에 존재하는 사람(510)을 촬영할 수 있고, 상기 촬영 영상은 컴퓨팅 장치(100)에 전송되어 디스플레이 장치(150)의 화면 속 가상 공간(ex 우주) 상에서 사람(510)이 실시간으로 디스플레이될 수 있다.
도 5는 본 발명의 일 실시예에 따라 리얼 카메라로 촬영된 이미지를 가상공간 상에 나타내는 도면이다.
컴퓨팅 장치(100)의 프로세서(120)는 디스플레이 장치(150)에 가상 카메라의 시야에 나타나는 가상공간을 제1 화면 박스(151)로서 나타내고, 리얼 카메라의 시야에 나타나는 촬영 대상을 제2 화면 박스(152)로서 나타낼 수 있다.
디스플레이 장치(150)에서는 제1 화면 박스(151)를 전체 화면 또는 일부 화면으로서 디스플레이할 수 있고, 상기 제2 화면 박스(152)는 상기 제1 화면 박스(151) 내부에 포함될 수 있다.
상기 제2 화면 박스(152)의 위치는 상기 제1 화면 박스(151) 내부에서 설정에 따라 달라질 수 있다. 대개는 제1 화면 박스(151)의 중앙부에 제2 화면 박스(152)가 위치할 수 있을 것이다. 경우에 따라서는 가상 공간을 생성하는 과정에 있어서, 제2 화면 박스(152)의 위치를 미리 설정할 수도 있을 것이다.
제2 화면 박스(152)가 제1 화면 박스(151) 내부의 소정 위치에 존재하는 상태에서, 컴퓨팅 장치(100)의 프로세서(120)는 센서(400)를 통해 리얼 카메라(200)의 움직임을 센싱하고, 센싱된 움직임에 따라 제1 화면 박스(151)에 디스플레이되는 가상공간의 위치가 달라질 수 있다.
구체적으로, 가상 카메라의 움직임은 트래커(300)를 통해 실시간으로 센싱된 리얼 카메라(200)의 움직임과 동일하도록 설정될 수 있다. 이때, 제1 화면 박스(151)에 나타나는 가상공간은 가상 카메라의 시야에 의해 결정될 수 있을 것이다.
가령, 고정된 위치의 리얼 카메라(200)가 촬영 대상(510)을 기준으로 오른쪽(반시계 방향)으로 회전하면, 디스플레이 장치(150)의 화면 속 가상공간에서 왼쪽 방향의 시야가 나타날 수 있다. 반대로, 리얼 카메라(200)가 촬영 대상(510)을 기준으로 왼쪽(시계 방향)으로 회전하면, 디스플레이 장치(150)의 화면 속 가상공간에서 오른쪽 방향의 시야가 나타날 수 있다.
또한, 이동 가능한 리얼 카메라(200)가 촬영 대상(510)을 기준으로 오른쪽으로 평행하게 움직이면, 디스플레이 장치(150)의 화면 속 가상공간에서 오른쪽으로 이동된 상태에서의 시야가 나타날 수 있다. 반대로, 리얼 카메라(200)가 촬영 대상(510)을 기준으로 왼쪽으로 평행하게 움직이면, 디스플레이 장치(150)의 화면 속 가상공간에서 왼쪽으로 이동된 상태에서의 시야가 나타날 수 있다.
결국, 이미 생성된 가상공간(필드 형태로 생성)이 존재하고, 리얼 카메라(200) 렌즈의 움직임에 따라 나타나는 제1 화면 박스(151) 상에서의 가상 공간도 달라질 수 있는 것이다. 리얼 카메라(200)의 렌즈가 위쪽으로 움직이면, 제1 화면 박스(151) 상에 나타나는 가상 공간도 위쪽으로 향할 것이다. 즉, 리얼 카메라(200)의 움직임에 대응하여 가상 카메라가 보여주는 공간(제1 화면 박스)도 실시간으로 달라질 수 있는 것이고, 이는 가상 카메라의 움직임과 리얼 카메라의 움직임이 실시간으로 동일하도록 설정되어 있기 때문이다.
일 실시예에서, 프로세서(120)는 상기 제2 화면 박스(152)에 포함된 촬영 대상(510)을 트래킹하여 촬영 대상(510)을 제외한 나머지(배경 스크린(500) 일부)는 제외시킬 수 있다. 즉, 프로세서(120)는 상기 제2 화면 박스(152)에 촬영 대상(510)만을 포함시킨 상태로 상기 제2 화면 박스(152)를 상기 제1 화면 박스(151)에 포함시켜 디스플레이할 수 있는 것이다. 물론, 경우에 따라서는 제외없이 상기 리얼 카메라(200)에 의해 촬영된 영상 전체를 제2 화면 박스(152)에 포함시켜 디스플레이할 수도 있다.
일 실시예에서는, 상기 제2 화면 박스(152) 상에서의 촬영 대상(510)을 제외한 나머지 부분은 다른 이미지 또는 다른 영상 등을 포함시킬 수 있다.
또한, 다른 실시예에서 프로세서(120)는 상기 제1 화면 박스(151) 내 포함된 제2 화면 박스(152)의 위치를 기초로 하는 가상공간의 소정 공간에 대한 정보를 획득하고, 소정 공간을 제2 화면 박스(152) 상에서 촬영 대상(510)을 제외한 배경으로 나타낼 수 있다.
다시 말하면, 현재 리얼 카메라(200)에 의해 촬영되는 영상에는 촬영 대상(510) 및 배경 스크린(500) 일부가 포함될 수 있다. 상기 배경 스크린(500) 일부가 포함된 영상을 그대로 상기 제2 화면 박스(152)에 포함시키면, 주변 제1 화면 박스(151)의 가상 공간과 이질감이 생기므로 배경 스크린(500) 일부는 제2 화면 박스(152)에서 제외시킬 필요가 있다.
따라서, 프로세서(120)는 제1 화면 박스(151)에서의 제2 화면 박스(152)의 위치 정보(ex 제2 화면 박스 중심부의 x좌표, 제2 화면 박스 중심부의 y좌표, 제2 화면 박스의 가로 길이, 제2 화면 박스의 세로 길이)를 산출하고, 대응하는 가상 공간 속 소정 공간(제2 화면 박스에 해당하는 공간)에 대한 정보를 획득할 수 있다. 또한, 프로세서(120)는 상기 제2 화면 박스(152)에서 촬영 대상(510)을 제외한 나머지 부분을 상기 소정 공간을 배경으로 나타낼 수 있는 것이다.
예를 들어, 상기 가상 공간 속 소정 공간이 우주 공간의 태양을 나타내고 있다면, 프로세서(120)가, 상기 제2 화면 박스(152)에서 우주 공간의 태양을 배경으로 촬영 대상(510)을 나타낼 수 있는 것이다.
도면에서는 제1 화면 박스(151) 내부에 하나의 제2 화면 박스(152)만을 나타내었지만, 복수의 제2 화면 박스(152)가 존재할 수 있고, 상기 복수의 제2 화면 박스에 제2-1 화면 박스 및 제2-2 화면 박스가 적어도 포함되어 있다고 가정할 수 있다.
상기 제2-1 화면 박스는 전술한 바와 같이 리얼 카메라(200)에 의해 촬영된 촬영 대상(510)이 포함된 영상이 나타나는 것으로 고려할 수 있다. 제2-2 화면 박스에는 이미지, 영상(유튜브 영상 포함), PPT 등 다양한 외부 자료가 나타날 수 있다. 즉, 이미지, 영상, PPT 등의 외부 자료는 위와 같이 제2-2 화면 박스로서 제1 화면 박스(151)에 나타날 수도 있고, 전술한 외부 오브젝트로서 제1 화면 박스(151)에 나타날 수도 있다.
한편, 컴퓨팅 장치(100)의 프로세서(120)는 리얼 카메라(200)의 성능(해상도: 16:9, 4K, 2K, 1080P 등)에 따라 제2 화면 박스(152)의 크기를 변경할 수 있다.
구체적으로, 해상도 성능이 일정 수치보다 높은 리얼 카메라를 제1 리얼 카메라, 해상도 성능이 상기 일정 수치보다 낮은 리얼 카메라를 제2 리얼 카메라라고 할 때, 프로세서(120)는 상기 제1 리얼 카메라에 대응하는 제2 화면 박스의 크기를 상기 제2 리얼 카메라에 대응하는 제2 화면 박스의 크기보다 더 크게 나타낼 수 있다.
예를 들어, 리얼 카메라(200)가 4K 영상을 촬영가능하다면, 제2 화면 박스(152)의 크기를 기설정 수치보다 크게할 수 있고, 리얼 카메라(200)가 2K 영상까지 촬영가능하다면, 제2 화면 박스(152)의 크기를 기설정 수치보다 작게할 수 있는 것이다.
물론, 리얼 카메라(200)의 성능과 상관없이 작업자의 선택에 따라 상기 제2 화면 박스(152)의 크기를 변경할 수도 있다.
도 4에서 확인할 수 있듯이, 촬영 대상(510)을 촬영하는 리얼 카메라(200)는 이동이 가능할 수 있다. 이에 따라, 리얼 카메라(200)가 이동하다가 시야에서 촬영 대상(510)이 벗어날 수도 있다. 이 경우, 디스플레이 장치(150)에서는 촬영 대상(510)이 존재하지 않고 가상 공간만이 디스플레이될 수 있을 것이다. 위와 같이, 촬영 대상(510)이 사라지는 경우를 예방하기 위해서 리얼 카메라(200)의 회전 및 이동에 대해서 범위가 설정될 수 있을 것이며, 그 기준은 촬영 대상(510)이 리얼 카메라(200)의 시야에 나타나는 범위 내에서 회전 및 이동이 가능하도록 설정될 수 있을 것이다.
추가 실시예로서, 전술한 상기 제2 화면 박스(152)에는 리얼 카메라(200)가 촬영한 영상뿐만 아니라, 다른 영상 또는 다른 이미지가 포함될 수도 있다. 이 경우, 가상 공간을 나타내는 제1 화면 박스(151) 안에서는 다른 영상 또는 다른 이미지가 나타나는 제2 화면 박스(152)가 존재할 수 있는 것이다.
이는 리얼 카메라(200)를 통해 촬영된 영상을 이용하는 기존 방식을 제한하는 것은 아니고, 작업자의 선택 옵션에 따라 다른 영상 또는 다른 이미지를 나타내는 추가 방식을 의미하는 것이므로, 기존 방식인 리얼 카메라(200) 촬영 영상과 병행될 수 있을 것이다.
결국, 작업자의 선택에 따라 i) 제2 화면 박스(152)에 리얼 카메라(200)를 통해 촬영된 영상 또는 ii) 다른 영상/이미지를 포함시킬 수 있는 것이다.
한편, 가상공간에 특정 오브젝트가 존재하고 상기 특정 오브젝트가 특정 트래커(301)와 연동되었다고 상정할 수 있다.
컴퓨팅 장치(100)의 프로세서(120)는 특정 트래커(301)의 움직임에 따라 제1 화면 박스(151)에서의 상기 특정 오브젝트를 실시간으로 이동시킬 수 있다.
예를 들어, 특정 트래커(301)가 램프 오브젝트(특정 오브젝트)와 연동되었다고 상정할 수 있다. 이 경우, 특정 트래커(301)가 실제로 우측으로 움직이면, 프로세서(120)는 상기 램프 오브젝트를 제1 화면 박스(151) 안에서 우측으로 움직이게 할 수 있다.
컴퓨팅 장치(100)의 프로세서(120)는 복수 개의 트래커(300)를 복수 개의 오브젝트 각각과 연동시킬 수도 있고, 이에 따라 복수 개의 오브젝트 각각이 제1 화면 박스(151) 상에서 실시간으로 움직일 수도 있을 것이다.
또한, 경우에 따라서 리얼 카메라(200)도 복수 개가 존재할 수 있다. 복수 개의 리얼 카메라(200)가 제1 리얼 카메라 및 제2 리얼 카메라를 포함하며, 상기 제1 리얼 카메라 및 상기 제2 리얼 카메라가 서로 다른 위치를 촬영한다고 가정할 수 있다.
컴퓨팅 장치(100)의 프로세서(120)는 상기 제1 리얼 카메라가 선택된 경우, 제1 리얼 카메라를 통해 촬영되는 각도에서의 촬영 대상(510)을 상기 가상공간에 실시간으로 포함시켜 나타내고, 제1 리얼 카메라의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치 역시 실시간으로 달라지게 할 수 있다.
또한, 프로세서(120)는 상기 제2 리얼 카메라가 선택된 경우, 제2 리얼 카메라를 통해 촬영되는 각도에서의 촬영 대상(510)을 가상공간에 실시간으로 포함시켜 나타내고, 제2 리얼 카메라의 움직임에 대응하여 가상 카메라의 시야에 나타나는 가상공간의 위치를 실시간으로 달라지게 할 수 있다.
즉, 복수 개의 리얼 카메라(200)가 촬영 대상(510)을 촬영하고 있으며, 작업자의 선택에 따라 어느 리얼 카메라(200)의 촬영 영상을 제2 화면 박스(152)에 포함시킬지 결정되는 것이다.
다른 실시예에서는 상기 복수 개의 리얼 카메라(200) 각각에 대응하는 복수 개의 제2 화면 박스(152)가 제1 화면 박스(151) 내부에 존재할 수도 있을 것이다. 따라서, 여러 촬영 대상이 동시에 상기 가상 공간에 존재할 수도 있고, 하나의 촬영 대상에 대한 여러 각도에서의 영상이 동일한 가상 공간에 존재할 수도 있는 것이다.
본 발명의 가상 공간은 작업자가 여러 오브젝트를 이용하여 미리 생성할 수 있다. 프로세서(120)는 작업자로 하여금 취향에 따라 공포 테마, 우주 테마, 해저 테마 등 다양한 가상 공간을 만들도록 할 수 있고, 이를 저장하도록 할 수 있다. 작업자의 입장에서는 기존에 생성하고 저장한 가상 공간을 이용하여 촬영 대상이 포함된 영상을 제작함으로써, 새로운 VR/AR 효과를 제공할 수 있다.
또한, 프로세서(120)는 복수의 작업자가 생성한 가상 공간을 데이터베이스(130)에 저장할 수 있고, 저장된 가상 공간을 필요로 하는 영상 콘텐츠 제작자에게 전달할 수도 있다.
본 발명의 프로세서(120)는 리얼 카메라(200)의 움직임에 대응하여 가상 카메라의 시야에 해당하는 제1 화면 박스(151)가 실시간으로 움직이게 할 수 있다. 또한, 프로세서(120)는 리얼 카메라(200)에서 촬영된 영상을 별도의 작업없이 제1 화면 박스(151)에 포함된 제2 화면 박스(152)에 실시간으로 렌더링함으로써, 영상 관찰자에게 보다 생생한 현장감을 전달할 수 있을 것이다.
한편, 본 발명의 프로세서(120)는 아래와 같은 사운드를 작업자에게 전달할 수 있다.
우선, 프로세서(120)는 리얼 카메라(200)가 촬영한 영상에 포함된 사운드를 고려할 수 있고, 외부 영상, PPT 자료, 이미지, 영상 등 다양한 외부 자료에 포함된 사운드를 고려할 수 있으며, 전술한 오브젝트 중에서 일부 오브젝트가 포함한 사운드를 고려할 수도 있다.
여기서, 오브젝트의 경우 소정 조건(ex 클릭, 촬영 대상이 일정 범위내로 접근하는 경우, 항상 사운드가 켜진 상태 등)에 기초하여 오브젝트 자체에서 소리가 날 수 있을 것이다.
예를 들어, 불 오브젝트가 드래그앤 드롭 등을 통해 제1 화면 박스(151)에 포함된 경우 '활활 타오르는 소리'가 지속적으로 들릴 수 있고, 작업자는 상기 불 오브젝트의 소리에 대해 on/off를 결정할 수 있다.
또한, 제1 화면 박스(151)에 포함된 벽 오브젝트에서 음악이 지속적으로 흘러나올 수 있고, 화면 대상(510)이 상기 벽 오브젝트에 기설정 범위만큼 가까이가면 음악이 on, 기설정 범위 밖에 위치하면 음악이 off될 수도 있다. 경우에 따라서는, 화면 대상(510)이 상기 벽 오브젝트에 가까이 갈수록 음악이 커지고, 멀어질수록 음악이 작아질 수도 있다.
촬영 영상, 외부 자료, 오브젝트 등으로부터 발생한 상기 사운드들은 동시에 또는 각각 컴퓨팅 장치(100)의 사운드 모듈을 통해 발생할 수 있다.
참고로, 상기 사운드 파일은 실시간 사운드(ex 리얼 카메라로 촬영한 영상에 포함된 사운드), 미리 녹음된 wav 파일(ex 오브젝트, PPT, 기존 영상 등에 포함된 사운드) 등으로 구분될 수 있다.
본 발명의 리얼 카메라(200)는 영상 촬영과 동시에 사운드 녹음을 할 수 있다. 또한, 상기 리얼 카메라(200)와는 별개로 마이크가 존재하여 촬영 대상(510)의 음성 등을 확인할 수도 있다.
컴퓨팅 장치(100)의 프로세서(120)는 상기 리얼 카메라(200)로부터 획득한 사운드 및 상기 마이크로부터 획득한 사운드 모두를 작업자에게 전달할 수도 있고, 경우에 따라서는 작업자의 선택에 따라 일부 사운드만 작업자에게 전달할 수도 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 컴퓨팅 장치
110: 통신부
120: 프로세서
130: 데이터베이스
140: 그래픽 보드
150: 디스플레이 장치
151: 제1 화면 박스
152: 제2 화면 박스
200: 카메라
300: 트래커
400: 센서
500: 배경 스크린
510: 촬영 대상

Claims (9)

  1. 가상공간에 실시간 영상을 합성하는 방법에 있어서,
    (a) 컴퓨팅 장치가, 적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내는 단계;
    (b) 상기 컴퓨팅 장치가, 트래커가 부착된 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하는 단계; 및
    (c) 상기 컴퓨팅 장치가, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 단계;
    를 포함하고,
    상기 (a) 단계에서,
    상기 가상 카메라의 시야에 나타나는 상기 가상공간이 디스플레이 장치에서 제1 화면 박스로서 나타나고, 복수의 오브젝트가 상기 디스플레이 장치에 나열된 상태에서,
    상기 컴퓨팅 장치가, 작업자로 하여금 상기 복수의 오브젝트 중 상기 적어도 하나의 오브젝트를 선택하도록 하여 상기 제1 화면 박스로 이동시키고,
    상기 이동된 적어도 하나의 오브젝트는 상기 가상 공간을 이루며, 상기 적어도 하나의 오브젝트 각각은 상기 제1 화면 박스 내에서 상기 작업자의 선택에 따라 회전, 이동, 및 외형 변형이 가능하며,
    상기 컴퓨팅 장치는, 상기 적어도 하나의 오브젝트 중 일부 오브젝트의 사운드에 대해 상기 작업자로 하여금 on/off를 결정하도록 하고,
    상기 적어도 하나의 오브젝트가 제1 오브젝트 및 제2 오브젝트를 포함하고, 상기 제1 화면 박스 내에서 상기 제1 오브젝트 및 상기 제2 오브젝트가 겹치도록 위치하는 상태에서, 상기 컴퓨팅 장치는, i)상기 제2 오브젝트가 이펙트 오브젝트에 해당하는 경우 상기 제2 오브젝트를 기초로 하는 이펙트를 상기 제1 오브젝트에 나타내고, ii) 상기 제2 오브젝트가 외부 오브젝트에 해당하는 경우 상기 제2 오브젝트를 기초로 하는 컨텐츠를 상기 제1 오브젝트에 나타내는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 장치는, 디스플레이 장치에 상기 가상 카메라의 시야에 나타나는 상기 가상공간을 제1 화면 박스로서 나타내고, 상기 리얼 카메라의 시야에 나타나는 상기 촬영 대상을 제2 화면 박스로서 나타내며,
    상기 제2 화면 박스는 상기 제1 화면 박스 내 포함되어 있고, 상기 가상 카메라의 움직임은 상기 트래커를 통해 실시간으로 센싱된 상기 리얼 카메라의 움직임과 동일하도록 설정되어 있으며,
    상기 제1 화면 박스에 나타나는 상기 가상공간은 상기 가상 카메라의 시야에 의해 결정되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    해상도 성능이 일정 수치보다 높은 리얼 카메라를 제1 리얼 카메라, 해상도 성능이 상기 일정 수치보다 낮은 리얼 카메라를 제2 리얼 카메라라고 할 때,
    상기 제1 리얼 카메라에 대응하는 제2 화면 박스의 크기는 상기 제2 리얼 카메라에 대응하는 제2 화면 박스의 크기보다 큰 것을 특징으로 하는 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 가상공간에 특정 오브젝트가 존재하고 상기 특정 오브젝트가 특정 트래커와 연동된 상태에서,
    상기 컴퓨팅 장치는, 상기 특정 트래커의 움직임에 따라 제1 화면 박스에서의 상기 특정 오브젝트를 실시간으로 이동시키는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 (c) 단계에서,
    상기 리얼 카메라가 복수 개이고, 상기 복수 개의 리얼 카메라가 제1 리얼 카메라 및 제2 리얼 카메라를 포함하며, 상기 제1 리얼 카메라 및 상기 제2 리얼 카메라가 서로 다른 위치를 촬영한다고 할 때,
    상기 컴퓨팅 장치는, i) 상기 제1 리얼 카메라가 선택된 경우, 상기 제1 리얼 카메라를 통해 촬영되는 각도에서의 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 제1 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지며, ii) 상기 제2 리얼 카메라가 선택된 경우, 상기 제2 리얼 카메라를 통해 촬영되는 각도에서의 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 제2 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 오브젝트 중 소정 오브젝트가 사운드를 발생시킬 수 있다고 할 때,
    상기 컴퓨팅 장치는, 상기 촬영 대상이 상기 소정 오브젝트에 기설정 범위보다 근접하는 경우, 상기 소정 오브젝트에서 상기 사운드를 발생시키도록 하고, 상기 촬영 대상이 상기 소정 오브젝트에 상기 기설정 범위보다 멀어진 경우, 상기 소정 오브젝트에서 상기 사운드를 발생시키지 않도록 하는 것을 특징으로 하는 방법.
  9. 가상공간에 실시간 영상을 합성하는 장치에 있어서,
    리얼 카메라와 통신을 수행하는 통신부;
    데이터베이스; 및
    적어도 하나의 오브젝트가 포함된 가상공간을 생성하고, 가상 카메라를 이용하여 상기 가상공간을 나타내며, 트래커가 부착된 상기 리얼 카메라를 이용하여 배경 스크린에 존재하는 촬영 대상을 촬영하고, 상기 리얼 카메라를 통해 촬영되는 상기 촬영 대상을 상기 가상공간에 실시간으로 포함시켜 나타내고, 상기 리얼 카메라의 움직임에 대응하여 상기 가상 카메라의 시야에 나타나는 상기 가상공간의 위치가 실시간으로 달라지도록 하는 프로세서;
    를 포함하고,
    상기 가상 카메라의 시야에 나타나는 상기 가상공간이 디스플레이 장치에서 제1 화면 박스로서 나타나고, 복수의 오브젝트가 상기 디스플레이 장치에 나열된 상태에서,
    상기 프로세서가, 작업자로 하여금 상기 복수의 오브젝트 중 상기 적어도 하나의 오브젝트를 선택하도록 하여 상기 제1 화면 박스로 이동시키고,
    상기 이동된 적어도 하나의 오브젝트는 상기 가상 공간을 이루며, 상기 적어도 하나의 오브젝트 각각은 상기 제1 화면 박스 내에서 상기 작업자의 선택에 따라 회전, 이동, 및 외형 변형이 가능하며,
    상기 프로세서는, 상기 적어도 하나의 오브젝트 중 일부 오브젝트의 사운드에 대해 상기 작업자로 하여금 on/off를 결정하도록 하고,
    상기 적어도 하나의 오브젝트가 제1 오브젝트 및 제2 오브젝트를 포함하고, 상기 제1 화면 박스 내에서 상기 제1 오브젝트 및 상기 제2 오브젝트가 겹치도록 위치하는 상태에서,
    상기 프로세서는, i)상기 제2 오브젝트가 이펙트 오브젝트에 해당하는 경우 상기 제2 오브젝트를 기초로 하는 이펙트를 상기 제1 오브젝트에 나타내고, ii) 상기 제2 오브젝트가 외부 오브젝트에 해당하는 경우 상기 제2 오브젝트를 기초로 하는 컨텐츠를 상기 제1 오브젝트에 나타내는 것을 특징으로 하는 컴퓨팅 장치.
KR1020200077918A 2019-06-25 2020-06-25 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치 KR102192412B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190075437 2019-06-25
KR20190075437 2019-06-25

Publications (1)

Publication Number Publication Date
KR102192412B1 true KR102192412B1 (ko) 2020-12-16

Family

ID=74042075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200077918A KR102192412B1 (ko) 2019-06-25 2020-06-25 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102192412B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022177094A1 (ko) * 2021-02-17 2022-08-25 박수빈 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템
CN116260956A (zh) * 2023-05-15 2023-06-13 四川中绳矩阵技术发展有限公司 一种虚拟现实拍摄方法及系统
CN116320364A (zh) * 2023-05-25 2023-06-23 四川中绳矩阵技术发展有限公司 一种基于多层显示的虚拟现实拍摄方法及显示方法
KR20230171237A (ko) 2022-06-13 2023-12-20 태나다 주식회사 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634966B1 (ko) * 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR20180113406A (ko) * 2017-04-06 2018-10-16 엘지전자 주식회사 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치
KR101918853B1 (ko) * 2017-06-28 2018-11-15 민코넷주식회사 게임 리플레이 영상 생성 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101634966B1 (ko) * 2016-04-05 2016-06-30 삼성지투비 주식회사 Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR20180113406A (ko) * 2017-04-06 2018-10-16 엘지전자 주식회사 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치
KR101918853B1 (ko) * 2017-06-28 2018-11-15 민코넷주식회사 게임 리플레이 영상 생성 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022177094A1 (ko) * 2021-02-17 2022-08-25 박수빈 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템
KR20230171237A (ko) 2022-06-13 2023-12-20 태나다 주식회사 2차원 영상에 기초하여 3차원 가상객체를 포함하는 360도 영상을 생성하는 방법 및 장치
CN116260956A (zh) * 2023-05-15 2023-06-13 四川中绳矩阵技术发展有限公司 一种虚拟现实拍摄方法及系统
CN116320364A (zh) * 2023-05-25 2023-06-23 四川中绳矩阵技术发展有限公司 一种基于多层显示的虚拟现实拍摄方法及显示方法

Similar Documents

Publication Publication Date Title
KR102192412B1 (ko) 3d 가상공간에 실시간 영상을 합성하는 방법 및 그를 이용한 컴퓨팅 장치
US11138796B2 (en) Systems and methods for contextually augmented video creation and sharing
US11632489B2 (en) System and method for rendering free viewpoint video for studio applications
US20230245395A1 (en) Re-creation of virtual environment through a video call
US10735798B2 (en) Video broadcast system and a method of disseminating video content
JP7187446B2 (ja) 拡張された仮想現実
US10127632B1 (en) Display and update of panoramic image montages
US9852351B2 (en) 3D rotational presentation generated from 2D static images
US10182187B2 (en) Composing real-time processed video content with a mobile device
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US11587292B2 (en) Triggered virtual reality and augmented reality events in video streams
US20150058709A1 (en) Method of creating a media composition and apparatus therefore
US20070122786A1 (en) Video karaoke system
US20140306995A1 (en) Virtual chroma keying in real time
JP2021521747A (ja) デジタルメディアシステム
US10261749B1 (en) Audio output for panoramic images
US20200104030A1 (en) User interface elements for content selection in 360 video narrative presentations
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
WO2013116163A1 (en) Method of creating a media composition and apparatus therefore
US20240070973A1 (en) Augmented reality wall with combined viewer and camera tracking
US20160316249A1 (en) System for providing a view of an event from a distance
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
Brindle The digital filmmaking handbook
KR20230064782A (ko) 네트워크를 통하여 3d 가상공간상에서 촬영 대상과의 거리에 기반하여 객체의 사운드 효과를 발생시키는 방법 및 이를 위한 장치
KR20230064781A (ko) 네트워크를 통하여 3d 가상공간을 위한 객체의 선택적 전송을 수행하는 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant