KR102278342B1 - 가상현실 영상 편집 시스템 및 방법 - Google Patents

가상현실 영상 편집 시스템 및 방법 Download PDF

Info

Publication number
KR102278342B1
KR102278342B1 KR1020180115121A KR20180115121A KR102278342B1 KR 102278342 B1 KR102278342 B1 KR 102278342B1 KR 1020180115121 A KR1020180115121 A KR 1020180115121A KR 20180115121 A KR20180115121 A KR 20180115121A KR 102278342 B1 KR102278342 B1 KR 102278342B1
Authority
KR
South Korea
Prior art keywords
image
playback
virtual reality
video
content
Prior art date
Application number
KR1020180115121A
Other languages
English (en)
Other versions
KR20200035696A (ko
Inventor
전창대
Original Assignee
주식회사 더픽트
주식회사 어썸데이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 더픽트, 주식회사 어썸데이 filed Critical 주식회사 더픽트
Priority to KR1020180115121A priority Critical patent/KR102278342B1/ko
Publication of KR20200035696A publication Critical patent/KR20200035696A/ko
Priority to KR1020210086424A priority patent/KR102330984B1/ko
Application granted granted Critical
Publication of KR102278342B1 publication Critical patent/KR102278342B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

본 발명은 가상현실 영상 편집 시스템 및 이를 이용한 가상현실 영상 편집 방법에 관한 것이다.
웹으로 구현되는 가상현실 영상 편집 시스템에 있어서, 파노라믹 영상을 획득하는 파노라믹 영상 획득부; 상기 파노라믹 영상을 구 형태의 가상현실 영상으로 변환하는 파노라믹 영상 변환부; 상기 가상현실 영상 내에 영상 객체를 삽입하는 영상 객체 삽입부; 삽입된 상기 영상 객체와 연결되는 재생 컨텐츠를 지정하는 재생 컨텐츠 지정부; 및 상기 재생 컨텐츠의 재생 속성을 설정하는 재생 컨텐츠 설정부; 를 포함한다.

Description

가상현실 영상 편집 시스템 및 방법{SYSTEM AND METHOD FOR EDITING VIRTUAL REALITY IMAGE AND VIDEO}
본 발명은 가상현실 영상 편집 시스템 및 가상현실 영상 편집 방법에 관한 것이다.
360도 VR카메라 및 제작 어플리케이션이 대중에게 보급됨에 따라 가상현실 이미지를 구현 및 제작하고자 하는 수요가 증대되고 있다.
이러한 가상현실 영상을 기반으로 제작자가 가상공간을 제작하고, 서로 공유하여, 촬영한 공간을 보다 현실감이 있는 영상을 제작할 수 있다.
종래의 서비스로는, 구글 스트리트 뷰, 네이버 거리뷰 및 각종 부동산 사이트에서 가상현실 영상을 제작 및 업로드 하여 이용자에게 제공되고 있다.
다만, 이러한 가상현실 영상은 별도의 전용 어플리케이션으로 제작하고 업로드하여 공유한다는 점에서, 사용자 간의 제작 참여가 어려울 뿐 아니라 제작과 업로드를 따로 수행한다는 점에서 번거로운 문제점이 있다.
이에, 인터넷 웹(Web)상의 가상현실 영상 편집 플랫폼을 구현하여 사용자가 보다 쉽게 가상현실 영상 공유 및 제작 가능하며, 사용자가 가상현실 영상 내 재생 컨텐츠를 손쉽게 부가할 수 있도록 제안되고 있다.
본 발명은 사용자가 보다 쉽게 가상현실 영상 공유 및 제작할 수 있는 가상현실 영상 편집 시스템 및 이를 이용한 가상현실 영상 편집 방법을 제공하고자 한다.
본 발명의 실시예의 일 측면에 따른 가상현실 영상 편집 시스템은, 웹으로 구현되는 가상현실 영상 편집 시스템에 있어서, 파노라믹 영상을 획득하는 파노라믹 영상 획득부; 상기 파노라믹 영상을 구 형태의 가상현실 영상으로 변환하는 파노라믹 영상 변환부; 상기 가상현실 영상 내에 영상 객체를 삽입하는 영상 객체 삽입부; 삽입된 상기 영상 객체와 연결되는 재생 컨텐츠를 지정하는 재생 컨텐츠 지정부; 및 상기 재생 컨텐츠의 재생 속성을 설정하는 재생 컨텐츠 설정부; 를 포함한다.
또한, 상기 재생 컨텐츠 설정부는, 삽입된 상기 영상 객체를 기준으로 상기 가상현실 영상 내 상기 재생 컨텐츠의 재생 범위를 설정할 수 있다.
또한, 상기 재생 컨텐츠 설정부는, 구면 좌표계를 이용하여 상기 재생 컨텐츠의 재생 범위를 설정할 수 있다.
또한, 상기 재생 범위는, 상기 재생 컨텐츠가 재생되어 상기 재생 컨텐츠의 재생을 사용자가 인식할 수 있는 범위이며, 사용자의 시점이 상기 재생 범위에서 벗어나는 경우, 상기 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태일 수 있다.
또한, 상기 재생 범위의 중심에서 상기 재생 범위의 경계 영역으로 상기 사용자의 시점이 이동되는 과정에서 상기 재생 컨텐츠의 재생 음량은 선형적 또는 비선형적으로 감소될 수 있다.
또한, 복수의 상기 영상 객체가 삽입될 경우, 상기 영상 객체들과 연결되는 각각의 상기 재생 컨텐츠의 상기 재생 음량을 비교하여, 상기 재생 컨텐츠 중 높은 재생 음량을 가진 재생 컨텐츠를 제외한, 적어도 하나 이상의 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태일 수 있다.
또한, 상기 재생 컨텐츠 설정부는, 상기 재생 컨텐츠의 재생 동작에 따라 상기 영상 객체의 동작이 설정할 수 있다.
또한, 상기 재생 컨텐츠 설정부는, 상기 재생 컨텐츠의 상기 재생 동작이 재생 중일 때의 상기 재생 컨텐츠와 연결된 상기 영상 객체의 프레임 변화도를 설정하고, 상기 재생 컨텐츠의 상기 재생 동작이 정지될 경우, 상기 영상 객체 중 어느 하나의 프레임이 출력되도록 설정하고, 상기 재생 컨텐츠의 상기 재생 동작이 일시 정지 및 뮤트 동작일 경우, 기 설정된 영상 객체가 출력되도록 설정할 수 있다
또한, 상기 영상 객체 삽입부는, 오일러 각도(Euler Angle) 파라미터를 이용하여 상기 가상현실 영상 내에 영상 객체를 삽입할 수 있다.
또한, 상기 파노라믹 영상 획득부는, 획득된 상기 파노라믹 영상이 파노라믹 이미지 및 파노라믹 동영상의 여부를 판단하고, 상기 판단된 결과를 기반으로 파노라믹 이미지 편집 모드 및 파노라믹 동영상 편집 모드 중 어느 하나를 수행할 수 있다.
또한, 상기 판단된 결과가 상기 파노라믹 이미지 편집 모드일 경우, 상기 파노라믹 영상 변환부는 상기 파노라믹 이미지을 구 형태의 가상현실 이미지로 변환하고, 상기 영상 객체 삽입부는 정지된 가상현실 이미지에 영상 객체를 삽입하고, 상기 판단된 결과가 상기 파노라믹 동영상 편집 모드일 경우, 상기 파노라믹 영상 변환부는 상기 파노라믹 동영상을 구 형태의 가상현실 동영상으로 변환하고, 상기 영상 객체 삽입부는 시간에 따라서 변화되는 파노라믹 이미지 상의 복수의 랜드마크 객체를 지정하여, 지정된 상기 복수의 랜드마크 객체를 기반으로 영상 객체를 삽입할 수 있다.
또한, 상기 파노라믹 영상 변환부는, 반응형 웹 기반의 어플리케이션을 기반으로 상기 파노라믹 영상을 구형태의 상기 가상현실 영상으로 변환할 수 있다.
본 발명의 실시예의 일 측면에 따른 가상현실 영상 편집 방법은, 웹으로 구현되는 가상현실 영상 편집 시스템이 가상현실 영상을 편집하는 방법에 있어서, 파노라믹 영상을 획득하는 파노라믹 영상 획득 단계; 상기 파노라믹 영상을 구형태의 가상현실 영상으로 변환하는 파노라믹 영상 변환 단계; 사용자로부터 상기 가상현실 영상 내에 영상 객체를 삽입하는 영상 객체 삽입 단계; 삽입된 상기 영상 객체와 연결되는 재생 컨텐츠를 삽입하는 재생 컨텐츠 지정 단계; 및 상기 재생 컨텐츠의 재생 속성을 설정하는 재생 컨텐츠 설정 단계; 를 포함한다.
또한, 상기 재생 컨텐츠 설정 단계는, 삽입된 상기 영상 객체를 기준으로 상기 가상현실 영상 내 상기 재생 컨텐츠의 재생 범위를 설정하는 재생 컨텐츠 영역 설정 단계를 포함할 수 있다.
또한, 상기 재생 컨텐츠 영역 설정 단계는, 구면 좌표계를 이용하여 상기 재생 컨텐츠의 재생 범위를 설정할 수 있다.
또한, 상기 재생 범위는, 상기 재생 컨텐츠가 재생되어 상기 재생 컨텐츠의 재생을 사용자가 인식할 수 있는 범위이며, 사용자의 시점이 상기 재생 범위에서 벗어나는 경우, 상기 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태일 수 있다.
또한, 상기 재생 범위의 중심에서 상기 재생 범위의 경계 영역으로 상기 사용자의 시점이 이동되는 과정에서 상기 재생 컨텐츠의 재생 음량은 선형적 또는 비선형적으로 감소될 수 있다.
또한, 복수의 상기 영상 객체가 삽입될 경우, 상기 영상 객체들과 연결되는 각각의 상기 재생 컨텐츠의 상기 재생 음량을 비교하여, 상기 재생 컨텐츠 중 높은 재생 음량을 가진 재생 컨텐츠를 제외한, 적어도 하나 이상의 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태일 수 있다.
또한, 상기 재생 컨텐츠 설정 단계는, 상기 재생 컨텐츠의 재생 동작에 따라 상기 영상 객체의 동작이 설정하는 객체 변화 설정 단계를 포함할 수 있다.
또한, 상기 객체 변화 설정 단계에서, 상기 재생 컨텐츠의 상기 재생 동작이 재생 중일 때의 상기 재생 컨텐츠와 연결된 상기 영상 객체의 프레임 변화도를 설정하고, 상기 재생 컨텐츠의 상기 재생 동작이 정지될 경우, 상기 영상 객체 중 어느 하나의 프레임이 출력되도록 설정하고, 상기 재생 컨텐츠의 상기 재생 동작이 일시 정지 및 뮤트 동작일 경우, 기 설정된 영상 객체가 출력되도록 설정할 수 있다.
또한, 상기 영상 객체 삽입 단계는, 오일러 각도(Euler Angle) 파라미터를 이용하여 상기 가상현실 영상 내에 영상 객체를 삽입할 수 있다.
또한, 상기 파노라믹 영상 획득 단계는, 획득된 상기 파노라믹 영상이 파노라믹 이미지 및 파노라믹 동영상의 여부를 판단하고, 상기 판단된 결과를 기반으로 파노라믹 이미지 편집 모드 및 파노라믹 동영상 편집 모드 중 어느 하나를 수행할 수 있다.
또한, 상기 판단된 결과가 상기 파노라믹 이미지 편집 모드일 경우, 상기 파노라믹 영상 변환 단계는 상기 파노라믹 이미지를 구 형태의 가상현실 이미지로 변환하고, 상기 영상 객체 삽입 단계는 정지된 가상현실 이미지에 영상 객체를 삽입하고, 상기 판단된 결과가 상기 파노라믹 동영상 편집 모드일 경우, 상기 파노라믹 영상 변환 단계는 상기 파노라믹 동영상을 구 형태의 가상현실 동영상으로 변환하고, 상기 영상 객체 삽입 단계는 시간에 따라서 변화되는 파노라믹 이미지 상의 복수의 랜드마크 객체를 지정하여, 지정된 상기 복수의 랜드마크 객체를 기반으로 영상 객체를 삽입할 수 있다.
또한, 상기 파노라믹 영상 변환 단계에서, 반응형 웹 기반의 어플리케이션을 기반으로 상기 파노라믹 영상을 구형태의 상기 가상현실 영상으로 변환할 수 있다.
제안되는 실시예에 의하면, 사용자간 공유되는 인터넷 웹(Web)상에서 가상현실 영상을 손쉽게 편집 및 제작이 가능하다.
도 1은 본 발명의 실시예에 따른 가상현실 영상 편집 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 도 1의 가상현실 영상 편집 시스템의 구성을 개략적으로 도시한 블록도이다.
도 3은 도 2의 가상현실 영상 편집 시스템에 의한 가상현실 영상 편집 방법을 도시한 순서도이다.
도 4는 도 3의 가상현실 영상 편집 방법에 의한 재생 컨텐츠 설정 방법을 도시한 순서도이다.
도 5는 도 3의 가상현실 영상 편집 방법의 재생 컨텐츠 설정 방법을 보여주는 예시적인 도면이다.
도 6은 도 2의 가상현실 영상 편집 시스템에 의하여 가상현실 영상을 편집하는 과정을 보여주는 예시적인 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다. 또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
본 발명에 있어서 "~상에"라 함은 대상부재의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력방향을 기준으로 상부에 위치하는 것을 의미하는 것은 아니다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 "부(部")란 하드웨어에 의해 실현되는 유닛, 소프트웨어에 의해 실현되는 유닛, 또는 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현될 수 있으며, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 가상현실 영상 편집 시스템(100)은, 통신망(700)을 통하여 파노라믹 영상(P)이 외부 디바이스(200, 300, 400)와 연결되어 제공될 수 있다.
상세히 말하자면, 가상현실 영상 시스템(100)은 외부 디바이스(200, 300, 400)로부터 입력된 가상현실 편집 영상을 웹(Web)상에 기록하고, 통신망(700)을 통해 360도 카메라(200), 휴대폰, PDA 등 모바일 단말기(300) 또는 데스크탑(400)의 형태로 다른 사용자에게 제공할 수 있다.
예를 들어, 외부 디바이스(200, 300, 400)가 촬영한 파노라믹 영상(P) 또는 복수의 영상을 웹 서버(100)에 업로드 하여 가상현실 영상(V)이 구현되고, 복수의 사용자가 외부 디바이스(200, 300, 400)를 통해 웹사이트에 접속하여, 자유롭게 공유하는 방식으로 가상현실 영상(V)을 편집할 수 있다.
이때, 가상현실 영상 시스템(100)은 서버의 형태로 구현되거나, 외부 디바이스(200, 300, 400)의 어플리케이션 형태 일 수 있다.
도 2는 도 1의 가상현실 영상 편집 시스템의 구성을 개략적으로 도시한 블록도이다.
가상현실 영상 편집 시스템(100)은 파노라믹 영상을 획득하는 파노라믹 영상 획득부(110), 파노라믹 영상을 구 형태의 가상현실 영상(V)으로 변환하는 파노라믹 영상 변환부(120), 가상현실 영상(V) 내에 영상 객체를 삽입하는 영상 객체 삽입부(130), 삽입된 영상 객체(O)와 연결되는 재생 컨텐츠(C)를 지정하는 재생 컨텐츠 지정부(140) 및 재생 컨텐츠(C)의 재생 속성을 설정하는 재생 컨텐츠 설정부(150)를 포함한다.
먼저, 파노라믹 영상 획득부(110)는 파노라믹 영상(P)을 획득한다. 파노라믹 영상은 외부 디바이스(200, 300, 400)가 가상현실 영상 편집 시스템(100)으로 송신된 영상 데이터 또는 외부 디바이스(200, 300, 400)에서 촬영된 영상일 수 있다.
이때, 파노라믹 영상은 360도 또는 전방위로 촬영된 하나 이상의 영상이고, 파노라믹 영상(P)의 형태는 파노라믹 이미지(PI) 또는 파노라믹 동영상(Pv) 형태가 될 수 있다.
파노라믹 영상 획득부(110)는, 파노라믹 영상(P)과 연동된 동기화 정보 또는 위치 정보를 획득할 수 있다.
이때, 파노라믹 영상 획득부(100)는, 복수의 영상을 획득할 경우 이미지 스티칭 모듈(105)을 포함하여 하나의 영상인 파노라믹 영상(P)을 생성할 수 있다.
이때, 파노라믹 영상(P)은 정지된 파노라믹 이미지(PI) 또는 프레임이 변화하는 파노라믹 동영상(PV)을 포함한다.
또한, 파노라믹 영상 획득부(110)는, 획득된 파노라믹 영상(P)이 파노라믹 이미지(PI) 및 파노라믹 동영상(PV)의 여부를 판단하고, 상기 판단된 결과를 기반으로 파노라믹 이미지 편집 모드(MI) 및 파노라믹 동영상 편집 모드(MV) 중 어느 하나를 수행할 수 있다.
여기서, 파노라믹 이미지(PI)는 사진과 같이, 정지된 프레임을 가지는 파노라믹 영상(P)이고, 파노라믹 동영상(PV)은 동적으로 프레임이 변화하는 파노라믹 영상(P)이다.
이때, 상기 판단된 결과가 파노라믹 이미지 편집 모드(MI)일 경우, 후술할 파노라믹 영상 변환부(120)는 파노라믹 이미지(PI)를 구 형태의 가상현실 이미지(VI)로 변환하고, 영상 객체 삽입부(130)는 정지된 가상현실 이미지(VI)에 영상 객체(O)를 삽입할 수 있다.
또한, 상기 판단된 결과가 파노라믹 동영상 편집 모드(MV)일 경우, 파노라믹 영상 변환부(120)는 파노라믹 동영상(PV)을 구 형태의 가상현실 동영상(VV)으로 변환하고, 영상 객체 삽입부(130)는 시간에 따라서 변화되는 가상현실 동영상(VV) 상의 복수의 랜드마크 객체(OL)를 지정하여, 지정된 복수의 랜드마크 객체(OL)를 기반으로 영상 객체(O)를 삽입할 수 있다.
파노라믹 영상 획득부(110)가 획득된 파노라믹 영상(P)을 파노라믹 이미지(PI) 및 파노라믹 동영상(PV)을 자동으로 판별하여, 파노라믹 이미지 편집 모드(MI)및 파노라믹 동영상 편집 모드(MV)로 구분함으로써, 사용자는 보다 편리하게 이미지 또는 동영상의 편집을 수행할 수 있는 장점이 있다.
파노라믹 영상 변환부(120)는, 반응형 웹 기반의 어플리케이션을 기반으로 파노라믹 영상(P)을 구 형태의 가상현실 영상(V)으로 변환할 수 있다.
상세히 말하자면, 파노라믹 영상 변환부(120)는 파노라믹 영상 획득부(110)가 획득한 파노라믹 영상(P)을 구 형태의 가상현실 영상(V)으로 변환할 수 있다.
구 형태의 가상현실 영상(V)으로 변환하여, 사용자에게 제공함으로써 파노라믹 영상(P)을 보다 현실감 있게 제공될 수 있다.
또한, 파노라믹 영상 변환부(120)는 반응형 웹 기반의 어플리케이션을 기반으로 구 형태의 가상현실 영상(V)을 변환함으로써, 외부 플러그인 또는 별도의 응용프로그램의 설치하지 않고 가상현실 영상(V)을 변환하여 사용자에게 제공할 수 있는 이점이 있다.
이때, 반응형 웹 기반의 어플리케이션은 HTML5 등의 마크업 언어를 지원하는 어플리케이션이 사용될 수 있다.
영상 객체 삽입부(130)는, 오일러 각도(Euler Angle) 파라미터를 이용하여 가상현실 영상(V) 내에 영상 객체를 삽입할 수 있다.
상세히 말하자면, 사용자는 화면상에 영상 객체(O)를 삽입 포인트를 마우스 및 터치 등 사용자 입력을 통하여 위치를 지정하여 영상 객체(O)를 삽입할 수 있다.
여기서, 영상 객체(O)는 이미지의 형태로 재생 컨텐츠(C)의 연결 여부 또는 재생 동작에 따른 동작 상황을 사용자에게 제공한다.
영상 객체 삽입부(130)는 가상현실 영상(V) 내 지정된 삽입 포인트의 오일러 각도 파라미터(요(Yaw), 피치(Pitch), 롤(Roll))값을 판독하고, 판독된 오일러 각도 파라미터 값을 이용하여 기반으로 영상 객체(O)가 삽입될 수 있다. 오일러 각도 파라미터를 이용하여 좌표계로 구현함으로써, 회전가능한 가상현실 영상(V) 내 영상 객체(O)가 삽입되는 위치를 보다 효과적으로 표현될 수 있다.
또한, 영상 객체 삽입부(130)는 시간에 따라서 변화되는 가상현실 동영상(VV) 상의 복수의 랜드마크 객체(OL)를 지정하여, 지정된 복수의 랜드마크 객체(OL)를 기반으로 영상 객체를 삽입할 수 있다.
이때, 복수의 랜드마크 객체(OL)는 동영상에서 인식되는 건물 및 주요 오브젝트로 인식되는 객체 또는 사용자가 지정한 복수의 객체 중 하나 이상일 수 있다.
복수의 랜드마크 객체(OL)를 지정하여 영상 객체(O)를 삽입함으로써, 가상현실 동영상(VV)에서 시간에 따라 변화하는 랜드마크 객체(OL) 간의 위치에 따라 영상 객체 위치 또한 동시에 변화할 수 있다.
또한, 영상 객체 삽입부(150)는, 영상 객체(O)가 동영상일 경우, 동영상 재생 시간에 따라 프레임을 분할하는 인코딩을 수행하여, 저용량의 복수의 프레임을 포함하는 이미지로 변환할 수 있다. 동영상을 복수의 프레임의 이미지로 변환함으로써, 가상현실 내 삽입되는 영상 객체(O)의 용량을 줄여 가상현실 영상(V)을 제공하는 로드(Load)를 절감할 수 있다.
재생 컨텐츠 지정부(140)는 삽입된 영상 객체(O)와 연결되는 재생 컨텐츠(C)를 지정할 수 있다.
상세히 말하자면, 재생 컨텐츠 지정부(140)는 웹을 통하여 사용자가 업로드한 음원 및 동영상 중 하나를 영상 객체(O)에 연결하거나 URL 입력 및 링크되는 음원 및 동영상 중 하나를 영상 객체(O)를 연결시키는 방식으로 음원 또는 동영상인 재생 컨텐츠(C)를 지정할 수 있다.
재생 컨텐츠 설정부(150)는 재생 컨텐츠(C)의 재생 속성을 설정할 수 있다.
여기서, 상기 재생 속성은, 재생 컨텐츠(C)의 재생 동작, 재생 범위, 상기 재생 동작에 따른 영상 객체 등 재생 컨텐츠(C)의 재생과 관련한 재생 설정 요소일 수 있다.
상세하게는, 재생 컨텐츠 설정부(150)는, 지정된 영상 객체(O)를 기준으로 가상현실 영상(V) 내 재생 컨텐츠의 재생 범위(RS)를 설정할 수 있다.
이때, 재생 컨텐츠 설정부(150)는 구면 좌표계를 이용하여 재생 컨텐츠(C)의 재생 범위(RS)를 지정할 수 있다.
재생 컨텐츠 설정부(150)는 재생 컨텐츠(C)는 연결된 영상 객체(O) 상에 지정되고, 이를 기반으로 구면 좌표계인 수평 위치 및 수직 위치가 설정되어, 재생 컨텐츠(C)의 수평 위치 및 수직 위치를 기준으로 재생 범위(RS)를 지정할 수 있다.
이때, 구면 좌표계는 가상현실 영상(V) 중앙의 수평 위치 및 수직 위치가 각각 0도이며, 수평 좌표(Ath)는 180도 ~ -180도, 수직 좌표(Atv)는 90도 ~ -90도로 설정되는 좌표계이다.
예시적으로, 재생 컨텐츠(C)의 수평 위치가 20도, 수직 위치가 -20도로 가상 현실 영상 상에 설정되고, 재생 컨텐츠(C)의 재생 범위(RS)가 10도로 지정될 경우, 재생 범위(RS)는 재생 컨텐츠(C)의 수평 위치 20도를 기준으로 수평 좌표 10도 ~ 30도, 수직 위치 -20도를 기준으로 수직 좌표 -10도 ~ -30도의 범위로 설정될 수 있다.
재생 범위(RS)가 설정되어 사용자의 시점(Field of View)이 가상현실 영상(V)의 재생 범위(RS) 내의 위치할 경우, 사용자는 재생 컨텐츠(C)의 음향을 제공받을 수 있다.
여기서, 사용자의 시점(Field of View)은, 사용자가 가상현실 영상(V)을 관측할때에, 가상현실 영상(V) 중 한번에 관측되는 하나의 영역이다.
또한, 재생 범위(RS)는 재생 컨텐츠(C)가 재생되어 재생 컨텐츠(C)의 재생을 사용자가 인식할 수 있는 범위이며, 사용자의 시점이 재생 범위(RS)에서 벗어나는 경우, 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태가 될 수 있다.
사용자의 시점이 재생 범위(RS)에서 벗어날 경우, 재생 컨텐츠(C)의 재생이 정지되거나 재생 음량이 뮤트(Mute)됨으로써, 지정된 재생 컨텐츠(C)로부터 멀어졌음을 사용자가 인지할 수 있다.
또한, 재생 범위(RS)의 중심에서 재생 범위(RS)의 경계 영역으로 상기 사용자의 시점이 이동되는 과정에서 재생 컨텐츠(C)의 재생 음량은 선형적 또는 비선형적으로 감소될 수 있다.
재생 컨텐츠(C)의 재생 음량이 선형적 또는 비선형적으로 감소하여 제공됨으로써, 사용자의 시점과 지정된 재생 컨텐츠(C) 간의 소리의 원근감을 제공하여 보다 가상현실 영상(V)을 입체적으로 즐길 수 있다.
또한, 복수의 영상 객체(O)가 삽입되고, 영상 객체(O)들과 연결되는 각각의 재생 컨텐츠(C)의 재생 음량을 비교하여, 재생 컨텐츠(C)들 중 높은 재생 음량을 가진 재생 컨텐츠(C)를 제외한, 적어도 하나 이상의 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태가 될 수 있다.
재생 컨텐츠(C)들의 재생 음량을 서로 비교하여, 높은 재생 음량을 가진 재생 컨텐츠(C)를 제외한 적어도 하나 이상의 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태가 됨으로써, 다수 재생 컨텐츠(C)로부터 중첩되어 발생하는 노이즈 제거 및 재생 컨텐츠(C) 간에 마스킹 효과(Masking Effect)를 가상현실 영상(V) 내에 구현할 수 있다.
재생 컨텐츠 설정부(150)는, 재생 컨텐츠(C)의 재생 동작에 따라 영상 객체(O)의 동작이 설정할 수 있다.
재생 컨텐츠 설정부(150)는, 재생 컨텐츠(C)의 재생 동작이 재생 중일 때의 재생 컨텐츠(C)와 연결된 영상 객체(O)의 프레임 변화도를 설정하고, 재생 컨텐츠(C)의 재생 동작이 정지될 경우, 영상 객체(O) 중 어느 하나의 프레임이 출력되도록 설정하고, 재생 컨텐츠(C)의 재생 동작이 일시 정지 및 뮤트 동작일 경우, 기 설정된 영상 객체(O)가 출력되도록 설정할 수 있다.
재생 동작일 때의 영상 객체(O)의 프레임 변화도를 설정함으로써, 재생 컨텐츠(C)가 재생일 때의 영상 객체(O)의 동작을 사용자가 설정할 수 있으며, 재생 컨텐츠(C)의 재생 동작이 일시 정지 및 뮤트 동작일 경우 기 설정된 영상 객체(O)를 출력함으로써, 영상 객체(O)에 블링크(Blinking) 효과, 숨김 효과, 재생 여부 확인 등 표현이 가능하여, 사용자들이 가상현실 영상(V)의 영상 객체(O)를 다양하게 표현할 수 있는 장점이 있다.
예시적으로, 영상 객체(O)가 '연설자의 이미지'이고, 영상 객체(O)와 연결된 재생 컨텐츠(C)가 '연설자의 음성'일 경우, 사용자는 '연설자'의 프레임 속도를 조절하여 '연설자의 행동'과 싱크(Synchronization)를 맞춤으로써, 가상현실 영상(V) 상에 '연설 중인 연설자'를 보다 현실감 있게 제공받을 수 있다.
본 실시예에서는, 영상 객체(O)가 '연설자의 이미지'일 경우를 예로 들었으나, 영상 객체(O)가 핀(Pin) 또는 버튼과 같은 재생 컨텐츠(C)의 존재 또는 재생 상태를 알리는 이미지 일 수 있다.
여기서, 영상 객체(O)의 프레임 변화도는 투명도, 프레임의 재생 속도 중 적어도 하나 이상을 포함할 수 있으며, 기 설정된 영상 객체(O)는 사용자가 업로드한 이미지 또는 영상 객체(O)의 프레임 중 하나를 포함할 수 있다.
도 3은 도 2의 가상현실 영상 편집 시스템에 의한 가상현실 영상 편집 방법을 도시한 순서도이다.
도 4는 도 3의 가상현실 영상 편집 방법에 의한 재생 컨텐츠 설정 방법을 도시한 순서도이다.
따라서, 이하에서 생략된 내용이라 하더라도, 도 1 내지 도 2에 도시된 구성들에 관하여 이상에서 기술된 내용은 도 3과 도 4에 도시된 순서도에도 적용될 수 있다.
도 3과 도 4를 참조하면, 먼저, 가상현실 영상 편집 시스템(100)이 파노라믹 영상(P)을 획득하는 파노라믹 영상 획득 단계(S100)가 수행된다.
파노라믹 영상 획득 단계(S100)에서, 가상현실 영상 편집 시스템(100)은 획득된 파노라믹 영상(P)이 파노라믹 이미지(PI) 및 파노라믹 동영상(PV)의 여부를 판단하고, 상기 판단된 결과를 기반으로 파노라믹 이미지 편집 모드(MI) 및 파노라믹 동영상 편집 모드(MV) 중 어느 하나를 수행할 수 있다.
그 다음, 가상현실 영상 편집 시스템(100)은 파노라믹 영상(P)을 구형태의 가상현실 영상으로 변환하는 파노라믹 영상 변환 단계(S200)가 수행된다.
이때, 파노라믹 영상 변환 단계(S200)에서, 가상현실 영상 편집 시스템(100)은 반응형 웹 기반의 어플리케이션을 기반으로 파노라믹 영상(P)을 구형태의 가상현실 영상으로 변환할 수 있다.
이때, 파노라믹 영상 획득 단계(S100)에서, 가상현실 영상 편집 시스템(100)은 파노라믹 이미지(PI) 및 파노라믹 동영상(PV)의 여부를 판단하여, 상기 판단된 결과가 파노라믹 이미지 편집 모드(MI)일 경우, 파노라믹 영상 변환 단계(S200)에서, 가상현실 영상 편집 시스템(100)은 파노라믹 이미지(PI)를 구 형태의 가상현실 이미지(VI)로 변환하고, 상기 판단된 결과가 파노라믹 동영상 편집 모드(MV)일 경우, 파노라믹 영상 변환 단계(S200)에서, 가상현실 영상 편집 시스템(100)은 파노라믹 동영상(PV)을 구 형태의 가상현실 동영상(VV)으로 변환할 수 있다.
그 다음, 가상현실 영상 편집 시스템(100)은 사용자로부터 가상현실 영상 내에 영상 객체(O)를 삽입하는 영상 객체 삽입 단계(S300)가 수행된다.
영상 객체 삽입 단계(S300)에서, 가상현실 영상 편집 시스템(100)은 오일러 각도(Euler Angle) 파라미터를 이용하여 가상현실 영상 내에 영상 객체(O)를 삽입할 수 있다.
이때, 파노라믹 영상 획득 단계(S100)에서, 가상현실 영상 편집 시스템(100)은 파노라믹 이미지(PI) 및 파노라믹 동영상(PV)의 여부를 판단하여, 상기 판단된 결과가 파노라믹 이미지 편집 모드(MI)일 경우, 영상 객체 삽입 단계(S300)에서, 가상현실 영상 편집 시스템(100)은 정지된 가상현실 이미지(VI)에 영상 객체(O)를 삽입하고, 상기 판단된 결과가 파노라믹 동영상 편집 모드(MV)일 경우, 영상 객체 삽입 단계(S300)에서, 가상현실 영상 편집 시스템(100)은 시간에 따라서 변화되는 파노라믹 이미지(PI) 상의 복수의 랜드마크 객체(OL)를 지정하여, 지정된 복수의 랜드마크 객체(OL)를 기반으로 영상 객체(O)를 삽입할 수 있다.
그 다음, 가상현실 영상 편집 시스템(100)은 삽입된 영상 객체(O)와 연결되는 재생 컨텐츠(C)를 지정하는 재생 컨텐츠 지정 단계(S400)가 수행된다.
그 다음, 가상현실 영상 편집 시스템(100)은 재생 컨텐츠(C)의 재생 속성을 설정하는 재생 컨텐츠 설정 단계(S500)가 수행된다.
이때, 재생 컨텐츠 설정 단계(S500)는, 재생 컨텐츠 영역 설정 단계(S510), 재생 컨텐츠 재생 설정 단계(S520), 및 객체 변화 설정 단계(S530)를 포함한다.
먼저, 가상현실 영상 편집 시스템(100)은 삽입된 영상 객체(O)를 기준으로 가상현실 영상 내 재생 컨텐츠(C)의 재생 범위(RS)를 설정하는 재생 컨텐츠 영역 설정 단계(S510)를 수행한다.
이때, 재생 컨텐츠 영역 설정 단계(S510)에서, 가상현실 영상 편집 시스템(100)은 구면 좌표계를 이용하여 재생 컨텐츠(C)의 재생 범위(RS)를 설정할 수 있다.
여기서 재생 범위(RS)는, 재생 컨텐츠(C)가 재생되어 재생 컨텐츠(C)의 재생을 사용자가 인식할 수 있는 범위이며, 사용자의 시점이 재생 범위(RS)에서 벗어나는 경우, 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태일 수 있다.
이때, 재생 범위(RS)의 중심에서 재생 범위(RS)의 경계 영역으로 사용자의 시점이 이동되는 과정에서 재생 컨텐츠(C)의 재생 음량은 선형적 또는 비선형적으로 감소될 수 있다.
그 다음, 가상현실 영상 편집 시스템(100)은 재생 컨텐츠(C)의 재생 설정을 설정하는 재생 컨텐츠 재생 설정 단계(S520)가 수행된다. 이때, 사용자는 복수의 영상 객체(O)가 삽입될 경우, 영상 객체(O)들과 연결되는 각각의 재생 컨텐츠(C)의 재생 음량을 비교하여, 재생 컨텐츠(C) 중 높은 재생 음량을 가진 재생 컨텐츠(C)를 제외한, 적어도 하나 이상의 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태 중 어느 하나를 설정할 수 있다.
또한, 재생 컨텐츠 재생 설정 단계(S520)에서, 사용자는 가상현실 영상 편집 시스템(100)을 통하여 사용자의 시점이 재생 범위(RS)에서 벗어나는 경우, 재생 컨텐츠(C)의 재생이 정지되거나, 재생 컨텐츠(C)의 재생 음량이 뮤트 상태 중 어느 하나를 설정할 수 있다.
그 다음, 가상현실 영상 편집 시스템(100)은 재생 컨텐츠의 재생 동작에 따라 영상 객체(O)의 동작이 설정하는 객체 변화 설정 단계(S530)가 수행된다.
객체 변화 설정 단계(S530)에서, 가상현실 영상 편집 시스템(100)은 재생 컨텐츠(C)의 재생 동작이 재생 중일 때의 재생 컨텐츠(C)와 연결된 영상 객체(O)의 프레임 변화도를 설정하고, 재생 컨텐츠(C)의 재생 동작이 정지될 경우, 영상 객체(O) 중 어느 하나의 프레임이 출력되도록 설정하고, 재생 컨텐츠(C)의 재생 동작이 일시 정지 및 뮤트 동작일 경우, 기 설정된 영상 객체(O)가 출력되도록 설정할 수 있다.
도 5는 도 3의 가상현실 영상 편집 방법의 재생 컨텐츠 설정 방법을 보여주는 예시적인 도면이다.
도 5를 참조하면, 사용자가 가상현실 영상 내에 영상 객체(510)를 삽입할 수 있다. 사용자가 삽입한 영상 객체(510)와 연결된 재생 컨텐츠(C)는 구형 좌표계 상의 위치되고, 사용자는 영상 객체(510)와 연결된 재생 컨텐츠(C)의 재생 범위(500)는 구형 좌표계상의 재생 컨텐츠(C)의 기준으로 재생 범위(500)가 설정될 수 있다.
이때, 영상 객체(510)의 오일러 각도 파라미터(요(Yaw), 피치(Pitch), 롤(Roll))값과 구형 좌표계인 재생 컨텐츠(C)의 좌표는 서로 연동되어 연결될 수 있다.
도 5는 예시적으로 삽입된 영상 객체(510)와 연결된 재생 컨텐츠(C)가 위치(수평 위치 -45도, 수직 위치 -45도)하고, 재생 범위(500)가 수평 위치로부터 45도로 설정된 것을 도시하고 있다.
이때, 재생 범위(500)는 사용자가 설정한 수평 위치 또는 수직 위치로 설정되거나 또는 재생 범위(500)가 동일하도록 수평 위치 및 수직 위치가 동일한 범위로 설정될 수 있다.
도 6은 도 2의 가상현실 영상 편집 시스템에 의하여 가상현실 영상을 편집하는 과정을 보여주는 예시적인 도면이다.
((A)단계) 파노라믹 영상 획득부(110)가 파노라믹 영상(601)을 획득한다.
((B)단계) 파노라믹 영상 변환부(120)는 ((A)단계)의 파노라믹 영상(601)을 구 형태의 가상현실 영상(602)으로 변환한다.
((C)단계) ((B)단계)에서 구 형태로 변환된 가상현실 영상(602)은 반응형 웹상에 영상이 360도 회전 가능하도록 사용자에게 제공되며, 사용자는 가상현실 영상 (602)내 보여지는 사용자의 시점(Field of View)인 사용자 시점 영상(603)을 확인하여 영상 객체(610)를 삽입할 수 있다.
이때, 영상 객체(610) 삽입은 터치, 드래그 앤 드랍 등, 다양한 입력 방식으로 영상 객체(610)를 가상현실 영상(602)상에 삽입할 수 있다.
영상 객체 삽입부(130)는 사용자가 지정한 삽입 포인트의 오일러 각도 파라미터(요(Yaw), 피치(Pitch), 롤(Roll))를 판독한 후, 해당 포인트에 영상 객체(610)를 삽입한다.
이때, 영상 객체(610)와 재생 컨텐츠(C)가 연결되기 위한 재생 컨텐츠 지정 입력 영역(620)이 사용자에게 출력되고, 사용자는 음원 및 영상 업로드를 통해 재생 컨텐츠 지정부(140)는 삽입된 영상 객체(610)와 연결되는 재생 컨텐츠(C)를 지정할 수 있다.
((D)단계) ((C)단계)에서 영상 객체(610)와 연결된 재생 컨텐츠(C)는 사용자가 설정한 범위를 재생범위 설정 영역(630)으로부터 입력받고, 재생 컨텐츠 설정부(150)는, 지정된 영상 객체(610)를 기준으로 가상현실 영상(602) 상의 재생 컨텐츠(C)의 재생 범위(640)를 설정할 수 있다. 이때, 재생범위 설정 영역(630)은 수치, 바 등의 형태로 구현되어 사용자가 가상현실 영상(602) 상의 영역을 알맞게 설정할 수 있다.
본 실시예를 통하여 사용자는 가상현실 영상(V) 상에 재생 컨텐츠(C)의 삽입이 편리하게 가능하며, 삽입된 재생 컨텐츠(C)를 사용자의 시점 이동에 따라 현실감 있는 편집된 음향을 들음으로써, 사용자는 가상현실 영상(V)을 보다 즐길 수 있는 효과가 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
이상에서 설명된 시스템은, 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital signalprocessor), 마이크로컴퓨터, FPA(Field Programmable Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(Instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리요소(Processing Element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor)와 같은, 다른 처리 구성(Processing Configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(Code), 명령(Instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(Component), 물리적 장치, 가상 장치(Virtual Equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(Signal Wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도 록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100 : 가상현실 영상 편집 시스템 110 : 파노라믹 영상 획득부
120 : 파노라믹 영상 변환부 130 : 영상 객체 삽입부
140 : 재생 컨텐츠 지정부 150 : 재생 컨텐츠 설정부
200, 300, 400 : 외부 디바이스 700 : 통신망
510, 610 : 영상 객체 500, 640 : 재생 범위
630 : 재생범위 설정 영역 620 : 재생 컨텐츠 지정입력 영역
601 : 파노라믹 영상 602 : 가상현실 영상
603 : 사용자 시점 영상

Claims (24)

  1. 웹으로 구현되는 가상현실 영상 편집 시스템에 있어서,
    파노라믹 영상을 획득하는 파노라믹 영상 획득부;
    상기 파노라믹 영상을 구 형태의 가상현실 영상으로 변환하는 파노라믹 영상 변환부;
    상기 가상현실 영상 내에 영상 객체를 삽입하는 영상 객체 삽입부;
    삽입된 상기 영상 객체와 연결되는 재생 컨텐츠를 지정하는 재생 컨텐츠 지정부; 및
    상기 재생 컨텐츠의 재생 속성을 설정하는 재생 컨텐츠 설정부; 를 포함하고,
    상기 재생 컨텐츠 설정부는,
    삽입된 상기 영상 객체를 기준으로 상기 가상현실 영상 내 상기 재생 컨텐츠의 재생 범위를 설정하고,
    상기 재생 컨텐츠의 재생 동작에 따라 상기 영상 객체의 동작을 설정하며,
    상기 재생 컨텐츠의 상기 재생 동작이 재생 중일 때의 상기 재생 컨텐츠와 연결된 상기 영상 객체의 프레임 변화도를 설정하고,
    상기 재생 컨텐츠의 상기 재생 동작이 정지될 경우, 상기 영상 객체 중 어느 하나의 프레임이 출력되도록 설정하고,
    상기 재생 컨텐츠의 상기 재생 동작이 일시 정지 및 뮤트 동작일 경우, 기 설정된 영상 객체가 출력되도록 설정하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  2. 삭제
  3. 제1 항에 있어서,
    상기 재생 컨텐츠 설정부는,
    구면 좌표계를 이용하여 상기 재생 컨텐츠의 재생 범위를 설정하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  4. 제3 항에 있어서,
    상기 재생 범위는,
    상기 재생 컨텐츠가 재생되어 상기 재생 컨텐츠의 재생을 사용자가 인식할 수 있는 범위이며,
    사용자의 시점이 상기 재생 범위에서 벗어나는 경우, 상기 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태인 것을 특징으로 하는 가상현실 영상 편집 시스템.
  5. 제4 항에 있어서,
    상기 재생 범위의 중심에서 상기 재생 범위의 경계 영역으로 상기 사용자의 시점이 이동되는 과정에서 상기 재생 컨텐츠의 재생 음량은 선형적 또는 비선형적으로 감소되는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  6. 제5 항에 있어서,
    복수의 상기 영상 객체가 삽입될 경우, 상기 영상 객체들과 연결되는 각각의 상기 재생 컨텐츠의 상기 재생 음량을 비교하여, 상기 재생 컨텐츠 중 높은 재생 음량을 가진 재생 컨텐츠를 제외한, 적어도 하나 이상의 재생 컨텐츠의 재생이 정지되거나, 상기 재생 컨텐츠의 재생 음량이 뮤트 상태인 것을 특징으로 하는 가상현실 영상 편집 시스템.
  7. 삭제
  8. 삭제
  9. 제1 항에 있어서,
    상기 영상 객체 삽입부는,
    오일러 각도(Euler Angle) 파라미터를 이용하여 상기 가상현실 영상 내에 영상 객체를 삽입하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  10. 제1 항에 있어서,
    상기 파노라믹 영상 획득부는,
    획득된 상기 파노라믹 영상이 파노라믹 이미지 및 파노라믹 동영상의 여부를 판단하고, 상기 판단된 결과를 기반으로 파노라믹 이미지 편집 모드 및 파노라믹 동영상 편집 모드 중 어느 하나를 수행하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  11. 제10 항에 있어서,
    상기 판단된 결과가 상기 파노라믹 이미지 편집 모드일 경우,
    상기 파노라믹 영상 변환부는 상기 파노라믹 이미지을 구 형태의 가상현실 이미지로 변환하고, 상기 영상 객체 삽입부는 정지된 가상현실 이미지에 영상 객체를 삽입하고,
    상기 판단된 결과가 상기 파노라믹 동영상 편집 모드일 경우,
    상기 파노라믹 영상 변환부는 상기 파노라믹 동영상을 구 형태의 가상현실 동영상으로 변환하고, 상기 영상 객체 삽입부는 시간에 따라서 변화되는 파노라믹 이미지 상의 복수의 랜드마크 객체를 지정하여, 지정된 상기 복수의 랜드마크 객체를 기반으로 영상 객체를 삽입하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  12. 제1 항에 있어서,
    상기 파노라믹 영상 변환부는,
    반응형 웹 기반의 어플리케이션을 기반으로 상기 파노라믹 영상을 구 형태의 상기 가상현실 영상으로 변환하는 것을 특징으로 하는 가상현실 영상 편집 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020180115121A 2018-09-27 2018-09-27 가상현실 영상 편집 시스템 및 방법 KR102278342B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180115121A KR102278342B1 (ko) 2018-09-27 2018-09-27 가상현실 영상 편집 시스템 및 방법
KR1020210086424A KR102330984B1 (ko) 2018-09-27 2021-07-01 가상현실 영상 편집 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180115121A KR102278342B1 (ko) 2018-09-27 2018-09-27 가상현실 영상 편집 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210086424A Division KR102330984B1 (ko) 2018-09-27 2021-07-01 가상현실 영상 편집 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200035696A KR20200035696A (ko) 2020-04-06
KR102278342B1 true KR102278342B1 (ko) 2021-07-16

Family

ID=70281794

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180115121A KR102278342B1 (ko) 2018-09-27 2018-09-27 가상현실 영상 편집 시스템 및 방법
KR1020210086424A KR102330984B1 (ko) 2018-09-27 2021-07-01 가상현실 영상 편집 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210086424A KR102330984B1 (ko) 2018-09-27 2021-07-01 가상현실 영상 편집 시스템 및 방법

Country Status (1)

Country Link
KR (2) KR102278342B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084411A (ko) * 2018-09-27 2021-07-07 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541262B1 (ko) * 2020-11-10 2023-06-07 서인호 Vr 컨텐츠의 오브젝트 적용 방법, 장치 및 컴퓨터-판독 가능 기록 매체
CN114581611B (zh) * 2022-04-28 2022-09-20 阿里巴巴（中国）有限公司 虚拟场景构建方法以及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652753B1 (ko) * 2015-09-11 2016-09-01 주식회사 마이다스아이티 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3067781B1 (en) * 2013-11-05 2023-03-08 Sony Group Corporation Information processing device, method of processing information, and program
CN108780228B (zh) * 2016-01-19 2021-04-20 奇跃公司 利用映像的增强现实系统和方法
KR102498815B1 (ko) * 2016-07-21 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
KR101931649B1 (ko) * 2017-01-06 2018-12-21 한국과학기술원 가상현실기반 훈련 프로그램 제작 시스템 및 방법
KR102278342B1 (ko) * 2018-09-27 2021-07-16 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101652753B1 (ko) * 2015-09-11 2016-09-01 주식회사 마이다스아이티 3차원 파노라마 가상현실 이미지 제공방법 및 이를 이용한 제공시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084411A (ko) * 2018-09-27 2021-07-07 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
KR102330984B1 (ko) * 2018-09-27 2021-12-01 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법

Also Published As

Publication number Publication date
KR102330984B1 (ko) 2021-12-01
KR20210084411A (ko) 2021-07-07
KR20200035696A (ko) 2020-04-06

Similar Documents

Publication Publication Date Title
KR102330984B1 (ko) 가상현실 영상 편집 시스템 및 방법
JP6746772B2 (ja) 映像表示装置及びその動作方法
JP6741873B2 (ja) バーチャルリアリティ分野における装置および関連する方法
US20170347219A1 (en) Selective audio reproduction
JP2019160318A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2009093398A1 (ja) 画像処理装置、その処理方法およびプログラム
US10728689B2 (en) Soundfield modeling for efficient encoding and/or retrieval
JP2022065175A (ja) 音響処理装置および方法、並びにプログラム
KR101830786B1 (ko) 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법
KR102500694B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
US20230120437A1 (en) Systems for generating dynamic panoramic video content
KR20130107263A (ko) 360도 서라운드 뷰 영상 데이터를 이용한 방송 컨텐츠의 저작방법
TW201714163A (zh) 資訊處理裝置、及資訊處理方法、及程式
KR102561371B1 (ko) 디스플레이장치와, 기록매체
JP2022510658A (ja) 仮想カメラパスを決定するシステム及び方法
KR20240017043A (ko) 스크린 사이즈에 연동하는 전방 오디오 렌더링 장치 및 방법
CN114747232A (zh) 音频场景变化信令
US9666231B2 (en) System and method for providing and interacting with coordinated presentations
CN114205695A (zh) 一种音响参数确定方法和系统
KR101391942B1 (ko) 오디오 스티어링 동영상 시스템 및 그 제공방법
US20180167755A1 (en) Distributed Audio Mixing
KR20210056414A (ko) 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템
US11734784B2 (en) Metadata watermarking for ‘nested spectating’
US20230072261A1 (en) Computer system for rendering event-customized audio content, and method thereof
KR102624423B1 (ko) 라이브셰어 다면 공연장 ar 특수 효과 재현 및 인터랙션 기술

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant