KR101606860B1 - 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템 - Google Patents

파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템 Download PDF

Info

Publication number
KR101606860B1
KR101606860B1 KR1020150163784A KR20150163784A KR101606860B1 KR 101606860 B1 KR101606860 B1 KR 101606860B1 KR 1020150163784 A KR1020150163784 A KR 1020150163784A KR 20150163784 A KR20150163784 A KR 20150163784A KR 101606860 B1 KR101606860 B1 KR 101606860B1
Authority
KR
South Korea
Prior art keywords
display information
panoramic
moving picture
screen display
specific
Prior art date
Application number
KR1020150163784A
Other languages
English (en)
Inventor
김태형
Original Assignee
(주)아바엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)아바엔터테인먼트 filed Critical (주)아바엔터테인먼트
Priority to KR1020150163784A priority Critical patent/KR101606860B1/ko
Application granted granted Critical
Publication of KR101606860B1 publication Critical patent/KR101606860B1/ko

Links

Images

Classifications

    • H04N13/0429—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템이 개시된다. 본 파노라마 동영상의 화면 표시정보 디스플레이 방법은 복수의 동영상들을 이용하여 제작된 파노라마 동영상이 수신되는 단계; 상기 파노라마 동영상에 동기화되도록 제작된 화면 표시정보가 수신되는 단계; 및 상기 파노라마 동영상의 시점이 이동되는 경우에도, 상기 화면 표시정보가 상기 파노라마 동영상이 디스플레이되는 디스플레이 화면의 기설정된 영역에 배치되어 상기 파노라마 동영상과 함께 디스플레이되는 단계;를 포함한다. 이에 의해, 파노라마 동영상의 시점이 이동되더라도 시점 변화에 상관없이 화면 표시정보가 일정한 위치에 배치되어 파노라마 동영상과 함께 디스플레이될 수 있다.

Description

파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템{Method for Closed Captioning Service of Panoramic Video, Mobile terminal and System for Providing Omnidirectional Virtual Reality Using the Same}
본 발명은 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템에 관한 것으로, 보다 상세하게는 디스플레이되는 파노라마 동영상에 동기화되는 화면 표시정보를 파노라마 동영상과 함께 제공되는 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템에 관한 것이다.
전자통신 기술의 비약적인 발전과 스마트 기기의 보급으로 인해 사용자들은 댁내에서도 가상의 공간을 체험할 수 있게 되었다. 이러한 가상현실 분야는, 헤드마운트 디스플레이 장치 등과 같은 주변 기기들과 다량의 고화질 영상 콘텐츠의 보급화로 인해 저변이 확대되고 있다.
이에 따라, 사용자는 영상 콘텐츠가 디스플레이되는 스마트 기기를 헤드마운트 디스플레이 장치에 장착한 후 헤드마운트 디스플레이 장치를 두부에 착용하거나, 영상 콘텐츠가 디스플레이되는 헤드마운트 디스플레이 장치를 두부에 착용함으로써, 가보지 못한 세상을 경험하고 겪어보지 못한 체험을 만끽할 수 있게 되었다.
한편, 이러한 영상 콘텐츠를 디스플레이하는 경우에, 영상 콘텐츠에 관련된 정보를 함께 디스플레이하거나 외국어를 기반으로 제작된 영상 콘텐츠를 디스플레이하는 경우에 외국어를 국어로 번역한 자막을 함께 디스플레이할 수 있다.
그리고 일반적으로 영상 콘텐츠에 동기화되어 영상과 함께 디스플레이되는 자막과 같은 화면 표시정보는 2차원 영상 콘텐츠에 동기화되어 2차원 영상과 함께 디스플레이되는 경우에, 프레임 또는 프레임의 시퀀스의 하단에 위치하도록 하지만, 3차원 영상 콘텐츠에 동기화되어 함께 디스플레이되는 경우에는 3차원 영상 콘텐츠의 적어도 둘 이상의 동영상(사람의 왼쪽 눈과 오른쪽 눈으로 각각 보는 2개의 영상 또는 특정 시구간 동안 특정 지리적 위치를 기준으로 전, 후, 좌, 우에 각각 위치하는 동영상)에 동기화되어 각각의 동영상에 따라 서로 다른 위치에 배치되어 디스플레이됨으로써, 3차원 영상과 자막의 부조화로 인하여 3차원 영상을 시청하는 시청자의 눈의 피로가 증가 되거나 화면 표시정보가 각각의 동영상이 중복되는 부분에서는 온전하게 디스플레이되지 못하는 문제가 있다.
이러한 문제를 해결하기 위해 한국공개특허 제10-2013-0008569호와 같이 사람의 왼쪽 눈과 오른쪽 눈으로 각각 보는 2개의 영상에 따라 수평축 상에서 서로 다른 위치에 위치하는 화면 표시정보(자막)에 대한 해결 방안이 마련되었지만, 이 발명 역시 화면 표시정보가 각각의 동영상이 중복되는 부분에서는 온전하게 디스플레이되지 못하는 문제를 해결하기에는 어려움이 있다.
이에 따라 3차원 영상 콘텐츠의 시점이 전, 후, 좌, 우 어느 곳으로 이동하더라도 시점 변화에 상관없이 화면 표시정보가 일정한 위치에 배치되어 3차원 영상과 함께 디스플레이되도록 할 수 있는 방안의 모색이 요청된다.
한국공개특허 제10-2015-0006128호 : 헤드 마운트 디스플레이 장치 및 그 동작방법(출원인 : 엘지전자 주식회사) 한국공개특허 제10-2013-0008569호 : 입체 영상을 위한 자막 표시(출원인 : 톰슨 라이센싱)
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로 본 발명의 목적은 디스플레이되는 파노라마 동영상의 시점이 변화하더라도 파노라마 동영상에 동기화되는 화면 표시정보는 기설정된 위치에 배치되어 영상과 함께 제공되는 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이 방법은 복수의 동영상들을 이용하여 제작된 파노라마 동영상이 수신되는 단계; 상기 파노라마 동영상에 동기화되도록 제작된 화면 표시정보가 수신되는 단계; 및 상기 파노라마 동영상의 시점이 이동되는 경우에도, 상기 화면 표시정보가 상기 파노라마 동영상이 디스플레이되는 디스플레이 화면의 기설정된 영역에 배치되어 상기 파노라마 동영상과 함께 디스플레이되는 단계;를 포함한다.
여기서 상기 복수의 동영상들은, 기설정된 시구간 동안 기설정된 지리적 위치를 기준으로 한 전방, 후방, 상방, 하방, 좌측방 및 우측방 동영상들 중 적어도 두 개를 포함할 수 있다.
또한, 상기 파노라마 동영상은, 상기 복수의 동영상들 간의 타임 라인이 동기화되고, 인접한 동영상들을 스티치(Stitch) 처리한 상태에서, 피사체의 중복이나 피사체의 공백이 발생되지 않도록 처리한 동영상일 수 있다.
그리고 상기 화면 표시정보는, 상기 복수의 동영상들이 개별적인 영역으로 각각 분할되고 분할된 복수의 영역 중 어느 특정 영역에 동기화되는 경우에, 상기 특정 영역에 대응되는 동영상과 특정 시구간 동안 함께 디스플레이되도록, 상기 특정 영역에 대한 식별정보 및 상기 특정 시구간에 대한 시간정보가 포함될 수 있다.
또한, 상기 특정 영역에 동기화된 상기 화면 표시정보는, 상기 특정 영역의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되는 경우에, 생성된 상기 특정 영역의 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표에 배치되면, 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이될 수 있다.
그리고 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이되는 중에 상기 파노라마 동영상의 시점이 이동하면, 상기 특정 영역의 상기 기준시점도 이동하여, 상기 이동된 기준시점을 새로운 기준시점으로 하는 가상의 2차원 좌표가 재생성되고, 재생성된 상기 특정 영역의 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표에 재배치되어 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이될 수 있다.
또한, 상기 화면 표시정보는, 상기 특정 시구간 동안 상기 분할된 모든 영역에 동기화되는 경우에, 상기 디스플레이 화면의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되면, 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표에 배치되어 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이되며, 상기 특정 시구간 동안 상기 파노라마 동영상의 시점이 이동되는 경우에도, 상기 특정 좌표를 유지한 상태로 상기 파노라마 동영상과 함께 디스플레이될 수 있다.
그리고 상기 파노라마 동영상은, 좌안 영상과 우안 영상으로 구분된 입체 영상으로서, 사용자가 착용하는 헤드마운트 디스플레이 장치에 상기 모바일 단말이 장착된 상태로 사용자에게 제공될 수 있다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이하기 위한 모바일 단말은, 제작된 파노라마 동영상 및 상기 파노라마 동영상에 동기화되도록 제작된 화면 표시정보가 수신되는 통신부; 상기 수신된 파노라마 동영상 및 상기 화면 표시정보가 저장되는 저장부; 상기 저장된 파노라마 동영상 및 상기 화면 표시정보가 디스플레이되는 디스플레이부; 및 상기 파노라마 동영상이 상기 디스플레이부에서 디스플레이되도록 하되, 상기 화면 표시정보가 상기 파노라마 동영상의 시점(視點)이 이동되는 경우에도, 상기 파노라마 동영상의 기설정된 위치에 배치되어 상기 파노라마 동영상과 함께 디스플레이되도록 하는 제어부;를 포함한다.
그리고 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전방위 가상현실 제공 시스템은 사용자의 두부에 장착되는 헤드마운트 디스플레이 장치; 및 상기 헤드마운트 디스플레이 장치의 내부에 인입되어 파노라마 동영상 형식의 입체 영상을 디스플레이하되, 상기 파노라마 동영상 형식의 입체 영상에 동기화되도록 제작된 화면 표시정보가 상기 파노라마 동영상의 시점(視點)이 이동되는 경우에도, 상기 파노라마 동영상 형식의 입체 영상의 기설정된 위치에 배치되어 상기 파노라마 동영상 형식의 입체 영상과 함께 디스플레이되도록 하는 모바일 단말; 을 포함한다.
이에 의해, 파노라마 동영상의 시점이 이동되더라도 시점 변화에 상관없이 화면 표시정보가 일정한 위치에 배치되어 파노라마 동영상과 함께 디스플레이될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전방위 가상현실 제공 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 파노라마 동영상 및 화면 표시정보가 디스플레이되는 화면을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 파노라마 동영상이 복수의 영역으로 분할되는 화면을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이 방법을 설명하기 위해 도시한 흐름도이다.
도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 디스플레이 화면의 기준시점 및 가상의 2차원 좌표를 기반으로 화면 표시정보가 배치되는 과정을 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 모든 영역에 동기화된 화면 표시정보의 구조를 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 복수의 영역에 개별적으로 동기화된 화면 표시정보의 구조를 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이 방법을 설명하기 위해 도시한 흐름도이다.
도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 복수의 영역들의 기준시점 및 가상의 2차원 좌표를 기반으로 화면 표시정보가 배치되는 과정을 설명하기 위해 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 보다 상세히 설명하기로 한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 전방위 가상현실 제공 시스템을 도시한 도면이다.
본 실시예에 따른 전방위 가상현실 제공 시스템은, 360도 회전가능한 파노라마 동영상을 사용자에게 시청가능하도록 제공하여, 사용자로 하여금 가상의 현실 세계에서의 다양한 체험을 간접적으로 즐길 수 있도록 하게 된다.
여기서, 360도 회전가능한 파노라마 동영상(이하, '파노라마 동영상'으로 총칭)이란, 사용자가 위치한 지점을 기반으로 전방, 후방, 좌측방, 우측방, 상방 및 하방 중 어느 곳을 주시하여도 해당 가상현실의 모습이 그대로 디스플레이되도록 구현된 동영상을 의미한다.
이러한 파노라마 동영상은 복수의 카메라에 의해 촬영된 동영상들 간의 타임 라인이 동기화되고 인접한 동영상들을 스티치 처리한 상태로 되도록 처리한 동영상이다.
예를 들어, A 카메라를 통해 a 장면을 촬영한 시점과 B 카메라를 통해 b 장면을 촬영한 시점을 일치시키는 타임 라인 동기화 작업을 수행하고, 타임 라인이 동기화된 상태에서 a 장면의 우측 에지 부분의 피사체(자동차 앞부분)와 b 장면의 좌측 에지 부분(자동차 뒷부분)의 피사체를 결합함으로써 a 장면과 b 장면이 자연스러운 하나의 장면이 되어 피사체의 온전한 부분(자동차 전체)이 디스플레이되도록 하는 것을 의미한다.
이러한 동영상의 스티치 처리에는 각 카메라의 화각 내에 들어온 피사체들이 중복으로 출현되거나 피사체들 간의 공백이 발생되지 않도록 하는 것이 중요하다.
한편, 도시된 바와 같이, 이러한 파노라마 동영상을 제공하기 위한 본 실시예에 따른 전방위 가상현실 제공 시스템은 VR(Virtual Reality) 기기(10)와 모바일 단말(100)로 구성된다.
VR 기기(10)는 일반적으로 사용자의 두부에 착용가능한 형태로 마련되며, 사용자가 소지한 모바일 단말(100)을 내부에 삽입할 수 있도록 하기 위한 공간을 구비한다.
즉, 이러한 공간의 구비로 인해, VR 기기(10)는 사용자가 소지한 모바일 단말(100)과 물리적 또는 전기적으로 연결되어, 모바일 단말(100)에서 디스플레이되는 파노라마 동영상이 시청가능하도록 모바일 단말(100)을 거치하는 역할을 하게 된다.
모바일 단말(100)은 파노라마 동영상에 대한 시청 명령이 수신되면, 수신된 시청 명령을 기반으로 파노라마 동영상을 디스플레이하며, 자이로 센서(미도시) 등으로부터 수신된 모바일 단말(100)의 방향을 기반으로 아이템이 디스플레이되도록 한다.
이를 위하여 모바일 단말(100)은 통신부(110), 제어부(130), 디스플레이부(150) 및 저장부(170)로 구성된다.
통신부(110)는 제작된 파노라마 동영상 및 파노라마 동영상에 동기화되도록 제작된 화면 표시정보를 수신하기 위해 마련된다.
제어부(130)는 통신부(110), 디스플레이부(150) 및 저장부(170)를 포함한 모바일 단말(100) 전반을 제어하기 위해 마련된다.
간단한 예를 들면, 통신부(110)를 통해 수신된 파노라마 동영상 및 화면 표시정보가 디스플레이부(150)에서 디스플레이되도록 할 수 있다.
디스플레이부(150)는 저장된 파노라마 동영상 및 화면 표시정보를 디스플레이하기 위해 마련된다.
저장부(170)는 제작된 파노라마 동영상 및 화면 표시정보뿐만 아니라 파노라마 동영상에서 출력되는 아이템들, 그리고, 모바일 단말(100)을 구동시키기 위한 각종 프로그램을 저장하기 위해 마련된다.
여기서 화면 표시정보는 파노라마 동영상의 음성 또는 영상에 동기화되도록 마련되는 자막, 로고, 아이템 및 아이콘 등의 표시정보일 수 있다.
구체적으로 예를 들면, 로고, 아이템 및 아이콘 등의 표시정보는 파노라마 동영상에 대한 재생에 대한 제어 및 이와 관련된 상태를 나타내는 표시정보이거나 파노라마 동영상이 아닌 모바일 단말(100) 자체의 상태(예를 들어, 배터리 잔여 현황, 현재 시간)을 나타내도록 하거나 다른 파노라마 동영상들이 포함된 재생 목록을 나타내는 표시정보일 수 있다.
도 2는 본 발명의 일 실시예에 따른 파노라마 동영상 및 화면 표시정보가 디스플레이되는 화면을 도시한 도면이다.
도 2는 피사체의 끊김 현상이나 중복 현상이 발생되지 않고 연속적인 모습이 되도록 함을 설명하기 위해 가상현실 세계의 모습을 알파벳과 숫자가 일련대로 조합된 것으로 상정하였다.
도 2에 도시된 바와 같이 사용자는 VR 기기(10)를 착용한 후 VR 기기(10)의 내부에 거치된 모바일 단말(100)에서 디스플레이되는 파노라마 동영상을 시청할 수 있다.
이러한 파노라마 동영상은 전술한 바와 같이 피사체들이 중복으로 출현되거나 피사체들 간의 공백이 발생되지 않도록 디스플레이된다.
도 2를 참고하면, 사용자가 VR 기기(10)를 착용한 후 좌측에서 우측 방향으로 머리를 움직이게 되면, 사용자는 파노라마 동영상의 최좌측 영상(B11~B18)부터 최우측 영상(U11~U18)을 피사체의 중복 없이 그리고 피사체의 끊김 없이 시청할 수 있게 된다.
즉, 이러한 파노라마 동영상은 타임 라인이 동기화되도록 된 상태에서, 화면의 연속성이 보장되도록 스티치된 동영상이고, 사용자가 VR 기기(10)를 착용한 후 상측에서 하측 방향으로 머리를 움직이게 되면, 사용자는 파노라마 동영상의 최상측 영상(H5~O5)부터 최하측 영상(H24~O24)을 피사체의 중복 없이 그리고 피사체의 끊김 없이 시청할 수 있게 된다.
한편, 파노라마 동영상에 동기화된 화면 표시정보는 도 2에 도시된 바와 같이 파노라마 동영상의 시점이 이동되는 경우에도, 디스플레이 화면의 기설정된 영역에 배치되어 파노라마 동영상과 함께 디스플레이되며, 이에 대한 더욱 구체적인 설명은 후술에서 하기로 한다.
또한, 여기서, 파노라마 동영상에 동기화된 화면 표시정보는, VR 기기(10)를 착용하지 않은 상태에서도 모바일 단말(100)의 화면을 터치하는 방법을 통해 모바일 단말(100)에서 디스플레이되는 파노라마 동영상의 시점을 이동시키면, 디스플레이 화면의 기설정된 영역에 배치되어 파노라마 동영상과 함께 디스플레이될 수 있다.
도 3은 본 발명의 일 실시예에 따른 파노라마 동영상이 복수의 영역으로 분할되는 화면을 도시한 도면이다.
전술한 바와 같이 사용자가 VR 기기(10)를 착용한 후 좌측에서 우측방향으로 머리를 움직이게 되면, 사용자는 파노라마 동영상을 피사체의 중복 없이 그리고 피사체의 끊김 없이 시청할 수 있게 된다.
여기서 파노라마 동영상은 설명의 편의를 위하여 최좌측 영상(B11~B18)부터 최우측 영상(O11~O18)으로 구성된 것으로 가정하며, 도 3과 같이 이러한 파노라마 동영상은 개별적인 영역으로 각각 분할할 수 있다.
개별적인 영역들은 실제 화면상에 표시되는 영역들은 아니지만, 복수의 카메라에 의해 촬영된 복수의 동영상들에 자막과 같은 화면 표시정보를 동기화시키기 위해 분할한 영역을 의미한다.
여기서 파노라마 동영상이 복수의 영역으로 분할되는 경우에, 분할된 복수의 영역에 화면 표시정보가 동기화되어 파노라마 동영상과 함께 디스플레이되는 과정은 도 4 내지 도 5를 참고하여 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이 방법을 설명하기 위해 도시한 흐름도이고, 도 5a 내지 도 5d는 본 발명의 일 실시예에 따른 디스플레이 화면의 기준시점 및 가상의 2차원 좌표를 기반으로 화면 표시정보가 배치되는 과정을 설명하기 위해 도시한 도면이다.
우선 모바일 단말(100)의 통신부(110)를 통해 제작된 파노라마 동영상을 수신하고(S810), 화면 표시정보를 수신할 수 있다(S820).
여기서 화면 표시정보는 동영상에 동기화되도록 제작된 자막, 로고, 아이템, 아이콘 등의 표시정보이며, 파노라마 동영상 및 화면 표시정보는 독립된 형식의 데이터로 수신될 수도 있지만, 일반적으로 파노라마 동영상은 복수의 동영상을 촬영하는 전처리 작업을 수행한 이후에, 복수의 동영상을 편집하고, 3차원 시점 조절, 특수효과 및 화면 표시정보와 같은 부가정보를 부가하는 후처리 작업을 수행하여 제작되기 때문에, 파노라마 동영상과 화면 표시정보는 모바일 단말(100)의 통신부(110)를 통해 한 번에 수신될 수 있다.
사용자는 모바일 단말(100)에 파노라마 동영상 및 화면 표시정보가 수신되면, 모바일 단말(100)을 VR 기기(10)에 장착시키고 VR 기기(10)를 착용한다(S830).
VR 기기(10)를 착용하면 사용자는 VR 기기(10)를 통하여 파노라마 동영상 및 화면 표시정보가 디스플레이되는 디스플레이 화면을 시청할 수 있도록 화면 표시정보의 위치를 설정할 수 있다(S840).
여기서 사용자가 VR 기기(10)를 착용한 후 머리를 움직이게 되면, 머리가 움직이는 방향을 따라 디스플레이 화면의 시점은 이동하게 되며, 디스플레이 화면의 시점이 이동하는 경우에도, 화면 표시정보는 디스플레이 화면의 기설정된 영역에 배치되어 위치 변화없이 디스플레이되도록 디스플레이 화면의 정중앙을 기준시점(0,0)으로 하여 화면 표시정보의 위치를 설정할 수 있다.
구체적으로 예를 들면, 도 5a에 도시된 바와 같이 디스플레이 화면의 정중앙을 기준시점(0,0)으로 하는 가상의 2차원 좌표를 생성하고, 생성된 가상의 2차원 좌표의 기준시점(0,0)의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표(0,Y1)에 화면 표시정보가 배치되도록 설정할 수 있다.
이를 통해, 도 5c 내지 도 5d에 도시된 바와 같이 특정 좌표(0,Y1)에 배치된 화면 표시정보는 디스플레이 화면의 시점이 이동하는 경우에도, 위치 변화없이 파노라마 동영상과 함께 디스플레이될 수 있다.
여기서 기설정된 영역은 도 5b에 도시된 바와 같이 기준시점(0,0)의 하단 프레임에 해당하는 영역으로 설정한 의미하며, 이는 화면 표시정보를 제작하거나 파노라마 동영상의 어느 영역에 동기화되도록 하는 과정에서 화면 표시정보가 배치될 영역을 설정할 수 있다.
또한, 디스플레이 화면의 정중앙을 검출하는 방법은, 예를 들면, 모바일 단말(100)의 디스플레이부(150)의 외각 부분으로부터 반대편 외각 부분까지의 가로 및 세로 거리를 계산하여 디스플레이부(150)의 외각 부분까지의 거리가 좌우의 가로 거리가 서로 동일하고, 상하의 세로 거리가 서로 동일한 특정 좌표를 검출하는 방식으로 구현될 수 있다.
그리고 디스플레이 화면의 정중앙을 검출하는 방법은, 다른 예를 들면, 파노라마 동영상 전체를 기준으로 자이로 센서(미도시)로부터 수신된 모바일 단말(100)의 이동방향을 기반으로 디스플레이 화면의 시점이 이동되는 것을 검출하고, 파노라마 동영상 전체의 정중앙을 기준으로 디스플레이 화면의 정중앙을 검출하는 방식으로 구현할 수 있다.
한편, 모바일 단말(100)의 제어부(130)는 파노라마 동영상을 디스플레이하기 전에 파노라마 동영상의 타임 라인에 동기화된 화면 표시정보가 존재하는지 판단하고(S850), 판단 결과를 기반으로 파노라마 동영상을 디스플레이할 수 있다.
구체적으로 설명하면, 모바일 단말(100)의 제어부(130)가 파노라마 동영상이 디스플레이되는 전체 시구간 중에 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재하는지 판단하여 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재하지 않는다면(S850-N), 디스플레이부(150)를 통해 파노라마 동영상만 디스플레이되도록 하고(S860), 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재한다면(S850-Y), 화면 표시정보가 특정 좌표(O, Y1)에 배치되어 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되도록 할 수 있다(S870).
도 6은 본 발명의 일 실시예에 따른 모든 영역에 동기화된 화면 표시정보의 구조를 설명하기 위해 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 복수의 영역에 개별적으로 동기화된 화면 표시정보의 구조를 설명하기 위해 도시한 도면이다.
이하에서는 도 6 내지 도 7을 참고하여 본 발명의 일 실시예에 따른 화면 표시정보의 구조를 설명하기로 한다.
본 실시예에 따른 화면 표시정보는 특정 시구간 동안 분할된 복수의 영역 중 적어도 하나 이상의 특정 영역 또는 분할된 모든 영역에 동기화되도록 디스플레이 화면에 디스플레이될 표시정보뿐만 아니라 분할된 복수의 영역 중 동기화되는 특정 영역을 식별할 수 있는 특정 영역에 대한 식별정보 및 화면 표시정보가 특정 영역에 동기화되는 특정 시구간에 대한 시간정보를 포함한다.
예를 들면, 화면 표시정보가 외국어로 구성된 음성 정보에 매칭되는 국어 자막이라고 가정하고, 국어 자막인 화면 표시정보가 파노라마 동영상의 모든 영역에 동기화되어 특정 시구간 동안 음성 정보에 매칭되어 디스플레이되도록 하기 위해서는 도 6의 상단과 같이 화면 표시정보를 특정 시구간 동안 분할된 모든 영역에 동기화시켜야 한다.
이때, 각각의 영역에 동기화되는 화면 표시정보의 구조는 도 6의 하단에 도시된 바와 같이 식별정보, 시간정보 및 표시정보(자막정보)로 구성된다.
여기서 식별정보, 시간정보 및 표시정보(자막정보)들은 데이터를 나타내는 데이터 코드로 도시된 일 예를 도시한 것일 뿐, 특정 데이터 코드를 특정하는 것은 아니다.
한편, 화면 표시정보는 복수의 동영상들이 개별적인 영역으로 각각 분할되고 분할된 복수의 영역 중 어느 특정 영역에 동기화될 수 있을 뿐만 아니라 화면 표시정보가 복수로 마련되어 서로 다른 시구간 동안 복수의 영역 중 적어도 둘 이상의 영역에 개별적으로 동기화될 수 있다.
이때, 서로 다른 시구간 동안 서로 다른 영역에 동기화되는 각각의 화면 표시정보의 타임 라인은 도 7의 상단은 도시된 바와 같이 구현될 수 있으며, 서로 다른 시구간 동안 서로 다른 영역에 동기화되는 각각의 화면 표시정보에 대한 더욱 상세한 설명은 도 8 내지 도 9를 참고하여 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 파노라마 동영상의 화면 표시정보 디스플레이 방법을 설명하기 위해 도시한 흐름도이고, 도 9a 내지 도 9d는 본 발명의 일 실시예에 따른 복수의 영역들의 기준시점 및 가상의 2차원 좌표를 기반으로 화면 표시정보가 배치되는 과정을 설명하기 위해 도시한 도면이다.
이하에서는 상술한 서로 다른 시구간 동안 서로 다른 영역에 동기화되는 각각의 화면 표시정보가 파노라마 동영상과 함께 디스플레이되는 과정뿐만 아니라 특정 시구간 동안 모든 영역에 동기화되는 화면 표시정보가 파노라마 동영상과 함께 디스플레이 되는 과정도 포괄적으로 설명하기로 한다.
구체적으로 설명하면, 우선, 제작된 파노라마 동영상을 수신하고(S905), 파노라마 동영상에 동기화되도록 생성된 화면 표시정보를 수신하며(S910), 모바일 단말(100)을 VR 기기(10)에 장착하는(S915) 과정은 전술한 바와 동일하다.
모바일 단말(100)의 제어부(130)는 파노라마 동영상 및 화면 표시정보를 수신한 후, 모바일 단말(100)을 VR 기기(10)에 장착하고, 재생 명령(시청 명령)을 수신하면, 수신된 화면 표시정보가 파노라마 동영상을 분할한 모든 영역에 동기화된 것인지 판단한다(S920).
그리고 제어부(130)는 화면 표시정보가 파노라마 동영상의 모든 영역에 동기화된 것으로 판단하면(S920-Y), 사용자가 VR 기기(10)를 통하여 파노라마 동영상 및 화면 표시정보가 디스플레이되는 디스플레이 화면을 시청할 수 있도록 화면 표시정보의 위치를 설정하고(S925),
파노라마 동영상을 디스플레이하기 전에 파노라마 동영상의 타임 라인에 동기화된 화면 표시정보가 존재하는지 판단하고(S930), 판단 결과를 기반으로 파노라마 동영상을 디스플레이할 수 있다.
구체적으로 설명하면, 모바일 단말(100)의 제어부(130)가 파노라마 동영상이 디스플레이되는 전체 시구간 중에 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재하는지 판단하여 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재하지 않는다면(S930-N), 디스플레이부(150)를 통해 파노라마 동영상만 디스플레이되도록 하고(S935), 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되는 화면 표시정보가 존재한다면(S850-Y), 화면 표시정보가 특정 좌표에 배치되어 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되도록 할 수 있다(S940).
한편, 제어부(130)는 화면 표시정보가 파노라마 동영상의 모든 영역이 아닌 특정 영역에 동기화된 것으로 판단하면(S920-N), 화면 표시정보의 식별정보를 기반으로 화면 표시정보가 동기화된 특정 영역을 판단한다(S945).
그리고 제어부(130)는, 특정 영역의 기준시점(X,Y)의 좌표를 기준으로 화면 표시정보의 위치를 설정한다(S950).
구체적으로 설명하면, 도 9a에 도시된 바와 같이 특정 영역의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성하고, 특정 시구간 동안 파노라마 동영상과 함께 디스플레이되도록 생성된 특정 영역의 기준시점(X, Y)의 x축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표에 배치되도록 설정한다.
또한, 제어부(130)는 특정 영역에 동기화되는 화면 표시정보의 위치를 설정하면, 파노라마 동영상을 디스플레이하기 전에 파노라마 동영상의 특정 영역의 타임 라인에 동기화된 화면 표시정보가 존재하는지 판단하고(S955), 판단 결과를 기반으로 파노라마 동영상을 디스플레이할 수 있다.
구체적으로, 제어부(130)가 파노라마 동영상이 디스플레이되는 전체 시구간 중에 특정 시구간 동안 파노라마 동영상의 특정 영역과 함께 디스플레이되는 화면 표시정보가 존재하는지 판단하여 특정 시구간 동안 파노라마 동영상의 특정 영역과 함께 디스플레이되는 화면 표시정보가 존재하지 않는다면(S955-N), 디스플레이부(150)를 통해 파노라마 동영상만 디스플레이되도록 하고(S960), 특정 시구간 동안 파노라마 동영상의 특정 영역과 함께 디스플레이되는 화면 표시정보가 존재한다면(S955-Y), 특정 시구간 동안 파노라마 동영상의 특정 영역의 시점의 이동 여부(기준시점의 좌표 변화 여부)를 판단할 수 있다(S965).
그리고 제어부(130)가 특정 시구간 동안 파노라마 동영상의 특정 영역의 시점이 이동된 것으로 판단하면(S965-Y), 이동된 기준시점을 새로운 기준시점으로 하는 가상의 2차원 좌표가 재생성되도록 하고, 재생성된 특정 영역의 기준시점(X", Y")의 x축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 특정 좌표에 재배치되도록 한다.
또한, 제어부(130)가 특정 시구간 동안 파노라마 동영상의 특정 영역의 시점이 이동되지 않은 것으로 판단하면(S965-N), 화면 표시정보가 특정 좌표(기설정된 위치)에 배치되어 특정 시구간 동안 파노라마 동영상의 특정 영역과 함께 디스플레이되도록 한다(S970).
한편, 서로 다른 시구간 동안 서로 다른 영역에 동기화되는 각각의 화면 표시정보가 파노라마 동영상과 함께 디스플레이되는 과정에 대하여 구체적으로 예를 들어 설명하면, 우선, 특정 시구간(Ta) 동안 A 영역에 동기화되는 A 화면 표시정보 및 다른 특정 시구간(Tb) 동안 B 영역에 동기화되는 B 화면 표시정보의 타임 라인이 각각 도 7의 상단과 같이 구현된다고 가정하면, A 영역과 B 영역의 타임 라인에 따른 각각의 영역에 화면 표시정보(자막)의 디스플레이되는 모습은 9a 내지 9d와 같이 구현될 수 있다.
구체적으로 9a는 T1 내지 T3까지의 시구간 동안 A 영역과 B 영역에 동기화되는 A 화면 표시정보 및 B 화면 표시정보가 디스플레이되는 모습을 도시한 도면이고, 9b 내지 9c는 T3 내지 T2의 시구간 동안 A 영역과 B 영역에 동기화되는 A 화면 표시정보 및 B 화면 표시정보가 디스플레이되는 모습을 도시한 도면이며, 9d는 T2 내지 T4의 시구간 동안 A 영역과 B 영역에 동기화되는 A 화면 표시정보 및 B 화면 표시정보가 디스플레이되는 모습을 도시한 도면이다.
도 9a에 도시된 바와 같이 T1 내지 T3까지의 시구간 동안은 A 영역에 동기화된 A 화면 표시정보만이 파노라마 영상과 함께 디스플레이되는데, 전술한 바와 같이 A 영역의 정중앙을 기준시점을 삼고, 화면 표시정보의 위치를 설정한다.
그리고 T3 내지 T2의 시구간이 도래하면, 도 9b에 도시된 바와 같이 A 영역과 B 영역에 동기화되는 A 화면 표시정보 및 B 화면 표시정보가 각각의 영역에 디스플레이된다.
이때 만약, 도 9c와 같이 디스플레이 화면의 시점이 이동되면, A 영역과 B 영역의 기준시점이 이동하고, 이에 A 영역과 B 영역에 동기화되는 A 화면 표시정보 및 B 화면 표시정보의 위치는 재설정되게 된다.
그리고 T2 내지 T4의 시구간이 도래하면, 도 9d와 같이 B 영역에 동기화된 B 화면 표시정보만이 파노라마 영상과 함께 디스플레이된다.
이에 의해, 파노라마 동영상의 시점이 이동되더라도 시점 변화에 상관없이 화면 표시정보가 일정한 위치에 배치되어 파노라마 동영상과 함께 디스플레이될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
특히, 이상에서는 모바일 단말(100)을 두부에 장착된 VR 기기(10)에 탑재하여 모바일 단말(100)에서 디스플레이되는 영상을 시청하는 것을 전제로 하고 있으므로, 모바일 단말(100)과 사용자의 눈까지의 거리를 감안한다면, 디스플레이되는 영상은 좌안 영상과 우안 영상이 구분된 입체 영상일 수 있다.
그러나 입체 영상을 디스플레이하는 과정이나 입체 영상이 공간감을 가지며 인식되는 과정은 이미 주지된 기술이므로, 설명의 편의를 위해, 전술된 설명들과 도면에서는 이에 대해서는 생략하였다.
10 : VR 기기 100 : 모바일 단말
110 : 통신부 130 : 제어부
150 : 디스플레이부 170 : 저장부

Claims (10)

  1. 복수의 동영상들을 이용하여 제작된 파노라마 동영상이 수신되는 단계;
    상기 파노라마 동영상에 동기화되도록 제작된 화면 표시정보가 수신되는 단계; 및
    상기 파노라마 동영상의 시점(視點)이 이동되는 경우에도, 상기 화면 표시정보가 상기 파노라마 동영상이 디스플레이되는 디스플레이 화면의 기설정된 영역에 배치되어 상기 파노라마 동영상과 함께 디스플레이되는 단계;를 포함하고,
    상기 화면 표시정보는,
    상기 파노라마 동영상이 개별적인 영역으로 각각 분할되고, 특정 시구간 동안 분할된 복수의 영역 중 어느 특정 영역에만 동기화되는 경우, 상기 특정 영역의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되면, 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 제1 특정 좌표에 배치되어 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이되되,
    상기 특정 시구간 동안 상기 기준시점의 좌표가 이동된 것으로 판단되면, 상기 제1 특정 좌표의 위치가 상기 이동된 기준시점의 좌표에 따라 재배치되어, 상기 재배치된 제1 특정 좌표에서 상기 파노라마 동영상과 함께 디스플레이되는 것을 특징으로 하는 것을 특징으로 하는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  2. 제1항에 있어서,
    상기 복수의 동영상들은,
    기설정된 시구간 동안 기설정된 지리적 위치를 기준으로 한 전방, 후방, 상방, 하방, 좌측방 및 우측방 동영상들 중 적어도 두 개를 포함하는 것을 특징으로 하는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  3. 제2항에 있어서,
    상기 파노라마 동영상은,
    상기 복수의 동영상들 간의 타임 라인이 동기화되고, 인접한 동영상들을 스티치(Stitch) 처리한 상태에서, 피사체의 중복이나 피사체의 공백이 발생되지 않도록 처리한 동영상인 것을 특징으로 하는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  4. 제3항에 있어서,
    상기 화면 표시정보는,
    상기 파노라마 동영상이 상기 개별적인 영역으로 각각 분할되고, 상기 분할된 복수의 영역 중 상기 특정 영역에 동기화되는 경우에, 상기 특정 영역에 대응되는 동영상과 상기 특정 시구간 동안 함께 디스플레이되도록, 상기 특정 영역에 대한 식별정보 및 상기 특정 시구간에 대한 시간정보가 포함되는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  5. 삭제
  6. 삭제
  7. 제4항에 있어서,
    상기 화면 표시정보는,
    상기 특정 시구간 동안 상기 분할된 모든 영역에 동기화되는 경우에, 상기 디스플레이 화면의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되면, 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 제2 특정 좌표에 배치되어 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이되며,
    상기 특정 시구간 동안 상기 파노라마 동영상의 시점이 이동되는 경우에도, 상기 제2 특정 좌표를 유지한 상태로 상기 파노라마 동영상과 함께 디스플레이되는 것을 특징으로 하는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  8. 제2항에 있어서,
    상기 파노라마 동영상은,
    좌안 영상과 우안 영상으로 구분된 입체 영상으로서, 사용자가 착용하는 헤드마운트 디스플레이 장치에 모바일 단말이 장착된 상태로 사용자에게 제공되는 것을 특징으로 하는 파노라마 동영상의 화면 표시정보 디스플레이 방법.
  9. 제작된 파노라마 동영상 및 상기 파노라마 동영상에 동기화되도록 제작된 화면 표시정보가 수신되는 통신부;
    상기 수신된 파노라마 동영상 및 상기 화면 표시정보가 저장되는 저장부;
    상기 저장된 파노라마 동영상 및 상기 화면 표시정보가 디스플레이되는 디스플레이부; 및
    상기 파노라마 동영상이 상기 디스플레이부에서 디스플레이되도록 하되, 상기 화면 표시정보가 상기 파노라마 동영상의 시점(視點)이 이동되는 경우에도, 상기 파노라마 동영상의 기설정된 위치에 배치되어 상기 파노라마 동영상과 함께 디스플레이되도록 하는 제어부;를 포함하고,
    상기 제어부는,
    상기 파노라마 동영상이 개별적인 영역으로 각각 분할되고, 상기 화면 표시정보가, 특정 시구간 동안 분할된 복수의 영역 중 어느 특정 영역에만 동기화되는 경우, 상기 특정 영역의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되면, 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 제1 특정 좌표에 배치되어 상기 특정 시구간 동안 상기 파노라마 동영상과 함께 디스플레이되도록 하되,
    상기 특정 시구간 동안 상기 기준시점의 좌표가 이동된 것으로 판단되면, 상기 제1 특정 좌표의 위치가 상기 이동된 기준시점의 좌표에 따라 재배치되도록 하여, 상기 화면 표시정보가, 상기 재배치된 제1 특정 좌표에서 상기 파노라마 동영상과 함께 디스플레이되도록 하는 것을 특징으로 하는 모바일 단말.
  10. 사용자의 두부에 장착되는 헤드마운트 디스플레이 장치; 및
    상기 헤드마운트 디스플레이 장치의 내부에 인입되어 파노라마 동영상 형식의 입체 영상을 디스플레이하되, 상기 파노라마 동영상 형식의 입체 영상에 동기화되도록 제작된 화면 표시정보가 상기 파노라마 동영상의 시점(視點)이 이동되는 경우에도, 상기 파노라마 동영상 형식의 입체 영상의 기설정된 위치에 배치되어 상기 파노라마 동영상 형식의 입체 영상과 함께 디스플레이되도록 하는 모바일 단말;을 포함하고,
    상기 모바일 단말은,
    상기 파노라마 동영상 형식의 입체 영상이 개별적인 영역으로 각각 분할되고, 상기 화면 표시정보가, 특정 시구간 동안 분할된 복수의 영역 중 어느 특정 영역에만 동기화되는 경우, 상기 특정 영역의 정중앙을 기준시점으로 하는 가상의 2차원 좌표가 생성되면, 상기 기준시점의 X축 위에 존재하는 복수의 2차원 좌표 중에 기설정된 영역에 존재하는 제1 특정 좌표에 배치되어 상기 특정 시구간 동안 상기 파노라마 동영상 형식의 입체 영상과 함께 디스플레이되도록 하되,
    상기 특정 시구간 동안 상기 기준시점의 좌표가 이동된 것으로 판단되면, 상기 제1 특정 좌표의 위치가 상기 이동된 기준시점의 좌표에 따라 재배치되도록 하여, 상기 화면 표시정보가, 상기 재배치된 제1 특정 좌표에서 상기 파노라마 동영상 형식의 입체 영상과 함께 디스플레이되도록 하는 것을 특징으로 하는 전방위 가상현실 제공 시스템.

KR1020150163784A 2015-11-23 2015-11-23 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템 KR101606860B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163784A KR101606860B1 (ko) 2015-11-23 2015-11-23 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163784A KR101606860B1 (ko) 2015-11-23 2015-11-23 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템

Publications (1)

Publication Number Publication Date
KR101606860B1 true KR101606860B1 (ko) 2016-03-28

Family

ID=57008260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163784A KR101606860B1 (ko) 2015-11-23 2015-11-23 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템

Country Status (1)

Country Link
KR (1) KR101606860B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182321A1 (en) * 2017-03-31 2018-10-04 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR101965404B1 (ko) * 2017-11-09 2019-04-03 부경대학교 산학협력단 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법
WO2020163878A1 (en) * 2019-02-06 2020-08-13 Loop Now Technologies, Inc. Immersive video experience
KR102164315B1 (ko) * 2019-08-23 2020-10-12 이상훈 파노라마 콘텐츠의 디스플레이 제어 방법 및 콘텐츠 제공 서버
US11381805B2 (en) 2019-02-06 2022-07-05 Loop Now Technologies, Inc. Audio and video stream rendering modification based on device rotation metric
CN115174993A (zh) * 2022-08-09 2022-10-11 北京字跳网络技术有限公司 用于视频制作的方法、装置、设备和存储介质
US11483492B2 (en) 2019-02-06 2022-10-25 Loop Now Technologies, Inc. Immersive video experience including rotation
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
US11880423B2 (en) 2020-02-05 2024-01-23 Loop Now Technologies, Inc. Machine learned curating of videos for selection and display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085197A (ja) * 2010-10-14 2012-04-26 Dainippon Printing Co Ltd 広角撮影画像へのスーパーインポーズ方法および装置
KR20130008569A (ko) 2010-02-24 2013-01-22 톰슨 라이센싱 입체 영상을 위한 자막 표시
KR20150006128A (ko) 2013-07-08 2015-01-16 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20150027651A (ko) * 2013-09-04 2015-03-12 (주)판도라나인 스마트폰이 장착되는 두부 탑재형 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008569A (ko) 2010-02-24 2013-01-22 톰슨 라이센싱 입체 영상을 위한 자막 표시
JP2012085197A (ja) * 2010-10-14 2012-04-26 Dainippon Printing Co Ltd 広角撮影画像へのスーパーインポーズ方法および装置
KR20150006128A (ko) 2013-07-08 2015-01-16 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
KR20150027651A (ko) * 2013-09-04 2015-03-12 (주)판도라나인 스마트폰이 장착되는 두부 탑재형 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182321A1 (en) * 2017-03-31 2018-10-04 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
US20180288396A1 (en) * 2017-03-31 2018-10-04 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
US10958890B2 (en) 2017-03-31 2021-03-23 Samsung Electronics Co., Ltd. Method and apparatus for rendering timed text and graphics in virtual reality video
KR101965404B1 (ko) * 2017-11-09 2019-04-03 부경대학교 산학협력단 Vr 영상 콘텐츠를 위한 사용자 시점 중심의 자막 지원 장치 및 방법
WO2020163878A1 (en) * 2019-02-06 2020-08-13 Loop Now Technologies, Inc. Immersive video experience
US11381805B2 (en) 2019-02-06 2022-07-05 Loop Now Technologies, Inc. Audio and video stream rendering modification based on device rotation metric
US11483492B2 (en) 2019-02-06 2022-10-25 Loop Now Technologies, Inc. Immersive video experience including rotation
US11659219B2 (en) 2019-02-06 2023-05-23 Loop Now Technologies, Inc. Video performance rendering modification based on device rotation metric
KR102164315B1 (ko) * 2019-08-23 2020-10-12 이상훈 파노라마 콘텐츠의 디스플레이 제어 방법 및 콘텐츠 제공 서버
US11880423B2 (en) 2020-02-05 2024-01-23 Loop Now Technologies, Inc. Machine learned curating of videos for selection and display
CN115174993A (zh) * 2022-08-09 2022-10-11 北京字跳网络技术有限公司 用于视频制作的方法、装置、设备和存储介质
CN115174993B (zh) * 2022-08-09 2024-02-13 北京字跳网络技术有限公司 用于视频制作的方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
KR101606860B1 (ko) 파노라마 동영상의 화면 표시정보 디스플레이 방법 및 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
US10805592B2 (en) Apparatus and method for gaze tracking
EP3391658B1 (en) Personalized presentation enhancement using augmented reality
US11350156B2 (en) Method and apparatus for implementing video stream overlays
KR101639053B1 (ko) ３ｄ 이미지 및 그래픽 데이터의 조합
EP3097690B1 (en) Multi-view display control
US20100103168A1 (en) Methods and apparatuses for processing and displaying image
CN106358036A (zh) 一种以预设视角观看虚拟现实视频的方法
KR20120039767A (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
JPWO2017047173A1 (ja) 情報処理装置及び情報処理方法
JP6628343B2 (ja) 装置および関連する方法
CN107623812A (zh) 一种实现实景展示的方法、相关装置及系统
CN102457750A (zh) 用于将对象数据插入立体图像中的方法和设备
JP2019121224A (ja) プログラム、情報処理装置、及び情報処理方法
WO2018004933A1 (en) Apparatus and method for gaze tracking
KR101606858B1 (ko) 파노라마 동영상 디스플레이 제어 방법, 이를 이용한 모바일 단말 및 전방위 가상현실 제공 시스템
JP6934052B2 (ja) 表示制御装置、表示制御方法及びプログラム
US8730310B2 (en) Reproducing device, reproduction control method and program
CN110709839A (zh) 用于呈现媒体内容预览的方法、系统和介质
CN105630170B (zh) 一种信息处理方法及电子设备
US9547933B2 (en) Display apparatus and display method thereof
JP2019121072A (ja) ３ｄｃｇ空間の鑑賞条件連動システム、方法、およびプログラム
KR102612605B1 (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
Hamacher et al. Study on making omnistereo images for HMD using longer focal length

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant