KR20180028313A - 360도 영상 재생장치 - Google Patents

360도 영상 재생장치 Download PDF

Info

Publication number
KR20180028313A
KR20180028313A KR1020160115847A KR20160115847A KR20180028313A KR 20180028313 A KR20180028313 A KR 20180028313A KR 1020160115847 A KR1020160115847 A KR 1020160115847A KR 20160115847 A KR20160115847 A KR 20160115847A KR 20180028313 A KR20180028313 A KR 20180028313A
Authority
KR
South Korea
Prior art keywords
degree image
degree
image
metadata
fov
Prior art date
Application number
KR1020160115847A
Other languages
English (en)
Inventor
엄윤호
원광종
Original Assignee
주식회사 씨오티커넥티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨오티커넥티드 filed Critical 주식회사 씨오티커넥티드
Priority to KR1020160115847A priority Critical patent/KR20180028313A/ko
Publication of KR20180028313A publication Critical patent/KR20180028313A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 360도 영상 재생 기술에 관한 것으로, 360도 영상 콘텐츠와 상기 360도 영상의 재생에 따른 FOV(Field of View)를 정의한 360도 영상 메타데이터를 획득하는 영상 획득부, 상기 360도 영상 콘텐츠의 재생을 제어하는 영상 재생부 및 상기 360도 영상 콘텐츠의 재생이 감지되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 반영하여 상기 360도 영상 콘텐츠의 FOV를 제어하는 영상 제어부를 포함한다.

Description

360도 영상 재생장치{APPARATUS OF 360-DEGREE VR VIDEO PLAY}
본 발명은 360도 영상 재생 기술에 관한 것으로, 보다 상세하게는, 360도 이미지 또는 360도 영상으로 구성된 콘텐츠에 360도 영상 메타데이터를 반영하여 FOV를 제어할 수 있는 360도 영상 재생장치에 관한 것이다.
360도 동영상은 재생 중 키보드나 마우스 등을 활용하여 사용자가 보고 싶은 방향이나 지점을 선택하고 감상할 수 있는 영상을 말한다. 360도 동영상은 촬영자가 선택한 시점에 고정되었던 기존의 동영상과는 달리 재생 중에 360도로 회전시키며 감상할 수 있다. 종래의 360도 동영상은 사용자가 계속 동영상을 회전시켜야 하는 번거로움이 있다.
한국 공개특허 제10-2016-0021706호는 360도 공간영상 재생방법 및 그 시스템에 관한 것으로, 재생중인 동영상 및 이와 인접하는 동영상을 함께 단말기에 로딩하여 다양한 각도의 동영상을 드래그하여 선택하고, 선택된 동영상의 원하는 부분을 상하좌우이동 및 줌 인, 줌 아웃 등을 통하여 자유롭게 실시간으로 볼 수 있는 기술에 대하여 개시한다.
한국 등록특허 제10-1316743호는 컨텐츠 비디오 영상 중 일부분에 관한 메타데이터를 제공하는 방법, 상기 제공된 메타데이터를 관리하는 방법 및 이들 방법을 이용하는 장치에 관한 것으로, 다수의 다른 사용자로부터 제공된 메타데이터를 이용하여 사용자가 다양한 방식으로 디지털 방송 컨텐츠에 접근할 수 있도록 하는 기술에 대하여 개시한다.
한국 등록특허 제10-1530826호는 360도 공간영상 재생방법 및 그 시스템에 관한 것으로, 동영상을 재생하고, 동영상 감상 중에 사용자가 원하는 각도의 동영상을 선택재생하고, 선택된 동영상의 원하는 특정부분을 줌 인, 줌 아웃, 상하좌우이동 등을 구현하여 능동적이고, 보다 현실감 있는 영상을 감상할 수 있는 기술에 대하여 개시한다.
1. 한국 공개특허 제10-2016-0021706호(2016.02.26) 2. 한국 등록특허 제10-1316743호(2013.09.30) 3. 한국 등록특허 제10-1530826호(2015.06.16)
본 발명의 일 실시예는 360도 이미지 또는 360도 영상으로 구성된 콘텐츠에 360도 영상 메타데이터를 반영하여 FOV를 제어할 수 있는 360도 영상 재생장치를 제공하고자 한다.
본 발명의 일 실시예는 360도 영상 콘텐츠의 재생시간 흐름에 따른 FOV를 정의한 360도 영상 메타데이터를 획득할 수 있는 360도 영상 재생장치를 제공하고자 한다.
본 발명의 일 실시예는 사용자에 의한 시계열적인 FOV 조작 입력을 통해 360도 영상 콘텐츠와 연관된 360도 영상 메타데이터를 변경하여 360도 영상 콘텐츠를 제어할 수 있는 360도 영상 재생장치를 제공하고자 한다.
실시예들 중에서, 360도 영상 재생장치는 360도 영상 콘텐츠와 상기 360도 영상의 재생에 따른 FOV(Field of View)를 정의한 360도 영상 메타데이터를 획득하는 영상 획득부, 상기 360도 영상 콘텐츠의 재생을 제어하는 영상 재생부 및 상기 360도 영상 콘텐츠의 재생이 감지되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 반영하여 상기 360도 영상 콘텐츠의 FOV를 제어하는 영상 제어부를 포함한다.
상기 영상 획득부는 상기 360도 영상 콘텐츠가 선택되면 별개 파일로 구성된 상기 360도 영상 메타데이터를 자동으로 획득할 수 있다. 상기 360도 영상 메타데이터는 상기 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 결정된 해당 360도 영상 콘텐츠에 관한 FOV 값을 포함할 수 있다.
상기 영상 제어부는 상기 360도 영상의 현재 재생 시점을 획득하여 상기 360도 영상 메타데이터의 해당 재생 시점과 동기화시킬 수 있다. 상기 영상 제어부는 상기 360도 영상 메타데이터의 해당 재생 시점에 대하여 상기 360도 영상 메타데이터에 있는 FOV 값이 정의되지 않은 경우에는 상기 360도 영상 메타데이터의 상기 해당 재생 시점으로부터 가장 최근 과거에 정의된 FOV 값을 기초로 상기 동기화를 수행할 수 있다.
상기 영상 제어부는 상기 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 FOV 조작이 검출되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 반영하는 것을 일시적으로 멈출 수 있다.
상기 360도 영상 메타데이터에서 상기 별도의 FOV 조작과 연관된 시간 구간을 해당 FOV 값으로 변경한 신규의 360도 영상 메타데이터를 저장하는 영상 메타데이터 저장부를 더 포함할 수 있다.
상기 영상 제어부는 상기 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 줌 조작이 검출되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 계속적으로 반영할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 360도 영상 재생장치는 360도 이미지 또는 360도 영상으로 구성된 콘텐츠에 360도 영상 메타데이터를 반영하여 FOV를 제어할 수 있다.
본 발명의 일 실시예에 따른 360도 영상 재생장치는 360도 영상 콘텐츠의 재생시간 흐름에 따른 FOV를 정의한 360도 영상 메타데이터를 획득할 수 있다.
본 발명의 일 실시예에 따른 360도 영상 재생장치는 사용자에 의한 시계열적인 FOV 조작 입력을 통해 360도 영상 콘텐츠와 연관된 360도 영상 메타데이터를 변경하여 360도 영상 콘텐츠를 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 360도 영상 재생장치를 설명하는 블록도이다.
도 2는 도 1에 있는 360도 영상 재생장치에서 수행되는 360도 영상 재생 과정을 설명하는 순서도이다.
도 3은 360도 영상 메타데이터의 제작 과정을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 360도 영상 재생장치를 설명하는 블록도이다.
도 1을 참조하면, 360도 영상 재생장치(100)는 영상 획득부(110), 영상 재생부(120), 영상 제어부(130), 영상 메타데이터 저장부(140) 및 제어부(150)를 포함한다.
영상 획득부(110)는 360도 영상 콘텐츠와 360도 영상 콘텐츠와 연관된 360도 영상 메타데이터를 획득할 수 있다. 여기에서, 360도 영상 콘텐츠는 구 중심에서 바라본 구형 영상에 해당할 수 있고, 360도 영상 메타데이터는 360도 영상 콘텐츠의 재생시간 흐름에 따른 FOV(Field of View)를 정의할 수 있다. 일 실시예에서, FOV는 구 중심에서 바깥으로 바라본 영상으로 구현된 360도 영상에서 고도각과 방위각으로 구현될 수 있다. 보다 구체적으로, 360도 영상 메타데이터는 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 결정된 해당 360도 영상 콘텐츠에 관한 FOV 값을 포함할 수 있다. 360도 영상 메타데이터의 제작 과정은 후술한다.
일 실시예에서, 360도 영상 메타데이터는 단위 시간(예를 들어, 0.1초) 마다 정의되는 FOV 값을 포함할 수 있고, FOV가 변경되지 않더라도 기 설정된 단위시간마다 FOV 값을 연속적으로 포함할 수 있다. 다른 일 실시예에서, 360도 영상 메타데이터는 기본 값으로 NULL 값을 포함하고, FOV가 변경될 때 FOV 값을 이산적으로 기재할 수 있다. 이는 파일 크기를 줄이기 위함이다.
일 실시예에서, 영상 획득부(110)는 360도 영상 콘텐츠가 선택되면 해당 360도 영상 콘텐츠와 별개 파일로 구성된 360도 영상 메타데이터를 자동으로 획득할 수 있다. 이러한 획득 과정은 시스템 설정에 의해 결정될 수 있다. 예를 들어, 영상 획득부(110)는 360도 영상 콘텐츠의 파일이름이 “뮤직 비디오 콘텐츠”라면, “뮤직 비디오 스크립트”파일을 360도 영상 메타데이터로 검색하여 360도 영상 메타데이터를 획득할 수 있다. 즉, 이러한 획득은 파일 이름의 일부를 달리 하거나 또는 파일 이름의 확장자를 달리하는 기법을 통해 수행될 수 있다. 다른 예를 들어, 영상 획득부(110)는 360도 영상 콘텐츠의 URL(Uniform Resource Locator) 주소가 “url://server/content/뮤직 비디오”라면 “url://server/meta/뮤직 비디오”를 360도 영상 메타데이터로 검색하여 360도 영상 메타데이터를 획득할 수 있다. 즉, 이러한 획득은 URL 주소의 일부를 달리하는 기법을 통해 수행될 수 있다. 360도 영상 메타데이터와 관련한 보다 상세한 설명은 도 3을 참조하여 후술한다.
영상 재생부(120)는 360도 영상 콘텐츠를 사용자에게 디스플레이 하기에 적절한 평면 영상 콘텐츠로 변환하여 360도 영상을 재생할 수 있다. 보다 구체적으로, 영상 재생부(120)는 360도 영상 콘텐츠에서 구 중심에서 현재 바라보는 구면 영상을 평면 영상으로 변환하여 사용자에게 디스플레이할 수 있다. 즉, 영상 재생부(120)는 구면 영상을 평면 영상으로 워핑할 수 있다.
영상 재생부(120)는 사용자에게 재생 컨트롤을 제공할 수 있고, 재생 컨트롤은 재생, x배 재생, 잠시 멈춤, x초 앞으로 건너뛰기 및 x초 뒤로 돌아가기를 제공할 수 있다. 영상 재생부(120)는 재생 컨트롤에 사용자 조작이 발생할 때마다 해당 시간에 있는 360도 영상 콘텐츠를 재생할 수 있다. 즉, 사용자는 재생 컨트롤을 통해 360도 영상 콘텐츠의 재생을 제어할 수 있고, 영상 재생부(120)는 사용자에 의한 조작에 따라 360도 영상 콘텐츠의 재생을 제어할 수 있다.
영상 제어부(130)는 360도 영상 콘텐츠의 재생을 감지하고, 360도 영상 메타데이터를 해당 360도 영상 콘텐츠에 반영할 수 있다. 즉, 영상 제어부(130)는 360도 영상 콘텐츠의 재생 위치와 연관된 FOV 값을 360도 영상 메타데이터에서 검색한다. 영상 제어부(130)는 360도 영상 메타데이터를 기초로 360도 영상 콘텐츠의 FOV를 제어할 수 있다. 즉, 영상 제어부(130)는 360도 영상 콘텐츠의 재생이 감지되면 360도 영상 메타데이터를 360도 영상 콘텐츠에 반영하여 360도 영상 콘텐츠의 FOV를 제어할 수 있다.
영상 제어부(130)는 재생 과정에서 주기적으로 또는 재생 컨트롤의 조작에 따른 이벤트 발생에 따라, 360도 영상의 현재 재생 시점을 획득하여 360도 영상 메타데이터의 해당 재생 시점과 동기화시킬 수 있다. 예를 들어, 영상 제어부(130)는 영상 재생부(120)에 의해 제공되는 재생 컨트롤을 통해 재생 시점이 변경된 경우 360도 영상 메타데이터 역시 해당 재생 시점으로 동기화할 수 있다. 예를 들어, 영상 제어부(130)는 360도 영상 콘텐츠의 현재 재생 시점이 1분에서 2분 20초로 변경되면 360도 영상 메타데이터의 현재 재생 시점 역시 2분 20초로 변경할 수 있다.
또한, 영상 제어부(130)는 360도 영상 콘텐츠의 재생 과정에서 4 방향 키들(예를 들어, 키보드 또는 TV 리모콘) 또는 머리의 회전을 검출하는 자이로 센서(예를 들어, 안경 형태의 웨어러블 장치)를 통해 사용자에 의한 별도의 FOV 조작이 검출할 수 있다. 영상 제어부(130)는 별도의 FOV 조작이 검출되면 360도 영상 메타데이터를 360도 영상 콘텐츠에 반영하는 것을 일시적으로 멈추고, 별도의 FOV 조작에 따라 360도 영상 콘텐츠의 제어를 수행할 수 있다. 일 실시예에서, 영상 제어부(130)는 사용자의 선택에 따라 별도의 FOV 조작을 반영하여 360도 영상 메타데이터를 갱신할 수 있다. 또한, 영상 제어부(130)는 360도 영상 메타데이터가 존재하지 않은 경우에는 360도 영상 메타데이터를 새롭게 생성할 수 있다.
영상 메타데이터 저장부(140)는 360도 영상 메타데이터를 저장할 수 있다. 보다 구체적으로, 영상 메타데이터 저장부(140)는 360도 영상 콘텐츠에 관한 FOV 값과 줌 값 또는 뷰 모드 중 적어도 하나를 포함한 360도 영상 메타데이터를 저장할 수 있다. 예를 들어, FOV 값은 TV 리모콘(또는 키보드)의 4 방향키들을 통해 생성될 수 있고, 줌 값은 TV 리모콘(또는 마우스)의 확대 또는 축소 조작을 통해 생성될 수 있으며, 뷰 모드는 TV 리모콘(또는 키보드)의 뷰 토글 조작을 통해 미리 정의된 속성(Flat, Fisheye, Little Planet 등)들 중에서 선택될 수 있다. 또한, 영상 메타데이터 저장부(140)는 현재의 360도 영상 메타데이터가 변경된 경우에는 현재의 360도 영상 메타데이터를 갱신할 수 있다.
제어부(150)는 영상 획득부(110), 영상 재생부(120), 영상 제어부(130) 및 영상 메타데이터 저장부(140) 간의 데이터 및 신호 제어를 수행할 수 있다.
도 2는 도 1에 있는 360도 영상 재생장치에서 수행되는 360도 영상 재생 과정을 설명하는 순서도이다.
도 2에서, 영상 획득부(110)는 360도 영상 콘텐츠와 360도 영상 메타데이터를 획득할 수 있다. 보다 구체적으로, 영상 획득부(110)는 사용자에 의해 지정된 360도 영상 콘텐츠를 기초로 360도 영상 메타데이터를 획득할 수 있다(단계 S210). 이하, 360도 영상 메타데이터를 보다 구체적으로 설명한다.
360도 영상 메타데이터는 360도 영상 콘텐츠의 재생시간 흐름에 따른 FOV를 정의할 수 있고, FOV는 구 중심에서 바깥으로 바라볼 때의 고도각과 방위각으로 구현될 수 있다. 보다 구체적으로, 360도 영상 메타데이터는 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 결정된 해당 360도 영상 콘텐츠에 관한 FOV 값을 포함할 수 있다. 또한, 360도 영상 메타데이터는 FOV 값 이외에 줌 값(즉, 확대 또는 축소의 정도), 뷰 모드, 360도 영상 콘텐츠의 시간, 360도 영상 콘텐츠의 이동 시간(예를 들어, 이동 시간단위는 ms(millisecond)), 360도 영상 콘텐츠의 이동 모션 효과 등을 360도 영상 메타데이터의 항목으로 포함할 수 있고, 반드시 이에 한정되는 것은 아니다. 여기에서, 줌 값은 줌인(zoom in) 또는 줌아웃(zoom out)에 의해 결정되는 값에 해당할 수 있고, 뷰 모드는 Flat, Fisheye, Little Planet 등과 같은 디스플레이 효과를 포함할 수 있으며, 360도 영상 콘텐츠의 이동 모션 효과는 ease-in, ease-out 등과 같은 이동 모션 효과를 포함할 수 있다.
일 실시예에서, 360도 영상 메타데이터는 360도 영상 콘텐츠의 제작자와 다른 사람에 의해 생성될 수 있고, 예를 들어, UCC(User Created Contents)로 생성될 수 있다. 360도 영상 메타데이터의 제작은 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 수행되거나 또는 기존 360도 영상 메타데이터의 수정을 통해 수행될 수 있다.
다른 일 실시예에서, 360도 영상 메타데이터는 특정 시간을 기초로 360도 영상 메타데이터의 항목들을 360도 영상(또는 360도 이미지) 콘텐츠에 적용하여 360도 영상 콘텐츠의 재생시간 별로 360도 영상 메타데이터의 항목들을 합쳐 생성될 수 있다.
우선, 360도 영상 메타데이터가 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 새롭게 생성되는 경우를 설명한다.
영상 제어부(130)는 360도 영상 콘텐츠를 재생하는 과정에서 360도 영상 메타데이터가 검색되지 않은 경우에는 사용자의 FOV 조작을 검출하여 360도 영상 콘텐츠를 제어하고, 360도 영상 콘텐츠의 재생이 완료되면 360도 영상 메타데이터를 새롭게 생성할 수 있다.
다음으로, 360도 영상 메타데이터가 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 기존 360도 영상 메타데이터가 변경되는 경우를 설명한다.
영상 제어부(130)는 360도 영상 콘텐츠를 재생하는 과정에서 360도 영상 메타데이터가 검색되는 경우에는 기본적으로 현재의 360도 영상 메타데이터를 반영하여 360도 영상 콘텐츠를 제어한다.
영상 제어부(130)는 별도의 사용자의 FOV 조작을 검출이 검출되면 현재의 360도 영상 메타데이터를 360도 영상 콘텐츠에 반영하는 것을 일시적으로 멈추고, FOV 조작 직전의 FOV 값으로부터 FOV 조작에 따른 FOV 값을 반영한다. 한편, 영상 제어부(130)는 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 줌 조작이 검출되면 360도 영상 메타데이터를 360도 영상 콘텐츠에 계속적으로 반영하여 FOV를 그대로 유지한다.
영상 제어부(130)는 FOV 조작이 멈춰지면 360도 영상 콘텐츠의 재생을 계속하면서 FOV 조작에 따른 최종 FOV 값에 현재의 360도 영상 메타데이터의 반영완료 예상 시점에 있는 FOV 값으로 특정 속도로 변경한다. 여기에서, 반영완료 예상 시점은 FOV 조작에 따른 최종 FOV 값과 현재의 360도 영상 메타데이터의 해당 FOV 값 간의 거리를 기초로 결정될 수 있다.
예를 들어, 영상 제어부(130)는 FOV 조작이 5분에 시작되어 5분 30초에 멈춰졌고 반영완료 예상 시점이 3초에 해당하는 경우에는 FOV 조작에 따른 최종 FOV 값으로부터 현재의 360도 영상 메타데이터에서 5분 33초에 해당하는 FOV 값까지 일정 속도로 FOV를 제어할 수 있다.
영상 제어부(130)는 360도 영상 메타데이터에서 별도의 FOV 조작과 연관된 시간 구간(예를 들어, 위에서, 5분부터 5분 33초까지의 구간)을 해당 FOV 값으로 변경한 신규의 360도 영상 메타데이터를 영상 메타데이터 저장부(140)에 저장할 수 있다.
일 실시예에서, 360도 영상 메타데이터는 360도 영상 콘텐츠의 FOV 값을 FOV 변경마다 이산적으로 저장할 수 있거나 또는 단위 시간마다 연속적으로 저장할 수 있다. 이산적인 저장은 360도 영상 메타데이터의 크기를 줄이는데 상대적으로 장점을 가지고 연속적인 저장은 360도 영상 콘텐츠의 재생 시점 변경을 즉각적으로 반영하는데 상대적으로 장점을 가질 수 있다. 예를 들어, 이산적 저장에서, 영상 제어부(130)는 360도 영상 콘텐츠의 재생 시점 변경이 발생되면 360도 영상 메타데이터의 해당 재생 시점에 대하여 360도 영상 메타데이터에 있는 FOV 값이 정의되지 않은 경우에는 360도 영상 메타데이터의 해당 재생 시점으로부터 가장 최근 과거에 정의된 FOV 값을 기초로 동기화를 수행할 수 있다.
영상 재생부(120)는 360도 영상 콘텐츠의 재생을 제어할 수 있다(단계 S220). 보다 구체적으로, 영상 재생부(120)는 재생 컨트롤을 통해 360도 영상 콘텐츠에 관해 재생, x배 재생, 잠시 멈춤, x초 앞으로 건너뛰기 및 x초 뒤로 돌아가기를 수행할 수 있다. 또한, 영상 재생부(120)는 재생 컨트롤을 통해 줌 제어 및 뷰 모드 토글을 수행할 수 있다.
영상 제어부(130)는 360도 영상 콘텐츠의 재생이 감지되면 360도 영상 메타데이터를 360도 영상 콘텐츠에 반영하여 360도 영상 콘텐츠의 FOV를 제어한다(단계 S230). 영상 제어부(130)는 4 방향키들 또는 자이로 센서를 통한 입력을 통해 360도 영상 콘텐츠의 FOV를 변경할 수 있다. 영상 제어부(130)는 360도 영상 콘텐츠의 FOV 변경이 검출되면 360도 영상 메타데이터의 갱신 여부를 결정하여 영상 메타데이터 저장부(140)에 새롭게 갱신된 영상 메타데이터를 저장할 수 있다(단계 S240).
도 3은 360도 영상 메타데이터의 제작 과정을 설명하는 도면이다.
도 3에서 실선으로 표시된 화살표를 참조하면, 영상 제어부(130)는 360도 영상 콘텐츠의 재생이 감지되면 360도 영상 메타데이터를 획득할 수 있고, 현재 360도 영상 메타데이터를 360도 영상 콘텐츠에 반영하여 360도 영상 콘텐츠의 FOV를 제어할 수 있다.
도 3에서 점선으로 표시된 화살표를 참조하면, 영상 제어부(130)는 별도의 사용자 FOV 조작을 검출할 수 있고, 사용자에 의한 4 방향키들 또는 자이로 센서를 통한 조작 입력을 통해 360도 영상 콘텐츠의 FOV 값을 변경할 수 있다. 이때, 사용자는 4 방향키들을 이용하여 360도 영상 콘텐츠에 대한 커서를 상하좌우 방향으로 이동할 수 있고, 이러한 과정에서 사용자는 동일한 360도 영상 콘텐츠를 다양한 방향에서 감상할 수 있다. 영상 제어부(130)는 현재 360도 영상 메타데이터와 FOV 조작에 따른 FOV 값을 360도 영상 콘텐츠에 반영하여 360도 영상 콘텐츠의 FOV를 제어할 수 있다. 영상 제어부(130)는 사용자에 의해 변경되는 FOV 값에 따라 360도 영상 콘텐츠의 재생 시점을 일시적으로 변경할 수 있고, 예를 들어, 영상 제어부(130)는 360도 영상 콘텐츠의 재생 시점이 3분 15초이고, 사용자의 FOV 조작 시점이 4분 38초에 해당하면 360도 영상 콘텐츠의 재생 시점을 일시적으로 4분 38초로 변경할 수 있다.
영상 제어부(130)는 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 줌 값(즉, 확대 또는 축소의 정도)을 검출할 수 있고, 사용자는 확대 또는 축소 조작을 통해 재생되는 360도 영상(또는 360도 이미지) 크기를 변경할 수 있다. 이러한 과정에서 사용자는 동일한 360도 영상 콘텐츠의 특정 360도 영상 부분을 확대하거나 또는 축소하여 다양하게 감상할 수 있다.
일 실시예에서, 영상 제어부(130)는 360도 영상 콘텐츠의 FOV 변경이 검출되면 별도의 FOV 조작과 연관된 FOV 값으로 변경한 신규의 360도 영상 메타데이터를 현재 360도 영상 메타데이터로 갱신할 수 있다. 보다 구체적으로, 영상 제어부(130)는 해당 360도 영상 콘텐츠의 재생이 종료된 후에 신규의 360도 영상 메타데이터를 현재 360도 영상 메타데이터에 반영하여 영상 메타데이터 저장부(140)에 저장할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 360도 영상 재생장치 110: 영상 획득부
120: 영상 재생부 130: 영상 제어부
140: 영상 메타데이터 저장부 150: 제어부

Claims (8)

  1. 360도 영상 콘텐츠와 상기 360도 영상의 재생에 따른 FOV(Field of View)를 정의한 360도 영상 메타데이터를 획득하는 영상 획득부;
    상기 360도 영상 콘텐츠의 재생을 제어하는 영상 재생부; 및
    상기 360도 영상 콘텐츠의 재생이 감지되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 반영하여 상기 360도 영상 콘텐츠의 FOV를 제어하는 영상 제어부를 포함하는 360도 영상 재생장치.
  2. 제1항에 있어서, 상기 영상 획득부는
    상기 360도 영상 콘텐츠가 선택되면 별개 파일로 구성된 상기 360도 영상 메타데이터를 자동으로 획득하는 것을 특징으로 하는 360도 영상 재생장치.
  3. 제2항에 있어서, 상기 360도 영상 메타데이터는
    상기 360도 영상 콘텐츠에 관한 시계열적인 조작 입력을 통해 결정된 해당 360도 영상 콘텐츠에 관한 FOV 값을 포함하는 것을 특징으로 하는 360도 영상 재생장치.
  4. 제1항에 있어서, 상기 영상 제어부는
    상기 360도 영상의 현재 재생 시점을 획득하여 상기 360도 영상 메타데이터의 해당 재생 시점과 동기화시키는 것을 특징으로 하는 360도 영상 재생장치.
  5. 제4항에 있어서, 상기 영상 제어부는
    상기 360도 영상 메타데이터의 해당 재생 시점에 대하여 상기 360도 영상 메타데이터에 있는 FOV 값이 정의되지 않은 경우에는 상기 360도 영상 메타데이터의 상기 해당 재생 시점으로부터 가장 최근 과거에 정의된 FOV 값을 기초로 상기 동기화를 수행하는 것을 특징으로 하는 360도 영상 재생장치.
  6. 제1항에 있어서, 상기 영상 제어부는
    상기 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 FOV 조작이 검출되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 반영하는 것을 일시적으로 멈추는 것을 특징으로 하는 360도 영상 재생장치.
  7. 제6항에 있어서,
    상기 360도 영상 메타데이터에서 상기 별도의 FOV 조작과 연관된 시간 구간을 해당 FOV 값으로 변경한 신규의 360도 영상 메타데이터를 저장하는 영상 메타데이터 저장부를 더 포함하는 것을 특징으로 하는 360도 영상 재생장치.
  8. 제1항에 있어서, 상기 영상 제어부는
    상기 360도 영상 콘텐츠의 재생 과정에서 사용자에 의한 별도의 줌 조작이 검출되면 상기 360도 영상 메타데이터를 상기 360도 영상 콘텐츠에 계속적으로 반영하는 것을 특징으로 하는 360도 영상 재생장치.
KR1020160115847A 2016-09-08 2016-09-08 360도 영상 재생장치 KR20180028313A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160115847A KR20180028313A (ko) 2016-09-08 2016-09-08 360도 영상 재생장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160115847A KR20180028313A (ko) 2016-09-08 2016-09-08 360도 영상 재생장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180000741A Division KR20180028417A (ko) 2018-01-03 2018-01-03 360도 영상 재생장치

Publications (1)

Publication Number Publication Date
KR20180028313A true KR20180028313A (ko) 2018-03-16

Family

ID=61910413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115847A KR20180028313A (ko) 2016-09-08 2016-09-08 360도 영상 재생장치

Country Status (1)

Country Link
KR (1) KR20180028313A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190313081A1 (en) * 2018-04-05 2019-10-10 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
WO2019245302A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190313081A1 (en) * 2018-04-05 2019-10-10 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
KR20190116916A (ko) * 2018-04-05 2019-10-15 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US11044455B2 (en) * 2018-04-05 2021-06-22 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
WO2019245302A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
US11831855B2 (en) 2018-06-22 2023-11-28 Lg Electronics Inc. Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video

Similar Documents

Publication Publication Date Title
US20200286185A1 (en) Parallel echo version of media content for comment creation and delivery
US11507258B2 (en) Methods and systems for presenting direction-specific media assets
US10812868B2 (en) Video content switching and synchronization system and method for switching between multiple video formats
US10056114B2 (en) Small-screen movie-watching using a viewport
WO2020007009A1 (zh) 确定视频背景音乐的方法、装置、终端设备及存储介质
US20220222028A1 (en) Guided Collaborative Viewing of Navigable Image Content
WO2020000973A1 (zh) 信息访问方法、客户端、装置、终端、服务器和存储介质
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US8386942B2 (en) System and method for providing digital multimedia presentations
US20110258545A1 (en) Service for Sharing User Created Comments that Overlay and are Synchronized with Video
US20140168277A1 (en) Adaptive Presentation of Content
KR20180042386A (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
US8811797B2 (en) Switching between time order and popularity order sending of video segments
US6891561B1 (en) Providing visual context for a mobile active visual display of a panoramic region
US20120144312A1 (en) Information processing apparatus and information processing system
CN113014985A (zh) 互动多媒体内容处理方法、装置、电子设备及存储介质
Miller et al. MiniDiver: A Novel Mobile Media Playback Interface for Rich Video Content on an iPhone TM
JP4572615B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
KR20180028313A (ko) 360도 영상 재생장치
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
US11474661B2 (en) Methods, systems, and media for presenting media content previews
CN114302221A (zh) 一种虚拟现实设备及投屏媒资播放方法
JP2008152333A (ja) 再生装置、再生方法及びプログラム
CN108156512B (zh) 一种视频播放控制方法及装置
US20230054388A1 (en) Method and apparatus for presenting audiovisual work, device, and medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101000035; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180103

Effective date: 20191022