KR102287133B1 - 자유 시점 영상 제공 방법 및 장치 - Google Patents

자유 시점 영상 제공 방법 및 장치 Download PDF

Info

Publication number
KR102287133B1
KR102287133B1 KR1020180152471A KR20180152471A KR102287133B1 KR 102287133 B1 KR102287133 B1 KR 102287133B1 KR 1020180152471 A KR1020180152471 A KR 1020180152471A KR 20180152471 A KR20180152471 A KR 20180152471A KR 102287133 B1 KR102287133 B1 KR 102287133B1
Authority
KR
South Korea
Prior art keywords
image
information
view
meta information
images
Prior art date
Application number
KR1020180152471A
Other languages
English (en)
Other versions
KR20200065730A (ko
Inventor
위정욱
송슬기
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020180152471A priority Critical patent/KR102287133B1/ko
Priority to US16/699,274 priority patent/US11290752B2/en
Publication of KR20200065730A publication Critical patent/KR20200065730A/ko
Application granted granted Critical
Publication of KR102287133B1 publication Critical patent/KR102287133B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

자유 시점 관계에 대한 메타 정보에 기반하여 복수의 영상을 제공하는 방법을 제안한다. 이 때, 복수의 영상은 기준 영상 및 주변 영상을 포함한다. 이로써 원격의 사용자가 하나의 콘텐츠를 다양한 시점으로 이동하여 시청가능하고, 접근성 및 사용편의성이 향상된다.

Description

자유 시점 영상 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING FREE VIEWPOINT VIDEO}
본 발명은 자유 시점 영상 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 자유 시점 관계에 대한 메타 정보에 기반하여 자유 시점 영상을 제공하는 영상 제공 방법 및 장치에 관한 것이다.
자유선택시점 영상 서비스는 공연 및 스포츠 등의 문화 콘텐츠를 사용자가 원하는 시점에서 볼 수 있도록 해당 콘텐츠를 제공하는 서비스이다. 자유선택시점 영상 서비스는 영상을 시청 중인 사용자의 시점 이동에 따라 해당 시점 이동에 부합하는 콘텐츠를 제공하는 것을 목표로 한다. 예를 들어 파노라마 뷰와 같이 부드러운 이동이나 또는 객석에서 무대 위나 경기장 안과 같은 임의 위치로의 이동을 제공하여 다각도에서 콘텐츠를 소비할 수 있도록 한다.
종래의 자유선택시점 영상 서비스 기술은, 자유 시점 비디오(FVV: Free Viewpoint Video) 촬영 기법, FVV 데이터 프로세싱 기술, 영상 합성 기술, 및 3D 모델링 기술 등의 세부 분야에서 활발하게 이루어져 왔다.
하지만, 종래 기술은 네트워크 환경에서 FVV를 스트리밍하는 기술에 대한 연구가 미흡하다. FVV 서비스가 가능한 현장(onsite) 에 있는 사용자에게만 영상의 제공이 가능한 경우, 서비스 환경이 매우 제한적이고 접근 편의성이 낮다.
본 발명은 네트워크 환경에서 자유 시점 영상을 제공하는 방법 및 장치를 제안한다. 이를 위하여MPEG-DASH(Dynamic Adaptive Streaming over HTTP)를 기반으로 하는 자유 시점 관계에 대한 메타 정보 구조를 제안하고, 해당 메타 정보에 기반하여 자유 시점 영상을 제공하는 방법 및 장치를 제시하고자 한다.
본 발명의 실시예에 따른 영상 제공 방법은, 메타 정보에 기반하여 복수의 영상을 제공하는 방법으로서, 상기 복수의 영상은 기준 영상 및 주변 영상을 포함하고, 상기 복수의 영상의 촬영 위치 정보를 획득하는 단계, 상기 촬영 위치 정보에 기반하여 상기 기준 영상을 결정하는 단계, 상기 기준 영상의 메타 정보를 생성하는 단계, 상기 주변 영상의 메타 정보를 생성하는 단계, 및 사용자의 요청에 따라 상기 기준 영상의 메타 정보 및 상기 주변 영상의 메타 정보를 제공하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 영상 제공 방법은, 메타 정보에 기반하여 복수의 영상을 제공하는 방법으로서, 상기 복수의 영상은 기준 영상 및 주변 영상을 포함하고, 상기 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 수신하는 단계, 상기 영상에 대한 사용자의 시점 정보를 획득하는 단계, 상기 사용자의 시점 정보에 기반하여 상기 수신된 메타 정보 중 하나의 메타 정보를 선택하는 단계, 및 상기 선택된 메타 정보에 대응하는 영상을 상기 사용자에게 제공하는 단계를 포함한다.
본 발명의 실시예에 따른 영상 제공 방법은 네트워크 환경에서 자유 시점 관계를 정의하는 메타 정보에 기반하여 자유 시점 영상을 제공하는 방법 및 장치를 제공한다. 이로써 원격의 사용자가 하나의 콘텐츠를 다양한 시점으로 이동하여 시청가능하고 접근성 및 사용편의성이 향상된다.
또한, 자유 시점 관계를 정의하는 메타 정보의 각 파라미터에 기초하여 자유 시점 영상 합성에 필요한 정보의 제공이 가능하다.
도 1은 일 실시예에 따른 영상 제공 시스템(100)을 개략적으로 도시한다.
도 2는 일 실시예에 따른 영상 제공 방법의 순서도를 도시한다.
도 3은 예시적인 기준 영상 및 주변 영상을 도시한다.
도 4는 예시적인 자유 시점 관계에 대한 메타 정보 구조를 도시한다.
도 5는 일 실시예에 따른 영상 제공 방법의 순서도를 도시한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
한편, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
자유 시점 영상(FVV: Free Viewpoint Video)은 하나의 대상물을 복수 개의 시점에서 촬영하여 만들어진 영상으로서, 자유선택시점 영상 서비스는 이러한 자유 시점 영상에 기반하여 사용자의 현재 시점에 부합하는 영상 또는 사용자가 희망하는 시점의 영상을 제공하는 서비스를 의미한다.
한편, MPEG-DASH는 하나의 콘텐츠를 다양한 해상도로 전송할 수 있도록 하는 전송 기술이다. 구체적으로, MPEG-DASH는 MPEG 영상을 세그먼트로 나누어 전달하는 스트리밍 표준으로서, 콘텐츠를 일정 길이의 세그먼트로 분할하고, 다양한 비트율로 압축된 미디어 파일 세그먼트들 중 네트워크 전송 속도와 같은 네트워크 환경이나 사용자 단말 환경에 따라 해당 환경에 적합한 전송률을 갖는 해상도의 세그먼트를 선택적으로 수신할 수 있도록 한다. 이를 위하여 MPEG-DASH는 영상 세그먼트 관련 정보를 MPD(Media Presentation Description) 문서에 정의한다.
MPEG-DASH의 MPD는 디코더의 초기화에 필요한 초기화 세그먼트 파일 및 각 미디어 세그먼트 파일에 대한 URL을 제공한다. DASH Client는 DASH 서비스 시작 시에 MPD 파일을 제일 먼저 수신 및 해독하여, 디코더 초기화 파일의 위치, 제공되는 비트율, 각 비트율에 해당하는 미디어 세그먼트 파일의 위치를 알 수 있게 된다.
한편, 현재의 MPEG-DASH는 자유 시점 영상과 관련 정보를 스트리밍할 수 있는 방법 및 구조를 고려하고 있지 않으며, MPD에 자유 시점 영상 관련 파라미터 정보를 포함하고 있지 않다.
이에 본 발명은, 하나의 콘텐츠를 제공하기 위하여 복수의 미디어 세그먼트를 제공하고, 네트워크 환경이나 사용자 단말 환경에 따라 적합한 미디어 세그먼트를 선택가능한 MPEG-DASH의 구조에 기반하여, 네트워크 환경에서 자유 시점 영상을 제공하는 방법 및 장치를 제안한다. 특히, MPEG-DASH의 MPD 문서를 기반으로 자유 시점 관계 명세(FRD: Free-viewpoint Relationship Description)를 정의하고, 자유 시점 영상 제공을 위한 메타 정보 구조를 제안한다.
도 1은 일 실시예에 따른 영상 제공 시스템(100)을 개략적으로 도시한다.
영상 제공 시스템(100)은 클라이언트(110)가 요청한 자유 시점 영상을 클라이언트(110)에게 제공하는 서버(120) 및 사용자에게 자유 시점 영상을 제공하는 클라이언트(110)를 포함한다. 한편, 콘텐츠 공급자(130)는 자유 시점 영상을 서버(120)에 공급한다.
자유 시점 영상은 적어도 하나의 뷰(View)를 포함한다. 뷰는 영상 제공 시나리오에 따라 선택된 복수의 영상을 포함한다. 영상 제공 시나리오는 오브젝트를 촬영하는 카메라의 배치와 카메라가 지향하는 방향에 따라 정의된다. 예를 들어, 영상 제공 시나리오는 파노라믹 뷰, 전 방위 뷰, 임의 위치 뷰, 오브젝트 내향 뷰(Inward Object View), 오브젝트 외향 뷰(Outward Object View) 및 내향 장면 뷰(Inward Scene View) 등을 포함한다. 예시적으로 서버(120)에 N 개의 뷰(즉, View 1, View 2 내지 View N)을 포함하는 자유 시점 영상이 도시된다.
하나의 뷰는 각각 다양한 방향과 위치에서 촬영된 복수의 영상을 포함한다. 예를 들어, 오브젝트 내향 뷰(Inward Object View)는 복수의 위치에서 카메라가 오브젝트를 바라보는 방향으로 촬영한 복수의 영상을 포함한다. 오브젝트 외향 뷰(Outward Object View)는 복수의 위치에서 카메라가 오브젝트의 외부를 바라보는 방향으로 촬영한 복수의 영상을 포함한다. 다른 예에서, 내향 장면 뷰(Inward Scene View)는 오브젝트를 중심으로 넓은 각도 범위에 배치된 복수의 위치에서 카메라가 오브젝트를 바라보는 방향으로 촬영된 복수의 영상을 포함한다.
결과적으로, 하나의 뷰는 복수의 영상을 포함하고, 이 때, 각 영상을 서브-뷰(Sub-view)라고도 칭한다. 즉, 하나의 뷰는 복수의 서브-뷰를 포함한다.
서버(120)는 뷰의 촬영 위치 정보를 뷰에 대한 정보로서 저장한다. 여기서 촬영 위치 정보는 공연장 또는 경기장 등의 영상이 촬영된 장소의 공간 정보, 카메라의 배치 정보, 카메라의 방향 정보, 카메라의 3차원 위치 정보, 카메라의 절대 위치 정보, 카메라의 상대 위치 정보, 카메라의 수, 및 카메라의 간격 정보 등을 포함하는 정보로서, 뷰를 촬영한 위치에 관련된 정보를 의미한다.
서버(120)는 콘텐츠 공급자(130)가 제공한 자유 시점 영상을 분석하여 각 뷰를 구성하는 복수의 영상으로 이루어진 뷰의 촬영 위치 정보를 추출할 수 있다. 또는 서버(120)는 콘텐츠 공급자(130)로부터 각 뷰의 촬영 위치 정보를 제공할 수 있다. 서버(120)는 획득한 촬영 위치 정보를 각 뷰에 대하여 매핑한다. 일 예에서, 서버(120)는 획득한 촬영 위치 정보에 기반하여 복수의 영상을 하나의 뷰로 그룹핑하고, 해당 뷰에 대한 영상 제공 시나리오를 결정할 수 있다.
서버(120)는 자유 시점 영상을 구성하는 적어도 하나의 뷰에 대한 정보를 구조화하여 자유 시점 관계에 대한 메타 정보를 생성한다. 자유 시점 관계에 대한 메타 정보는 사용자의 시점 이동에 따른 영상 이동을 위한 정보를 제공한다.
서버(120)는 각 뷰에 대한 정보 및 각 뷰를 구성하는 복수의 영상에 대한 정보에 기반하여 자유 시점 관계에 대한 메타 정보를 생성한다. 여기서, 자유 시점 관계에 대한 메타 정보는 MPEG-DASH의 MPD에 기반하여 구조화될 수 있다.
자유 시점 관계는 자유 시점 영상에 포함된 적어도 하나의 뷰와 각 뷰에 포함된 복수의 영상 간의 위치 관계를 의미한다. 여기서 위치 관계는 각 뷰의 영상 제공 시나리오 및 촬영 위치 정보에 따라 결정될 수 있다. 자유 시점 관계에 대한 메타 정보는 자유 시점 관계를 구조화한 정보로서, 자유 시점 영상의 각 뷰 및 복수의 영상 간의 위치 관계를 계층적으로 구조화한 정보이다.
서버(120)는 각 뷰의 촬영 위치 정보에 기반하여 자유 시점 영상의 자유 시점 관계에 대한 메타 정보를 생성한다. 서버(120)는 클라이언트(110)가 자유 시점 영상의 제공을 요청하는 경우, 자유 시점 관계에 대한 메타 정보에 기반하여 해당 자유 시점 영상을 클라이언트(110)에 제공한다. 서버(120)의 영상 제공 방법의 과정에 대하여는 이후에 도 2를 참조하여 구체적으로 살펴본다.
클라이언트(110)는 서버(120)로부터 자유 시점 영상 및 해당 자유 시점 영상의 자유 시점 관계에 대한 메타 정보를 수신한다.
클라이언트(110)는 서버(120)로부터 수신한 자유 시점 관계에 대한 메타 정보에 기반하여 사용자의 시점 이동에 따른 자유 시점 영상 내에서 영상 이동을 수행한다. 클라이언트(110)는 자유 시점 영상을 시청하려고 하는 사용자의 시점 정보를 획득하고, 자유 시점 영상에 포함된 적어도 하나의 뷰를 구성하는 복수의 영상 중에서 획득된 시점 정보에 부합하는 영상을 사용자에게 제공한다. 또한 사용자의 시점 정보의 변화(View Change)에 따라 변화된 시점 정보에 부합하는 영상을 사용자에게 제공한다. 이 과정에서 클라이언트(110)는 서버(120)가 제공한 자유 시점 영상의 자유 시점 관계에 대한 메타 정보를 사용한다. 클라이언트(110)는 예를 들어, 휴대 전화 및 태블릿을 포함한 각종 휴대용 단말기, TV, 셋톱박스, 노트북 및 PC 등을 포함한다. 예를 들어, 클라이언트(110)는 HMD(Head Mounted Display)와 같은 웨어러블 기기일 수 있다. 클라이언트(110)의 영상 제공 방법의 과정에 대하여는 이후에 도 5를 참조하여 구체적으로 살펴본다.
서버(120) 및 클라이언트(110) 간의 자유 시점 영상 요청 및 해당 영상의 제공은 네트워크를 이용한 통신에 의하여 수행된다. 예를 들어, 서버(120) 및 클라이언트(110)는 HTTP를 사용하여 통신한다.
도 2는 일 실시예에 따른 영상 제공 방법의 순서도를 도시한다.
서버(120)는 자유 시점 관계에 대한 메타 정보에 기반하여 클라이언트(110)에게 복수의 영상을 제공한다. 여기서 서버(120)가 제공하는 복수의 영상은 하나의 자유 시점 영상에 포함된 적어도 하나의 뷰 중 하나를 구성하는 복수의 영상에 대응한다.
뷰는 기준 영상 및 주변 영상을 포함한다. 예를 들어, 뷰는 하나의 기준 영상 및 적어도 하나의 주변 영상을 포함한다. 즉, 뷰를 구성하는 복수의 영상 중 하나는 기준 영상이고, 복수의 영상 중 나머지 영상은 주변 영상이다. 예를 들어, 주변 영상은 기준 영상에 인접한 영상이다.
도3을 참조하여 살펴보면, 도 3은 예시적인 기준 영상(310) 및 주변 영상(320, 330)을 도시한다. 기준 영상(310)은 뷰를 구성하는 복수의 영상 간의 상대 위치를 정의하는 기준이다. 즉, 기준 영상(310)을 중심으로 주변 영상(320, 330)의 상대 위치가 결정된다. 예를 들어, 기준 영상(310)의 상대 위치는 원점(origin)이다. 예를 들어, 주변 영상(320)은 기준 영상(310)으로부터 시점을 우측으로 한 단계 이동한 영상이다. 예를 들어, 주변 영상(330)은 기준 영상(310)으로부터 시점을 좌측으로 한 단계 이동한 영상이다. 도 3에서는 상대 위치 좌표를 좌, 우, 상, 하의 방식으로 표현하였지만, 이는 예시적인 것이고, 다른 방식으로 상대 위치를 표시할 수 있음은 물론이다.
다시 도 2로 돌아와서, 단계(210)에서 서버(120)는 복수의 영상의 촬영 위치 정보를 획득한다. 전술한 대로, 촬영 위치 정보는 공연장 또는 경기장 등의 영상이 촬영된 장소의 공간 정보, 카메라의 배치 정보, 카메라의 방향 정보, 카메라의 3차원 위치 정보, 카메라의 절대 위치 정보, 카메라의 상대 위치 정보, 카메라의 수, 및 카메라의 간격 정보 등을 포함하는 정보로서, 영상을 촬영한 위치에 관련된 정보를 의미한다.
단계(220)에서 서버(120)는 단계(210)에서 획득한 촬영 위치 정보에 기반하여 복수의 영상 중 기준 영상을 결정한다. 예를 들어, 서버(120)는 가장 중앙에 위치하는 영상을 기준 영상으로 결정한다. 다른 예에서, 서버(120)는 가장 좌측에 위치하는 영상 또는 가장 우측에 위치하는 영상을 기준 영상으로 결정한다.
단계(230)에서 서버(120)는 단계(220)에서 결정한 기준 영상의 메타 정보를 생성한다. 기준 영상의 메타 정보는 복수의 영상에 대한 식별자, 기준 영상의 촬영 위치 정보, 기준 영상의 상대 위치 정보 및 기준 영상의 서버 정보를 포함한다. 복수의 영상에 대한 식별자는 해당 복수의 영상에 대응하는 뷰의 식별자이다. 기준 영상의 서버 정보는 기준 영상을 실제로 제공할 스트리밍 서버에 대한 정보로서, 스트리밍 서버의 주소를 포함한다. 기준 영상의 상대 위치 정보는 원점으로 설정한다.
단계(240)에서 서버(120)는 주변 영상의 메타 정보를 생성한다. 주변 영상은 복수의 영상 중 단계(220)에서 결정한 기준 영상을 제외한 나머지 영상에 해당한다. 주변 영상의 메타 정보는 복수의 영상에 대한 식별자, 카메라의 위치 정보 및 주변 영상의 상대 위치 정보를 포함한다. 또한, 주변 영상의 메타 정보는 주변 영상이 속한 뷰의 촬영 위치 정보를 포함할 수 있다.
단계(240)에서 서버(120)는 단계(210)에서 획득한 촬영 위치 정보에 기반하여, 단계(220)에서 결정한 기준 영상에 대한 주변 영상의 상대 위치 정보를 결정한다. 예를 들어, 서버(120)는 촬영 위치 정보에 포함된 카메라의 배치 정보, 카메라의 절대 위치 정보 및 카메라의 간격 정보에 기반하여 주변 영상의 상대 위치 정보를 결정한다.
단계(250)에서 서버(120)는 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 클라이언트(110)에 전송한다. 예를 들어, 단계(250)에서 서버(120)는 사용자의 요청에 따라 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 클라이언트(110)에 전송한다. 클라이언트(110)는 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 수신하고, 기준 영상 및 주변 영상으로 이루어진 복수의 영상의 자유 시점 관계에 대한 메타 정보를 구조화한다. 여기서, 기준 영상 및 주변 영상으로 이루어진 복수의 영상은 자유 시점 영상의 하나의 뷰에 대응한다. 결과적으로, 클라이언트(110)는 자유 시점 관계에 대한 메타 정보에 기반하여 사용자의 시점 이동에 따른 영상 이동을 제공한다. 클라이언트(110)의 영상 제공 과정에 대하여는 도 5를 참조하여 구체적으로 살펴본다.
도 4는 예시적인 자유 시점 관계에 대한 메타 정보 구조를 도시한다.
예를 들어, 메타 정보는 MPEG-DASH의 MPD에 영상의 서버 주소가 포함된 확장 MPD(E-MPD: Extended-MPD)에 기반하여 구조화된다. 즉, 메타 정보는 MPEG-DASH의 MPD에 자유 시점 관계 명세(FRD)를 추가한 확장 MPD에 기반하여 구조화된다.
박스(410)은 MPEG-DASH의 MPD에 포함된 일련의 세그먼트 정의를 도시한다. 박스(410)의 각 세그먼트는 박스(420)의 Adaptation Set을 포함할 수 있다. 자유 시점 영상을 제공하기 위하여, 자유 시점 영상의 각 뷰는 하나의 Adaptation Set으로 정의하고, 복수의 서브-뷰, 즉, 각 뷰를 구성하는 복수의 영상은 박스(430)의 FRD로 정의한다. 도 4에서 도시된 대로, FRD는 Adaptation Set의 하위 요소로 정의되고, 이에 따라, 복수의 영상은 뷰의 하위 요소로서 계층적으로 구조화된다.
박스(430)에서 FRD는 Reference Property(440)과 Additional Property(450)을 포함한다. Reference Property(440)는 기준 영상에 대응한다. Additional Property(450)는 제 1 주변 영상에 대응한다. 뷰는 하나의 기준 영상 및 적어도 하나의 주변 영상을 포함하므로, 주변 영상에 대응하는 Additional Property가 FRD 내에 주변 영상의 개수만큼 포함된다. 기준 영상 및 주변 영상은 FRD를 구성하는 하위 요소로 구조화된다.
기준 영상에 대응하는 Reference Property(440)는 복수의 영상 중에서 뷰를 대표하는 메인 영상에 해당한다. Reference Property(440)는 뷰에 대한 특성 파라미터를 포함한다. 예를 들어, Reference Property(440)는 뷰의 촬영 위치 정보를 포함한다. 예를 들어, Reference Property(440)는 뷰의 식별자, 뷰의 촬영 시의 카메라 배치, 카메라의 개수, 카메라의 위치 좌표, 촬영한 장소의 공간 좌표, 카메라 좌표의 차원 수, 및 기준 영상의 상대 위치 정보 등을 포함한다. 여기서 뷰의 식별자는 동일한 뷰에 속하는 복수의 영상을 식별하기 위하여 부여하는 정보로서, 기준 영상의 Reference Property(440)와 주변 영상의 Additional Property(450)에 뷰를 식별하기 위한 유일한 식별자가 공통적으로 포함된다.
주변 영상에 대응하는 Additional Property(450)는 각 주변 영상에 대한 특성 파라미터를 포함한다. 예를 들어, Additional Property(450)는 주변 영상을 촬영한 카메라의 위치 정보, 주변 영상의 상대 위치 정보 등을 포함한다. 여기서 주변 영상의 상대 위치 정보는 Reference Property(440)를 기준으로 결정된다. 예를 들어, Additional Property(450)는 주변 영상이 속한 뷰의 촬영 위치 정보를 포함한다.
다음의 표 1 내지 표 3은 각각 자유 시점 영상의 뷰의 메타 정보를 구성하는 파라미터(Adaptation Set element semantics, 박스 420), 기준 영상의 메타 정보를 구성하는 파라미터(Reference Property element semantics, 박스 440), 주변 영상의 메타 정보를 구성하는 파라미터(Additional Property element semantics, 박스 450)를 예시적으로 보여준다.
<AdaptationSet element Semantics>
Element or Attribute Name Description
AdaptationSet Adaptation Set description
For details refer to 5.3.3 in ISO/IEC 23009-1
@group Identifier for the group
Role Media component type information
For details refer to 5.8.5.5 in ISO/IEC 23009-1
ReferenceProperty ReferenceProperty description
For details refer to 2.2
AdditionalProperty AdditionalProperty description
For details refer to 2.2
<ReferenceProperty element Semantics>
Element or Attribute Name Description
ReferenceProperty specifies a ReferenceProperty
@id Specifies the id of the FRD. This shall be unique within the same viewpoint
@type Parallel, Curve, Halfsphere
@total Number of cameras
@siteValue Camera coordinates of the stage/stadium
@dimension Dimension of camera coordinates
@relativeViewSite Relative position of screen
@bandwidth Consider a hypothetical constant bitrate channel of bandwidth with the value of this attribute in bits per second(bps)
<AdditionalProperty element Semantics>
Element or Attribute Name Description
AdditionalProperty specifies an AdditionalProperty
@id Specifies the id of the FRD. This shall be unique within the same viewpoint
@siteValue Camera coordinates of the stage/stadium
@relativeViewSite Relative position of screen
@bandwidth Consider a hypothetical constant bitrate channel of bandwidth with the value of this attribute in bits per second (bps)
한편, 위와 같은 자유 시점 관계를 정의하는 메타 정보의 각 파라미터에 기초하여 자유 시점 영상 합성에 필요한 정보의 제공이 가능하다.
도 5는 일 실시예에 따른 영상 제공 방법의 순서도를 도시한다.
도 5는 클라이언트(110)가 사용자에게 영상을 제공하는 과정을 단계별로 보여준다.
단계(510)에서 클라이언트(110)는 서버(120)가 전송한 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 수신한다. 즉, 클라이언트(110)는 단계(510)에서 뷰를 구성하는 복수의 영상의 자유 시점 관계에 대한 메타 정보를 수신한다. 단계(510)에서 클라이언트(110)는, 도 2를 참조하여 서버(120)가 단계(230) 및 단계(240)에서 생성한 기준 영상의 메타 정보 및 주변 영상의 메타 정보로서 서버(120)가 단계(250)에서 클라이언트(110)로 전송한 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 수신한다.
단계(520)에서 클라이언트(110)는 사용자의 시점 정보를 획득한다. 예를 들어, 사용자의 시점 정보는 사용자가 영상을 시청하기를 원하는 시점에 대한 정보이거나, 또는 사용자가 지정한 시점에 대한 정보이거나, 또는 사용자가 현재 영상을 바라보는 시점을 감지하여 얻은 정보이다. 예를 들어, 클라이언트(110)는 외부 입력 장치로부터 사용자의 시점 정보를 획득할 수 있다. 여기서 외부 입력 장치는, 리모컨, 키보드, 마우스, 시선 정보를 감지하는 센서, 또는 HMD의 센서 등을 포함한다.
단계(530)에서 클라이언트(110)는 단계(520)에서 획득한 사용자의 시점 정보에 기반하여 단계(510)에서 서버(120)로부터 수신한 메타 정보 중 하나의 메타 정보를 선택한다.
단계(510)에서 서버(120)로부터 수신한 주변 영상의 메타 정보는 기준 영상에 대한 주변 영상의 상대 위치 정보를 포함한다. 즉, 도 2를 참조하여, 서버(120)는 단계(240)에서 기준 영상에 대한 주변 영상의 상대 위치 정보를 결정하고, 기준 영상에 대한 주변 영상의 상대 위치 정보를 주변 영상의 메타 정보에 포함하여 주변 영상의 메타 정보를 생성한다.
단계(530)에서 클라이언트(110)는, 단계(520)에서 획득한 사용자의 시점 정보를 기준 영상에 대한 사용자 위치 정보로 변환한다. 예를 들어, 단계(520)에서 획득한 사용자의 시점 정보가 공간 절대 좌표인 경우, 단계(530)에서 클라이언트(110)는 사용자의 시점 정보를 기준 영상에 대한 상대 위치 정보로 변환할 수 있다. 여기서, 클라이언트(110)는 뷰의 촬영 위치 정보를 포함한 기준 영상의 메타 정보에 기반하여 사용자의 시점 정보를 기준 영상에 대한 사용자 위치 정보로 변환할 수 있다.
단계(530)에서 클라이언트(110)는 단계(520)에서 획득한 사용자의 시점 정보를 변환하여 얻은 사용자의 위치 정보와 단계(510)에서 수신한 주변 영상의 메타 정보에 포함된 주변 영상의 상대 위치 정보를 비교하여 두 값이 서로 매칭되는 하나의 메타 정보를 선택한다.
단계(540)에서 클라이언트(110)는 단계(530)에서 선택된 메타 정보에 대응하는 영상을 사용자에게 제공한다. 선택된 메타 정보에 대응하는 영상은 기준 영상 또는 주변 영상이다. 여기서, 클라이언트(110)는 단계(530)에서 선택된 메타 정보에 포함된 기준 영상의 서버 정보를 이용하여 선택된 메타 정보에 대응하는 영상을 사용자에게 제공한다.
한편, 클라이언트(110)는 사용자의 시점 정보의 변화에 따라 단계(510)에서 수신된 메타 정보 중 하나의 메타 정보를 단계(530)을 통하여 다시 선택하고, 단계(540)에서 다시 선택된 메타 정보에 대응하는 영상을 사용자에게 제공한다.
이하에서, 본 발명의 실시예에 따른 영상 제공 장치를 살펴본다.
일 예에 따른 영상 제공 장치는 자유 시점 관계에 대한 메타 정보를 생성하는 메타 정보 생성부, 메타 정보를 저장하는 저장소, 및 클라이언트와 통신을 수행하는 통신부를 포함한다.
다른 예에 따른 영상 제공 장치는 자유 시점 관계에 대한 메타 정보를 해석하는 메타 정보 해석부, 사용자의 시점 정보를 획득하는 시점 획득부, 획득한 사용자의 시점 정보 및 수신한 메타 정보에 기반하여 영상의 제공을 제어하는 제어부를 저장하는 저장소를 포함한다. 추가적으로, 영상 제공 장치는 영상을 표시하는 디스플레이부를 포함한다.
한편, 본 발명에 따른 실시예는 자유 시점 관계에 대한 메타 정보 구조를 저장한 컴퓨터 판독가능한 기록 매체를 제공한다. 전술한 대로 자유 시점 관계에 대한 메타 정보 구조는 자유 시점 영상을 구성하는 적어도 하나의 뷰에 대한 정보를 포함한다. 각각의 뷰에 대한 정보는 해당 뷰를 구성하는 복수의 영상에 대한 정보를 포함한다. 해당 뷰를 구성하는 복수의 영상에 대한 정보는 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 포함한다. 기준 영상의 메타 정보는 복수의 영상에 대한 식별자, 기준 영상의 촬영 위치 정보, 기준 영상의 상대 위치 정보 및 기준 영상의 서버 정보를 포함한다. 주변 영상의 메타 정보는 복수의 영상에 대한 식별자, 카메라의 위치 정보 및 주변 영상의 상대 위치 정보를 포함한다. 또한, 주변 영상의 메타 정보는 주변 영상이 속한 뷰의 촬영 위치 정보를 포함할 수 있다.
본 발명의 실시예에 따른 도 1 내지 도 5에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
한편 상술한 설명에서, 도 2 및 도 5의 단계들은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 제공 시스템
110: 클라이언트
120: 서버
130: 콘텐츠 공급자
430: 메타 정보 구조

Claims (8)

  1. MPEG-DASH를 기반으로 하는 자유시점관계에 대한 메타 정보에 기반하여 복수의 영상을 제공하는 방법에 있어서, 자유시점영상은 적어도 하나의 뷰를 포함하고, 상기 뷰는 상기 복수의 영상을 포함하며, 상기 복수의 영상은 기준 영상 및 주변 영상을 포함하고,
    상기 복수의 영상의 촬영 위치 정보를 획득하는 단계
    상기 촬영 위치 정보에 기반하여 상기 기준 영상을 결정하는 단계;
    상기 기준 영상의 메타 정보를 생성하는 단계;
    상기 주변 영상의 메타 정보를 생성하는 단계; 및
    사용자의 요청에 따라 상기 기준 영상의 메타 정보 및 상기 주변 영상의 메타 정보를 전송하는 단계
    를 포함하고,
    상기 자유시점관계에 대한 메타정보는 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)의 MPD(Media Presentation Description)에 기반하여 상기 뷰와 복수의 영상 간의 위치 관계가 계층적으로 구조화되고,
    상기 자유시점영상의 각 뷰는 각색 세트(Adaptation set)로 정의되고, 상기 복수의 영상은 각색 세트(Adaptation set)의 하위 요소인 자유시점관계 명세(Free-viewpoint Relationship Description; FRD)로 정의되며,
    상기 자유시점관계 명세는 상기 기준 영상에 대응하는 참조 속성(Reference Property)과 소정의 주변 영상에 대응하는 부가 속성(Additional Property)을 포함하는 것을 특징으로 하는 영상 제공 방법.
  2. 제 1 항에 있어서,
    상기 기준 영상의 메타 정보는,
    상기 복수의 영상에 대한 식별자, 상기 촬영 위치 정보, 상기 기준 영상의 상대 위치 정보 및 상기 기준 영상의 서버 정보를 포함하는 영상 제공 방법.
  3. 제 1 항에 있어서,
    상기 촬영 위치 정보는,
    상기 복수의 영상을 촬영한 카메라의 배치 정보, 카메라의 개수 정보, 카메라의 위치 좌표 정보, 및 카메라의 위치 좌표의 차원 정보, 카메라의 상대 위치 정보를 포함하는 영상 제공 방법.
  4. 제 1 항에 있어서,
    상기 주변 영상의 메타 정보를 생성하는 단계는,
    상기 촬영 위치 정보에 기반하여, 상기 기준 영상에 대한 상기 주변 영상의 상대 위치 정보를 결정하는 단계
    를 포함하고,
    상기 주변 영상의 메타 정보는 상기 주변 영상의 상대 위치 정보를 포함하는 영상 제공 방법.
  5. MPEG-DASH를 기반으로 하는 자유시점관계에 대한 메타 정보에 기반하여 복수의 영상을 제공하는 방법에 있어서, 자유시점영상은 적어도 하나의 뷰를 포함하고, 상기 뷰는 상기 복수의 영상을 포함하며, 상기 복수의 영상은 기준 영상 및 주변 영상을 포함하고,
    상기 기준 영상의 메타 정보 및 주변 영상의 메타 정보를 수신하는 단계;
    사용자의 시점 정보를 획득하는 단계;
    상기 사용자의 시점 정보에 기반하여 상기 수신된 메타 정보 중 하나의 메타 정보를 선택하는 단계; 및
    상기 선택된 메타 정보에 대응하는 영상을 상기 사용자에게 제공하는 단계
    를 포함하고,
    상기 자유시점관계에 대한 메타정보는 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)의 MPD(Media Presentation Description)에 기반하여 상기 뷰와 복수의 영상 간의 위치 관계가 계층적으로 구조화되고,
    상기 자유시점영상의 각 뷰는 각색 세트(Adaptation set)로 정의되고, 상기 복수의 영상은 각색 세트(Adaptation set)의 하위 요소인 자유시점관계 명세(Free-viewpoint Relationship Description; FRD)로 정의되며,
    상기 자유시점관계 명세는 상기 기준 영상에 대응하는 참조 속성(Reference Property)과 소정의 주변 영상에 대응하는 부가 속성(Additional Property)을 포함하는 것을 특징으로 하는 영상 제공 방법.
  6. 제 5 항에 있어서,
    상기 주변 영상의 메타 정보는 상기 기준 영상에 대한 상기 주변 영상의 상대 위치 정보를 포함하고,
    상기 수신된 메타 정보 중 하나의 메타 정보를 선택하는 단계는,
    상기 사용자의 시점 정보를 상기 기준 영상에 대한 사용자 위치 정보로 변환하는 단계; 및
    상기 사용자의 위치 정보와 상기 주변 영상의 상대 위치 정보를 비교하여 서로 매칭되는 하나의 메타 정보를 선택하는 단계
    를 포함하는 영상 제공 방법.
  7. 제 5 항에 있어서,
    상기 사용자의 시점 정보의 변화에 따라 상기 수신된 메타 정보 중 하나의 메타 정보를 다시 선택하는 단계
    를 더 포함하는, 영상 제공 방법.
  8. 제 5 항에 있어서,
    상기 메타 정보는 상기 복수의 영상의 각 영상의 서버 정보를 포함하고,
    상기 영상을 상기 사용자에게 제공하는 단계는,
    상기 선택된 메타 정보에 포함된 상기 영상의 서버 정보를 이용하여 상기 선택된 메타 정보에 대응하는 영상을 상기 사용자에게 제공하는 것인, 영상 제공 방법.
KR1020180152471A 2018-11-30 2018-11-30 자유 시점 영상 제공 방법 및 장치 KR102287133B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180152471A KR102287133B1 (ko) 2018-11-30 2018-11-30 자유 시점 영상 제공 방법 및 장치
US16/699,274 US11290752B2 (en) 2018-11-30 2019-11-29 Method and apparatus for providing free viewpoint video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180152471A KR102287133B1 (ko) 2018-11-30 2018-11-30 자유 시점 영상 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200065730A KR20200065730A (ko) 2020-06-09
KR102287133B1 true KR102287133B1 (ko) 2021-08-09

Family

ID=70849780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180152471A KR102287133B1 (ko) 2018-11-30 2018-11-30 자유 시점 영상 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US11290752B2 (ko)
KR (1) KR102287133B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010907A (ko) 2020-07-20 2022-01-27 삼성전자주식회사 3d(ar) 미디어 랜덤 액세스를 위한 방법 및 장치
CN113489935A (zh) * 2020-09-11 2021-10-08 青岛海信电子产业控股股份有限公司 一种视频交互方法及设备
KR102404894B1 (ko) * 2020-12-04 2022-06-02 서울과학기술대학교 산학협력단 다시점 영상 정보원으로부터 출력 시점 생성을 위한 입력 시점 선택 시스템
CN114627000A (zh) * 2022-01-28 2022-06-14 华为技术有限公司 图像处理方法、装置和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
US6677982B1 (en) * 2000-10-11 2004-01-13 Eastman Kodak Company Method for three dimensional spatial panorama formation
US7756358B2 (en) * 2004-11-30 2010-07-13 Hewlett-Packard Development Company, L.P. System and method of aligning images
JP5428210B2 (ja) * 2008-06-11 2014-02-26 ソニー株式会社 情報処理装置、撮像システム、録画制御方法及びプログラム
KR101242550B1 (ko) * 2011-05-30 2013-03-20 (주)포스트미디어 동영상 파노라마 기반의 스토리텔링형 지역 정보 제공방법 및 시스템
KR20160112898A (ko) * 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
CA2994239A1 (en) * 2015-07-31 2017-02-09 Hsni, Llc Virtual three dimensional video creation and management system and method
KR102632270B1 (ko) * 2015-11-27 2024-02-02 삼성전자주식회사 전자 장치 및 파노라마 영상 표시와 생성 방법
US20170155572A1 (en) * 2015-11-30 2017-06-01 International Business Machines Corporation Relative positioning of a mobile computing device in a network
JP6996514B2 (ja) * 2016-10-26 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10887572B2 (en) * 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
US10389994B2 (en) * 2016-11-28 2019-08-20 Sony Corporation Decoder-centric UV codec for free-viewpoint video streaming
US11139000B2 (en) * 2017-03-07 2021-10-05 Mediatek Inc. Method and apparatus for signaling spatial region information
US10965928B2 (en) * 2018-07-31 2021-03-30 Lg Electronics Inc. Method for 360 video processing based on multiple viewpoints and apparatus therefor

Also Published As

Publication number Publication date
KR20200065730A (ko) 2020-06-09
US11290752B2 (en) 2022-03-29
US20200177929A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
KR102287133B1 (ko) 자유 시점 영상 제공 방법 및 장치
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN109155873B (zh) 改进虚拟现实媒体内容的流传输的方法、装置和计算机程序
CN111937397B (zh) 媒体数据处理方法及装置
JP7085816B2 (ja) 情報処理装置、情報提供装置、制御方法、及びプログラム
US11451838B2 (en) Method for adaptive streaming of media
US11539983B2 (en) Virtual reality video transmission method, client device and server
US10182192B2 (en) Image pickup system, image pickup apparatus, and method of controlling the same
CN110035316B (zh) 处理媒体数据的方法和装置
US10511767B2 (en) Information processing device, information processing method, and program
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
US10911809B2 (en) Communication apparatus, communication method, and program
CN112771878A (zh) 处理媒体数据的方法、客户端和服务器
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
US20210289194A1 (en) System, method, and computer program for generating volumetric video
JP2014236314A (ja) 撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant