KR20190008325A - 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램 - Google Patents

가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190008325A
KR20190008325A KR1020187036178A KR20187036178A KR20190008325A KR 20190008325 A KR20190008325 A KR 20190008325A KR 1020187036178 A KR1020187036178 A KR 1020187036178A KR 20187036178 A KR20187036178 A KR 20187036178A KR 20190008325 A KR20190008325 A KR 20190008325A
Authority
KR
South Korea
Prior art keywords
media data
projection
descriptor
wide view
information
Prior art date
Application number
KR1020187036178A
Other languages
English (en)
Other versions
KR102247399B1 (ko
Inventor
조나선 타퀘
프랑크 드누알
나엘 우드라오고
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190008325A publication Critical patent/KR20190008325A/ko
Application granted granted Critical
Publication of KR102247399B1 publication Critical patent/KR102247399B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4353—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving decryption of additional data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터의 스트리밍에 관한 것으로, 스트리밍된 미디어 데이터는 3D 기하학적 디스플레이 표면 상에 와이드 뷰를 렌더링하거나 또는 상이한 시점들에 따라 디스플레이 표면 상에 와이드 뷰를 렌더링하는 것을 가능하게 하고, 렌더링은 미디어 데이터의 렌더링 투사를 포함한다. 미디어 데이터를 발생시키기 위해 와이드 뷰의 캡처와 관련한 디스크립티브 정보를 포함하는, 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 수신한 후에, 디스크립션 파일에 기초하여 미디어 데이터 스트림들을 요청하는 요청 메시지들이 서버에 보내진다. 요청 메시지들에 응답하여, 요청된 미디어 데이터 스트림들에 대응하는 미디어 데이터가 수신된다.

Description

가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
본 발명은 비디오 스트리밍의 기술 분야에 관한 것으로, 보다 구체적으로는 예를 들어 http 프로토콜을 사용하는 인터넷과 같은 IP 네트워크를 통하는, 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램에 관한 것이다.
미디어 프리젠테이션은 일반적으로 오디오 및 비디오와 같은 몇 개의 미디어 콘텐트들로 구성된다. 이들 미디어 콘텐트는 클라이언트 디바이스에 의해 공동으로 재생되기 위해 서버로부터 클라이언트로 보내질 수 있다.
사용자 경험을 개선시키고 특히 실감형 경험을 제공하기 위해, 비디오들 및 심지어 오디오는 전방향(또는 다방향 또는 복수 방향)일 수 있다. 360°파노라마식 비디오라고도 알려진, 비디오들에 적용될 때, 사용자는 디스플레이되는 장면에 위치한 것처럼 느낀다.
전방향 비디오는 360°카메라로부터 및/또는 예를 들어 특별한 리그 상에 장착된 여러 개의 카메라들로부터 획득된 비디오 스트림들의 영상들을 조합함으로써 획득될 수 있으므로 모든 카메라들은 공통 절점을 갖는다. 영상들의 이러한 조합은 영상 스티칭 또는 카메라 스티칭이라고 공지되어 있다.
이러한 전방향 비디오는 헤드 마운트 디스플레이들을 통해 또는 사용자들을 둘러싸는 커브드 스크린 상의 투사를 통해 렌더링될 수 있다. 그것은 또한 전방향 비디오로 팬되게(pan) 하기 위해 사용자 인터페이스 내의 내비게이션 메뉴를 갖는 전통적인 2D 화면들 상에 디스플레이될 수 있다. 그것은 보통 사용자가 가상 세계에 있는 것처럼 느끼기 때문에 가상 현실(VR)이라고 한다. 가상 물체들이 전방향 비디오에 추가될 때, 그것은 증강 현실(AR)이라고 한다.
도 1a는 서버로부터 클라이언트로 전방향 미디어를 캡처하고, 송신하고, 렌더링하는 데이터 흐름의 예를 도시한다.
도시된 것과 같이, 이 미디어는 카메라 시스템(100)으로부터 취득되고 서버(110), 클라이언트(115), 및 네트워크(120)를 통해 헤드 마운트 디스플레이(HMD)(105)에 송신되는 비디오 콘텐트를 갖는다.
예시의 목적을 위해, 사용된 카메라 시스템은 정육면체의 각각의 면과 연관된, 6개의 표준 카메라의 세트에 기초한다. 그것은 카메라 시스템을 둘러싸는 실제 장면을 표현하는 영상들을 획득하기 위해 사용된다. 표현(125)으로 나타낸 것과 같이, 이 배열에 따르면, 하나의 카메라는 전방 영상들을 제공하고, 하나의 카메라는 후방 영상들을 제공하고, 하나의 카메라는 좌측 영상들을 제공하고, 하나의 카메라는 우측 영상들을 제공하고, 하나의 카메라는 하부 영상들을 제공하고, 하나의 카메라는 상부 영상들을 제공한다.
카메라 시스템(100)으로부터 획득된 영상들은 전방향 비디오 스트림 또는 가상 현실 미디어 데이터 스트림이라고도 하는 360 비디오 스트림을 생성하기 위해 서버(110)에서 처리된다(단계 130). 가상 현실 미디어 데이터 스트림은 도 1c에서 파노라마 영상 스트림(190), 즉, 360°영상들의 스트림, 또는 표준 비디오 스트림들의 스트림, 예를 들어 카메라(100)의 각각의 카메라로부터 획득된 비디오 스트림들의 스트림과 같은 파노라마 영상들의 스트림일 수 있다.
처리의 유형은 생성될 가상 현실 미디어 데이터 스트림의 유형에 의존한다. 예를 들어, 처리는 가상 현실 미디어 데이터 스트림이 파노라마 영상들의 스트림이면 스티칭 단계를 포함할 수 있고 가상 현실 미디어 스트림이 비디오 스트림들의 스트림(즉, 스티치가능한 영상들의 스트림)이면 맵핑 단계를 포함할 수 있다. 후자의 경우에, 영상들의 스티칭은 영상 렌더링을 위해 클라이언트 측 상에서 수행될 수 있다.
장면의 와이드 뷰, 예를 들어, 도 1b에 참조 번호(180)로 표시된 것과 같이, 수평과 수직 둘 다의 차원들에서의 360°뷰를 고려하면, 와이드 뷰의 파노라마 영상은 하나의 영상 센서 또는 영상 센서들의 세트에 의해 캡처된 이 와이드 뷰의 2D 영상 상으로의 투사(캡처링 투사로 표시됨)에 대응한다. 따라서, 캡처링 투사 방식은 예를 들어 기록된 장면 내에 적절한 비율들을 보존하기 위해, 각각의 파노라마 영상과 연관된다. 특히, 사용된 캡처링 투사 방식은 현실을 반영하지 않을 수 있고 오히려 와이드 뷰의 예술적 표현일 수 있다(예를 들어, 입체 투사 https://en.wikipedia.orf/wiki/Stereographic_projection에 기초한 "리틀 플래닛" 사진 효과를 갖는 것과 같음).
360°뷰는 수평 평면을 따르는 360°뷰 및 수직 평면을 따르는 360°뷰에 대응하는 실제 360°뷰 또는 예를 들어, 수평 평면을 따르는 360°뷰 및 수직 평면을 따르는 210°이하 뷰에 대응하는 의사 360°뷰일 수 있다는 점에 주목하여야 한다. 예를 들어, 수평 차원에서의 180°파노라마는 실감형 경험을 생성하도록, 시야가 사람의 눈의 시야보다 크거나 동일하자 마자 와이드 뷰로서 또한 고려될 수 있다. 용어들 360°뷰 또는 360°비디오는 기록된 장면이 실세계 시퀀스 또는 합성 시퀀스에 대응할 때 일반적으로 사용된다.
예시의 목적을 위해, 카메라(100)로부터 획득된 영상들은 파노라마 표현(135)으로 (또는 도 1c 내의 파노라마 영상 스트림(190)으로) 나타낸 것과 같이, 연속하는 파노라마 영상들의 세트를 포함하는 가상 현실 미디어 데이터 스트림을 생성하기 위해 조합된다.
가상 현실 미디어 데이터 스트림이 생성된 후에, 그것은 단계 140에서 비디도 비트스트림으로 인코드되고 다음에 네트워크(120)를 통해, 예를 들어 http(하이퍼텍스트 트랜스퍼 프로토콜) 프로토콜을 사용하는 인터넷을 통해, 클라이언트(115)에 송신될 파일 내에 또는 파일 세그먼트들 내에 단계 141에서 패키지(또는 캡슐화)된다. 예시의 목적을 위해, 패키징은 비디오 비트스트림의 ISOBMFF 내로의 캡슐화를 포함할 수 있다. 결과적인 파일 또는 세그먼트 파일들은 mp4 파일 또는 mp4 세그먼트들일 수 있다. 패키징 동안에, 오디오 스트림이 비디오 상에 또는 오디오 스트림들 상에 정보를 제공하는 메타데이터 트랙들뿐만 아니라 비디오 비트스트림에 추가될 수 있다.
미디어 데이터 스트림을 위한 디스크립티브 메타데이터 및 타이밍 정보를 제공하는 임의의 패키징 또는 캡슐화 포맷이 여기서 사용될 수 있다. 예를 들어, 이들 포맷은 MPEG-2 트랜스포트 스트림, 공통 미디어 응용 포맷, WebM, 및 디스크립티브 정보가 미디어 데이터의 가장 적합한 버전들을 선택하는 데 스트리밍 클라이언트에 도움을 주기 위해 추출될 수 있는 임의의 포맷일 수 있다.
수신 시에, 패키지된 가상 현실 미디어 파일 또는 미디어 세그먼트들은 단계 145에서 디코드되는 데이터 스트림을 추출하도록 단계 142 동안 파스된다. 단계 142에서 수신된 ISOBMFF 파일 또는 세그먼트들의 경우에, 파싱은 디스크립티브 메타데이터로부터, 비디오 비트스트림 또는 비디오 서브-비트스트림을 추출할 수 있는 mp4 리더 또는 mp4 파서에 의해 전형적으로 처리된다. 예시된 예에 따르면, 디코드된 파노라마 영상들의 파노라마 표현(135')은 파노라마 표현(135)에 대응한다.
다음에, 디코드된 가상 현실 미디어 데이터 스트림은 비디오 렌더링을 위해 처리된다(단계 150). 비디오 렌더링은 사용자의 파노라마 영상들을 생성하기 위해 사용되는 시점, 관점, 및 투사(들)인 여러 파라미터들에 의존한다는 점에 주목하여야 한다. 렌더링 표현(155)으로 나타낸 것과 같이, 비디오를 렌더링하는 것은 디코드된 파노라마 영상들을 재투사하는 단계를 포함한다. 이러한 재투사(렌더링 투사로 표시됨)로부터 획득된 영상들은 HMD(105) 내에 디스플레이된다.
입체 뷰들을 처리하기 위해, 도 1a를 참조하여 설명된 과정이 복제될 수 있다.
가상 현실 미디어 데이터 스트림의 몇가지 표준들(예를 들어, ISO/IEC 23000-19)이 있고 파노라마 영상들을 생성하기 위해 사용되는 투사들은 일반적으로 (비제한적 리스트인) 다음과 같다는 점에 주목한다:
- 구,
- 찌그러진 구,
- 정육면체,
- 원통,
- 피라미드, 및
- 어느 것도 아님.
사용된 투사의 유형에 따라, 실제 장면 내의 실세계 좌표들과 파노라마 영상들 내의 2D 좌표들 간에 수학적 관계들이 있다. 실제로, 이러한 투사는 하나 이상의 기준 점으로부터 (구, 찌그러진 구, 정육면체, 원통, 또는 피라미드의 형상을 취할 수 있는) 주위 표면 상에 디스플레이될 장면의 투사이다. 장면이 투사되는 이 표면은 비디오 렌더링을 간단히 하기 위해, 예를 들어, 참조 번호(135)로 나타낸 것과 같은 전방형 표현과 같은, 중간적인 표현 상으로 리맵핑될 수 있다.
렌더링 투사는 도 1d에 도시된 것과 같이 장면이 투사되는 표면 내의 장면 와이드 뷰의 관찰 방향에 대응하는 시점에 의존한다는 점에 주목한다. 기준 점(들)과 함께, 시점은 기준 프레임 또는 기준 뷰를 정한다. 그것은 (예를 들어 디폴트 시점에 대응하는) 절대 기준 프레임에 비추어서 기준 프레임의 회전 파라미터들에 대응하는 (도 1e에 도시된 바와 같은) 요 값, 피치 값, 및 롤 값으로 정의될 수 있다. 전형적으로, HMD 시스템들을 위해, 요 각도는 머리의 좌측-우측 또는 우측-좌측의 회전에 대응하고, 피치 각도는 상부로부터 하부 또는 상부로부터 하부의 회전에 대응하고 롤은 보는 방향 축 주위의 머리의 회전(경사)에 대응한다.
구형 투사 또는 찌그러진 구형 투사의 경우에, 2D 파노라마 투사의 중심 점은 기준 점(예를 들어, 도 1b 내의 구(180)의 중심(181))을 향한 (예를 들어, (x, y, z) 우측 좌표계 내의 z 축을 따르는) 고도 배향으로서 정의된 주 시점 배향을 따르는 투사에 전형적으로 대응한다. 시점은 또한 구의 극들을 결정하는 것을 가능하게 한다.
유사하게, 정육면체형 투사에서, 시점은 공간 내의 정육면체의 위치를 결정하여, 정육면체의 상부, 하부, 좌측, 우측, 및 후방 면들뿐만 아니라, 정육면체의 전방 면의 위치(전형적으로 그 중심이 주 시점 배향을 따르는 기준 점의 투사에 대응함)를 결정하는 것을 가능하게 한다.
파노라마 영상들은 도 1c 내의 참조 번호(191)로 나타낸 것과 같이, 파노라마 영역들로 이루어질 수 있고, 여기서 각각의 영역은 특정한 투사에 대응한다는 점에 또한 주목한다. 각각의 영역은 화소들의 세트이다. 그것의 형상은 직사각형 또는 아닌 것일 수 있다. 일부 투사들은 화소들의 비연속 맵을 발생시킬 수 있다. 예를 들어, 정육면체형 투사는 정육면체의 한 면에 각각 대응하는 6개의 투사 영역으로 분리될 수 있다.
도 2a, 2b 및 2c를 포함하는 도 2는 정육면체형 투사에 기초하고, 각각의 영역이 표면의 투사와 연관된 여러 영역들을 포함하는 파노라마 표현의 예를 도시한다.
도 2a는 투사된 영상들을 나타내는 그 표면들이 도 2b에 도시된 파노라마 표현 상으로 맵핑될 정육면체의 6개의 면을 도시한다.
파노라마 표현(200)은 ① 내지 ⑥으로 표시된 6개의 파노라마 영역을 포함한다. 표시된 것과 같이
- 기준 ①은 정육면체의 전방 면 상의 전방 뷰의 투사에 대응하고,
- 기준 ②는 정육면체의 상부 면 상의 상부 뷰의 투사에 대응하고,
- 기준 ③은 정육면체의 하부 면 상의 하부 뷰의 투사에 대응하고,
- 기준 ④는 정육면체의 좌측 면 상의 좌측 뷰의 투사에 대응하고,
- 기준 ⑤는 정육면체의 우측 면 상의 우측 뷰의 투사에 대응하고,
- 기준 ⑥은 정육면체의 후방 면 상의 후방 뷰의 투사에 대응한다.
그러므로, 이 투사에 따라, 파노라마 영상의 각각의 영역은 정육면체의 한 면 및 나아가 전방, 상부, 하부, 좌측, 우측 및 후방 뷰들 중의 하나의 사용자의 뷰에 대응한다.
입체 뷰(즉, 하나의 영역은 좌측 뷰에 대응하고 또 하나의 영역은 또 하나의 뷰에 대응한다)의 각각의 뷰를 나타내기 위해 파노라마 영상의 2개의 특정 영역을 사용하는 것이 또한 가능한데, 각각의 영역은 상이한 기준 점들, 예를 들어, 각각의 눈에 대해 하나에 기초하는 동일한 파노라마 투사의 결과이다.
도 2c에 도시된 것과 같이, 하나 이상의 영역은, 예를 들어 이들 서브-영역에의 액세스를 제공하기 위해, 서브-영역들로 분리될 수 있다(렌더링 동안 이들 영역에 줌 인하는 것을 가능하게 함). 예시의 목적을 위해, 전방 뷰 또는 영역(210)은 9개의 서브-영역 또는 공간적 부분들 또는 부위들로 분리된다. 콘텐트 저자 또는 제공자가 파노라마 영상들에서 제공하는 공간적 액세스의 입도를 결정하는 것은그들의 책임이다.
UHD(초고화질) 비디오 스트림들의 여러 영상들을 가상 현실 미디어 데이터 스트림의 파노라마 영상들로 스티칭하는 것은 매우 높은 비트레이트 및 매우 높은 해상도 가상 현실 미디어 데이터 스트림에 이르게 한다는 것이 관찰되었다. 그러므로, 시스템의 관점으로부터 그리고 대역폭을 낭비하는 것을 피하기 위해 그리고 클라이언트 플레이어들의 처리 능력들에 따르게 유지하기 위해, 가상 현실 미디어 데이터에의 액세스를 최적화할 필요가 있다.
이러한 필요는 가상 현실 미디어 데이터 스트림이 도 1a를 참조하여 설명된 것 이외의 다른 목적들을 위해 사용될 수 있는 것이 훨씬 더 중요하다. 특히, 가상 현실 미디어 데이터 스트림은 투사기들의 360°어레이와 같은 특정 디스플레이들을 갖는 360°영상들을 디스플레이하기 위해 사용될 수 있다. 그것은 또한 특정한 시야를 디스플레이하고/하거나 시점, 시야, 및 관점을 변화시키기 위해 사용될 수 있다.
본 발명은 전술한 문제들 중 하나 이상을 다루기 위해 고안되었다.
본 맥락에서, 예를 들어 http 프로토콜을 사용하는 인터넷과 같은 IP 네트워크를 통하는, 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 해결책이 제공된다.
본 발명의 제1 목적에 따르면, 서버로부터, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 수신하는 방법으로서, 상기 수신된 미디어 데이터는 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 방법은 클라이언트에서 수행되고,
서버로부터, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 수신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
상기 서버에, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 보내는 단계; 및
상기 서버로부터, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 수신하는 단계를 포함하는 방법이 제공된다.
그러므로, 본 발명의 방법은 요청된 데이터 만이 송신되기 때문에, 가상 현실 미디어 데이터, 특히 품질이 요청하는 클라이언트들의 특성들에 대응하는 미디어 데이터의 송신을 최적화하고, 높은 해상도 영상들이 처리될 수 있기 때문에 품질을 개선하고, 송신될 상기 데이터의 제어가 상기 클라이언트들에 의해 수행되기 때문에 상기 서버 측에서 스케일가능성을 보존하는 것을 가능하게 한다. 더구나, 본 발명의 방법에 따르면, 클라이언트들은 적은 리소스들을 필요로 한다.
한 실시예에서, 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 상기 디스크립티브 정보가 상기 캡처링 투사와 관련한다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 내에 적어도 부분적으로 제공된다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 파노라마 영상이고, 상기 파노라마 영상은 단일 파노라마 영역 또는 복수의 파노라마 영역을 포함하거나, 또는 상이한 파노라마 영역들의 세트이다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 하나의 특정한 디스크립터는 하나의 파노라마 영상과 연관되거나 또는 하나의 파노라마 영역과 연관된다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖는 기하학적 투사이고 상기 파노라마 영역들은 상기 기하학적 투사의 상기 적어도 하나의 미리 결정된 유형의 함수로서 결정된다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터는, 이 디스크립터 또는 특정한 디스크립터 내의 상기 디스크립티브 정보에 대응하는 상기 미디어 데이터가 수신된 미디어 데이터의 렌더링을 가능하게 하면서 상기 클라이언트에 의해 폐기될 수 있는지를 시그널하는 시그널링 정보와 연관된다.
한 실시예에서, 상기 디스크립티브 정보는 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함한다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립션 파일은 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형을 포함한다.
한 실시예에서, 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형은 기하학적 투사의 구형, 찌그러진 구형, 정육면체형, 원통형, 피라미드형 유형들 중 적어도 하나이다.
한 실시예에서, 상기 디스크립션 파일은 상기 캡처링 투사의 파라미터들을 추가로 포함하고, 상기 캡처링 투사의 상기 파라미터들은 시점 파라미터들을 포함한다.
한 실시예에서, 식별자는, 식별된 정의된 디스크립터 또는 특정한 디스크립터와 연관된 파라미터들이 상기 미디어 데이터의 상이한 부분들을 디스크라이브하기 위해 사용될 수 있도록, 적어도 하나의 정의된 디스크립터 또는 특정한 디스크립터와 연관된다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 적어도 하나의 영역을 포함하고, 상기 적어도 하나의 영역은 디스크립터의 속성으로서 정의된다.
한 실시예에서, 상기 리스트의 적어도 하나의 항목은 식별 정보, 투사의 유형, 시점, 투사 식별자를 포함하고, 영역은 디스크립터 또는 특정한 디스크립터의 속성 또는 요소이고, 상기 적어도 하나의 항목은 상기 디스크립티브 정보의 부분이다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립터의 또는 상기 특정한 디스크립터의 상기 속성 또는 상기 요소의 값들은 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형에 대해 미리 결정된다.
한 실시예에서, 상기 디스크립션 파일은 적어도 하나의 공간적 관계 디스크립션을 추가로 포함하고, 상기 적어도 하나의 공간적 관계 디스크립션은 파노라마 영상의 적어도 일부 내의 관심 있는 영역을 정의하거나 또는 파노라마 영상들의 영역들을 정의한다.
한 실시예에서, 파노라마 영상의 제1 영역의 제1 캡처링 투사에 대한 디스크립티브 정보는 상기 적어도 하나의 공간적 관계 디스크립션의 함수로서, 상기 파노라마 영상의 제2 영역을 렌더링하기 위해 사용된다.
한 실시예에서, 상기 디스크립티브 정보는 공간적 관계 디스크립션의 함수로서 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함한다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 스티치가능한 영상들의 세트들을 포함하고 상기 디스크립티브 정보는 캡처링 투사의 어떤 특정한 유형도 포함하지 않는다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 동일한 입체 뷰의 2개의 영상에 대응하는 적어도 2개의 상이한 영역을 포함한다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 전방향 파노라마 영상이다.
한 실시예에서, 상기 디스크립션 파일은 http 프로토콜을 통한 상기 동적 적응적 스트리밍의 미디어 프리젠테이션 디스크립션이다.
본 발명의 제2 목적에 따르면, 서버로부터 클라이언트에, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 스트리밍하는 방법으로서, 상기 스트리밍된 미디어 데이터는 상기 클라이언트가 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 방법은 서버에서 수행되고,
상기 클라이언트에, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 송신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
상기 클라이언트로부터, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 수신하는 단계; 및
상기 클라이언트에, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 송신하는 단계를 포함하는 방법이 제공된다.
그러므로, 본 발명의 방법은 요청된 데이터 만이 송신되기 때문에, 가상 현실 미디어 데이터, 특히 품질이 요청하는 클라이언트들의 특성들에 대응하는 미디어 데이터의 송신을 최적화하고, 높은 해상도 영상들이 처리될 수 있기 때문에 품질을 개선하고, 송신될 상기 데이터의 제어가 상기 클라이언트들에 의해 수행되기 때문에 상기 서버 측에서 스케일가능성을 보존하는 것을 가능하게 한다. 더구나, 본 발명의 방법에 따르면, 클라이언트들은 적은 리소스들을 필요로 한다.
한 실시예에서, 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 상기 디스크립티브 정보가 상기 캡처링 투사와 관련한다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 내에 적어도 부분적으로 제공된다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 파노라마 영상이고, 상기 파노라마 영상은 단일 파노라마 영역 또는 복수의 파노라마 영역을 포함하거나, 또는 상이한 파노라마 영역들의 세트이다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 하나의 특정한 디스크립터는 하나의 파노라마 영상과 연관되거나 또는 하나의 파노라마 영역과 연관된다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖는 기하학적 투사이고 상기 파노라마 영역들은 상기 기하학적 투사의 상기 적어도 하나의 미리 결정된 유형의 함수로서 결정된다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터는, 이 디스크립터 또는 특정한 디스크립터 내의 상기 디스크립티브 정보에 대응하는 상기 미디어 데이터가 수신된 미디어 데이터의 렌더링을 가능하게 하면서 상기 클라이언트에 의해 폐기될 수 있는지를 시그널하는 시그널링 정보와 연관된다.
한 실시예에서, 상기 디스크립티브 정보는 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함한다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립션 파일은 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형을 포함한다.
한 실시예에서, 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형은 기하학적 투사의 구형, 찌그러진 구형, 정육면체형, 원통형, 피라미드형 유형들 중 적어도 하나이다.
한 실시예에서, 상기 디스크립션 파일은 상기 캡처링 투사의 파라미터들을 추가로 포함하고, 상기 캡처링 투사의 상기 파라미터들은 시점 파라미터들을 포함한다.
한 실시예에서, 식별자는, 식별된 정의된 디스크립터 또는 특정한 디스크립터와 연관된 파라미터들이 상기 미디어 데이터의 상이한 부분들을 디스크라이브하기 위해 사용될 수 있도록, 적어도 하나의 정의된 디스크립터 또는 특정한 디스크립터와 연관된다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 적어도 하나의 영역을 포함하고, 상기 적어도 하나의 영역은 디스크립터의 속성으로서 정의된다.
한 실시예에서, 상기 리스트의 적어도 하나의 항목은 식별 정보, 투사의 유형, 시점, 투사 식별자를 포함하고, 영역은 디스크립터 또는 특정한 디스크립터의 속성 또는 요소이고, 상기 적어도 하나의 항목은 상기 디스크립티브 정보의 부분이다.
한 실시예에서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립터의 또는 상기 특정한 디스크립터의 상기 속성 또는 상기 요소의 값들은 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형에 대해 미리 결정된다.
한 실시예에서, 상기 디스크립션 파일은 적어도 하나의 공간적 관계 디스크립션을 추가로 포함하고, 상기 적어도 하나의 공간적 관계 디스크립션은 파노라마 영상의 적어도 일부 내의 관심 있는 영역을 정의하거나 또는 파노라마 영상들의 영역들을 정의한다.
한 실시예에서, 파노라마 영상의 제1 영역의 제1 캡처링 투사에 대한 디스크립티브 정보는 상기 적어도 하나의 공간적 관계 디스크립션의 함수로서, 상기 파노라마 영상의 제2 영역을 렌더링하기 위해 사용된다.
한 실시예에서, 상기 디스크립티브 정보는 공간적 관계 디스크립션의 함수로서 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함한다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 스티치가능한 영상들의 세트들을 포함하고 상기 디스크립티브 정보는 캡처링 투사의 어떤 특정한 유형도 포함하지 않는다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 동일한 입체 뷰의 2개의 영상에 대응하는 적어도 2개의 상이한 영역을 포함한다.
한 실시예에서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 전방향 파노라마 영상이다.
한 실시예에서, 상기 디스크립션 파일은 http 프로토콜을 통한 상기 동적 적응적 스트리밍의 미디어 프리젠테이션 디스크립션이다.
본 발명의 제3 목적에 따르면, 서버로부터, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 수신하는 클라이언트를 위한 디바이스로서, 상기 수신된 미디어 데이터는 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 디바이스는
서버로부터, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 수신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
상기 서버에, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 보내는 단계; 및
상기 서버로부터, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 수신하는 단계를 수행하도록 구성되는 마이크로프로세서를 포함하는 디바이스가 제공된다.
그러므로, 본 발명의 디바이스는 요청된 데이터 만이 송신되기 때문에, 가상 현실 미디어 데이터, 특히 품질이 요청하는 클라이언트들의 특성들에 대응하는 미디어 데이터의 송신을 최적화하고, 높은 해상도 영상들이 처리될 수 있기 때문에 품질을 개선하고, 송신될 상기 데이터의 제어가 상기 클라이언트들에 의해 수행되기 때문에 상기 서버 측에서 스케일가능성을 보존하는 것을 가능하게 한다. 더구나, 본 발명의 디바이스에 따르면, 클라이언트들은 적은 리소스들을 필요로 한다.
한 실시예에서, 상기 마이크로프로세서는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 상기 디스크립티브 정보가 상기 캡처링 투사와 관련하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 적어도 하나의 디스크립터 내에 적어도 부분적으로 제공되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나는 파노라마 영상이고, 상기 파노라마 영상은 단일 파노라마 영역 또는 복수의 파노라마 영역을 포함하거나, 또는 상이한 파노라마 영역들의 세트이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 적어도 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 하나의 특정한 디스크립터가 하나의 파노라마 영상과 연관되거나 또는 하나의 파노라마 영역과 연관되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖는 기하학적 투사이고 상기 파노라마 영역들이 상기 기하학적 투사의 상기 적어도 하나의 미리 결정된 유형의 함수로서 결정되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는, 상기 디스크립티브 정보가 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터는, 이 디스크립터 또는 특정한 디스크립터 내의 상기 디스크립티브 정보에 대응하는 상기 미디어 데이터가 수신된 미디어 데이터의 렌더링을 가능하게 하면서 상기 클라이언트에 의해 폐기될 수 있는지를 시그널하는 시그널링 정보와 연관된도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립션 파일이 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형이 기하학적 투사의 구형, 찌그러진 구형, 정육면체형, 원통형, 피라미드형 유형들 중 적어도 하나이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 상기 캡처링 투사의 파라미터들을 추가로 포함하고, 상기 캡처링 투사의 상기 파라미터들이 시점 파라미터들을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 식별자가, 식별된 정의된 디스크립터 또는 특정한 디스크립터와 연관된 파라미터들이 상기 미디어 데이터의 상이한 부분들을 디스크라이브하기 위해 사용될 수 있도록, 적어도 하나의 정의된 디스크립터 또는 특정한 디스크립터와 연관되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 적어도 하나의 영역을 포함하고, 상기 적어도 하나의 영역이 디스크립터의 속성으로서 정의되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 리스트의 적어도 하나의 항목이 식별 정보, 투사의 유형, 시점, 투사 식별자를 포함하고, 영역이 디스크립터 또는 특정한 디스크립터의 속성 또는 요소이고, 상기 적어도 하나의 항목이 상기 디스크립티브 정보의 부분이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립터의 또는 상기 특정한 디스크립터의 상기 속성 또는 상기 요소의 값들이 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형에 대해 미리 결정되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 적어도 하나의 공간적 관계 디스크립션을 추가로 포함하고, 상기 적어도 하나의 공간적 관계 디스크립션이 파노라마 영상의 적어도 일부 내의 관심 있는 영역을 정의하거나 또는 파노라마 영상들의 영역들을 정의하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 파노라마 영상의 제1 영역의 제1 캡처링 투사에 대한 디스크립티브 정보가 상기 적어도 하나의 공간적 관계 디스크립션의 함수로서, 상기 파노라마 영상의 제2 영역을 렌더링하기 위해 사용되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 공간적 관계 디스크립션의 함수로서 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 스티치가능한 영상들의 세트들을 포함하고 상기 디스크립티브 정보가 캡처링 투사의 어떤 특정한 유형도 포함하지 않도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 동일한 입체 뷰의 2개의 영상에 대응하는 적어도 2개의 상이한 영역을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 전방향 파노라마 영상이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 http 프로토콜을 통한 상기 동적 적응적 스트리밍의 미디어 프리젠테이션 디스크립션이도록 추가로 구성된다.
본 발명의 제4 목적에 따르면, 서버로부터 클라이언트에, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 스트리밍하는 서버를 위한 디바이스로서, 상기 스트리밍된 미디어 데이터는 상기 클라이언트가 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 디바이스는
상기 클라이언트에, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 송신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
상기 클라이언트로부터, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 수신하는 단계; 및
상기 클라이언트에, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 송신하는 단계를 수행하도록 구성되는 마이크로프로세서를 포함하는 디바이스가 제공된다.
그러므로, 본 발명의 디바이스는 요청된 데이터 만이 송신되기 때문에, 가상 현실 미디어 데이터, 특히 품질이 요청하는 클라이언트들의 특성들에 대응하는 미디어 데이터의 송신을 최적화하고, 높은 해상도 영상들이 처리될 수 있기 때문에 품질을 개선하고, 송신될 상기 데이터의 제어가 상기 클라이언트들에 의해 수행되기 때문에 상기 서버 측에서 스케일가능성을 보존하는 것을 가능하게 한다. 더구나, 본 발명의 디바이스에 따르면, 클라이언트들은 적은 리소스들을 필요로 한다.
한 실시예에서, 상기 마이크로프로세서는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 상기 디스크립티브 정보가 상기 캡처링 투사와 관련하도록 추가로 구성된다.
한 실시예에서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 내에 적어도 부분적으로 제공된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나는 파노라마 영상이고, 상기 파노라마 영상은 단일 파노라마 영역 또는 복수의 파노라마 영역을 포함하거나, 또는 상이한 파노라마 영역들의 세트이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 적어도 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 하나의 특정한 디스크립터가 하나의 파노라마 영상과 연관되거나 또는 하나의 파노라마 영역과 연관되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖는 기하학적 투사이고 상기 파노라마 영역들이 상기 기하학적 투사의 상기 적어도 하나의 미리 결정된 유형의 함수로서 결정되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는, 상기 디스크립티브 정보가 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터는, 이 디스크립터 또는 특정한 디스크립터 내의 상기 디스크립티브 정보에 대응하는 상기 미디어 데이터가 수신된 미디어 데이터의 렌더링을 가능하게 하면서 상기 클라이언트에 의해 폐기될 수 있는지를 시그널하는 시그널링 정보와 연관되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립션 파일이 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형이 기하학적 투사의 구형, 찌그러진 구형, 정육면체형, 원통형, 피라미드형 유형들 중 적어도 하나이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 상기 캡처링 투사의 파라미터들을 추가로 포함하고, 상기 캡처링 투사의 상기 파라미터들이 시점 파라미터들을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 식별자가, 식별된 정의된 디스크립터 또는 특정한 디스크립터와 연관된 파라미터들이 상기 미디어 데이터의 상이한 부분들을 디스크라이브하기 위해 사용될 수 있도록, 적어도 하나의 정의된 디스크립터 또는 특정한 디스크립터와 연관되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 적어도 하나의 영역을 포함하고, 상기 적어도 하나의 영역이 디스크립터의 속성으로서 정의되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 리스트의 적어도 하나의 항목이 식별 정보, 투사의 유형, 시점, 투사 식별자를 포함하고, 영역이 디스크립터 또는 특정한 디스크립터의 속성 또는 요소이고, 상기 적어도 하나의 항목이 상기 디스크립티브 정보의 부분이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 캡처링 투사가 적어도 하나의 미리 결정된 유형을 갖고 상기 디스크립터의 또는 상기 특정한 디스크립터의 상기 속성 또는 상기 요소의 값들이 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형에 대해 미리 결정되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 적어도 하나의 공간적 관계 디스크립션을 추가로 포함하고, 상기 적어도 하나의 공간적 관계 디스크립션이 파노라마 영상의 적어도 일부 내의 관심 있는 영역을 정의하거나 또는 파노라마 영상들의 영역들을 정의하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 파노라마 영상의 제1 영역의 제1 캡처링 투사에 대한 디스크립티브 정보가 상기 적어도 하나의 공간적 관계 디스크립션의 함수로서, 상기 파노라마 영상의 제2 영역을 렌더링하기 위해 사용되도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립티브 정보가 공간적 관계 디스크립션의 함수로서 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 스티치가능한 영상들의 세트들을 포함하고 상기 디스크립티브 정보가 캡처링 투사의 어떤 특정한 유형도 포함하지 않도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 동일한 입체 뷰의 2개의 영상에 대응하는 적어도 2개의 상이한 영역을 포함하도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터가 영상들을 포함하고, 상기 영상들 중 적어도 하나가 전방향 파노라마 영상이도록 추가로 구성된다.
한 실시예에서, 상기 마이크로프로세서는 상기 디스크립션 파일이 http 프로토콜을 통한 상기 동적 적응적 스트리밍의 미디어 프리젠테이션 디스크립션이도록 추가로 구성된다.
본 발명은 소프트웨어에서 구현될 수 있기 때문에, 본 발명은 임의의 적합한 캐리어 매체 상의, 그리고 특히 적합한 실재하는 캐리어 매체 또는 적합한 일시적인 캐리어 매체 상의 프로그램가능한 장치에 제공하기 위한 컴퓨터 판독가능 코드로서 실시될 수 있다. 실재하는 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고상 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적인 캐리어 매체는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로웨이브 또는 RF 신호들과 같은 신호를 포함할 수 있다.
본 발명의 추가 장점들은 도면 및 상세한 설명을 참조한다면 본 기술 분야의 기술자들에게 분명해질 것이다. 임의의 추가적인 장점들이 여기에 포함되는 것이 의도된다.
본 발명의 실시예들이 단지 예로서, 그리고 다음의 도면을 참조하여 이제부터 설명될 것이다.
도 1a, 1b, 1c, 1d, 및 1e를 포함하는 도 1은 와이드 뷰, 시점, 파노라마 영상 스트림, 및 파노라마 영역들을 갖는 파노라마 영상의 예들뿐만 아니라 서버로부터 클라이언트로 전방향 비디오를 캡처하고, 송신하고, 렌더링하는 데이터 흐름의 예를 도시한다.
도 2a, 2b, 및 2c를 포함하는 도 2는 정육면체형 투사에 기초하고, 각각의 영역이 표면의 투사와 연관된 여러 영역들을 포함하는 파노라마 표현, 및 하나의 영역이 서브-영역들 또는 부분들로 추가로 분리되는 파노라마 표현의 예를 도시하고;
도 3은 HTTP를 통한 적응적 미디어 스트리밍의 일반적 원리의 예를 예시한 블록도를 도시하고;
도 4는 DASH 미디어 프리젠테이션 디스크립션 스트리밍 매니페스트의 주 컴포넌트들을 도시한 블록도이고;
도 5는 본 발명의 하나 이상의 실시예의 구현을 위한 컴퓨팅 디바이스의 개략 블록도이다.
특정한 실시예들에 따르면, 스트리밍 매니페스트 또는 스트리밍 플레이리스트, 예를 들어 HTTP를 통한 동적 적응적 스트리밍(DASH) 프로토콜의 미디어 프리젠테이션 디스크립션(MPD)이 장면의 와이드 뷰를 나타내는 미디어 데이터, 예를 들어 파노라마 영상들 또는 스티치가능한 영상들의 세트들과 같은 가상 현실 미디어 데이터의 특성들을 시그널(즉, 제공)하기 위해 사용된다. 예를 들어, 파노라마 영상들을 생성하기 위해 사용되는 투사의 유형, 파노라마 영상들의 부분들에의 액세스가능성, 및 미디어가 고전적 미디어 또는 비디오가 아니고 일부 내비게이션 가능성들을 제공한다는 것이 먼저 통지되고 다음에 검색될 데이터를 선택하는 것을 스트리밍 클라이언트들에게 도움을 주는 품질 및 뷰 방향 표시를 포함할 수 있는 이들 특성이 DASH의 경우에 새롭게 추가된 구조 요소들 또는 디스크립터들에 시그널될 수 있다. 첫번째 포인트는 클라이언트가 콘텐트와 상호작용하기 위한 적절한 사용자 인터페이스를 셋업 및/또는 선택하게 한다.
이들 새로운 디스크립터는 서버 측에서 스트리밍하기 위한 콘텐트를 준비할 때 스트리밍 매니페스트 또는 스트리밍 플레이리스트 내에 삽입될 수 있다. DASH의 경우에, 새로운 디스크립터들은 장면의 와이드 뷰의 가상 현실 미디어 데이터 표현이 제공되는 것을 DASH 클라이언트에 표시(또는 시그널)하기 위해, 그리고 예를 들어, 가상 현실 미디어 데이터 내에 포함된 파노라마 영상들을 특성화하기 위해 DASH 서버 또는 DASH 패키징 모듈에 의해 MPD 파일 내에 삽입된다. 따라서, 이들 새로운 디스크립터는 파노라마 영상들을 획득하기 위해 이 파노라마 투사 유형으로 사용되는 특성들 및 파라미터들뿐만 아니라 파노라마 투사 유형을 포함할 수 있다. 전형적으로, 그들은 있다면, 파노라마 영상의 내부의 파노라마 영역들을 위치 지정하기 위한 시점 및 파라미터들을 포함한다. 이후 VR 디스크립터들이라고 하는 이들 새로운 디스크립터는 XML 항목들 및/또는 속성들과 같은 구성된 요소들일 수 있거나 JSON(자바스크립트 오브젝트 노테이션)으로 또는 심지어 키워드들 또는 코멘트들이 이들 디스크립터를 전달하기 위해 전용되는 경우에 평문 포맷으로 디스크라이브될 수 있다.
DASH는 미디어 프리젠테이션의 콘텐트(들)의 컴팩트 디스크립션과 HTTP 어드레스들(전형적으로 URL들) 간의 연관성을 생성하는 것을 가능하게 한다는 것이 상기될 수 있다. 이러한 연관성은 매니페스트 파일 또는 디스크립션 파일이라고 하는 파일 내에 디스크라이브된다. DASH의 콘텍스트에서, 이 매니페스트 파일은 (미디어 프리젠테이션 디스크립션을 위한) MPD 파일이라고 하는 파일이다.
MPD 파일이 클라이언트에게 보내질 때, 각각의 미디어 콘텐트의 디스크립션은 클라이언트가 쉽게 알 수 있다. 매니페스트 파일을 판독함으로써, 클라이언트는 미디어 프리젠테이션 내에 제안된 미디어 콘텐트들의 종류를 알고 연관된 미디어 콘텐트들을 다운로딩하기 위한 HTTP 어드레스들을 알게 된다. 그러므로, 어떤 미디어 콘텐트를 (HTTP 요청들을 통해) 다운로드할지 그리고 플레이할지(미디어 데이터 세그먼트들의 수신 이후에 디코딩 및 플레이)를 결정할 수 있다.
위에 언급된 연관성 외에, DASH 표준은 세그먼트들이라고 하는 시간의 작은 주기들로 각각의 미디어 콘텐트를 분리하는 것을 가능하게 한다. 예를 들어 미디어 디코드더들을 셋업하기 위한 시작 시의 초기화 세그먼트들, 및 미디어 데이터를 전달하는 미디어 세그먼트들이 있다. 세그먼트들은 필요한 물리적 파일은 아니다. 그들은 단일 파일, 예를 들어 ISOBMFF 파일 내로의 바이트 범위들일 수 있다. 시간 분해가 MPD 파일 내에 추가된다. 그러므로 그것은 HTTP 어드레스들(또는 URL들)과 시간의 작은 주기에 걸친 각각의 미디어 콘텐트의 컴팩트 디스크립션 간의 연관성을 디스크라이브한다.
도 3은 HTTP를 통한 미디어 스트리밍의 일반적 원리의 예를 예시한 블록도를 도시한다. 양호한 실시예에서, DASH 프로토콜은 HTTP를 통한 스트리밍 프로토콜로서 고려된다.
또한, 도 4는 도 3과 함께 설명된, MPD 파일의 전체적인 구성을 도시한다.
도시된 것과 같이, 미디어 서버(300)는 상이한 미디어 프리젠테이션들을 포함한다. 미디어 프리젠테이션(301)의 간단화된 예가 도시된다. 그것은 여기서 파노라마 영상들의 시간적 시퀀스 영상들과 같은 가상 현실 미디어 데이터를 포함한다. 이 미디어 프리젠테이션은 작은 독립하는 세그먼트들(302, 302a 및 303)(또는 도 4에서 참조 번호(403))로 시간적으로 및 공간적으로 분리되었다. 이들 세그먼트는 독립적으로 어드레스되고 다운로드될 수 있다. 미디어 콘텐트의 다운로딩 어드레스들은 HTTP 어드레스들(또는 URL들)이다. 가상 현실 미디어 콘텐트의 각각의 세그먼트와 연관된 하나의 HTTP 어드레스가 있다. 그들은 이들 세그먼트의 각각의 하나에 대해 미디어 서버(300)에 의해 설정된다.
매니페스트 파일(304)(또는 디스크립션 파일)은 HTTP 어드레스들의 면에서 미디어 서버 상에 가용한 미디어 프리젠테이션의 구성, 해상도, 코덱, 비트레이트, 미디어 유형의 면들 등에서 콘텐트의 버전들을 반영한다. 그것은 XML 문서 또는 심지어 HTTP 라이브 스트리밍과 같은 평문 파일일 수 있다. 예를 들어, DASH MPD와 스므스 스트리밍을 위한 스트리밍 매니페스트 둘 다는 XML을 사용한다. 그것은 예를 들어 도 4 내의 어댑테이션 세트들(401), 코팅 포맷, 세그먼트의 시간 기간과 함께, 도시된 것과 같이 미디어 세그먼트들의 콘텐트, 예를 들어, 미디어의 유형(오디오, 비디오, 오디오-비디오, 텍스트, 메타데이터 등)을 디스크라이브한다. 게다가 그것은 URL을 디스크라이브된 각각의 미디어 콘텐트 세그먼트와 연관시킨다.
매니페스트 파일(304)은 클라이언트(310)에 보내진다. 수신된 매니페스트 파일(305)을 판독함으로써, 클라이언트는 상이한 미디어 콘텐트의 세그먼트들과 세그먼트들을 지정하는 HTTP 어드레스들 간의 연관성을 알 수 있다. 그것은 또한 예를 들어, (도 4 내의 표현(402))과 같은) 비디오에 대한 대체 버전들, 또는 미디어 스트림과의 연관된 메타데이터를 결정할 수 있다. 또한, 매니페스트 파일(305)은 미디어 프리젠테이션의 콘텐트(이 예에서 가상 현실 미디어 데이터)에 관한 정보를 준다. 예를 들어, 정보는 해상도 및/또는 비트-레이트를 포함할 수 있다. 스트리밍 매니페스트 또는 스트리밍 플레이리스트 내에 제공된 모든 정보는 어떤 세그먼트들이 스트리밍 서버에 요청되어야 하는지를 결정할 수 있는 어댑테이션 로직 모듈(311)에 의해 처리될 수 있다.
클라이언트(310)는 그러므로 그것이 원하는 세그먼트들을 다운로드하는 HTTP 요청들(306)을 방출할 수 있고, 이들 세그먼트는 수신된 매니페스트 파일(305)에서 디스크라이브된다.
응답으로서, 서버(300)는 HTTP 응답(307)에서 요청된 세그먼트들을 보낸다. 이들 세그먼트는 클라이언트(310)에 의해 디코드되고 디스플레이될 수 있다(단계들 308 및 309).
서버는 별도의 서버들 또는 디바이스들로 구성될 수 있고, 각각 다음의 단계들 중 하나 이상을 수행한다는 점에 주목한다:
- 미디어 콘텐트의 발생,
- 파일 포맷으로 미디어 스트림의 캡슐화,
- 스트리밍 매니페스트 또는 플레이리스트 파일의 발생,
- 미디어 프리젠테이션의 송신, 및
- 콘텐트 세그먼트들로서 가장 자주, 미디어 콘텐트의 송신.
클라이언트는 그러므로 매니페스트에 대한 요청들을 제1 서버, 예를 들어 애플리케이션 서버에 그리고 미디어 콘텐트에 대한 요청들을 하나 이상의 다른 서버, 예를 들어 미디어 서버들 또는 스트리밍 서버들에 발행할 수 있다. 미디어 샘플들을 송신하는 서버는 또한, 예를 들어 미디어가 CDN(클라이언트 전달 네트워크)을 통해 전달되는 경우에 상이할 수 있다.
부록의 표들 1a 및 1b는 가상 현실 미디어 데이터의 파노라마 영상들과 연관된 동일한 투사를 시그널하기 위해 미디어 프리젠테이션 디스크립션(MPD)에서의 새로운 VR 디스크립터들의 사용의 2가지 상이한 예들을 제공한다. 동일한 정보가 단지 이 매니페스트를 위해 사용된 신택스 또는 언어(XML, JSON, 평문 등)에의 어댑테이션을 요구하는 스트리밍 매니페스트의 다른 유형들로 배치될 수 있다.
표 1a에 예시된 것과 같이, MPD 내의 가상 현실 미디어 데이터 표현의 시그널링이 예를 들어, 예를 들면, 새로운 값 "urn:mpeg:dash:VR:2016"으로 설정된 @schemeIdURI 속성을 갖는 SupplementalProperty DASH 포괄적 디스크립터 또는 EssentialProperty DASH 포괄적 디스크립터를 사용하여 행해질 수 있다. 이 값이 단지 여기서 한 예로서 제공된다. 오브젝트는 디스크립터를 파노라마에 관한 정보를 제공하는 가상 현실 또는 전방향 미디어에 대한 디스크립터로서 모호하지 않게 식별하기 위해 @schemeIdURI 내의 확보된 유일한 값(전형적으로 DASH MPD 내의 URN)을 갖는 것이다. 대안적 실시예들은 포괄적 DASH 디스크립터들을 사용하는 것 대신에, VR 및/또는 전방향 정보를 전달할 확보된 요소, 예를 들어 <ProjectionInfo> 요소로서 명시적 디스크립터를 정의하고, 매니페스트가 단지 VR 콘텐트를 제공하는 경우에 MPD 레벨에 직접 또는 매니페스트가 VR과 비VR 콘텐트 둘 다를 제공하는 경우에 일부 어댑테이션 세트들, 표현, 또는 부표현 레벨에 놓일 수 있는 DescriptorType로부터 MPD 스키마로 물려받는 것으로 구성되고, 이 명시적 디스크립터는 VR 콘텐트를 디스크라이브하는 어댑테이션 세트들, 표현, 또는 부표현의 차일드이다. 표 1a 내의 예는 한편으로, 그것이 VR 디스크립터라는 것을 표시하기 위해 새로운 schemeIdUri 값을 갖는, 그리고 다른 한편으로, 투사 식별자, (예에서 원통에 관한) 투사 유형 정보 및 기준 점과 각각 원통의 상부(예에서 +60°) 및 원통의 하부(예에서 -60°) 사이의, 그래서 수직 차원에서 120°의 시야를 제공하는 2개의 각도 값들로서 표현되는 수직 시야 정보를 전달할 "panorama"라고 하는 새로운 요소를 갖는 DASH 포괄적 디스크립터 <SupplementalProperty>의 확장의 예이다. 표 7a는 투사 id, 투사 유형 및 시야 정보에 대한 새로운 속성들을 선호하는 표 1a의 대안이다. 표 7b는 새로운 속성들을 생성하는 것 대신에 value 속성이 사용되는 또 하나의 대안이다. 이들 변형은 EssentialProperty 디스크립터 또는 명시적 디스크립터가 사용되는 경우에 동일한 방식을 적용할 것이라는 점에 주목한다. 마지막으로, 표 7c는 시야 값이 각각 수평 시야 및 수직 시야(기준 점으로부터 보여지는 각도)를 제공하는 2개의 각도 값들 180° 및 120°로서 표현되는 것을 제외하고, 표 7b와 동일한 예이다.
몇가지 대안적 파노라마들이 MPD에서 디스크라이브되는 일부 실시예들에 따르면, SupplementalProperty 및/또는 EssentialProperty 디스크립터들의 기존의 @value 속성은 현재의 표현 또는 어댑테이션 세트(또는 가능하게는 부표현)에 의해 어드레스된 몇가지 대안적 파노라마들 중 하나를 참조하기 위해 사용될 수 있다.
이 시그널링은 바람직하게는 어댑테이션 세트가 파노라마 데이터, 예를 들어, 파노라마 영상(들) 또는 비디오(들)와 관련된 미디어 데이터를 포함한다는 것을 표시하기 위해 adaptation set 레벨에서 디스크립터로서 사용된다. 대안적 실시예들에 따르면, 이 디스크립터는 표현 또는 부표현 레벨에서 설정될 수 있다. 파노라마가 파노라마 영역 내의 부분들, 공간적 영역들, 또는 서브-영역들에의 액세스를 제공하기 위해 도 1c에 도시된 것과 같이 파노라마 영역들로 추가로 분리될 때, VR 디스크립터들은 크기, 대역폭, 및 다운로드할 대응하는 세그먼트들의 면에서 파노라마 영역들을 디스크라이브하는 표현 또는 부표현에서 설정될 수 있다.
VR 디스크립터들을 해석할 수 없는 클라이언트들을 위해 백워드 호환성을 제공하기 위해서, VR 디스크립터들을 시그널하기 위한 SupplementalProperty 디스크립터의 사용은 EssentialProperty 디스크립터의 사용보다 더 적응될 수 있다. 실제로, 파노라마, 파노라마 영역, 또는 파노라마 서브-영역이 매니페스트, 예를 들어 정육면체 상으로의 투사의 한 면에 대응하는 파노라마 영역에서 선언될 때, 콘텐트 저자는 비VR-어웨어 스트리밍 클라이언트들이 고전적 2D 비디오로서 이 파노라마, 파노라마 영역, 또는 파노라마 서브-영역을 선택, 다운로드, 및 플레이하게 할 수 있다. 반대로, 캡처링 투사가 비VR-어웨어 클라이언트가 파노라마, 파노라마 영역, 또는 파노라마 영역을 플레이하는 것을 가능하게 하지 않을 때, VR 디스크립터들은 디스크립터들 플러스 연관된 콘텐트(페어런트 어댑테이션 세트, 표현, 또는 부표현)이 무시되고 MPD로부터 안전하게 제거될 수 있도록 EssentialProperty 디스크립터 내에 놓여진다.
가상 현실 미디어 데이터 표현을 시그널하는 SupplementalProperty 디스크립터 또는 EssentialProperty 디스크립터는 VR SupplementalProperty 또는 VR EssentialProperty라고 할 수 있다.
특정한 실시예들에 따르면, 파노라마 영상에서 사용된 투사의 유형을 시그널하는 것은 새로운 요소/속성으로 행해질 수 있다. 예를 들어, 그것은 정육면체형 투사의 사용을 시그널하기 위해 요소/속성 "projection_type='cube'", 또는 "projection_type='cubical'", 또는 부록의 표 1a에 예시된 것과 같이, 원통형 투사, 원통 상으로의 투사의 사용을 시그널하기 위해 "type='cylindrical'", 또는 type="cylinder"로 시그널될 수 있다. 그것은 또한 피라미드 투사의 사용을 시그널하기 위해 기존의 @value 속성, 예를 들어 "value='pyramid'" 또는 "value='pyramidal'"을 사용함으로써 또는 가능하게는, 표 1b의 미디어 프리젠테이션 디스크립션 내에 예시된 것과 같이, (사용 중인 실제 투사 유형을 표시하지 않는 포괄적 "urn:mpeg:dash:VR:2016" 대신에) VR 미디어 데이터 표현을 시그널하기 위해 또한 사용되는, 새로운 전용 @schemeIdURI 속성 값, 예를 들어, (원통형 투사의 사용을 시그널하는) "urn:mpeg:dash:VR:cylinder:2016"와 같은, 투사 유형 당 하나의 확보된 또는 특정한 URN을 사용함으로써 시그널될 수 있다. VR 디스크립터 내에 이러한 특정한 URN을 갖는 것은 MPD 파싱할 때가 된 스트리밍 클라이언트에게 그들이 파노라마, 파노라마 영역, 또는 심지어 파노라마 서브-영역을 플레이할 수 있는지 여부를 보다 빠르게 결정하는 데 도움을 줄 수 있다.
특정한 실시예들에 따르면, 포괄적 DASH 디스크립터들의 기존의 @value 속성은 값들(예를 들어, 표 1a에서 "value="60, -60"") 콤마 분리된 리스트로서, 또는 VR 디스크립터(예를 들어, 표 1b에서 "top_pitch="60" bottom_pitch="-60")를 위한 전용 schemeIdUri에 특정된 새로운 속성들로서 시그널된 투사 유형에 특정된 파라미터들을 표현하기 위해 사용될 수 있다. 이 예에서, 특정한 속성들은 원통형 투사의 상부의 투사에 및 하부의 투사에 대응하는 (도(degrees)로 표현된) 피치 각도 값들이다. 추가적인 속성들은 또한 또한 예를 들어 도로, 롤 최소 및 최대 각도 값들에 관한 것뿐만 아니라 min_yaw(좌측까지의 최소 각도) 및 max_yaw(우측까지의 최대 각도)에 관한 것과 같은 파라미터들을 제공하도록 제공될 수 있다. 각도들을 위해 다른 단위들을 사용하는 것이 가능하지만 각도 단위(예를 들어, angle_unit="radian")를 제공하기 위해 추가적인 속성을 필요로 한다는 점에 주목한다. 파라미터들의 이 유형은 또한 예를 들어 squished_sphere와 같은 다른 종류들의 투사를 위해 유용할 수 있다.
투사를 위한 시점 배향(즉, 기준 시점)은 예를 들어, 회전 도로 표현될 수 있는 요 값, 피치 값, 및 선택적으로, 롤 값에 의해 정의될 수 있다. 예시의 목적을 위해, 이들 값은 단일 속성 내의 또는 단지 새로운 요 값을 시그널하기 위해 "vp_yaw='180'"와 같은 별개의 속성들 내에 실제 요 및 피치 값들을 각각 정의하기 위해 "ref_vp='180,0'"와 같은 새로운 요소/속성(들)을 사용함으로써 시그널될 수 있다. 하나 또는 여러 개의 속성들이 생략되면, 이 누락된 값(들)은 대응하는 디폴트 시점 값(들)(예를 들어, "0,0,0")으로 대체될 수 있다.
투사 유형을 시그널하는 것은 DASH 클라이언트가 그것이 처리할 수 있는 투사 유형들의 함수로서 Representation, AdaptationSet, 또는 SubRepresentation를 선택하게 한다. 절대 배향의 시그널링은 DASH 클라이언트가 사용자에 의해 요청된 시점에 따라 Representation, AdaptationSet, 또는 SubRepresentation을 선택하게 한다. 예를 들어, 사용자가 머리를 이동하거나 전용 사용자 인터페이스를 통해 파노라마에서 내비게이트할 때, 클라이언트의 어댑테이션 로직(도 3 내의 참조 번호(311))은 MPD(도 3 내의 참조 번호(305))로부터 콘텐트의 가장 적절한 버전을 식별할 수 있다.
특정한 실시예들에 따르면, 파노라마 디스크립터는 예를 들어, 표 1b에 예시된 것과 같은 @projection_id 속성을 사용하는 투사 식별자를 사용할 수 있다. 이것은 투사의 모든 파라미터들(예를 들어, 시점 및 특정한 파라미터들)을 이 식별자와 연관시키고 클라이언트에게 동일한 투사를 사용하는 파노라마 영역들의 또는 파노라마 서브-영역들의 대안적 버전들에 관해 알리는 것을 가능하게 한다. 따라서, 캡처링 투사 유형을 반복하는 것을 피하는 것을 가능하게 하고, 단지 투사 및 관련된 파노라마 표현들에의 참조가 매니페스트에서 제공된다.
그러므로, 동일한 투사 식별자가 적어도 2개의 어댑테이션 세트 내에 사용되면, 투사 식별자와 연관된 투사와 관련된 모든 파라미터들은 하나의 AdaptationSet에서 단지 한번 선언되고 그들이 동일한 것으로 가정되는 또 하나의 AdaptationSet에서 (또는 또 하나의 Representation, 또는 SubRepresentation에서) 생략될 수 있다. 파라미터들이 동일한 투사 및/또는 시점을 사용하는 AdaptationSets, Representations, 또는 SubRepresentations에서 중복되면, 클라이언트가 그들을 동일한 파노라마의 부분들로서 모호하지 않게 연관시키도록 모든 이들 AdaptationSets, Representations, 또는 SubRepresentations 내에 투사 파라미터 및/또는 시점 파라미터들을 위해 동일한 값들을 사용하는 것이 권장된다.
선택적으로, 파노라마 디스크립터는 여러 개의 파마미터들이 MPD에서 디스크라이브되는 경우에 상이한 파노라마 버전들 간을 구별하도록 @panorama_id 속성을 사용하는 파노라마 식별자와 또한 연관될 수 있다. 특히, 동일한 파노라마 식별자 값을 공유하는 2개의 표현은 이들 표현이 서로에 대한 대체들이라는 것을 드러낸다. 또한 선택적으로, 파노라마 디스크립터는 또한 여러 개의 파노라마 영상들이 동일한 파노라마 내부에서 사용되는 경우에, @panorama_image_id를 사용하는 파노라마 영상 인덱스와 연관될 수 있다. 후자는 특히 실감형 환경이 와이드 뷰에서 주어진 내비게이션 경로를 따라 제공될 때 적용한다. 여러 개의 파노라마 영상들이 여러 개의 경로 위치들에 발생된다.
위에 설명된 것과 같이, 주어진 파노라마 영상은 투사 유형에 특정된 여러 영역들을 포함할 수 있다. 따라서, 각각의 파노라마 영역에 관한 정보가 제공되어야 한다. 이것은 새로운 파노라마 영역 디스크립터를 사용하여 행해질 수 있다.
실시예들에 따르면, 파노라마 영역들의 디스크립션은 VR SupplementalProperty 또는 VR EssentialProperty의 Panorama 요소 내에 포함된 요소를 PanoramaRegion 요소를 사용하여 수행된다. 대안적 실시예는 PanoramaRegion를 위한 이 디스크립터를 특정한 디스크립터로서, 즉 파노라마 영역, 예를 들어 DescriptorType으로부터 MPD 스키마에서 물려받은 <PanoramaRegion> 에 관한 디스크립티브 정보를 전달하기 위해 전용되고 어댑테이션 세트, 표현, 또는 부표현 레벨들에서 선언된 특정한 MPD 요소로서 선언하는 것으로 구성된다.
실시예들에 따르면, 모든 파노라마 영역들은 대응하는 파노라마 영상의 디스크립션을 포함하는 AdaptationSet, Representation, 또는 SubRepresentation에서 디스크라이브된다. 대안적으로, 파노라마 영역들은 파노라마 영상을 디스크라이브하지만 그 파노라마 영상의 어떤 미디어 세그먼트들도 포함하지 않은 빈 AdaptationSet, Representation, 또는 SubRepresentation에서 디스크라이브된다. 이러한 AdaptationSet, Representation, 또는 SubRepresentation의 목적은 다음에 미디어 세그먼트들을 실제로 포함하는 다른 AdaptationSet, Representation, 또는 SubRepresentation이 가용한 파노라마 영역들에 관한 정보를 획득하기 위해 그것을 참조할 수 있도록 가용한 영역들의 리스트를 남감없이 선언하는 것이다.
계속 실시예들에 따르면, MPD 내에 완전한 파노라마 영상을 디스크라이브하는 AdaptationSet, Representation, 또는 SubRepresentation이 없으면, 파노라마 영역들은 부록의 표 4a에 예시된 것과 같이, 하나(또는 더 많은) 파노라마 영역을 포함하는 비디오들의 각각의 AdaptationSet, Representation, 또는 SubRepresentation 내에 여전히 디스크라이브될 수 있다.
계속 실시예들에 따르면, VR 디스크립터들 및 파노라마 영역들 디스크립터들이 메타데이터 트랙, 예를 들어 전방향 미디어 애플리케이션 포맷(OMAF)을 사용하는 메타데이터를 디스크라이브하는 AdaptationSet, Representation, 또는 SubRepresentation에서 디스크라이브된다. 이것은 도 1a 내의 콘텐트 패키징 단계 141이 MPD 매니페스트 내의 OMAF 트랙과 하나 이상의 비디오 트랙 사이에 선언된 연관성을 반영하는 것을 요구한다. 부록의 표 8에 예시된 것과 같이, 이것은 MPD 내의 하나 이상의 비디오 트랙의 표현에 각각 포인트하는 MPD 내의 OMAF 트랙을 디스크라이브하는 표현들에서 associationId와 associationType 둘 다의 속성들을 선언함으로써 행해질 수 있다. associationType 속성은 MPD 내의 OMAF 트랙의 메타데이터 표현이 MPD에서 선언된 하나 이상의 비디오 표현을 위한 추가적인 디스크립션 콘텐트를 제공한다는 것을 표시하기 위해 "cdsc" 값을 취할 수 있다.
미디어 패키징 단계 141 동안, 서버는 바람직하게는 예를 들어 스트리밍하기 위해 패키지할 비디오 트랙의 샘플 엔트리들이 유형 'resv'인지를 조사함으로써 일부 포스트-디코더 요건 정보가 존재하는지를 결정하기 위해 미디어 파일에 대한 파일 포맷 정보를 체크한다. 이것이 그 경우이면, 미디어 패키징 모듈은 파노라마를 구축하기 위해 사용된 캡처링 투사 유형들에서 정보를 제공할 수 있는 방식 정보 박스를 파스한다. 이러한 정보가 (하나의 OMAF 트랙이 가용할 때 그 경우 대로) 존재하면, 미디어 패키징 모듈은 파노라마를 디스크라이브하는 AdaptationSet, Representation, 또는 SubRepresentation에서 VR 디스크립터의 값을 설정하기 위해 이 정보를 사용한다. 또한, 이 정보를 추출하고 그것을 스트리밍 매니페스트에서 노출하는 것은 스트리밍 클라이언트들이 그들의 어댑테이션 로직을 통해, 비디오 AdaptationSet, Representation, 또는 SubRepresentation이 다운로드하고 플레이하기 위한 후보인지를 빨리 식별하는 것을 가능하게 한다. OMAF 메타데이터 트랙의 경우에, 클라이언트가 파노라마 영상들의 디스크립션을 제공하는 Representation를 찾기 위해 OMAF 표현의 associationId를 따라야 하기 때문에 덜 직접적이다.
실시예들에 따르면, 파노라마 영역 디스크립터는 파노라마 디스크립션(어댑테이션 세트, 표현, 또는 부표현)과 동일한 레벨에서 시그널된다. 대안적으로, 파노라마 영역 디스크립터는 파노라마 영역 디스크립션(어댑테이션 세트, 표현, 또는 부표현)과 동일한 레벨에서 시그널된다. 제1 해결책은 클라이언트가 단일 요소의 파싱 동안 각각의 영역 크기 및 영역들의 수를 결정하게 하는 장점을 제시한다(즉, 각각의 파노라마 영역 디스크립션을 파스할 필요가 없다). 제2 해결책은 일부 파노라마 영역들이 클라이언트에 의해 사용되지 않으면 더 적은 수의 MPD 파싱 동작들을 필요로 한다.
입체 표현들의 경우에, DASH 다중 뷰들 방식은 각각의 뷰가 상이한 파노라마 영상 내에(즉, 상이한 AdaptationSet 내에) 포함되면 유형 비디오의 ContentComponent 요소에 또는 AdaptationSet 요소에 적용되는 Role 디스크립터로 각각의 뷰의 역할을 시그널하기 위해 직접 사용될 수 있다. 그것은 좌안 및 우안 표현들이 동일한 영상/비디오 콘텐트의 2개의 부분 내에 있는 경우를 지원하기 위해 Role 디스크립터가 PanoramaRegion에 적용되게 함으로써 또한 확장될 수 있다. 대안적으로, PanoramaRegion은 스테레오 정보(예를 들어, "stereo='left'", "stereo='none'" [default])를 정의하기 위해 새로운 선택적 속성(들)을 포함할 수 있다.
부록의 표 2a, 2b, 2c, 및 2d는 VR 디스크립터들을 사용하는 4개의 AdaptationSet 디스크립터를 예시한다.
표 2a에 주어진 예에 따르면, 어댑테이션 세트 레벨에서 디스크라이브된 비디오 내의 영역의 공간적 위치가 파노라마 영상의 비디오의 기준 내의 화소들에서 표현된 4개의 파라미터를 사용하여, 파노라마 영역 디스크립터에서 시그널된다. 이들 파라미터는 (파노라마 비디오 내의) 영역의 상부 좌측 모서리의 (x, y) 좌표들 및 영역의 폭 및 높이(또는 대안적으로 영역의 하부 우측 모서리의 x, y 좌표들)를 포함한다. 이들 파라미터는 표 2a에 예시된 것과 같은 정수 값들(예를 들어, "position='0,200,200,200'")의 콤마 분리된 리스트를 사용하여 PanoramaRegion 요소의 새로운 @position 속성에서 디스크라이브될 수 있다. 실시예들에 따르면, 영역의 공간적 위치가 제공되지 않으면, 그것은 영역이 선언된 어댑테이션 세트의 비디오가 영역에 의해 전체적으로 커버되는 것을 의미한다.
선택적으로, 특정한 파노라마 영상이 어드레스될 것이면 파노라마 영상 인덱스를 표시하기 위해 제5 파라미터가 사용될 수 있다(파노라마가 다수의 파노라마 영상을 포함하고 제5 파라미터가 제공되지 않으면, 그것은 모든 파노라마 영상들이 해당되는 것을 의미한다).
각각의 파노라마 영역 디스크립터는 기준 파노라마 영상의 투사 유형에 의존하는 영역 유형과 연관된다. 그것은 표 2a에 예시된 것과 같이, 영역 식별자들(예를 들어, "전방", "상부", "우측" 등)에 대한 특정한 값들에 의해, 또는 예를 들어 OMAF에서 제안된 값들의 리스트와 같은, 수치 값들을 사용하는 미리 정의된 영역 인덱스에 의해 지정된다.
실시예들에 따르면, PanoramaRegion 디스크립터는 (표 2a에 예시된 것과 같이) 파노라마 디스크립터의 요소로서 선언될 수 있다. 대안적으로, PanoramaRegion은 VR SupplementalProperty 또는 VR EssentialProperty 또는 임의의 명시적인 디스크립터 내에 직접 선언될 수 있다. 이러한 경우에, 기준 파노라마 영상은 PanoramaRegion에 속하는 속성에 의해 식별된다.
표 2b에 예시된 것과 같이, 파노라마 영역 디스크립터는 그것의 식별자(예를 들어, "projection_id='1'")를 사용함으로써, 또는 대안적으로 파노라마의 식별자 (MPD 내에 하나보다 많은 파노라마가 있는 경우) 및 파노라마 영상의 식별자(그 파노라마에 대해 하나보다 많은 영상이 있는 경우)를 사용함으로써(예를 들어, "panorama_id='1', panorama_image_id='0'") 기준 파노라마 투사와 연관될 수 있다. 대안적으로, PanoramaRegion 디스크립터가 파노라마의 차일드 요소로서 선언되면, 투사 식별자는 필요하지 않다. 파노라마 영역은 다음에 예를 들어 표 2a에 예시된 것과 같이, 그것의 임베딩 Panorama를 참조한다.
실시예들에 따르면, PanoramaRegion 디스크립터가 사용되지만 Panorama의 AdaptationSet 표현이 가용하지 않으면, 파노라마 투사 유형은 표 2c에 예시된 것과 같이, PanoramaRegion에 속하는 속성에 의해 직접 식별될 수 있다. 이것은 투사에 전용되는 방식이 표 2d에 예시된 것과 같이 사용되면 요구되지 않는다.
유사하게, PanoramaRegion 디스크립터들이 다양한 AdaptationSets, Representations, 또는 SubRepresentations에서 사용되지만, 파노라마를 디스크라이브하는 AdaptationSet, Representation, 또는 SubRepresentation이 가용하지 않으면, projection_id가 여전히 예를 들어, 표들 2c 및 2d에 예시된 것과 같이 파노라마 영역들이 동일한 파노라마 영상을 참조하고 있다는 것을 표시하기 위해 사용된다. 이것은 (가용하지 않아도) 동일한 파노라마에 관련한 것으로서 이들 파노라마 영역을 관련시키는 것을 가능하게 한다. 표들 2a, 2b, 및 2c에 도시한 새로운 디스크립터들에 의해 초래된 모든 디스크립티브 정보가 또한 선택된 디스크립터의 새로운 속성들(DASH 포괄적한 것 또는 명시적인 것)에서, 또는 연쇄된 값들의 리스트로서 기존의 "value" 속성에서 전달될 수 있다. 예를 들어, 표 9a는 표 2a에서와 동일한 정보를 제공하지만 파노라마 영역들에 대한 새로운 속성 "region_list"를 갖는다. 대안은 "value" 속성 내에 영역들 디스크립션 정보를 놓는 영역들의 수만큼 많은 DASH 디스크립터를 사용하는 것이므로, 디스크립터들은 등가인 것으로 고려될 수 없으므로, 플레이어에게 그들(그리고 세트 내에서 단지 하나가 아님)의 모두를 처리하라고 강요한다. 표 9b는 이러한 예를 제공한다.
DASH 표준은 어댑테이션 세트 또는 부표현 레벨에서 MPD 내의 미디어 콘텐트 컴포넌트들 간의 공간적 관계들을 표현하는 능력을 도입한다. 그것은"urn:mpeg:dash:srd:2014"와 동일한 @schemeIdURI를 갖는 SupplementalProperty 또는 EssentialProperty 디스크립터들을 사용하는 것으로 구성된다. @value 속성은 다음의 파라미터들을 포함하는 SRD(Spatial Relationship Description: 공간적 관계 디스크립션) 파라미터들에 대한 콤마 분리된 값들의 리스트로 구성된다:
- source_id는 미디어 콘텐트의 소스의 식별자를 제공한다. Period 내의 "source_id value"라고 하는 동일한 값을 공유하는 상이한 SRD에서 사용된 파라미터들(object_x, object_y, object_width, object_height)은 2개의 표현이 서로 공간적으로 관련한다는 것을 결정하기 위해 비교될 수 있고;
- object_x: 이 디스크립터를 사용하여 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의 상부-좌측 모서리의, 이 SRD 디스크립터에 의해 정의된 기준 공간 내의 수평 위치를 제공하고;
- object_y: 이 디스크립터를 사용하여 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의 상부-좌측 모서리의, 이 SRD 디스크립터에 의해 정의된 기준 공간 내의 수평 위치를 제공하고;
- object_width: 이 디스크립터를 사용하여 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의, 이 SRD 디스크립터에 의해 정의된 기준 공간 내의 폭을 제공하고;
- object_height: 이 디스크립터를 사용하여 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의, 이 SRD 디스크립터에 의해 정의된 기준 공간 내의 높이를 제공하고;
- total_width: SRD를 갖는 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의 x-축을 따르는 최대 범위에 동일한 source_id 값을 제공한다. 존재하지 않을 때, 이 값은 동일한 source_id 값을 갖는 SRD 주석의 total_width 값으로 설정된다. 주어진 source_id 값에 대해, 적어도 하나의 total_width 값이 지정될 것이고;
- total_height: SRD를 갖는 AdaptationSets 또는 SubRepresentations에서 디스크라이브된 비디오의 y-축을 따르는 최대 범위에 동일한 source_id 값을 제공한다. 존재하지 않을 때, 이 값은 동일한 source_id 값을 갖는 SRD 주석의 total_height 값으로 설정된다. 주어진 source_id 값에 대해, 적어도 하나의 total_height 값이 지정될 것이고;
- spatial_set_id: 동일한 source_id value 값을 갖는 AdaptationSets 또는 SubRepresentations의 그룹에 대한 식별자를 제공한다. spatial_set_id 파라미터는 AdaptationSets 또는 SubRepresentations의 그룹이 갭들이 없이 비중첩하거나 연속하는 비디오들의 그룹을 형성하거나 동일한 스케일가능성 층의 부분이라는 것을 표시하기 위해 사용될 수 있고;
object_x 및 object_y 파라미터들(각각 object_width 및 object_height)은 source_id 파라미터에 의해 식별된 소스와 연관된 좌표계에서 연관된 AdaptationSets 또는 SubRepresentations의 2D 위치들(각각 2D 크기들)을 표현한다. 이 좌표계는 임의의 원점을 사용할 수 있다. 특정한 실시예들에 따르면, x-축은 좌측으로부터 우측으로 y 축은 상부로부터 하부로 배향된다. 동일한 source_id 값을 공유하는 모든 SRD는 동일한 원점 및 축들 배향들을 갖는다.
total_width 및 total_height 값들은 이 좌표계에서 기준 공간을 정의한다. object_x, object_y, object_width, 및 object_height 파라미터들의 값들은 total_width 및 total_height 파라미터의 값들에 대한 것이다. 동일한 source_id 값을 공유하는 SRD의 위치들(object_x, object_y) 및 크기들(object_width, object_height)은 기준 공간의 크기를 고려한 후에, 즉 object_x 및 object_width 값들이 total_width 값으로 나누어지고 object_y 및 object_height 값들이 그들의 각각의 디스크립터들의 total_height 값으로 나누어진 후에 비교될 수 있다.
부록의 표 3은 임의의 단위들을 갖는 기준 공간 내에 4개의 타일(AS1 내지 AS4)로 구성된 비디오를 갖는 SRD 디스크립터의 예를 제공한다. 예시의 목적을 위해, 타일들 AS1 및 AS2에 대한 MPD 디스크립션 만이 도시된다.
제1 어댑테이션 세트는 타일 AS1에 대응한다. 그것은 1920x1080 화소들의 해상도를 갖는 하나의 비디오 표현으로 구성된다. (SupplementalProperty 디스크립터를 사용하는) SRD 디스크립터는 이 비디오가 1과 동일한 source_id를 갖는 타일이라는 것과 그것이 기준 공간(좌표들 object_x=0 and object_y=0)의 상부-좌측 모서리에 위치한다는 것을 지정한다. 비디오의 크기는 각각의 방향에서의 기준 공간의 반을 표현한다(object_width 및 object_height는 기준 공간의 total_width 및 total_height에 대한 200개의 임의의 단위들 중 100개를 커버한다). 그것은 전체 기준 공간이 실제로 4k2k 비디오(3840x2160 화소들)를 표현하는 SRD 디스크립터로부터 추론될 수 있다.
SRD 디스크립터로부터, 제2 어댑테이션 세트가 타일 AS2에 대응한다는 것이 추론될 수 있다. 이 SRD 디스크립터는 여기서 타일이 제1 어댑테이션 세트(동일한 source_id = 1)와 동일한 기준 공간에 관련하는 것과 x-축 상의 중간 범위(값 100 내지 200)에 그리고 y-축의 기부(값 0) 상에 위치한다는 것을 지정하는 EssentialProperty 디스크립터를 사용하여 도입된다.
SupplementalProperty와 EssentialProperty 디스크립터들 간의 차이는 페어런트 요소(AdaptationSet, Representation, 또는 SubRepresentation)가 SRD: "urn:mpeg:dash:srd:2014"의 경우에, schemeIdURI 속성의 값을 이해하지 못하는 클라이언트에 의해 처리되는 방식에 있다. 실제로, EssentialProperty 디스크립터의 경우에, 클라이언트가 schemeIdUri를 이해하지 못하면, 그것은 디스크립터를 포함하는 페어런트 요소뿐만 아니라 그것을 무시하여야 한다. SupplementalProperty의 경우에, 클라이언트는 디스크립터 자체를 무시하는 것으로 단지 예상되지만 그것은 여전히 페어런트 요소를 사용할 수 있다.
따라서, SRD 디스크립터들이 MPD에서 사용될 때, 공간적 관계 디스크립션을 이해하지 못하는 클라이언트와의 백워드 호환성을 위한 적어도 하나의 SupplementalProperty 디스크립터에 의존하는 것이 권장된다.
부록 내의 표 4는 파노라마 디스크립터 및 파노라마 영역 디스크립터가 MPD 내로 공간적 관계 디스크립션(SRD)과 어떻게 조합될 수 있는지를 예시한다. 예시된 것과 같이, 파노라마 영상(예를 들어, <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,0,0,2120,1080,2120,1080"/>) 또는 대안적으로 파노라마 영역(예를 들어, <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="2,0,0,1920,1080,1920,1080"/> )은 관심 있는 영역들(ROI)에서 나누어질 수 있다. 따라서, SRD 디스크립터는 파노라마 영상(예를 들어, <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="1,200,0,1920,1080,2120,1080"/>) 또는 대안적으로 파노라마 영역(예를 들어, <EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="2,0,0,960,540,1920,1080"/>)에서 ROI를 지정하기 위해 사용된다. VR 디스크립터는 SRD 디스크립터에 영향을 주지 않거나 그것을 수정하지 않는다는 점에 주목한다. 2개의 디스크립터는 직교하고 파노라마 영역들 또는 파노라마 서브-영역들 내에 공간적 액세스를 제공하기 위해 잘 조합한다. 표 11은 표준화된 좌표들을 갖는 정육면체 투사로부터의 파노라마 영역들의 대안적인 디스크립션이다. 투사 ID는 암시적으로 SRD source_id이다. 투사 유형 정보는 VR 디스크립터를 통해 제공된다.
부록 내의 표 5a 및 5b는 SRD를 갖는 VR 디스크립터의 사용의 대안적 예들을 제공한다,
표 5a에 예시된 것과 같이, 네스트된 SRD 사용은 표 4에서 제시된 것과 유사하게 제시된다. 그러나, 그것은 파노라마 내부에 영역들의 어떤 선언을 포함하지 않는다. 이 예에서, projection_id가 사용되지 않고, SRD 디스크립터의 source_id가 대신에 파노라마 영역들을 파노라마에 관련시키기 위해 사용될 수 있다. 이러한 실시예에서, 파노라마는 고전적 SRD에 관한 한, object_width=total_width 및 object_height=total_height일 때, SRD 파라미터들 값들을 통해 식별된다. 이 실시예에서, VR 디스크립터와 고전적 SRD 디스크립터는 파노라마 영역들(또는 부분들 또는 공간적 부분들)에의 공간적 액세스를 제공하고 또한 파노라마들을 그것의 파노라마 영역들과 연관시키기 위해서 조합한다.
표 5b에 예시된 대안적 실시예들에서, SRD 방식은 VR 콘텐트를 지원하도록, 예를 들어, "urn:mpeg:dash:srd:2016"와 동일한 새로운 @shemeIdUri 값을 사용하여 확장된다. 이 실시예에서, 이 새로운 방식이 SRD 디스크립터가 공간적 관계 디스크립션과 VR 또는 전방향 미디어의 디스크립션 둘 다를 처리하도록 사용될 수 있다. @value 속성은 2014 SRD 방식에서와 동일한 포맷팅/파라미터들을 유지하고, (파노라마 영역들 또는 파노라마 서브-영역들에 대응하거나 하지 않을 수 있는) 관심 있는 파노라마 영역들을 추출하기 위해 사용된다. 파노라마에 대해 설명된 것과 동일한 투사 유형 속성이 예를 들어 새로운 속성으로서, 이 새로운 SRD 방식에 추가된다. 이 속성이 MPD 내에 존재할 때, 그것은 SRD가 파노라마 영상과 관련된다는 것을 시그널하고, 그렇지 않으면 SRD가 고전적 2D 비디오와 관련된다는 것을 시그널한다. 실시예들에 따르면, @projection_id 속성이 추가되지 않고: SRD의 식별자(@value의 제1 파라미터)가 대신에 파노라마를 식별하기 위해 사용된다. 영역은 또한 SRD 2016 방식을 사용하지만, 예를 들어, 어느 것이 투사의 관련된 영역인지를 지정하기 위해, 새로운 @region_id 속성을 사용하여 시그널된다.
부록 내의 표 6은 파노라마 내부의 영역들의 포워드 선언을 가능하게 하도록 새로운 SRD 방식을 확장하기 위해 네스트된 SRD 식별자(예를 들어, 0.1 및 0.2)를 어떻게 사용할지와 그것이 서브-영역 디스크립션에 대한 파노라마(예를 들어, <SupplementalProperty schemeIdUri= "urn:mpeg:dash:srd:2016"　value="0.1,320,0,320,270,1920,1080"/>) 내의 절대 좌표들로 또는 예를 들어 파노라마 영역(예를 들어, <SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2016" value="0.2,0,0,320,270,640,540"/>)에 대한 좌표들로 어떻게 사용될 수 있는지를 예시한다.
가상 현실에 대한 SRD 디스크립터의 또 하나의 가능한 확장은 SRD 내에서 직접 투사 ID 및/또는 투사의 유형 및/또는 표 10a의 예에서 예시된 것과 같이, 파노라마 영역을 찾아야 할 위치를 디스크라이브하는 것이다. 투사의 유형에 따라, 위치는 화소들 또는 표준화된 화소들(정육면체 또는 피라미드 상으로의 투사 또는 어느 것도 사용되지 않는 것)로서 또는 표 10b의 예에서 예시된 것과 같은squished_sphere, 원통에 대한 yaw_start, yaw_end, pitch_start, pitch_end 각도들로서 가정되어야 한다. 선택적으로, 투사 유형에 따라, 영역 식별 정보가 최종 값: 파노라마에 대해 "all", 정육면체의 면에 대해 "front" 또는 "top", 또는 "bottom"으로서 제공될 수 있다.
사용자 뷰에 의존하는 또는 사용자 내비게이션에 의존하는 액세스의 면에서 PanoramaRegion의 디스크립션에 대한 또 하나의 대안은 부록의 표 10c에 예시된 것과 같은 요, 피치, 및 선택적으로 롤 각도들 값들로서 표현된 범위 값의, SRD가 있거나 없이 (yaw=0, pitch=0, 및 roll=0 각도들을 갖는, 와이드 뷰에서 기준 점에 관해) 도 1d에서와 같이 시점을 디스크라이브하는 공간적 좌표들(예를 들어, 부록의 표 4의 "position" 속성) 대신에, 사용하는 것에 관한 것이다. 현재의 시점은 적어도 2개의 각도: 도 1d의 회색 영역의 중심 점의 위치를 주는 요 및 피치 각도들 및 선택적으로 롤 각도로 주어질 수 있고, 표현의 폭 및 높이 속성들은 도 1d의 회색 영역의 폭 및 높이를 제공한다. 이것은 클라이언트가 적절한 파노라마 영역을 검색하기 위해 사용할 공간적 좌표들 내로의 머리 움직임으로부터 생기는 각도들의 맵핑을 피할 것이다. 대신에, 클라이언트는 미디어를 디스플레이하기 시작하는 기준 시점으로부터 축적된 각도들을 계산하고 yaw, pitch, 및 선택적으로 roll 각도 값들을 사용하여 이 디스크립터에 의해 제공된 각도 값들과 직접 일치시킬 수 있다. 이들 디스크립터는 스트리밍하기 위한 미디어를 준비할 때 OMAF 트랙의 값들을 파스함으로써 미디어 패키징 유닛(141)에 의해 설정될 수 있다.
도 5는 본 발명의 하나 이상의 실시예의 구현을 위한 컴퓨팅 디바이스(500)의 개략 블록도이다. 컴퓨팅 디바이스(500)는 마이크로-컴퓨터, 워크스테이션 또는 가벼운 휴대용 디바이스와 같은 디바이스일 수 있다. 컴퓨팅 디바이스(500)는
- 마이크로프로세서와 같은 중앙 처리 장치(CPU)(501);
- 매니페스트들을 판독 및 기입하고/하거나 비디오를 인코드하고/하거나 주어진 파일 포맷 하에서 데이터를 판독 또는 발생시키는 방법을 구현하기 위해 필요한 변수들 및 파라미터들을 기록하도록 적응된 레지스터들뿐만 아니라 본 발명의 방법의 실행가능한 코드를 저장하고, 그것의 메모리 용량이 예를 들어 확장 포트에 접속된 선택적 RAM에 의해 확장될 수 있는, 랜덤 액세스 메모리(RAM)(502);
- 본 발명의 실시예들을 구현하기 위한 컴퓨터 프로그램들을 저장하는 리드 온리 메모리(ROM)(503);
- 결국, 처리될 디지털 데이터가 송신 또는 수신되는 통신 네트워크에 전형적으로 접속된 네트워크 인터페이스(504)
에 접속된 통신 버스를 포함한다. 네트워크 인터페이스(504)는 단일 네트워크 인터페이스일 수 있거나, 상이한 네트워크 인터페이스들(예를 들어, 유선 및 무선 인터페이스들, 또는 상이한 종류들의 유선 또는 무선 인터페이스들)의 세트로 구성될 수 있다. 데이터는 CPU(501)에서 실행하는 소프트웨어 애플리케이션의 제어 하에서 송신을 위해 네트워크 인터페이스에 기입되거나 수신을 위해 네트워크 인터페이스로부터 판독되고;
- 사용자로부터 입력들을 수신하고 사용자에 정보를 디스플레이하는 사용자 인터페이스(UI)(505)에 송신을 위해 기입되고 수신을 위해 그로부터 판독되고;
- 하드 디스크(HD)(506)에 송신을 위해 기입되고 수신을 위해 그로부터 판독되고;
- 비디오 소스 또는 디스플레이와 같은 외부 디바이스들로부터/에 데이터를 수신/송신하는 I/O 모듈(507)에 송신을 위해 기입되고 수신을 위해 그로부터 판독된다.
실행가능한 코드가 리드 온리 메모리(503) 내에, 하드 디스크(506) 상에 또는 예를 들어 디스크와 같은 착탈가능한 디지털 매체 상에 저장될 수 있다. 변형에 따르면, 프로그램들의 실행가능한 코드는 실행되기 전에 하드 디스크(506)와 같은, 통신 디바이스(500)의 저장 수단들 중 하나 내에 저장되기 위해서, 네트워크 인터페이스(504)를 통해, 통신 네트워크에 의해 수신될 수 있다.
중앙 처리 장치(501)는 그 명령어들이 위에 언급된 저장 수단들 중 하나 내에 저장되는, 본 발명의 실시예들에 따른 프로그램 또는 프로그램들의 소프트웨어 코드의 명령어들 또는 부분들의 실행을 제어하고 지시하도록 적응된다. 파워 온한 후에, CPU(501)는 예를 들어 프로그램 ROM(503) 또는 하드 디스크(HD)(506)로부터 그들 명령어가 로드된 후에 소프트웨어 애플리케이션과 관련한 주 RAM 메모리(502)로부터의 명령어들을 실행할 수 있다. 이러한 소프트웨어 애플리케이션은 CPU(501)에 의해 실행될 때, 앞서의 도면들에 도시한 플로우차트들의 단계들이 수행되게 한다.
이 실시예에서, 장치는 본 발명을 구현하기 위해 소프트웨어를 사용하는 프로그램가능한 장치이다. 그러나, 대안적으로, 본 발명은 (예를 들어, 주문형 집적 회로 또는 ASIC의 형태의) 하드웨어에서 구현될 수 있다.
본 발명이 특정한 실시예들을 참조하여 위에 설명되었지만, 본 발명은 특정한 실시예들로 제한되지 않고, 수정들이 본 발명의 범위 내에서 본 기술 분야의 기술자에게 명백할 것이다.
예를 들어, 본 발명은 예를 들어 특정한 관심 있는 영역 상으로 줌 인하기 위해, 카메라, 스마트폰, 헤드 마운트 디스플레이 또는 TV 또는 멀티미디어 디스플레이용 원격 제어기로서 동작하는 태블릿과 같은 디바이스 내에 내장될 수 있다. 그것은 또한 특정한 관심 있는 영역들을 선택함으로써 멀티미디어 프리젠테이션의 개인화된 브라우징 경험을 갖기 위해 동일한 디바이스들로부터 사용될 수 있다. 사용자에 의한 이들 디바이스 및 방법으로부터의 또 하나의 사용은 그의 선호되는 비디오들의 일부 선택된 서브-부분들을 다른 접속된 디바이스들과 공유하는 것이다. 그것은 또한 감시 카메라가 본 발명에 따른 데이터를 제공하는 방법을 지원하는 경우에 감시 하에 있는 빌딩의 특정한 지역에서 발생시키는 것을 모니터하기 위해 스마트폰 또는 태블릿에서 사용될 수 있다.
많은 다른 수정들 및 변형들이 본 발명의 범위를 제한하려는 것이 아니고, 단지 예로서만 주어진 전술한 예시적인 실시예들을 참조한다면 본 기술 분야의 기술자들에게 저절로 떠올려질 것이고, 그 범위가 첨부된 청구범위에 의해서만 결정된다. 특히, 상이한 실시예들로부터의 상이한 특징들이 적절한 경우에 서로 교환될 수 있다.
부록
Figure pct00001
Figure pct00002
Figure pct00003
Figure pct00004
Figure pct00005
Figure pct00006
Figure pct00007
Figure pct00008
Figure pct00009
Figure pct00010

Claims (21)

  1. 서버로부터, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터 수신 방법으로서, 상기 수신된 미디어 데이터는 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 방법은 클라이언트에서 수행되고,
    서버로부터, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 수신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
    상기 서버에, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 보내는 단계; 및
    상기 서버로부터, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 수신하는 단계
    를 포함하는 미디어 데이터 수신 방법.
  2. 서버로부터 클라이언트에, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터 스트리밍 방법으로서, 상기 스트리밍된 미디어 데이터는 상기 클라이언트가 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 방법은 서버에서 수행되고,
    상기 클라이언트에, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 송신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
    상기 클라이언트로부터, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 수신하는 단계; 및
    상기 클라이언트에, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 송신하는 단계
    를 포함하는 미디어 데이터 스트리밍 방법.
  3. 제2항에 있어서, 상기 미디어 데이터를 발생시키기 위한 상기 와이드 뷰의 상기 캡처와 관련한 상기 디스크립티브 정보가 상기 캡처링 투사와 관련되는 미디어 데이터 스트리밍 방법.
  4. 제2항 또는 제3항에 있어서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 내에 적어도 부분적으로 제공되는 미디어 데이터 스트리밍 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 파노라마 영상이고, 상기 파노라마 영상은 단일 파노라마 영역 또는 복수의 파노라마 영역을 포함하거나, 또는 상이한 파노라마 영역들의 세트인 미디어 데이터 스트리밍 방법.
  6. 제5항에 있어서, 상기 디스크립티브 정보는 적어도 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 하나의 특정한 디스크립터는 하나의 파노라마 영상과 연관되거나 또는 하나의 파노라마 영역과 연관되는 미디어 데이터 스트리밍 방법.
  7. 제6항에 있어서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖는 기하학적 투사이고 상기 파노라마 영역들은 상기 기하학적 투사의 상기 적어도 하나의 미리 결정된 유형의 함수로서 결정되는 미디어 데이터 스트리밍 방법.
  8. 제2항 내지 제7항 중 어느 한 항에 있어서, 상기 디스크립티브 정보는 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터 내에 적어도 부분적으로 제공되고, 적어도 하나의 디스크립터 또는 하나의 특정한 디스크립터는, 이 디스크립터 또는 특정한 디스크립터 내의 상기 디스크립티브 정보에 대응하는 상기 미디어 데이터가 수신된 미디어 데이터의 렌더링을 가능하게 하면서 상기 클라이언트에 의해 폐기될 수 있는지를 시그널하는 시그널링 정보와 연관되는 미디어 데이터 스트리밍 방법.
  9. 제2항 내지 제8항 중 어느 한 항에 있어서, 상기 디스크립티브 정보는 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하는 미디어 데이터 스트리밍 방법.
  10. 제2항 내지 제9항 중 어느 한 항에 있어서, 상기 캡처링 투사는 적어도 하나의 미리 결정된 유형을 갖고, 상기 디스크립션 파일은 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형을 포함하고, 상기 캡처링 투사의 상기 적어도 하나의 미리 결정된 유형은 기하학적 투사의 구형, 찌그러진 구형, 정육면체형, 원통형, 및 피라미드형 유형들 중 적어도 하나인 미디어 데이터 스트리밍 방법.
  11. 제2항 내지 제10항 중 어느 한 항에 있어서, 식별자는, 식별된 정의된 디스크립터 또는 특정한 디스크립터와 연관된 파라미터들이 상기 미디어 데이터의 상이한 부분들을 디스크라이브하기 위해 사용될 수 있도록, 적어도 하나의 정의된 디스크립터 또는 특정한 디스크립터와 연관되는 미디어 데이터 스트리밍 방법.
  12. 제2항 내지 제11항 중 어느 한 항에 있어서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 적어도 하나의 영역을 포함하고, 상기 적어도 하나의 영역은 디스크립터의 속성으로서 정의되는 미디어 데이터 스트리밍 방법.
  13. 제5항에 있어서, 상기 디스크립션 파일은 적어도 하나의 공간적 관계 디스크립션을 추가로 포함하고, 상기 적어도 하나의 공간적 관계 디스크립션은 파노라마 영상의 적어도 일부 내의 관심 있는 영역을 정의하거나 또는 파노라마 영상들의 영역들을 정의하는 미디어 데이터 스트리밍 방법.
  14. 제13항에 있어서, 파노라마 영상의 제1 영역의 제1 캡처링 투사에 대한 디스크립티브 정보는 상기 적어도 하나의 공간적 관계 디스크립션의 함수로서, 상기 파노라마 영상의 제2 영역을 렌더링하기 위해 사용되는 미디어 데이터 스트리밍 방법.
  15. 제2항 내지 제12항 중 어느 한 항에 있어서, 상기 디스크립티브 정보는 공간적 관계 디스크립션의 함수로서 상기 미디어 데이터와 관련한 리소스들을 식별하기 위한 정보를 포함하는 미디어 데이터 스트리밍 방법.
  16. 제2항에 있어서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 스티치가능한 영상들의 세트들을 포함하고 상기 디스크립티브 정보는 캡처링 투사의 어떤 특정한 유형도 포함하지 않는 미디어 데이터 스트리밍 방법.
  17. 제2항 내지 제16항 중 어느 한 항에 있어서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 동일한 입체 뷰의 2개의 영상에 대응하는 적어도 2개의 상이한 영역을 포함하는 미디어 데이터 스트리밍 방법.
  18. 제2항 내지 제17항 중 어느 한 항에 있어서, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터는 영상들을 포함하고, 상기 영상들 중 적어도 하나는 전방향 파노라마 영상인 미디어 데이터 스트리밍 방법.
  19. 프로그램가능한 장치를 위한 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품은, 상기 프로그램이 프로그램가능한 장치에 의해 로드되고 실행될 때 제1항 내지 제18항 중 어느 한 항에 따른 방법의 각각의 단계를 수행하기 위한 명령어들을 포함하는 컴퓨터 프로그램 제품.
  20. 서버로부터, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 수신하는 클라이언트를 위한 디바이스로서, 상기 수신된 미디어 데이터는 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 디바이스는
    서버로부터, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 수신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
    상기 서버에, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 보내는 단계; 및
    상기 서버로부터, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 수신하는 단계
    를 수행하도록 구성되는 마이크로프로세서를 포함하는, 클라이언트를 위한 디바이스.
  21. 서버로부터 클라이언트에, 장면의 와이드 뷰의 캡처링 투사를 표현하는 미디어 데이터를 스트리밍하는 서버를 위한 디바이스로서, 상기 스트리밍된 미디어 데이터는 상기 클라이언트가 3D 기하학적 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하거나 또는 적어도 2개의 상이한 시점에 따라 디스플레이 표면 상에 상기 와이드 뷰의 적어도 일부를 렌더링하는 것을 가능하게 하고, 상기 렌더링은 상기 와이드 뷰의 적어도 일부의 캡처링 투사를 표현하는 미디어 데이터의 적어도 하나의 렌더링 투사를 포함하고, 상기 디바이스는
    상기 클라이언트에, 상기 와이드 뷰의 캡처링 투사를 표현하는 상기 미디어 데이터에 관한 정보를 포함하는 디스크립션 파일을 송신하는 단계 - 상기 정보는 상기 미디어 데이터를 발생시키기 위해 상기 와이드 뷰의 상기 캡처와 관련한 디스크립티브 정보를 포함함 - ;
    상기 클라이언트로부터, 상기 디스크립션 파일에 기초하여 적어도 하나의 미디어 데이터 스트림을 요청하는 적어도 하나의 요청 메시지를 수신하는 단계; 및
    상기 클라이언트에, 상기 적어도 하나의 요청 메시지에 응답하여, 상기 적어도 하나의 요청된 미디어 데이터 스트림에 대응하는 미디어 데이터를 송신하는 단계
    를 수행하도록 구성되는 마이크로프로세서를 포함하는, 서버를 위한 디바이스.
KR1020187036178A 2016-05-23 2017-05-18 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램 KR102247399B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1609056.5A GB2550587B (en) 2016-05-23 2016-05-23 Method, device, and computer program for adaptive streaming of virtual reality media content
GB1609056.5 2016-05-23
PCT/EP2017/062050 WO2017202699A1 (en) 2016-05-23 2017-05-18 Method, device, and computer program for adaptive streaming of virtual reality media content

Publications (2)

Publication Number Publication Date
KR20190008325A true KR20190008325A (ko) 2019-01-23
KR102247399B1 KR102247399B1 (ko) 2021-05-03

Family

ID=56369829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187036178A KR102247399B1 (ko) 2016-05-23 2017-05-18 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램

Country Status (8)

Country Link
US (1) US20190141359A1 (ko)
EP (1) EP3466093B1 (ko)
JP (2) JP2019519149A (ko)
KR (1) KR102247399B1 (ko)
CN (1) CN109155874B (ko)
GB (3) GB2578227B (ko)
RU (1) RU2711591C1 (ko)
WO (1) WO2017202699A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525675A (ja) * 2016-08-25 2019-09-05 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
CN108028948B (zh) * 2015-08-07 2021-05-07 联发科技股份有限公司 用于多媒体应用的比特流随机访问与同步的方法及装置
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
US10587934B2 (en) 2016-05-24 2020-03-10 Qualcomm Incorporated Virtual reality video signaling in dynamic adaptive streaming over HTTP
US11532128B2 (en) 2017-03-23 2022-12-20 Qualcomm Incorporated Advanced signaling of regions of interest in omnidirectional visual media
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
GB201717011D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
EP3720136A4 (en) * 2017-11-30 2020-10-07 Sony Corporation TRANSMISSION DEVICE, TRANSMISSION PROCESS, RECEPTION DEVICE AND RECEPTION PROCESS
WO2019138929A1 (ja) * 2018-01-12 2019-07-18 ソニー株式会社 情報処理装置および方法
CN117499686A (zh) * 2018-04-05 2024-02-02 Vid拓展公司 用于全向视频的视点元数据
CN110956583B (zh) * 2018-09-26 2022-05-10 华为技术有限公司 球面图像处理方法、装置及服务器
WO2020063850A1 (zh) * 2018-09-27 2020-04-02 华为技术有限公司 一种处理媒体数据的方法、终端及服务器
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
US11403784B2 (en) * 2019-03-19 2022-08-02 Tencent America LLC Method and apparatus for tree-based point cloud compression (PCC) media stream using moving picture experts group (MPEG)-dynamic adaptive streaming over HTTP (DASH)
GB2585052B (en) * 2019-06-26 2023-07-26 Canon Kk Method and apparatus for encapsulating panorama images in a file
EP4011090A4 (en) * 2019-08-08 2023-05-31 Intel Corporation LINK AND STREAMING MEDIA PERFORMANCE PREDICTION TECHNOLOGIES
EP4082217A1 (en) * 2019-12-24 2022-11-02 Koninklijke KPN N.V. Video processing device and manifest file for video streaming
CN113542907B (zh) * 2020-04-16 2022-09-23 上海交通大学 多媒体数据收发方法、系统、处理器和播放器
US11895170B2 (en) * 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1093711C (zh) * 1998-02-06 2002-10-30 财团法人工业技术研究院 全景图象式虚拟现实播放系统和方法
JP2001285832A (ja) * 2000-01-24 2001-10-12 Matsushita Electric Ind Co Ltd データ受信装置，データ受信方法，データ伝送方法，およびデータ記憶媒体
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP5016541B2 (ja) * 2008-04-01 2012-09-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
CN102056015B (zh) * 2009-11-04 2012-12-05 沈阳迅景科技有限公司 一种全景虚拟现实漫游中的流媒体应用方法
WO2011144117A2 (zh) * 2011-05-27 2011-11-24 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
FR3004881B1 (fr) * 2013-04-19 2015-04-17 Kolor Procede de generation d'un flux video de sortie a partir d'un flux video large champ
EP2824885B1 (en) * 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
US20150130814A1 (en) * 2013-11-11 2015-05-14 Amazon Technologies, Inc. Data collection for multiple view generation
GB2524531B (en) 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US10397666B2 (en) * 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
US10230781B2 (en) * 2014-07-01 2019-03-12 Futurewei Technologies, Inc. Client behavior control in adaptive streaming
CN107431819B (zh) * 2014-12-31 2022-02-01 诺基亚技术有限公司 用于视频解码的方法、装置、计算机可读存储介质及视频解码器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015197818A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Hevc-tiled video streaming

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525675A (ja) * 2016-08-25 2019-09-05 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
US10991066B2 (en) 2016-08-25 2021-04-27 Lg Electronics Inc. Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video

Also Published As

Publication number Publication date
GB202108749D0 (en) 2021-08-04
EP3466093A1 (en) 2019-04-10
GB2578227A (en) 2020-04-22
GB2550587A (en) 2017-11-29
JP2019519149A (ja) 2019-07-04
GB2550587B (en) 2020-05-20
WO2017202699A1 (en) 2017-11-30
GB2578227B (en) 2021-09-15
GB201609056D0 (en) 2016-07-06
JP2022031346A (ja) 2022-02-18
EP3466093B1 (en) 2021-12-01
CN109155874B (zh) 2022-01-11
KR102247399B1 (ko) 2021-05-03
CN109155874A (zh) 2019-01-04
RU2711591C1 (ru) 2020-01-17
US20190141359A1 (en) 2019-05-09
JP7223106B2 (ja) 2023-02-15
GB201914981D0 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
JP7223106B2 (ja) 仮想現実メディアコンテンツを適応ストリーミングする方法、デバイス及びコンピュータプログラム
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
JP6735415B2 (ja) オーディオビジュアルコンテンツの観察点および観察向きの制御された選択のための方法および装置
JP7472220B2 (ja) 方法、プログラム、及びデバイス
KR102261559B1 (ko) 정보 처리 방법 및 장치
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
US20210176509A1 (en) Method, device, and computer program for transmitting media content
CN110876051B (zh) 视频数据的处理，传输方法及装置，视频数据的处理系统
JP2022133439A (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
US11677978B2 (en) Omnidirectional video processing method and device, related apparatuses and storage medium
US20200204785A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
WO2022037423A1 (zh) 点云媒体的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant