KR102656614B1 - 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 - Google Patents

비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 Download PDF

Info

Publication number
KR102656614B1
KR102656614B1 KR1020217001491A KR20217001491A KR102656614B1 KR 102656614 B1 KR102656614 B1 KR 102656614B1 KR 1020217001491 A KR1020217001491 A KR 1020217001491A KR 20217001491 A KR20217001491 A KR 20217001491A KR 102656614 B1 KR102656614 B1 KR 102656614B1
Authority
KR
South Korea
Prior art keywords
asset
information
subpicture
picture
content
Prior art date
Application number
KR1020217001491A
Other languages
English (en)
Other versions
KR20210053875A (ko
Inventor
입에릭
배재현
양현구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210053875A publication Critical patent/KR20210053875A/ko
Application granted granted Critical
Publication of KR102656614B1 publication Critical patent/KR102656614B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시는 3차원 데이터를 포함하는 비디오 컨텐츠를 전송하고 수신하기 위한 방법 및 장치에 관한 것이다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.

Description

비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
본 개시는 3차원(3 Dimensional, 3D) 데이터를 포함하는 비디오 컨텐츠를 전송하고 수신하기 위한 방법 및 장치에 관한 것이다.
가상 현실(Virtual Reality)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 환경 및 상황과 상호 작용을 하고 있는 것처럼 만들어 주는 사용자와 디바이스 사이의 인터페이스를 나타낸다. 가상 현실 기술은 조작된 감각 자극을 통해 사용자가 현실감을 느끼도록 하는 것으로 게임, 교육, 의료, 저널리즘 등 많은 산업 영역에서 활용될 수 있다.
최근 들어, 가상 현실에 대한 사람들의 관심이 높아지면서, 가상 현실을 구현하기 위한 기술에 대한 개발이 활발하게 이루어지고 있다. 특히, 가상 현실을 구현하기 위해 필요한 가상 공간을 구성하는 영상들을 처리하는 기술에 대한 연구가 활발하게 이루어지고 있는 실정이다. 예를 들어, 가상 현실 영상 관련 기술의 발달로, 사용자는 평면 영상이 아닌 360도 영상을 시청할 수 있게 되었다.
3D 이미지 인코딩 과정에 있어서, 전체적인 압축 효율을 높이거나 특정 뷰포트(viewport)에 해당하는 영역의 해상도를 다른 영역에 비해 높게 처리하기 위하여, 리전 와이즈 패킹(region-wise packing)이 수행될 수 있다. 서버는, 3D 이미지와 관련된 데이터의 전송량을 감소시키기 위해, 리전 와이즈 패킹을 거쳐 생성된 패킹된 픽쳐(packed picture)로부터 복수의 서브 픽쳐 트랙들(또는, 복수의 에셋들)을 생성하고, 복수의 트랙들 중 선택된 적어도 하나의 트랙에 관한 데이터만을 전송할 수 있다. 이 때, 사용자에게 제공되는 3D 이미지에 홀(hole)이 발생하지 않도록 하기 위해서는, 렌더링을 위해 요구되는 최소한의 서브 픽쳐 세트에 관한 정보가 단말에게 제공되어야 한다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하기 위한 서버는, 통신 인터페이스; 및 상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하고, 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하고, 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는 방법에 있어서, 에셋 기술자를 수신하는 단계; 상기 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하는 단계; 상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하는 단계; 및 상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링 하는 단계를 포함 할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 수신하는 장치는, 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는, 통신 인터페이스; 및 상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신 인터페이스를 통해 수신된 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하고, 상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하고, 상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링 할 수 있다.
도 1은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 전송하기 위한 전송 장치의 일반적인 데이터 처리 과정을 나타낸다.
도 2는 본 개시의 일 실시 예에 따라 3D 이미지를 2D 이미지로 프로젝션 하고, 프로젝션 된 2D 이미지를 패킹하는 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신 장치의 일반적인 데이터 처리 과정을 나타낸다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 전송 장치가 전방향 이미지를 복수의 서브 픽쳐 트랙들로 분할하여 전달하는 과정을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 통신하는 시스템의 신호 흐름도를 도시한다.
도 7은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠를 전송하는 방법의 흐름도를 도시한다.
도 8은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠와 관련된 정보를 생성하는 방법의 흐름도를 도시한다.
도 9는 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다.
도 10은 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다.
도 11은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 에셋 기술자(Asset Descriptor)의 신택스를 도시한다.
도 12는 본 개시의 일 실시 예에 따라 가상 현실 컨텐츠를 전송하기 위해 이용되는 가상 현실 어플리케이션 메세지 타입들이 나열된 표를 도시한다.
도 13은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 서브 픽쳐 에셋 정보(Sub-picture Asset Information)의 신택스를 도시한다.
도 14는 본 개시의 일 실시 예에 따른 전송 장치의 블록도를 도시한다.
도 15는 본 개시의 일 실시 예에 따른 수신 장치의 블록도를 도시한다.
발명의 실시를 위한 최선의 형태
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.
발명의 실시를 위한 형태
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 명세서에서 “이미지”이란, 정지 이미지, 동영상, 비디오 프레임, 및/또는 비디오 스트림을 모두 포함할 수 있으며, 2D 프레임 및 3D 프레임을 모두 포함할 수 있다. 예를 들어, "이미지"는 포인트 클라우드로 표현되는 3D 프레임 또는 360도 전방향 미디어(Omnidirectional Media) 프레임을 포함할 수 있다.
본 명세서 전반에 걸쳐 사용되는 "이미지"라는 용어는 "이미지"라는 용어 자체뿐만 아니라, "픽쳐", "프레임", "필드" 또는 "슬라이스"등 관련 분야에서 알려질 수 있는 비디오 이미지 정보의 다양한 형태들을 설명하기 위한 포괄적인 용어로서 사용된다. 예를 들어, "이미지"는 비디오 컨텐츠를 구성하는 복수의 픽쳐들 또는 복수의 프레임들 중 하나를 의미할 수도 있고, 복수의 픽쳐들 또는 복수의 프레임들을 포함하는 비디오 컨텐츠 전체를 의미할 수도 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 전송하기 위한 전송 장치의 일반적인 데이터 처리 과정을 나타낸다. 예를 들어, 일 실시 예에 따른 전송 장치는, 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 3D 이미지는, 동적 이미지 및 정적 이미지 모두를 지칭할 수 있다. 또한, 3D 이미지에 관한 데이터는, 360도 전방향 가상 현실 컨텐츠 또는 6 자유도 관련 컨텐츠를 포함하는 몰입형 미디어 데이터를 포함할 수 있다.
도 1의 단계 110에서 전송 장치는, 3D 이미지를 획득할 수 있다. 일 예로서, 전송 장치는, 여러 방향에서 촬영된 다수의 카메라들로부터 획득된 이미지들을 이어붙여(stitching) 3D 이미지를 생성할 수 있다. 다른 예로서, 전송 장치는, 이미 생성된 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 예를 들어, 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링 될 수 있다. 다만, 본 개시는 예시된 3D 이미지의 형태에 제한되지 않으며, 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있다.
단계 120에서, 전송 장치는 공간 상의 3D 이미지를 2D 평면 상에 프로젝션 함으로써, 2D 이미지를 생성할 수 있다. 일 실시 예에 따른 전송 장치는, 3D 공간 상의 전 방향 이미지를 정해진 포맷의 사각형 픽쳐에 투영하는 프로젝션을 수행할 수 있다.
3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술 분야에서 이용 가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.
단계 130에서, 전송 장치는, 프로젝션된 2D 이미지를 패킹(packing)할 수 있다. 패킹은, 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부의 위치, 크기 및 방향을 변형하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 예를 들어, 패킹을 위하여, 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등이 수행될 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, 프로젝션된 2D 이미지에 대해서 리전 와이즈(region-wise) 패킹을 수행할 수 있다. 전송 장치는, 리전 와이즈 패킹 과정에서, 프로젝션된 이미지를 구성하는 영역들의 위치, 크기 및 방향을 변형시킬 수 있다. 또한, 전송 장치는, 전체적인 압축 효율을 높이거나, 특정 뷰포트(viewport)에 해당하는 영역의 해상도를 다른 영역에 비해 높게 처리함으로써 사용자 시점 기반 프로세싱에 사용될 수 있도록 픽쳐의 구성을 가공함으로써 패킹된 픽쳐를 생성할 수 있다.
도 2는 본 개시의 일 실시 예에 따라 3D 이미지를 2D 이미지로 프로젝션 하고, 프로젝션 된 2D 이미지를 패킹하는 방법을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 예를 들어, 3D 이미지(210)는 구 형상을 가질 수 있다. 일 실시 예에 따른 전송 장치는, 3D 이미지(210)를 ERP 방식에 의해 프로젝션하여, 프로젝션된 2D 이미지(220)를 생성될 수 있다. 전송 장치는, 프로젝션된 2D 이미지(220)를 복수의 영역들(221, 222, 223, 224)로 분할할 수 있다. 도 2에서는 프로젝션된 2D 이미지(220)를 네 영역으로 분할하는 경우를 예로 도시하였으나, 본 개시는 도 2에 도시된 예에 제한되지 않는다. 프로젝션된 2D 이미지(220)는, 다양한 개수 및 다양한 형태로 분할될 수 있다. 전송 장치가 프로젝션된 2D 이미지(220)를 분할하는 방법은 실시 예들에 따라 다양하게 변경될 수 있다.
일 실시 예에 따른 전송 장치는, 프로젝션된 2D 이미지(220)로부터 패킹된 2D 이미지(230)를 생성할 수 있다. 전송 장치는, 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)을 변형 및 또는 재배치함으로써 패킹된 2D 이미지(230)를 생성할 수 있다. 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234) 각각은 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)에 순차적으로 대응될 수 있다. 본 개시는 도 2에 도시된 예에 제한되지 않으며 실시 예들에 따라 다양한 변형 및 재배치가 수행될 수 있다.
도 1로 돌아와서 설명하면, 단계 140에서 전송 장치는, 패킹된 픽쳐를 인코딩할 수 있다. 인코딩을 위해서는, 예를 들어, HEVC(High Effeciency Video Coding), AVC(Advanced Video Coding) 등의 다양한 비디오 코덱 방식이 이용될 수 있다.
일 실시 예에 따른 전송 장치는, 패킹된 픽쳐를 복수의 영역들로 분할할 수 있다. 전송 장치는, 패킹된 2D 이미지의 복수의 영역들에 대하여 개별적으로 인코딩을 수행할 수 있다. 전송 장치는 패킹된 픽쳐의 복수의 영역들 중 전송될 하나 이상의 영역에 대하여만 인코딩을 수행할 수도 있다. 일 예로서, 패킹된 픽쳐의 복수의 영역들 중 둘 이상의 영역들에 대한 그룹 이미지에 대하여 인코딩이 수행될 수 있다. 다른 예로서, 패킹된 픽쳐 전체에 대하여 인코딩이 수행될 수 있다.
단계 150에서 전송 장치는, 인코딩된 데이터를 캡슐화 할 수 있다. 전송 장치는, 인코딩된 데이터를 분할하고, 분할된 데이터에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공할 수 있다. 전송 장치는, 캡슐화된 데이터를 전송할 수 있다. 전송 장치는, 캡슐화된 데이터와 함께, 또는 데이터와 개별적으로 데이터와 관련된 추가적인 데이터 및/또는 데이터를 재생하기 위해 필요한 데이터(예를 들어, 메타데이터)를 전송할 수 있다.
전송 장치는, MMT(MPEG Media Transport) 방식에 따라 캡슐화를 통해 생성된 비트스트림을 전송할 수 있다. 일 실시 예에 따른 전송 장치는, 3D 이미지에 대응하는 복수의 트랙들을 생성하고, 복수의 트랙들 중 일부 또는 전부에 대한 데이터를 수신 장치에게 전송할 수 있다. 복수의 트랙들은 서로 상이한 영역들에 대한 데이터를 갖거나, 또는 서로 상이한 품질 등급(quality level)들을 가질 수 있다.
도 3은 본 개시의 일 실시 예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신 장치의 일반적인 데이터 처리 과정을 나타낸다.
본 개시의 일 실시 예에 따른 수신 장치는, 사용자에게 증강 현실 컨텐츠를 제공할 수 있는 AR 디바이스이거나, 가상 현실 컨텐츠를 제공할 수 있는 VR 디바이스일 수 있다. 또한, 수신 장치는 이외에도 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 지칭할 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치에서 전송된 3D 이미지에 관한 데이터를 수신할 수 있다. 도 3의 단계 310에서 수신 장치는, 수신된 데이터에 대하여 캡슐화 해제(decapsulation)를 수행할 수 있다. 단계 310의 캡슐화 해제를 통하여, 도 1에서의 단계 140의 인코딩을 통해 생성된 인코딩된 데이터가 획득될 수 있다.
단계 320에서 수신 장치는, 캡슐화 해제된 데이터에 대하여 디코딩을 수행할 수 있다. 단계 320의 디코딩을 통해 패킹된 2D 이미지가 복원될 수 있다.
수신 장치는, 디코딩된 데이터에 대해서 이미지 렌더링을 수행함으로써 3D 이미지를 디스플레이 할 수 있다. 구체적으로, 단계 330에서 수신 장치는, 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹 해제(unpacking)를 수행할 수 있다. 단계 330의 패킹 해제를 통하여, 도 1에서의 단계 120의 프로젝션을 통해 생성된 2D 이미지가 복원될 수 있다.
수신 장치는, 패킹 해제를 수행하기 위하여, 도 1에서의 단계 130의 패킹에서 수행된 프로젝션 된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환을 수행할 수 있다. 이를 위해, 수신 장치는, 전송 장치에서 수행된 데이터의 패킹 방식에 대해서 알고 있을 수 있다. 예를 들어, 패킹 방식은, 전송 장치와 수신 장치 간에 미리 알고 있을 수 있다. 일 예로서, 전송 장치는, 패킹 방식에 관한 정보를 메타데이터와 같은 별도의 메시지를 통해 수신 장치에게 전달할 수 있다. 다른 예로서, 캡슐화를 통해 생성된 전송 데이터의 헤더 내부에, 패킹 방식에 관한 정보가 포함되어 수신 장치에게 전달될 수 있다.
단계 340에서 수신 장치는, 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션할 수 있다. 일 실시 예에 따른 수신 장치는, 2D 이미지를 3D 이미지로 프로젝션 하기 위해 도 1의 단계 120에서 이용된 프로젝션의 역 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신 장치는, 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.
단계 350에서 수신 장치는, 단계 340에서 생성된 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이할 수 있다. 예를 들어, 수신 장치는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터만을 추출하여 렌더링할 수 있다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 전송 장치가 전방향 이미지를 복수의 서브 픽쳐 트랙들로 분할하여 전달하는 과정을 설명하는 도면이다.
앞서 도 1을 참조하여 설명한 바와 같이, 일 실시 예에 따른 전송 장치는 3D 이미지에 대응하는 복수의 트랙들을 생성하고, 복수의 트랙들 중 일부 또는 전부에 대한 데이터를 수신 장치에게 전송할 수 있다. 복수의 트랙들은 서로 상이한 영역들에 대한 데이터를 가질 수 있다.
예를 들어, 일 실시 예에 따른 전송 장치는, 도 4의 ERP 방식으로 프로젝션된 360도 프로젝션 픽쳐(401)를 복수의 영역들에 대한 서브 픽쳐들(402)로 분할하고, 복수의 서브 픽쳐 트랙들을 통해 복수의 영역들에 대한 서브 픽쳐들(402)을 전송할 수 있다. 서브 픽쳐 트랙들은, MMT 기술에서 복수의 에셋들(multiple assets)에 대응할 수 있다.
에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹을 의미한다. 하나의 에셋에는, 동일한 에셋 ID를 공유하는 적어도 하나의 MPU가 포함될 수 있다.
도 4에 도시된 바와 같이, 일 실시 예에 따른 수신 장치는, 복수의 에셋들(402)의 적어도 일부 에셋을 통해 전방향 이미지의 적어도 일부를 수신할 수 있다. 이 때, 수신 장치가 단일의 서브 픽쳐에 대해 단독으로 렌더링을 수행하고 디스플레이 하는 경우 사용자에게 제공되는 3D 이미지에 홀(hole)이 발생할 수 있다. 따라서, 3D 데이터를 수신하는 수신 장치는, 3D 이미지를 표현(presentation) 하기 위하여 필요한 최소 에셋 세트(403)를 나타내는 메시지를 수신하는 것이 필요하다.
본 개시의 일 실시 예에 따른 전송 장치는, 표현을 위한 최소 에셋 세트에 대한 정보를 수신 장치에게 전송할 수 있다. 따라서, 본 개시의 일 실시 예에 따른 전송 장치는, 복수의 서브 픽쳐들이 하나의 컴포지션 픽쳐를 구성하는 경우, 최소 에셋 세트에 대한 정보를 수신 장치에게 전송함으로써, 수신 장치가 단일 서브 픽쳐를 독립적으로 렌더링하는 것을 방지할 수 있다. 그러므로 일 실시 예에 따른 전송 장치는, 컨텐츠를 전송하기에 앞서, 표현을 위한 최소 에셋 세트를 정의할 수 있다. 표현을 위한 최소 세트는, 전체 컨포지션 픽쳐가 될 수도 있고, 가드 버퍼링(guard buffering)을 위해 고정된 세트일 수 있다.
일 실시 예에 따른 전송 장치는, 수신 장치의 뷰포트 피드백에 따라 서브 픽쳐 에셋 정보를 동적(dynamic) 업데이트함으로써 동적 뷰포트 기반 가드 펫칭(dynamic viewport based guard fetching)을 수행할 수 있다.
도 5에 도시된 바와 같이, 전방향 이미지(510)를 12 개의 에셋들을 통해 전송하는 경우, 일 실시 예에 따른 전송 장치는, 뷰포트(501)에 기초하여, 표현을 위한 최소 세트를 4 개의 에셋들로 결정할 수 있다. 전송 장치는, 4 개의 에셋들에 대응하는 데이터를 함께 렌더링 하여야 한다는 정보를 컨텐츠와 함께 수신 장치에게 전송할 수 있다.
또한, 도 5에 도시된 바와 같이, 전방향 이미지(530)를 4 개의 에셋들을 통해 전송하는 경우, 일 실시 예에 따른 전송 장치는, 뷰포트(502)에 기초하여, 표현을 위한 최소 세트를 2 개의 에셋들로 결정할 수 있다. 전송 장치는, 수신 장치에게 2 개의 에셋들에 대응하는 데이터를 함께 렌더링 하여야 한다는 정보를 컨텐츠와 함께 전송할 수 있다.
일 실시 예에 따른 전송 장치는, 표현을 위한 최소 세트에 포함되는 서브 픽쳐들이 구성하는 컴포지션 픽쳐와 관련된 서브 픽쳐 구성(composition) 정보를 컨텐츠와 함께 수신 장치에게 전송할 수 있다. 서브 픽쳐 구성(composition) 정보는, 적어도 하나의 서브 픽쳐의 커버리지, 서브 픽쳐들에 대응되는 에셋들의 에셋 ID, 및 컴포지션 픽쳐를 구성하는 서브 픽쳐들의 개수 중 적어도 하나에 대한 정보를 포함할 수 있다. 수신 장치는, 전송 장치로부터 수신된 정보에 기초하여, 표현을 위한 최소 에셋 세트에 포함되는 서브 픽쳐들을 수신하고 함께 렌더링할 수 있다. 또는, 수신 장치는, 전송 장치로부터 수신된 정보에 기초하여, 서브 픽쳐 세트에 의해 구성되는 전체 컴포지션 픽쳐를 렌더링할 수 있다. 서브 픽쳐 에셋 정보 메시지에 의해 에셋들의 커버리지 정보의 합이 제공될 수 있다.
도 6은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 통신하는 시스템의 신호 흐름도를 도시한다.
단계 S610에서 본 개시의 일 실시 예에 따른 전송 장치는, 수신 장치에게 MPT(MMT(MPEG media transport) package table) 및 서브 픽쳐 에셋 정보 메시지를 전송할 수 있다. MPT 메세지는, MMT 패키지 테이블의 전체 또는 서브셋을 운반할 수 있다. MPT는 VR 에셋 기술자를 포함할 수 있다.
ISO/IEC 23008-1에 따라 특정되는 MMT 기술은, 애플리케이션-특정 정보(application-specific information)의 전달을 허용하는 애플리케이션-특정 시그널링 메시지(application-specific signaling message)를 정의한다. ISO/IEC 23090-2에 따라 특정되는 OMAF(Omnidirectional media format, 전방향 미디어 포맷) 컨텐츠는 MMT를 통해 전송될 수 있다. 에셋 기술자는, OMAF 형식의 컨텐츠를 운반하는 모든 에셋에 존재할 수 있다. 특히, 복수의 에셋 서브 픽쳐들을 전송하기 위하여, MMT 시그널링에 있어서 VR 정보 에셋 기술자(VR Information Asset Descriptor)가 이용될 수 있다. 예를 들어, OMAF 표준에 따른 형식을 갖는 VR 컨텐츠를 스트리밍 하기 위해서, VR 특정 에셋 기술자(VR specific Asset descriptor), 스테레오 비디오 에셋 기술자(stereo video Asset descriptor), 및 VR 애플리케이션 특정 시그널링 메시지(VR application-specific signalling message) 등이 정의될 수 있다.
VR 정보 에셋 기술자는, VR 컨텐츠를 생성하기 위해 어떠한 프로젝션 타입이 이용되었는지, VR 컨텐츠가 어떻게 리전-와이즈 패킹이 되었는 지, 및 서브 픽쳐 또는 컴포지션 픽쳐가 구(sphere) 상에 어떠한 영역을 커버하는지 등에 대해서 기술할 수 있다.
또한 본 개시의 일 실시 예에 따른 VR 정보 에셋 기술자는, 컴포지션 픽쳐를 생성하기 위해 필요한 서브 픽쳐들을 포함하는 복수의 에셋들에 대해서, 수신 엔티티 및 VR 애플리케이션에게 알리기 위한 정보를 포함할 수 있다. 즉, VR 정보 에셋 기술자는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다.
본 개시의 일 실시 예에 따른 VR 정보 에셋 기술자는, 서브 픽쳐 플래그를 포함 할 수 있다. 서브 픽쳐 플래그는, 해당 에셋 내의 컨텐츠가 서브 픽쳐인지 여부를 나타낼 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, VR 정보 에셋 기술자를 통해 서브 플래그 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다.
예를 들어, 서브 픽쳐 플래그가 1인 경우, VR 정보 에셋 기술자에 대응하는 에셋 내의 컨텐츠가 서브 픽쳐임을 나타내고, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들로부터 독립적으로 렌더링 되지 않아야 함을 나타낼 수 있다.
또한, 전송 장치는, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보(Sub-Picture Asset Information)를 전송할 수 있다. 서브 픽쳐 에셋 정보는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다. 서브 픽쳐 에셋 정보는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보, 및 각 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 수신 장치가 에셋 내의 컨텐츠를 서브 픽쳐로서 식별하기 위하여, VR 정보 에셋 기술자 내에 서브 픽쳐 플래그가 1로 설정될 수 있다. 이 경우, 수신 장치는, 서브 픽쳐 플래그를 식별한 뒤, 컴포지션 픽쳐를 구성하고 렌더링하기 위한 관련 에셋들에 대한 정보를 포함하는 관련 메시지를 참고할 수 있다. 관련 메시지는 예를 들어, VR 서브 픽쳐 에셋 정보 메시지를 포함할 수 있다.
단계 S620에서 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 전송 장치는, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다. 예를 들어, 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여 결정된 에셋들을 통해 컨텐츠를 전송할 것을 전송 장치에게 요청하고, 요청에 응답하여 전송 장치로부터 컨텐츠를 수신할 수 있다.
본 개시의 일 실시 예에 따른 수신 장치는, 각각의 서브 픽쳐를 단독으로 렌더링 하지 않고, 서브 픽쳐 에셋 정보에 기초하여 결정된 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 함께 렌더링할 수 있다.
단계 S630에서 본 개시의 일 실시 예에 따른 전송 장치는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 피드백 정보는, 뷰포트, 대역폭, 버퍼, 및 딜레이 중 적어도 하나에 관한 정보를 포함할 수 있다. 뷰포트 정보는, 수신 장치에서 디스플레이 하기 위한 영역인 뷰포트를 특정하는 정보일 수 있다.
단계 S640에서 본 개시의 일 실시 예에 따른 전송 장치는, 피드백 정보에 기초하여 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다. 예를 들어, 전송 장치는, 피드백 정보로서 수신된 뷰포트 정보에 기초하여, 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들을 결정할 수 있다. 전송 장치는 결정된 에셋들에 관한 정보를 수신 장치에게 전송할 수 있다.
단계 S650에서 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 전송 장치는, 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다.
이하에서는 도 7 내지 도 10을 참조하여, 본 개시의 일 실시 예에 따른 전송 장치 및 수신 장치 각각의 동작을 보다 구체적으로 살펴보도록 한다.
도 7은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠를 전송하는 방법의 흐름도를 도시한다. 본 개시의 일 실시 예에 따른 전송 장치는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터를 전송할 수 있다.
단계 S710에서 본 개시의 일 실시 예에 따른 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별할 수 있다. 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 MPU들의 논리적 그룹을 의미할 수 있다.
단계 S720에서 본 개시의 일 실시 예에 따른 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다.
서브 픽쳐란, 원본 컨텐츠의 공간적 서브셋(spatial subset)을 나타내는 픽쳐를 의미할 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 컨텐츠를 수신하는 수신 장치는, 해당 서브 픽쳐와 함게 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들에 대한 정보를 참조하여야만 컨텐츠를 렌더링 할 수 있다. 반면에, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 수신 장치는 해당 에셋을 통해 전송되는 컨텐츠를 독립적으로 렌더링할 수 있다.
서브 픽쳐 에셋 정보는, 픽쳐에 의해 커버되는 커버리지 정보, 에셋의 식별자, 및 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나에 대한 정보를 포함할 수 있다. 커버리지 정보는, 에셋을 통해 전송되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함할 수 있다.
단계 S730에서 본 개시의 일 실시 예에 따른 전송 장치는, 서브 픽쳐 에셋 정보 및 컨텐츠를 전송할 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, 서브 픽쳐 에셋 정보를 전송하기에 앞서서, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함하는 에셋 기술자를 전송할 수 있다.
예를 들어, 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 전송할 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, sub_picture flag는 1로 설정될 수 있다. 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, sub_picture flag는 0으로 설정될 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 예를 들어, 전송 장치는, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다. 또는, 전송 장치는, 타겟 에셋을 통해 전체 컴포지션 픽쳐를 전송할 수 있다.
한편, 일 실시 예에 따른 전송 장치는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른 전송 장치는, 피드백 정보에 기초하여 서브 픽쳐 에셋 정보를 업데이트 하고, 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다.
이하에서는 도 8을 참조하여, 일 실시 예에 따른 전송 장치가 비디오 컨텐츠와 관련된 정보를 생성하는 방법을 구체적으로 설명한다.
단계 S810에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐(stitched picture)를 획득할 수 있다. 일 실시 예에 따른 전송 장치는, 여러 방향에서 촬영된 다수의 카메라들로부터 획득된 이미지들을 스티칭(stitching) 하여 생성된, 스티치된 픽쳐를 획득할 수 있다.
단계 S820에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐를 표현하기 위하여 다수 개의 서브 픽쳐가 필요한 지 여부를 판단할 수 있다.
스티치된 픽쳐가 다수개의 서브 픽쳐들로 구성되는 경우, 단계 S820에서 일 실시 예에 따른 전송 장치는 에셋 기술자(Asset Descriptor)를 업데이트할 수 있다. 예를 들어, 전송 장치는, 에셋 기술자에 포함되는 sub-picture flag를 1로 업데이트할 수 있다. 일 실시 예에 따른 전송 장치는, 에셋 기술자를 통해 sub-picture flag 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다.
단계 S850에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐가 다수개의 서브 픽쳐들로 구성되는 경우, 서브 픽쳐 에셋 정보 메시지를 생성할 수 있다.
일 실시 예에 따른 전송 장치는, 컴포지션 픽쳐를 구성하는 서브 픽쳐들이 함께 렌더링될 수 있도록, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다. 예를 들어, 서브 픽쳐 에셋 정보 메시지는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보(예를 들어, 컴포지션 픽쳐를 구성하는 에셋들의 개수 및/또는 해당 에셋들의 식별자 등), 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
스티치된 픽쳐 전체가 단일한 픽쳐로 전송되는 경우, 단계 S840에서 일 실시 예에 따른 전송 장치는 에셋 기술자에 포함되는 sub-picture flag를 0으로 업데이트할 수 있다. 일 실시 예에 따른 전송 장치는, 에셋 기술자를 통해 sub-picture flag 0을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐임을 수신 장치에게 알릴 수 있다.
도 9는 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다. 본 개시의 일 실시 예에 따른 전송 장치는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터를 수신할 수 있다.
단계 S910에서 일 실시 예에 따라 수신 장치는, 에셋 기술자를 수신할 수 있다. 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 MPU들의 논리적 그룹을 의미할 수 있다.
수신 장치는, 적어도 하나의 에셋을 통해 컨텐츠를 수신하고, 각 에셋을 통해 수신되는 컨텐츠에 대한 정보를 에셋 기술자를 통해 전달받을 수 있다. 본 개시의 일 실시 예에 따른 에셋 기술자는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함할 수 있다.
단계 S920에서 일 실시 예에 따라 수신 장치는, 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단할 수 있다.
예를 들어, 수신 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 수신할 수 있다. 일 실시 예에 따라 수신 장치는, sub_picture flag가 1이면, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단할 수 있다.
단계 S930에서 일 실시 예에 따라 수신 장치는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별할 수 있다.
서브 픽쳐 에셋 정보는, 픽쳐에 의해 커버되는 커버리지 정보, 에셋의 식별자, 및 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나를 포함할 수 있다. 커버리지 정보는, 에셋을 통해 수신되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함할 수 있다.
단계 S940에서 일 실시 예에 따라 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여, 컨텐츠를 수신하고 렌더링 할 수 있다.
예를 들어, 일 실시 예에 따라 수신 장치는, 서브 픽쳐 및 다른 서브 픽쳐에 의해 구성되는 컴포지션 픽쳐에 대응하는 컨텐츠를 수신하고 렌더링할 수 있다. 반면에, 일 실시 예에 따라 수신 장치는, 에셋을 통해 수신되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 에셋을 통해 수신되는 컨텐츠를 단독으로 렌더링할 수 있다.
한편, 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치에게 피드백 정보를 전송할 수 있다. 수신 장치는, 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다.
이하에서는 도 10을 참조하여, 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법을 구체적으로 설명한다.
단계 S1010에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는지 여부를 판단할 수 있다. 수신 장치는, 전송 장치로부터 수신되는 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부(즉, 컨텐츠가 다수개의 에셋을 통해 수신되는 지 여부)를 판단할 수 있다.
예를 들어, 수신 장치는, sub_picture flag가 1이면, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 컨텐츠가 하나의 에셋을 통해 수신되는 것으로 판단할 수 있다.
단계 S1020에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단 되는 경우, 서브 픽쳐를 디코딩하고 버퍼링할 수 있다.
단계 S1040에서 일 실시 예에 따른 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여, 렌더링을 위한 최소 에셋 세트에 대응하는 서브 픽쳐들을 획득할 수 있다. 예를 들어, 서브 픽쳐 에셋 정보 메시지는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보(예를 들어, 컴포지션 픽쳐를 구성하는 에셋들의 개수 및/또는 해당 에셋들의 식별자 등), 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
단계 S1030에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 하나의 에셋으로 구성되는 것으로 판단 되는 경우, 해당 컨텐츠를 디코딩할 수 있다.
단계 S1050에서 일 실시 예에 따른 수신 장치는, 최소 에셋 세트에 대응하는 픽쳐를 렌더링할 수 있다.
예를 들어, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단 되는 경우, 수신 장치는, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 함께 렌더링할 수 있다. 반면에, 수신되는 컨텐츠가 하나의 에셋으로 구성되는 것으로 판단 되는 경우, 수신 장치는, 해당 에셋을 통해 수신되는 픽쳐를 단독으로 렌더링할 수 있다.
일 실시 예에 따르면, 서브 픽쳐가 뷰포트보다 클 때, 서브 픽쳐 플래그는 0 또는 1일 수 있다. 메시지 내에 특정되는 최소 에셋 세트를 구성하는 에셋들의 개수는 메세지에 따라 달라질 수 있다. 예를 들어, 최소 에셋 세트는 180' 또는 360'로 달라질 수 있다.
메시지 내에 특정되는 최소 에셋 세트를 구성하는 에셋들의 개수는, 대역폭, 컨텐츠 등에 따라 서버에 의해 업데이트 될 수 있다. 따라서, 특정된 서브 픽쳐 세트 내의 모든 에셋들(즉, 메시지 내에 나열된 모든 에셋들)이 수신되지 않으면, 클라이언트(또는 재생 장치)의 재생이 제한될 수 있다. 에셋마다 커버리지 정보가 특정되므로, 에셋들의 세트를 나열함으로써, 전체 서브 픽쳐 세트의 커버리지 정보를 알 수 있다.
반면에 일 실시 예에 따르면, 서브 픽쳐가 뷰포트보다 작을 때, 서브 픽쳐 플래그는 항상 1이다.
서브 픽쳐 플래그가 1일 때는, 서브 픽쳐 에셋 정보 메시지가 디코딩 및 렌더링을 위한 가이드를 제공할 수 있다. 수신 장치의 사용자가 0~180도에 해당하는 3D 영상을 보다가 왼쪽으로 움직이는 경우, 수신 장치는, 300~120도의 에셋들을 수신하여 디코딩 및 렌더링을 수행할 수 있다. 서브 픽쳐가 뷰포트보다 작은 경우, 최소 에셋 세트는 더 이상 서브 픽쳐가 아니며, 서브 픽쳐 에셋 정보 메시지는 에셋들의 필요한 커버리지 정보를 제공할 수 있다.
도 11은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 에셋 기술자(Asset Descriptor)의 신택스를 도시한다.
도 11에 도시된 바와 같이, 일 실시 예에 따른 에셋 기술자는 sub_picture flag를 포함할 수 있다. sub_picture flag는, 에셋을 통해 전송되는 컨텐트가 서브 픽쳐인지 여부를 나타낼 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐이고, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들과 독립적으로 렌더링되어서는 안되는 경우, sub_picture flag는 1로 설정될 수 있다. 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, sub_picture flag는 0으로 설정될 수 있다.
도 12는 본 개시의 일 실시 예에 따라 가상 현실 컨텐츠를 전송하기 위해 이용되는 가상 현실 어플리케이션 메세지 타입들이 나열된 표를 도시한다.
OMAF VR 형식 컨텐츠에 대한 새로운 에셋 기술자는, VR 정보 에셋 기술자(VR Information Asset descriptor)라는 이름으로 정의될 수 있다. VR 정보 에셋 기술자는, OMAF 형식의 컨텐츠를 운반하는 모든 에셋에 존재할 수 있다.
특정 VR 시그널링 메시지(specified VR signaling message)에 있어서, 다음과 같은 애플리케이션 메시지 유형 세트가 정의될 수 있다.
VRViewDependentSupportQuery : 클라이언트는 이 명령을 사용하여 서버가 뷰 종속 스트리밍을 지원하는지 확인한다.(The client uses this command to discover if the server supports view-dependent streaming.)
VRViewDependentSupportResponse : 서버는 뷰 종속 스트리밍에 대한 지원 기능을 표시하여 응답한다.(The server replies with an indication of its support capability for view-dependent streaming.)
VRViewportChangeFeedback : 수신 엔티티는 현재 뷰포트의 표시를 송신 엔티티로 보낸다.(The receiving entity sends an indication of the current viewport to the sending entity.)
VRViewDependentAssetsInformation : 요청 된 뷰포트와 일치하는 OMAF 에셋 세트를 결정하면 발신 엔티티는 이 메시지를 전송하여 수신 엔티티로 스트리밍 될 새로운 OMAF 에셋에 대해 클라이언트에게 알려준다.(Upon determining the set of OMAF Assets that match the requested viewport, the sending entity sends this message to inform the client about the new OMAF Assets that will be streamed to the receiving entity.)
VRViewportChangeFeedback 및 VRViewDependentAssetsInformation 메시지는 OMAF 에셋의 서버-기반 뷰-종속 스트리밍을 지원하기 위해 함께 사용된다. 렌더러가 표시된 관심 영역을 따르거나 OMAF의 권장 뷰포트 시간 메타 데이터 트랙을 따르는 안내 렌더링을 지원하기 위해 VRROIGuide 애플리케이션 메시지 유형이 정의된다.(To support guided rendering, where the renderer follows an indicated Region of Interest, or to follow the recommended viewport timed metadata track of OMAF, the VRROIGuide application message type is defined.)
도 13은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 서브 픽쳐 에셋 정보(Sub-picture Asset Information)의 신택스를 도시한다.
본 개시의 일 실시 예에 따른 전송 장치는, 도 11에 도시된 VR 정보 에셋 기술자를 통해 서브 플래그 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다. 전송 장치는, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 전송할 수 있다.
서브 픽쳐 에셋 정보는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다. 서브 픽쳐 에셋 정보는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보, 및 각 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
도 13에서 message_id는 VRSubPictureAsset Information 메시지의 식별자를 나타낸다.
version은 VRSubPictureAsset Information 메시지의 버전을 나타낸다.
length는 VRSubPictureAsset Information 메시지의 길이를 바이트 단위로 나타내며, 다음 필드의 시작부터 VRViewDependentSupportQuery 메시지의 마지막 바이트까지 계산된다. 이 필드의 값은 0과 같지 않아야 한다.
application_identifier는 이 메시지의 내용을 소비할 응용 프로그램을 고유하게 식별하는 urn으로서 응용 프로그램 식별자를 나타낸다.
app_message_type은 도 12에서 제공된 응용 프로그램 별 메시지 유형을 정의한다.
number_of_assets는 이 기술자에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수를 특정한다.
asset_id_length는 서브 픽쳐 비디오 에셋 식별자의 길이를 바이트 단위로 특정한다.
asset_id_byte는 서브 픽쳐 비디오 에셋 식별자의 바이트를 포함한다.
ContentCoverageInfoStruct()는, 도 13의 신택스에서 number_of_assets 루프 바깥쪽에 있는 경우, 컴포지션 픽쳐에 의해 커버되는 구(sphere) 영역을 나타낼 수 있다. 또는, ContentCoverageInfoStruct()는, 도 13의 신택스에서 number_of_assets 루프 안쪽에 있는 경우, 서브 픽쳐 에셋에 의해 커버되는 구(sphere) 영역을 나타낼 수 있다.
이하에서는, 일 실시 예에 따른 전송 장치(1400)의 구성을 설명한다. 이하에서 서술하는 전송 장치(1400)의 각 구성은, 도 7 및 도 8을 참조하여 상술한 방법의 각 단계를 수행할 수 있다. 중복되는 설명은 생략한다.
도 14는 일 실시예에 따른 전송 장치(1400)의 블록도이다.
도 14에 도시된 바와 같이, 일 실시예에 따른 전송 장치(1400)는, 통신 인터페이스(1410), 통신 인터페이스(1410)와 연결된 적어도 하나의 프로세서(1420), 및 메모리(1430)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전송 장치(1400)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 전송 장치(1400)는 구현될 수 있다. 예를 들어, 본 개시의 일 실 시예에 따른 전송 장치는, 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다.
본 개시의 일 실시 예에 따른 전송 장치(1400)는, 메모리(1430)에 저장된 하나 이상의 명령어들을 실행함으로써 일련의 3D 이미지들을 포함하는 비디오 컨텐츠를 전송하는 프로세서(1420)를 포함할 수 있다.
일 실시 예에 따른 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별할 수 있다. 예를 들어, 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐인 경우, 에셋 기술자에 포함되는 sub-picture flag를 1로 업데이트할 수 있다. 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐가 아닌 경우, 에셋 기술자에 포함되는 sub-picture flag를 0으로 업데이트할 수 있다.
프로세서(1420)는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다. 일 실시 예에 따른 프로세서(1420)는, 컴포지션 픽쳐를 구성하는 서브 픽쳐들이 함께 렌더링될 수 있도록, 서브 픽쳐 에셋 정보를 생성하고 전송할 수 있다.
프로세서(1420)는, 서브 픽쳐 에셋 정보 및 컨텐츠를 전송하도록 통신 인터페이스(1410)를 제어할 수 있다.
한편, 일 실시 예에 따른 전송 장치(1400)는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른 전송 장치(1400)는, 피드백 정보에 기초하여 서브 픽쳐 에셋 정보를 업데이트 하고, 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치(1400)로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치(1400)는, 요청에 응답하여 타겟 에셋을 전송할 수 있다.
이하에서는, 일 실시 예에 따른 수신 장치(1500)의 구성을 설명한다. 이하에서 서술하는 수신 장치(1500)의 각 구성은, 도 9 및 도 10을 참조하여 상술한 방법의 각 단계를 수행할 수 있다. 중복되는 설명은 생략한다.
도 15는 일 실시예에 따른 수신 장치(1500)의 블록도이다.
도 15에 도시된 바와 같이, 일 실시예에 따른 수신 장치(1500)는, 통신 인터페이스(1510), 통신 인터페이스(1510)와 연결된 적어도 하나의 프로세서(1520), 및 메모리(1530)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 수신 장치(1500)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 수신 장치(1500)는 구현될 수 있다. 본 개시의 일 실 시예에 따른 수신 장치는, 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 포함할 수 있다.
본 개시의 일 실시 예에 따른 수신 장치(1500)는, 메모리(1530)에 저장된 하나 이상의 명령어들을 실행함으로써 일련의 3D 이미지들을 포함하는 비디오 컨텐츠를 전송하는 프로세서(1520)를 포함할 수 있다.
일 실시 예에 따른 프로세서(1520)는, 통신 인터페이스(1510)를 통해 수신된 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단할 수 있다.
예를 들어, 수신 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 수신할 수 있다. 일 실시 예에 따라 수신 장치는, sub_picture flag가 1이면, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단할 수 있다.
프로세서(1520)는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별할 수 있다. 프로세서(1520)는, 서브 픽쳐 에셋 정보에 기초하여, 컨텐츠를 수신하고 렌더링할 수 있다.
예를 들어, 일 실시 예에 따라 수신 장치(1500)는, 서브 픽쳐 및 다른 서브 픽쳐를 포함하는 컴포지션 픽쳐에 대응하는 컨텐츠를 수신하고 렌더링할 수 있다. 반면에, 일 실시 예에 따라 수신 장치(1500)는, 에셋을 통해 수신되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 에셋을 통해 수신되는 컨텐츠를 단독으로 렌더링할 수 있다.
한편, 본 개시의 일 실시 예에 따른 수신 장치(1500)는, 전송 장치(1400)에게 피드백 정보를 전송할 수 있다. 수신 장치(1500)는, 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 전송 장치(1400)로부터 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 수신 장치(1500)는, 전송 장치(1400)로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치(1400)는, 요청에 응답하여 타겟 에셋을 전송할 수 있다.
한편, 상술한 실시예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

Claims (20)

  1. 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법에 있어서,
    복수의 에셋들을 생성하되, 상기 복수의 에셋들은 각각 OMAF(Omnidirectional Media Format) 형식의 비디오 컨텐츠의 공간적 서브셋인 서브 픽쳐를 포함하는 것인, 단계;
    제1 에셋에 대한 서브 픽쳐 에셋 정보를 획득하되, 상기 서브 픽쳐 에셋 정보는 상기 제1 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 제2 서브 픽쳐를 포함하는 적어도 하나의 제2 에셋에 대한 정보를 포함하는, 단계; 및
    에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 에셋 기술자 및 상기 서브 픽쳐 에셋 정보를 전송하는 단계; 및
    상기 제1 에셋 및 상기 적어도 하나의 제2 에셋을 전송하는 단계를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹인, 방법.
  3. 제1 항에 있어서,
    상기 비디오 컨텐츠는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터인, 방법.
  4. 제1 항에 있어서,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 상기 비디오 컨텐츠의 공간적 서브셋인 경우, 상기 컨텐츠를 수신하는 수신 장치는 상기 적어도 하나의 제2 에셋에 대한 정보를 참조하여 상기 컨텐츠를 렌더링하고,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 전체 컴포지션 픽쳐인 경우, 상기 수신 장치는 상기 컨텐츠를 독립적으로 렌더링하는, 방법.
  5. 삭제
  6. 제1 항에 있어서,
    상기 에셋 기술자는 에셋을 통해 전송되는 컨텐츠가 상기 비디오 컨텐츠의 공간적 서브셋인지 여부를 나타내는 sub_picture flag를 포함하고,
    상기 제1 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우 상기 sub_picture flag는 1로 설정되고, 상기 제1 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우 sub_picture flag는 0으로 설정되는, 방법.
  7. 제1 항에 있어서,
    상기 제1 에셋에 대한 서브 픽쳐 에셋 정보는,
    픽쳐에 의해 커버되는 커버리지 정보, 적어도 하나의 상기 제2 에셋의 식별자, 및 상기 제1 에셋에 대한 서브 픽쳐 에셋 정보에 의해 기술되는 제2 에셋의 개수 중 적어도 하나를 포함하는, 방법.
  8. 제7 항에 있어서,
    상기 커버리지 정보는, 상기 제2 에셋을 통해 전송되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 상기 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함하는, 방법.
  9. 제1 항에 있어서,
    피드백 정보를 수신하는 단계;
    상기 피드백 정보에 기초하여 상기 서브 픽쳐 에셋 정보를 업데이트 하는 단계; 및
    상기 업데이트된 서브 픽쳐 에셋 정보를 전송하는 단계를 더 포함하고,
    상기 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함하는, 방법.
  10. 비디오 컨텐츠를 복수의 에셋들을 통해 전송하기 위한 서버에 있어서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    복수의 에셋들을 생성하되, 상기 복수의 에셋들은 각각 OMAF(Omnidirectional Media Format) 형식의 비디오 컨텐츠의 공간적 서브셋인 서브 픽쳐를 포함하고, 제1 에셋에 대한 서브 픽쳐 에셋 정보를 획득하되, 상기 서브 픽쳐 에셋 정보는 상기 제1 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 제2 서브 픽쳐를 포함하는 적어도 하나의 제2 에셋에 대한 정보를 포함하고, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 에셋 기술자 및 상기 서브 픽쳐 에셋 정보를 전송하고, 상기 제1 에셋 및 상기 적어도 하나의 제2 에셋을 전송하도록 상기 통신 인터페이스를 제어하는, 서버.
  11. 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는 방법에 있어서,
    에셋을 통해 수신되는 컨텐츠가 OMAF(Omnidirectional Media Format) 형식의 비디오 컨텐츠의 공간적 서브셋인 서브 픽쳐인지 여부를 나타내는 정보를 포함하는 에셋 기술자를 수신하는 단계;
    제1 에셋을 수신하는 단계;
    상기 에셋 기술자에 기초하여, 상기 제1 에셋을 통해 수신된 컨텐츠가 서브 픽쳐인지 여부를 판단하되, 상기 서브 픽쳐는 상기 비디오 컨텐츠에 관련된 컴포지션 픽쳐를 구성하는 것인, 단계;
    상기 제1 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐를 포함하는 적어도 하나의 제2 에셋에 대한 정보를 포함하는, 제1 에셋에 대한 서브 픽쳐 에셋 정보를 식별하는 단계;
    상기 적어도 하나의 제2 에셋을 수신하는 단계; 및
    상기 서브 픽쳐 에셋 정보, 상기 제1 에셋을 통해 수신된 컨텐츠, 및 상기 적어도 하나의 제2 에셋을 통해 수신된 컨텐츠에 기초하여, 상기 컴포지션 픽쳐를 렌더링 하는 단계를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹인, 방법.
  13. 제11 항에 있어서,
    상기 비디오 컨텐츠는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터인, 방법.
  14. 삭제
  15. 제11 항에 있어서,
    상기 에셋 기술자는 에셋을 통해 전송되는 컨텐츠가 상기 비디오 컨텐츠의 공간적 서브셋인지 여부를 나타내는 sub_picture flag를 포함하고,
    상기 제1 에셋을 통해 수신된 상기 컨텐츠가 서브 픽쳐인지 여부를 판단하는 단계는,
    상기 sub_picture flag가 1이면, 상기 제1 에셋을 통해 수신된 상기 컨텐츠가 서브 픽쳐인 것으로 판단하는 단계; 및
    상기 sub_picture flag가 0이면, 상기 제1 에셋을 통해 수신된 상기 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단하는 단계를 포함하는, 방법.
  16. 제11 항에 있어서,
    상기 컴포지션 픽쳐를 렌더링 하는 단계는,
    상기 제1 에셋을 통해 수신된 상기 컨텐츠가 전체 컴포지션 픽쳐인 경우, 상기 제1 에셋을 통해 수신된 컨텐츠를 단독으로 렌더링하는 단계를 더 포함하는, 방법.
  17. 제11 항에 있어서,
    상기 제1 에셋에 대한 서브 픽쳐 에셋 정보는,
    픽쳐에 의해 커버되는 커버리지 정보, 적어도 하나의 상기 제2 에셋의 식별자, 및 상기 제1 에셋에 대한 서브 픽쳐 에셋 정보에 의해 기술되는 제2 에셋의 개수 중 적어도 하나를 포함하는, 방법.
  18. 제17 항에 있어서,
    상기 커버리지 정보는, 상기 제2 에셋을 통해 수신되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 상기 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함하는, 방법.
  19. 제11 항에 있어서,
    피드백 정보를 전송하는 단계; 및
    상기 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 수신하는 단계를 더 포함하고,
    상기 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함하는, 방법.
  20. 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는, 통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    에셋을 통해 수신되는 컨텐츠가 OMAF(Omnidirectional Media Format) 형식의 비디오 컨텐츠의 공간적 서브셋인 서브 픽쳐인지 여부를 나타내는 정보를 포함하는 에셋 기술자를 수신하고, 제1 에셋을 수신하고, 상기 에셋 기술자에 기초하여, 상기 제1 에셋을 통해 수신된 컨텐츠가 서브 픽쳐인지 여부를 판단하되, 상기 서브 픽쳐는 상기 비디오 컨텐츠에 관련된 컴포지션 픽쳐를 구성하고, 상기 제1 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐를 포함하는 적어도 하나의 제2 에셋에 대한 정보를 포함하는, 제1 에셋에 대한 서브 픽쳐 에셋 정보를 식별하고, 상기 적어도 하나의 제2 에셋을 수신하고, 상기 서브 픽쳐 에셋 정보, 상기 제1 에셋을 통해 수신된 컨텐츠, 및 상기 적어도 하나의 제2 에셋을 통해 수신된 컨텐츠에 기초하여, 상기 컴포지션 픽쳐를 렌더링하는, 장치.
KR1020217001491A 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 KR102656614B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862739509P 2018-10-01 2018-10-01
US62/739,509 2018-10-01
PCT/KR2019/012747 WO2020071709A1 (ko) 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210053875A KR20210053875A (ko) 2021-05-12
KR102656614B1 true KR102656614B1 (ko) 2024-04-12

Family

ID=70055687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001491A KR102656614B1 (ko) 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11503382B2 (ko)
EP (1) EP3846465A4 (ko)
KR (1) KR102656614B1 (ko)
CN (1) CN112805998A (ko)
WO (1) WO2020071709A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114982231A (zh) * 2019-11-27 2022-08-30 Lg电子株式会社 图像解码方法及用于其的装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102121479B1 (ko) * 2011-10-13 2020-06-11 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
KR20130058647A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
KR102045073B1 (ko) * 2013-01-24 2019-11-14 한국전자통신연구원 유연한 ｍｍｔ 애셋 송수신 방법 및 그 장치
US11069025B2 (en) * 2016-02-17 2021-07-20 Samsung Electronics Co., Ltd. Method for transmitting and receiving metadata of omnidirectional image
CN116347073A (zh) * 2016-03-30 2023-06-27 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US10999605B2 (en) * 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
WO2018174387A1 (ko) 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding

Also Published As

Publication number Publication date
EP3846465A1 (en) 2021-07-07
US20210360332A1 (en) 2021-11-18
EP3846465A4 (en) 2021-08-11
US11503382B2 (en) 2022-11-15
CN112805998A (zh) 2021-05-14
KR20210053875A (ko) 2021-05-12
WO2020071709A1 (ko) 2020-04-09

Similar Documents

Publication Publication Date Title
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11272159B2 (en) Method and device for transmitting stereo media content
US11765407B2 (en) Method, device, and computer program for transmitting media content
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
US20210176509A1 (en) Method, device, and computer program for transmitting media content
KR102261559B1 (ko) 정보 처리 방법 및 장치
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
KR102656614B1 (ko) 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
KR102243666B1 (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
KR20200111089A (ko) 360 비디오 환경에서 포인트 클라우드 콘텐트 액세스 및 전달을 위한 방법 및 장치
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
KR20220160646A (ko) 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right