KR102305633B1 - 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 - Google Patents

퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 Download PDF

Info

Publication number
KR102305633B1
KR102305633B1 KR1020197027175A KR20197027175A KR102305633B1 KR 102305633 B1 KR102305633 B1 KR 102305633B1 KR 1020197027175 A KR1020197027175 A KR 1020197027175A KR 20197027175 A KR20197027175 A KR 20197027175A KR 102305633 B1 KR102305633 B1 KR 102305633B1
Authority
KR
South Korea
Prior art keywords
region
quality
field
indication
type
Prior art date
Application number
KR1020197027175A
Other languages
English (en)
Other versions
KR20190140903A (ko
Inventor
오현묵
오세진
이장원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20190140903A publication Critical patent/KR20190140903A/ko
Application granted granted Critical
Publication of KR102305633B1 publication Critical patent/KR102305633B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명에 따른 360도 비디오 전송 장치에 의하여 수행되는 360도 비디오 데이터 처리 방법은 적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득하는 단계, 상기 360도 비디오 데이터를 처리하여 현재 픽처를 획득하는 단계, 상기 360도 비디오 데이터에 대한 메타데이터를 생성하는 단계, 상기 현재 픽처를 인코딩하는 단계, 및 상기 인코딩된 현재 픽처 및 상기 메타데이터에 대하여 저장 또는 전송을 위한 처리를 수행하는 단계를 포함하되, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함하는 것을 특징으로 한다.

Description

퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
본 발명은 360도 비디오에 관한 것으로, 보다 상세하게는 퀄리티 정보를 포함한 360도 비디오를 송수신하는 방법 및 장치에 관한 것이다.
VR(Virtual Reality) 시스템은 사용자에게 전자적으로 투영된 환경 내에 있는 것 같은 감각을 제공한다. VR 을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 시스템은 사용자가 인터랙티브하게 VR 컨텐츠들을 소비할 수 있도록 할 수 있다.
본 발명의 기술적 과제는 VR 시스템을 제공하기 위한 VR 비디오 데이터 전송의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 VR 비디오 데이터 및 VR 비디오 데이터에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 VR 비디오 데이터 및 VR 비디오 데이터의 리전별 퀄리티 표시 정보에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 VR 비디오 데이터 및 VR 비디오 데이터가 맵핑된 리전의 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하고, 후처리 과정을 수행하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면, 360도 비디오 전송 장치에 의하여 수행되는 360도 비디오 처리 방법이 제공된다. 상기 방법은 적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득하는 단계, 상기 360도 비디오 데이터를 처리하여 현재 픽처를 획득하는 단계, 상기 360도 비디오 데이터에 대한 메타데이터를 생성하는 단계, 상기 현재 픽처를 인코딩하는 단계, 및 상기 인코딩된 현재 픽처 및 상기 메타데이터에 대하여 저장 또는 전송을 위한 처리를 수행하는 단계를 포함하되, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 360도 비디오 데이터를 처리하는 360도 비디오 전송 장치가 제공된다. 상기 360도 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득하는 데이터 입력부, 상기 360도 비디오 데이터를 처리하여 현재 픽처를 획득하는 프로젝션 처리부, 상기 360도 비디오 데이터에 대한 메타데이터를 생성하는 메타데이터 처리부, 상기 현재 픽처를 인코딩하는 데이터 인코더, 및 상기 인코딩된 현재 픽처 및 상기 메타데이터에 대하여 저장 또는 전송을 위한 처리를 수행하는 전송 처리부를 포함하되, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 360도 비디오 수신 장치에 의하여 수행되는 360도 비디오 처리 방법이 제공된다. 상기 방법은 360도 비디오 데이터에 관한 현재 픽처에 대한 정보 및 상기 360도 비디오 데이터에 대한 메타데이터를 포함하는 신호를 수신하는 단계, 상기 신호를 처리하여 상기 현재 픽처에 대한 정보 및 상기 메타데이터를 획득하는 단계, 및 상기 메타데이터 및 상기 현재 픽처에 대한 정보를 기반으로 상기 현재 픽처를 디코딩하고, 상기 디코딩된 현재 픽처를 처리하여 3D 공간으로 렌더링하는 단계를 포함하되, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 360도 비디오 데이터를 처리하는 360도 비디오 수신 장치가 제공된다. 360도 비디오 데이터에 관한 현재 픽처에 대한 정보 및 상기 360도 비디오 데이터에 대한 메타데이터를 포함하는 신호를 수신하는 수신부, 상기 신호를 처리하여 상기 현재 픽처에 대한 정보 및 상기 메타데이터를 획득하는 수신 처리부, 상기 메타데이터 및 상기 현재 픽처에 대한 정보를 기반으로 상기 패킹된 픽처를 디코딩하는 데이터 디코더, 및 상기 디코딩된 픽처를 처리하여 3D 공간으로 렌더링하는 렌더러를 포함하되, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함하는 것을 특징으로 한다.
본 발명에 따르면 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 360 컨텐츠를 효율적으로 전송할 수 있다.
본 발명에 따르면 사용자의 360 컨텐츠 소비에 있어서, 인터랙티브 경험(interactive experience)를 제공하기 위한 방안을 제안할 수 있다.
본 발명에 따르면 사용자의 360 컨텐츠 소비에 있어서, 360 컨텐츠 제작자가 의도하는 바가 정확히 반영되도록 시그널링 하는 방안을 제안할 수 있다.
본 발명에 따르면 360 컨텐츠 전달에 있어, 효율적으로 전송 캐패시티를 늘리고, 필요한 정보가 전달될 수 있도록 하는 방안을 제안할 수 있다.
본 발명에 따르면 360도 비디오 데이터의 리전별 퀄리티 표시 정보에 대한 메타데이터를 전송할 수 있고, 이를 통하여 전체적인 전송 효율을 향상시킬 수 있다.
도 1은 본 발명에 따른 360도 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 본 발명이 적용될 수 있는 360도 비디오 전송 장치의 구성을 개략적으로 설명하는 도면이다.
도 6은 본 발명이 적용될 수 있는 360도 비디오 수신 장치의 구성을 개략적으로 설명하는 도면이다.
도 7은 ERP(Equirectangular Projection)로 프로젝션된 픽처에서의 고화질 리전과 저화질 리전과의 경계 아티팩트(boundary artifact)를 방지하는 일 예를 나타낸다.
도 8a 내지 도 8c는 상기 리전별 퀄리티 표시 정보에 대한 메타데이터의 일 예를 나타낸다.
도 9는 상기 3D 공간을 나타내는 타입들의 일 예를 나타낸다.
도 10a 내지 도 10b는 리전의 리전 경계 처리에 대한 정보의 일 예를 나타낸다.
도 11a 내지 도 11e는 상기 리전별 퀄리티 표시 정보에 대한 메타데이터를 기반으로 현재 픽처 내 화질 차이를 구분하는 실시예들을 예시적으로 나타낸다.
도 12a 내지 도 12c는 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하는 실시예들을 나타낸다.
도 13은 상기 VisualSampleEntry 또는 상기 HEVCSampleEntry 등에 포함되어 전송되는 상기 RegionWiseQualityIndicationSEIBox에 대한 예시적으로 나타낸다.
도 14a 내지 도 14d는 본 발명의 일 실시예에 따른 ISOBMFF 내 RegionWiseQualityIndicationBox 를 나타낸다.
도 15a 내지 도 15i는 DASH 기반 디스크립터 형태로 기술한 리전별 퀄리티 표시 정보 관련 메타데이터들의 일 예를 나타낸다.
도 16은 본 발명에 따른 360도 비디오 전송 장치에 의한 360도 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 17은 본 발명에 따른 360도 비디오 수신 장치에 의한 360도 비디오 데이터 처리 방법을 개략적으로 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 360도 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
본 발명은 사용자에게 가상현실 (Virtual Reality, VR)을 제공하기 위하여, 360 컨텐츠를 제공하는 방안을 제안한다. VR이란 실제 또는 가상의 환경을 복제(replicates) 하기 위한 기술 내지는 그 환경을 의미할 수 있다. VR은 인공적으로 사용자에게 감각적 경험을 제공하며, 이를 통해 사용자는 전자적으로 프로젝션된 환경에 있는 것과 같은 경험을 할 수 있다.
360 컨텐츠는 VR을 구현, 제공하기 위한 컨텐츠 전반을 의미하며, 360도 비디오 및/또는 360 오디오를 포함할 수 있다. 360도 비디오는 VR을 제공하기 위해 필요한, 동시에 모든 방향(360도)으로 캡처되거나 재생되는 비디오 내지 이미지 컨텐츠를 의미할 수 있다. 이하, 360도 비디오라 함은 360도 비디오를 의미할 수 있다. 360도 비디오는 3D 모델에 따라 다양한 형태의 3D 공간 상에 나타내어지는 비디오 내지 이미지를 의미할 수 있으며, 예를 들어 360도 비디오는 구형면(Spherical surface) 상에 나타내어질 수 있다. 360 오디오 역시 VR을 제공하기 위한 오디오 컨텐츠로서, 음향 발생지가 3차원의 특정 공간상에 위치하는 것으로 인지될 수 있는, 공간적(Spatial) 오디오 컨텐츠를 의미할 수 있다. 360 컨텐츠는 생성, 처리되어 사용자들로 전송될 수 있으며, 사용자들은 360 컨텐츠를 이용하여 VR 경험을 소비할 수 있다.
본 발명은 특히 360도 비디오를 효과적으로 제공하는 방안을 제안한다. 360도 비디오를 제공하기 위하여, 먼저 하나 이상의 카메라를 통해 360도 비디오가 캡처될 수 있다. 캡처된 360도 비디오는 일련의 과정을 거쳐 전송되고, 수신측에서는 수신된 데이터를 다시 원래의 360도 비디오로 가공하여 렌더링할 수 있다. 이를 통해 360도 비디오가 사용자에게 제공될 수 있다.
구체적으로 360도 비디오 제공을 위한 전체의 과정은 캡처 과정(process), 준비 과정, 전송 과정, 프로세싱 과정, 렌더링 과정 및/또는 피드백 과정을 포함할 수 있다.
캡처 과정은 하나 이상의 카메라를 통하여 복수개의 시점 각각에 대한 이미지 또는 비디오를 캡처하는 과정을 의미할 수 있다. 캡처 과정에 의해 도시된 도 1의 (110)과 같은 이미지/비디오 데이터가 생성될 수 있다. 도시된 도 1의 (110)의 각 평면은 각 시점에 대한 이미지/비디오를 의미할 수 있다. 이 캡처된 복수개의 이미지/비디오를 로(raw) 데이터라 할 수도 있다. 캡처 과정에서 캡처와 관련된 메타데이터가 생성될 수 있다.
이 캡처를 위하여 VR 을 위한 특수한 카메라가 사용될 수 있다. 실시예에 따라 컴퓨터로 생성된 가상의 공간에 대한 360도 비디오를 제공하고자 하는 경우, 실제 카메라를 통한 캡처가 수행되지 않을 수 있다. 이 경우 단순히 관련 데이터가 생성되는 과정으로 해당 캡처 과정이 갈음될 수 있다.
준비 과정은 캡처된 이미지/비디오 및 캡처 과정에서 발생한 메타데이터를 처리하는 과정일 수 있다. 캡처된 이미지/비디오는 이 준비 과정에서, 스티칭 과정, 프로젝션 과정, 리전별 패킹 과정(Region-wise Packing) 및/또는 인코딩 과정 등을 거칠 수 있다.
먼저 각각의 이미지/비디오가 스티칭(Stitching) 과정을 거칠 수 있다. 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구형의 이미지/비디오를 만드는 과정일 수 있다.
이 후, 스티칭된 이미지/비디오는 프로젝션(Projection) 과정을 거칠 수 있다. 프로젝션 과정에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 이 2D 이미지는 문맥에 따라 2D 이미지 프레임으로 불릴 수도 있다. 2D 이미지로 프로젝션하는 것을 2D 이미지로 맵핑한다고 표현할 수도 있다. 프로젝션된 이미지/비디오 데이터는 도시된 도 1의 (120)과 같은 2D 이미지의 형태가 될 수 있다.
2D 이미지 상에 프로젝션된 비디오 데이터는 비디오 코딩 효율 등을 높이기 위하여 리전별 패킹 과정(Region-wise Packing)을 거칠 수 있다. 리전별 패킹이란, 2D 이미지 상에 프로젝션된 비디오 데이터를 리전(Region) 별로 나누어 처리를 가하는 과정을 의미할 수 있다. 여기서 리전(Region)이란, 360도 비디오 데이터가 프로젝션된 2D 이미지가 나누어진 영역을 의미할 수 있다. 이 리전들은, 실시예에 따라, 2D 이미지를 균등하게 나누어 구분되거나, 임의로 나누어져 구분될 수 있다. 또한 실시예에 따라 리전들은, 프로젝션 스킴에 따라 구분될 수도 있다. 리전별 패킹 과정은 선택적(optional) 과정으로써, 준비 과정에서 생략될 수 있다.
실시예에 따라 이 처리 과정은, 비디오 코딩 효율을 높이기 위해, 각 리전을 회전한다거나 2D 이미지 상에서 재배열하는 과정을 포함할 수 있다. 예를 들어, 리전들을 회전하여 리전들의 특정 변들이 서로 근접하여 위치되도록 함으로써, 코딩 시의 효율이 높아지게 할 수 있다.
실시예에 따라 이 처리 과정은, 360도 비디오상의 영역별로 레졸루션(resolution) 을 차등화하기 위하여, 특정 리전에 대한 레졸루션을 높인다거나, 낮추는 과정을 포함할 수 있다. 예를 들어, 360도 비디오 상에서 상대적으로 더 중요한 영역에 해당하는 리전들은, 다른 리전들보다 레졸루션을 높게할 수 있다. 2D 이미지 상에 프로젝션된 비디오 데이터 또는 리전별 패킹된 비디오 데이터는 비디오 코덱을 통한 인코딩 과정을 거칠 수 있다.
실시예에 따라 준비 과정은 부가적으로 에디팅(editing) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 프로젝션 전후의 이미지/비디오 데이터들에 대한 편집 등이 더 수행될 수 있다. 준비 과정에서도 마찬가지로, 스티칭/프로젝션/인코딩/에디팅 등에 대한 메타데이터가 생성될 수 있다. 또한 2D 이미지 상에 프로젝션된 비디오 데이터들의 초기 시점, 혹은 ROI (Region of Interest) 등에 관한 메타데이터가 생성될 수 있다.
전송 과정은 준비 과정을 거친 이미지/비디오 데이터 및 메타데이터들을 처리하여 전송하는 과정일 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 수신측에서는 다양한 경로를 통해 해당 데이터를 수신할 수 있다.
프로세싱 과정은 수신한 데이터를 디코딩하고, 프로젝션되어 있는 이미지/비디오 데이터를 3D 모델 상에 리-프로젝션(Re-projection) 하는 과정을 의미할 수 있다. 이 과정에서 2D 이미지들 상에 프로젝션되어 있는 이미지/비디오 데이터가 3D 공간 상으로 리-프로젝션될 수 있다. 이 과정을 문맥에 따라 맵핑, 프로젝션이라고 부를 수도 있다. 이 때 맵핑되는 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 예를 들어 3D 모델에는 구형(Sphere), 큐브(Cube), 실린더(Cylinder) 또는 피라미드(Pyramid) 가 있을 수 있다.
실시예에 따라 프로세싱 과정은 부가적으로 에디팅(editing) 과정, 업 스케일링(up scaling) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 리-프로젝션 전후의 이미지/비디오 데이터에 대한 편집 등이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되어 있는 경우 업 스케일링 과정에서 샘플들의 업 스케일링을 통해 그 크기를 확대할 수 있다. 필요한 경우, 다운 스케일링을 통해 사이즈를 축소하는 작업이 수행될 수도 있다.
렌더링 과정은 3D 공간상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 과정을 의미할 수 있다. 표현에 따라 리-프로젝션과 렌더링을 합쳐 3D 모델 상에 렌더링한다 라고 표현할 수도 있다. 3D 모델 상에 리-프로젝션된 (또는 3D 모델 상으로 렌더링된) 이미지/비디오는 도시된 도 1의 (130)과 같은 형태를 가질 수 있다. 도시된 도 1의 (130)은 구형(Sphere) 의 3D 모델에 리-프로젝션된 경우이다. 사용자는 VR 디스플레이 등을 통하여 렌더링된 이미지/비디오의 일부 영역을 볼 수 있다. 이 때 사용자가 보게되는 영역은 도시된 도 1의 (140)과 같은 형태일 수 있다.
피드백 과정은 디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하는 과정을 의미할 수 있다. 피드백 과정을 통해 360도 비디오 소비에 있어 인터랙티비티(Interactivity) 가 제공될 수 있다. 실시예에 따라, 피드백 과정에서 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등이 송신측으로 전달될 수 있다. 실시예에 따라, 사용자는 VR 환경 상에 구현된 것들과 상호작용할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 과정에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 과정은 수행되지 않을 수도 있다.
헤드 오리엔테이션 정보는 사용자의 머리 위치, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 360도 비디오 내에서 보고 있는 영역에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.
뷰포트 정보는 현재 사용자가 360도 비디오에서 보고 있는 영역에 대한 정보일 수 있다. 이를 통해 게이즈 분석(Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 360도 비디오를 소비하는지, 360도 비디오의 어느 영역을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR 디스플레이 등의 장치는 사용자의 머리 위치/방향, 장치가 지원하는 수직(vertical) 혹은 수평(horizontal) FOV(Field Of View) 정보 등에 근거하여 뷰포트 영역을 추출할 수 있다.
실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것 뿐아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 리-프로젝션, 렌더링 과정 등이 수행될 수 있다. 예를 들어, 헤드 오리엔테이션 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 영역에 대한 360도 비디오만 우선적으로 디코딩 및 렌더링될 수도 있다.
여기서 뷰포트(viewport) 내지 뷰포트 영역이란, 사용자가 360도 비디오에서 보고 있는 영역을 의미할 수 있다. 시점(viewpoint) 는 사용자가 360도 비디오에서 보고 있는 지점으로서, 뷰포트 영역의 정중앙 지점을 의미할 수 있다. 즉, 뷰포트는 시점을 중심으로 한 영역인데, 그 영역이 차지하는 크기 형태 등은 후술할 FOV(Field Of View) 에 의해 결정될 수 있다.
전술한 360도 비디오 제공을 위한 전체 아키텍처 내에서, 캡처/프로젝션/인코딩/전송/디코딩/리-프로젝션/렌더링의 일련의 과정을 거치게 되는 이미지/비디오 데이터들을 360도 비디오 데이터라 부를 수 있다. 360도 비디오 데이터라는 용어는 또한 이러한 이미지/비디오 데이터들과 관련되는 메타데이터 내지 시그널링 정보를 포함하는 개념으로 쓰일 수도 있다.
상술한 오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 미디어 파일은 ISO BMFF (ISO base media file format)를 기반으로 한 파일 포맷을 가질 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블록 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 형태를 띄게 될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.
본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.
ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 복호기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.
moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타 데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타 데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타 데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.
mdat 박스(미디어 데이터 박스) 는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.
실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.
mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.
trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. Trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.
trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.
mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야할 수 있다.
본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(200). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.
moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타 데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.
mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.
실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.
mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number) 를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.
traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 복호화/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.
실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.
tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.
trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생시점 등과 같은 정보를 포함할 수 있다.
전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.
도시된 실시예(210)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.
도시된 실시예(220)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.
styp 박스(세그먼트 타입 박스) 는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.
sidx 박스(세그먼트 인덱스 박스) 는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.
실시예에 따라(230) ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.
미디어 파일 내의 박스들은, 도시된 실시예(250)와 같은 박스 내지 풀 박스(FullBox) 형태를 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. Type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.
한편, 본 발명의 360도 비디오에 대한 필드(속성)들은 DASH 기반 적응형(Adaptive) 스트리밍 모델에 포함되어 전달될 수 있다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다. 도시된 실시예(400)에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH(Dynamic Adaptive Streaming over HTTP)는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐츠 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD를 획득할 수 있다. MPD 는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. DASH 클라이언트는 MPD 에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐츠가 끊김없이 재생될 수 있다.
MPD (Media Presentation Description) 는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 형태로 표현될 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller) 는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블록에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser) 는 획득한 MPD 를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser) 는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블록들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐츠를 화면상에 표시할 수 있다. 이 때, MPD 의 정보들이 활용될 수 있다.
DASH 데이터 모델은 계층적 구조(410)를 가질 수 있다. 미디어 프리젠테이션은 MPD에 의해 기술될 수 있다. MPD는 미디어 프리젠테이션를 만드는 복수개의 구간(Period)들의 시간적인 시퀀스를 기술할 수 있다. 피리오드는 미디어 컨텐츠의 한 구간을 나타낼 수 있다.
한 구간에서, 데이터들은 어댑테이션 셋들에 포함될 수 있다. 어댑테이션 셋은 서로 교환될 수 있는 복수개의 미디어 컨텐츠 컴포넌트들의 집합일 수 있다. 어댑테이션은 레프리젠테이션들의 집합을 포함할 수 있다. 레프리젠테이션은 미디어 컨텐츠 컴포넌트에 해당할 수 있다. 한 레프리젠테이션 내에서, 컨텐츠는 복수개의 세그먼트들로 시간적으로 나뉘어질 수 있다. 이는 적절한 접근성과 전달(delivery)를 위함일 수 있다. 각각의 세그먼트에 접근하기 위해서 각 세그먼트의 URL 이 제공될 수 있다.
MPD는 미디어 프리젠테이션에 관련된 정보들을 제공할 수 있고, 피리오드 엘레멘트, 어댑테이션 셋 엘레멘트, 레프리젠테이션 엘레멘트는 각각 해당 피리오드, 어댑테이션 셋, 레프리젠테이션에 대해서 기술할 수 있다. 레프리젠테이션은 서브 레프리젠테이션들로 나뉘어질 수 있는데, 서브 레프리젠테이션 엘레멘트는 해당 서브 레프리젠테이션에 대해서 기술할 수 있다.
여기서 공통(Common) 속성/엘레멘트들이 정의될 수 있는데, 이 들은 어댑테이션 셋, 레프리젠테이션, 서브 레프리젠테이션 등에 적용될 수 (포함될 수) 있다. 공통 속성/엘레멘트 중에는 에센셜 프로퍼티(EssentialProperty) 및/또는 서플멘탈 프로퍼티(SupplementalProperty) 가 있을 수 있다.
에센셜 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 필수적이라고 여겨지는 엘레멘트들을 포함하는 정보일 수 있다. 서플멘탈 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 사용될 수도 있는 엘레멘트들을 포함하는 정보일 수 있다. 실시예에 따라 후술할 디스크립터들은, MPD 를 통해 전달되는 경우, 에센셜 프로퍼티 및/또는 서플멘탈 프로퍼티 내에 정의되어 전달될 수 있다.
도 5는 본 발명이 적용될 수 있는 360도 비디오 전송 장치의 구성을 개략적으로 설명하는 도면이다.
본 발명에 따른 360도 비디오 전송 장치는 전술한 준비 과정 내지 전송 과정에 관련된 동작들을 수행할 수 있다. 360도 비디오 전송 장치는 데이터 입력부, 스티처(Stitcher), 프로젝션 처리부, 리전별 패킹 처리부(도시되지 않음), 메타데이터 처리부, (송신측) 피드백 처리부, 데이터 인코더, 인캡슐레이션 처리부, 전송 처리부 및/또는 전송부를 내/외부 엘레멘트로서 포함할 수 있다.
데이터 입력부는 캡처된 각 시점별 이미지/비디오 들을 입력받을 수 있다. 이 시점별 이미지/비디오 들은 하나 이상의 카메라들에 의해 캡처된 이미지/비디오들일 수 있다. 또한 데이터 입력부는 캡처 과정에서 발생된 메타데이터를 입력받을 수 있다. 데이터 입력부는 입력된 시점별 이미지/비디오들을 스티처로 전달하고, 캡처 과정의 메타데이터를 시그널링 처리부로 전달할 수 있다.
스티처는 캡처된 시점별 이미지/비디오들에 대한 스티칭 작업을 수행할 수 있다. 스티처는 스티칭된 360도 비디오 데이터를 프로젝션 처리부로 전달할 수 있다. 스티처는 필요한 경우 메타데이터 처리부로부터 필요한 메타데이터를 전달받아 스티칭 작업에 이용할 수 있다. 스티처는 스티칭 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. 스티칭 과정의 메타데이터에는 스티칭이 수행되었는지 여부, 스티칭 타입 등의 정보들이 있을 수 있다.
프로젝션 처리부는 스티칭된 360도 비디오 데이터를 2D 이미지 상에 프로젝션할 수 있다. 프로젝션 처리부는 다양한 스킴(scheme)에 따라 프로젝션을 수행할 수 있는데, 이에 대해서는 후술한다. 프로젝션 처리부는 각 시점별 360도 비디오 데이터의 해당 뎁스(depth)를 고려하여 맵핑을 수행할 수 있다. 프로젝션 처리부는 필요한 경우 메타데이터 처리부로부터 프로젝션에 필요한 메타데이터를 전달받아 프로젝션 작업에 이용할 수 있다. 프로젝션 처리부는 프로젝션 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. 프로젝션 처리부의 메타데이터에는 프로젝션 스킴의 종류 등이 있을 수 있다.
리전별 패킹 처리부(도시되지 않음)는 전술한 리전별 패킹 과정을 수행할 수 있다. 즉, 리전별 패킹 처리부는 프로젝션된 360도 비디오 데이터를 리전별로 나누고, 각 리전들을 회전, 재배열하거나, 각 리전의 레졸루션을 변경하는 등의 처리를 수행할 수 있다. 전술한 바와 같이 리전별 패킹 과정은 선택적(optional) 과정이며, 리전별 패킹이 수행되지 않는 경우, 리전별 패킹 처리부는 생략될 수 있다. 리전별 패킹 처리부는 필요한 경우 메타데이터 처리부로부터 리전별 패킹에 필요한 메타데이터를 전달받아 리전별 패킹 작업에 이용할 수 있다. 리전별 패킹 처리부는 리전별 패킹 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. 리전별 패킹 처리부의 메타데이터에는 각 리전의 회전 정도, 사이즈 등이 있을 수 있다.
전술한 스티처, 프로젝션 처리부 및/또는 리전별 패킹 처리부는 실시예에 따라 하나의 하드웨어 컴포넌트에서 수행될 수도 있다.
메타데이터 처리부는 캡처 과정, 스티칭 과정, 프로젝션 과정, 리전별 패킹 과정, 인코딩 과정, 인캡슐레이션 과정 및/또는 전송을 위한 처리 과정에서 발생할 수 있는 메타데이터들을 처리할 수 있다. 메타데이터 처리부는 이러한 메타데이터들을 이용하여 360도 비디오 관련 메타데이터를 생성할 수 있다. 실시예에 따라 메타데이터 처리부는 360도 비디오 관련 메타데이터를 시그널링 테이블의 형태로 생성할 수도 있다. 시그널링 문맥에 따라 360도 비디오 관련 메타데이터는 메타데이터 또는 360도 비디오 관련 시그널링 정보라 불릴 수도 있다. 또한 메타데이터 처리부는 획득하거나 생성한 메타데이터들을 필요에 따라 360도 비디오 전송 장치의 내부 엘레멘트들에 전달할 수 있다. 메타데이터 처리부는 360도 비디오 관련 메타데이터가 수신측으로 전송될 수 있도록 데이터 인코더, 인캡슐레이션 처리부 및/또는 전송 처리부에 전달할 수 있다.
데이터 인코더는 2D 이미지 상에 프로젝션된 360도 비디오 데이터 및/또는 리전별 패킹된 360도 비디오 데이터를 인코딩할 수 있다. 360도 비디오 데이터는 다양한 포맷으로 인코딩될 수 있다.
인캡슐레이션 처리부는 인코딩된 360도 비디오 데이터 및/또는 360도 비디오 관련 메타데이터를 파일 등의 형태로 인캡슐레이션할 수 있다. 여기서 360도 비디오 관련 메타데이터는 전술한 메타데이터 처리부로부터 전달받은 것일 수 있다. 인캡슐레이션 처리부는 해당 데이터들을 ISOBMFF, CFF 등의 파일 포맷으로 인캡슐레이션하거나, 기타 DASH 세그먼트 등의 형태로 처리할 수 있다. 인캡슐레이션 처리부는 실시예에 따라 360도 비디오 관련 메타데이터를 파일 포맷 상에 포함시킬 수 있다. 360 관련 메타데이터는 예를 들어 ISOBMFF 파일 포맷 상의 다양한 레벨의 박스(box)에 포함되거나 파일 내에서 별도의 트랙내의 데이터로 포함될 수 있다. 실시예에 따라, 인캡슐레이션 처리부는 360도 비디오 관련 메타데이터 자체를 파일로 인캡슐레이션할 수 있다. 전송 처리부는 파일 포맷에 따라 인캡슐레이션된 360도 비디오 데이터에 전송을 위한 처리를 가할 수 있다. 전송 처리부는 임의의 전송 프로토콜에 따라 360도 비디오 데이터를 처리할 수 있다. 전송을 위한 처리에는 방송망을 통한 전달을 위한 처리, 브로드밴드를 통한 전달을 위한 처리를 포함할 수 있다. 실시예에 따라 전송 처리부는 360도 비디오 데이터뿐만 아니라, 메타데이터 처리부로부터 360도 비디오 관련 메타데이터를 전달받아, 이 것에 전송을 위한 처리를 가할 수도 있다.
전송부는 전송 처리된 360도 비디오 데이터 및/또는 360도 비디오 관련 메타데이터를 방송망 및/또는 브로드밴드를 통해 전송할 수 있다. 전송부는 방송망을 통한 전송을 위한 엘레멘트 및/또는 브로드밴드를 통한 전송을 위한 엘레멘트를 포함할 수 있다.
본 발명에 따른 360도 비디오 전송 장치의 일 실시예에 의하면, 360도 비디오 전송 장치는 데이터 저장부(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 데이터 저장부는 인코딩된 360도 비디오 데이터 및/또는 360도 비디오 관련 메타데이터를 전송 처리부로 전달하기 전에 저장하고 있을 수 있다. 이 데이터들이 저장되는 형태는 ISOBMFF 등의 파일 형태일 수 있다. 실시간으로 360도 비디오를 전송하는 경우에는 데이터 저장부가 필요하지 않을 수 있으나, 온 디맨드, NRT (Non Real Time), 브로드밴드 등을 통해 전달하는 경우에는 인캡슐레이션된 360 데이터가 데이터 저장부에 일정 기간 저장되었다가 전송될 수도 있다.
본 발명에 따른 360도 비디오 전송 장치의 다른 실시예에 의하면, 360도 비디오 전송 장치는 (송신측) 피드백 처리부 및/또는 네트워크 인터페이스(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 네트워크 인터페이스는 본 발명에 따른 360도 비디오 수신 장치로부터 피드백 정보를 전달받고, 이를 송신측 피드백 처리부로 전달할 수 있다. 송신측 피드백 처리부는 피드백 정보를 스티처, 프로젝션 처리부, 리전별 패킹 처리부, 데이터 인코더, 인캡슐레이션 처리부, 메타데이터 처리부 및/또는 전송 처리부로 전달할 수 있다. 실시예에 따라 피드백 정보는 메타데이터 처리부에 일단 전달된 후, 다시 각 내부 엘레멘트들로 전달될 수 있다. 피드백 정보를 전달받은 내부 엘레먼트들은 이 후의 360도 비디오 데이터의 처리에 피드백 정보를 반영할 수 있다.
본 발명에 따른 360도 비디오 전송 장치의 또 다른 실시예에 의하면, 리전별 패킹 처리부는 각 리전을 회전하여 2D 이미지 상에 맵핑할 수 있다. 이 때 각 리전들은 서로 다른 방향, 서로 다른 각도로 회전되어 2D 이미지 상에 맵핑될 수 있다. 리전의 회전은 360도 비디오 데이터가 구형의 면 상에서 프로젝션 전에 인접했던 부분, 스티칭된 부분 등을 고려하여 수행될 수 있다. 리전의 회전에 관한 정보들, 즉 회전 방향, 각도 등은 360도 비디오 관련 메타데이터에 의해 시그널링될 수 있다. 본 발명에 따른 360도 비디오 전송 장치의 또 다른 실시예에 의하면, 데이터 인코더는 각 리전 별로 다르게 인코딩을 수행할 수 있다. 데이터 인코더는 특정 리전은 높은 퀄리티로, 다른 리전은 낮은 퀄리티로 인코딩을 수행할 수 있다. 송신측 피드백 처리부는 360도 비디오 수신 장치로부터 전달받은 피드백 정보를 데이터 인코더로 전달하여, 데이터 인코더가 리전별 차등화된 인코딩 방법을 사용하도록 할 수 있다. 예를 들어 송신측 피드백 처리부는 수신측으로부터 전달받은 뷰포트 정보를 데이터 인코더로 전달할 수 있다. 데이터 인코더는 뷰포트 정보가 지시하는 영역을 포함하는 리전들에 대해 다른 리전들보다 더 높은 퀄리티(UHD 등) 로 인코딩을 수행할 수 있다.
본 발명에 따른 360도 비디오 전송 장치의 또 다른 실시예에 의하면, 전송 처리부는 각 리전 별로 다르게 전송을 위한 처리를 수행할 수 있다. 전송 처리부는 리전 별로 다른 전송 파라미터(모듈레이션 오더, 코드 레이트 등)를 적용하여, 각 리전 별로 전달되는 데이터의 강건성(robustenss)을 다르게 할 수 있다.
이 때, 송신측 피드백 처리부는 360도 비디오 수신 장치로부터 전달받은 피드백 정보를 전송 처리부로 전달하여, 전송 처리부가 리전별 차등화된 전송 처리를 수행하도록 할 수 있다. 예를 들어 송신측 피드백 처리부는 수신측으로부터 전달받은 뷰포트 정보를 전송 처리부로 전달할 수 있다. 전송 처리부는 해당 뷰포트 정보가 지시하는 영역을 포함하는 리전들에 대해 다른 리전들보다 더 높은 강건성을 가지도록 전송 처리를 수행할 수 있다.
전술한 본 발명에 따른 360도 비디오 전송 장치의 내/외부 엘레멘트들은 하드웨어로 구현되는 하드웨어 엘레멘트들일 수 있다. 실시예에 따라 내/외부 엘레멘트들은 변경, 생략되거나 다른 엘레멘트로 대체, 통합될 수 있다. 실시예에 따라 부가 엘레멘트들이 360도 비디오 전송 장치에 추가될 수도 있다.
도 6은 본 발명이 적용될 수 있는 360도 비디오 수신 장치의 구성을 개략적으로 설명하는 도면이다.
본 발명에 따른 360도 비디오 수신 장치는 전술한 프로세싱 과정 및/또는 렌더링 과정에 관련된 동작들을 수행할 수 있다. 360도 비디오 수신 장치는 수신부, 수신 처리부, 디캡슐레이션 처리부, 데이터 디코더, 메타데이터 파서, (수신측) 피드백 처리부, 리-프로젝션 처리부 및/또는 렌더러를 내/외부 엘레멘트로서 포함할 수 있다. 한편, 시그널링 파서는 메타데이터 파서라고 불릴 수 있다.
수신부는 본 발명에 따른 360도 비디오 전송 장치가 전송한 360도 비디오 데이터를 수신할 수 있다. 전송되는 채널에 따라 수신부는 방송망을 통하여 360도 비디오 데이터를 수신할 수도 있고, 브로드밴드를 통하여 360도 비디오 데이터를 수신할 수도 있다.
수신 처리부는 수신된 360도 비디오 데이터에 대해 전송 프로토콜에 따른 처리를 수행할 수 있다. 전송측에서 전송을 위한 처리가 수행된 것에 대응되도록, 수신 처리부는 전술한 전송 처리부의 역과정을 수행할 수 있다. 수신 처리부는 획득한 360도 비디오 데이터는 디캡슐레이션 처리부로 전달하고, 획득한 360도 비디오 관련 메타데이터는 메타데이터 파서로 전달할 수 있다. 수신 처리부가 획득하는 360도 비디오 관련 메타데이터는 시그널링 테이블의 형태일 수 있다.
디캡슐레이션 처리부는 수신 처리부로부터 전달받은 파일 형태의 360도 비디오 데이터를 디캡슐레이션할 수 있다. 디캡슐레이션 처리부는 ISOBMFF 등에 따른 파일들을 디캡슐레이션하여, 360도 비디오 데이터 내지 360도 비디오 관련 메타데이터를 획득할 수 있다. 획득된 360도 비디오 데이터는 데이터 디코더로, 획득된 360도 비디오 관련 메타데이터는 메타데이터 파서로 전달할 수 있다. 디캡슐레이션 처리부가 획득하는 360도 비디오 관련 메타데이터는 파일 포맷 내의 박스 혹은 트랙 형태일 수 있다. 디캡슐레이션 처리부는 필요한 경우 메타데이터 파서로부터 디캡슐레이션에 필요한 메타데이터를 전달받을 수도 있다.
데이터 디코더는 360도 비디오 데이터에 대한 디코딩을 수행할 수 있다. 데이터 디코더는 메타데이터 파서로부터 디코딩에 필요한 메타데이터를 전달받을 수도 있다. 데이터 디코딩 과정에서 획득된 360도 비디오 관련 메타데이터는 메타데이터 파서로 전달될 수도 있다.
메타데이터 파서는 360도 비디오 관련 메타데이터에 대한 파싱/디코딩을 수행할 수 있다. 메타데이터 파서는 획득한 메타데이터를 데이터 디캡슐레이션 처리부, 데이터 디코더, 리-프로젝션 처리부 및/또는 렌더러로 전달할 수 있다.
리-프로젝션 처리부는 디코딩된 360도 비디오 데이터에 대하여 리-프로젝션을 수행할 수 있다. 리-프로젝션 처리부는 360도 비디오 데이터를 3D 공간으로 리-프로젝션할 수 있다. 3D 공간은 사용되는 3D 모델에 따라 다른 형태를 가질 수 있다. 리-프로젝션 처리부는 메타데이터 파서로부터 리-프로젝션에 필요한 메타데이터를 전달받을 수도 있다. 예를 들어 리-프로젝션 처리부는 사용되는 3D 모델의 타입 및 그 세부 정보에 대한 정보를 메타데이터 파서로부터 전달받을 수 있다. 실시예에 따라 리-프로젝션 처리부는 리-프로젝션에 필요한 메타데이터를 이용하여, 3D 공간 상의 특정 영역에 해당하는 360도 비디오 데이터만을 3D 공간으로 리-프로젝션할 수도 있다.
렌더러는 리-프로젝션된 360도 비디오 데이터를 렌더링할 수 있다. 전술한 바와 같이 360도 비디오 데이터가 3D 공간상에 렌더링된다고 표현할 수도 있는데, 이처럼 두 과정이 한번에 일어나는 경우 리-프로젝션 처리부와 렌더러는 통합되어, 렌더러에서 이 과정들이 모두 진행될 수 있다. 실시예에 따라 렌더러는 사용자의 시점 정보에 따라 사용자가 보고 있는 부분만을 렌더링할 수도 있다.
사용자는 VR 디스플레이 등을 통하여 렌더링된 360도 비디오의 일부 영역을 볼 수 있다. VR 디스플레이는 360도 비디오를 재생하는 장치로서, 360도 비디오 수신 장치에 포함될 수도 있고(tethered), 별도의 장치로서 360도 비디오 수신 장치에 연결될 수도 있다(un-tethered).
본 발명에 따른 360도 비디오 수신 장치의 일 실시예에 의하면, 360도 비디오 수신 장치는 (수신측) 피드백 처리부 및/또는 네트워크 인터페이스(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 수신측 피드백 처리부는 렌더러, 리-프로젝션 처리부, 데이터 디코더, 디캡슐레이션 처리부 및/또는 VR 디스플레이로부터 피드백 정보를 획득하여 처리할 수 있다. 피드백 정보는 뷰포트 정보, 헤드 오리엔테이션 정보, 게이즈(Gaze) 정보 등을 포함할 수 있다. 네트워크 인터페이스는 피드백 정보를 수신측 피드백 처리부로부터 전달받고, 이를 360도 비디오 전송 장치로 전송할 수 있다.
전술한 바와 같이, 피드백 정보는 송신측으로 전달되는 것뿐 아니라, 수신측에서 소비될 수도 있다. 수신측 피드백 처리부는 획득한 피드백 정보를 360도 비디오 수신 장치의 내부 엘레멘트들로 전달하여, 렌더링 등의 과정에 반영되게 할 수 있다. 수신측 피드백 처리부는 피드백 정보를 렌더러, 리-프로젝션 처리부, 데이터 디코더 및/또는 디캡슐레이션 처리부로 전달할 수 있다. 예를 들어, 렌더러는 피드백 정보를 활용하여 사용자가 보고 있는 영역을 우선적으로 렌더링할 수 있다. 또한 디캡슐레이션 처리부, 데이터 디코더 등은 사용자가 보고 있는 영역 내지 보게 될 영역을 우선적으로 디캡슐레이션, 디코딩할 수 있다.
전술한 본 발명에 따른 360도 비디오 수신 장치의 내/외부 엘레멘트들은 하드웨어로 구현되는 하드웨어 엘레멘트들일 수 있다. 실시예에 따라 내/외부 엘레멘트들은 변경, 생략되거나 다른 엘레멘트로 대체, 통합될 수 있다. 실시예에 따라 부가 엘레멘트들이 360도 비디오 수신 장치에 추가될 수도 있다.
본 발명의 또 다른 관점은 360도 비디오를 전송하는 방법 및 360도 비디오를 수신하는 방법과 관련될 수 있다. 본 발명에 따른 360도 비디오를 전송/수신하는 방법은, 각각 전술한 본 발명에 따른 360도 비디오 전송/수신 장치 또는 그 장치의 실시예들에 의해 수행될 수 있다.
전술한 본 발명에 따른 360도 비디오 전송/수신 장치, 전송/수신 방법의 각각의 실시예 및 그 내/외부 엘리멘트 각각의 실시예들을 서로 조합될 수 있다. 예를 들어 프로젝션 처리부의 실시예들과, 데이터 인코더의 실시예들은 서로 조합되어, 그 경우의 수만큼의 360도 비디오 전송 장치의 실시예들을 만들어 낼 수 있다. 이렇게 조합된 실시예들 역시 본 발명의 범위에 포함된다.
본 발명이 실시될 수 있는 활용예로 파노라마 비디오 또는 360 비디오 서비스가 있을 수 있다. 상기 파노라마 비디오 및 상기 360 비디오 서비스는 사용자가 실제로 시청 가능한 리전이 화면에서 볼 수 있는 리전(region)(즉, 디스플레이되는 리전)을 넘어서 존재할 수 있다. 이 경우, 한정된 전송 대역폭에 비해 많은 양의 비디오 데이터가 전달됨으로 인하여 영상의 화질이 열화되는 문제가 발생할 수 있다.
상술한 문제를 해결하는 방안 중 하나로 입력 영상을 복수의 리전들로 분할하고, 상기 리전들 각각의 영상 화질을 다르게 인코딩하여 전송하는 방안이 고려될 수 있다. 구체적으로, 예를 들어, HEVC(High Efficiency Video Coding)의 경우, MCTS(Motion-Constrained Tile Sets)를 기반으로 상기 리전들 중 주요 리전은 적은 압축율로 압축하고, 나머지 리전들은 높은 압축율로 압축하는 방법이 있을 수 있다. 또한, SHVC(Scalable High efficiency Video Coding)로 인코딩되는 경우, 향상 레이어(enhancement layer)를 MCTS 기반으로 인코딩하여 주요 리전에 대해서만 향상 레이어를 사용하여 고화질의 영상을 만드는 방법이 있을 수 있다.
한편, 전송 대역폭이 많이 제한적이거나 주요 영상의 화질을 극대화하기 위하여 고화질 리전과 저화질 리전의 화질 차이가 큰 경우, 디스플레이되는 리전이 주요 리전에서 벗어나면 영역 경계가 나타나는 문제와 같은 의도하지 않은 문제들이 발생할 수 있다.
도 7은 ERP(Equirectangular Projection)로 프로젝션된 픽처에서의 고화질 리전과 저화질 리전과의 경계 아티팩트(boundary artifact)를 방지하는 일 예를 나타낸다. 도 7을 참조하면 360도 비디오 데이터는 상기 ERP를 통하여 프로젝션될 수 있다. 상기 ERP는 등정방형 프로젝션 스킴(Equirectangular Projection scheme)이라고 나타낼 수도 있다. 상기 프로젝션 스킴을 나타내는 메타데이터는 projection_scheme 필드를 포함할 수 있다. 즉, 상기 projection_scheme 필드는 상기 360도 비디오 데이터가 맵핑된 픽처의 프로젝션 스킴을 나타낼 수 있다. 상기 projection_scheme 필드는 projection_type 필드라고 나타낼 수도 있다.
한편, 360도 비디오 데이터가 상기 ERP를 통하여 프로젝션되는 경우, 예를 들어, 스티칭된 360도 비디오 데이터는 구형 면(spherical surface) 상에 나타내어질 수 있고, 상기 360도 비디오 데이터는 상기 구형 면 상에서의 연속성이 유지되는 하나의 픽처로 프로젝션될 수 있다. 또한, 도 7에 도시된 것과 같이 상기 360도 비디오 데이터는 프로젝션된 픽처 내 적어도 하나 이상의 리전(region)에 맵핑될 수 있다. 도 7을 참조하면 상기 픽처는 고화질 리전(710) 및 저화질 리전(720)을 포함할 수 있고, 상기 고화질 리전(710) 및 상기 저화질 리전(720)을 포함하는 뷰포트(viewport)가 생성될 수 있다. 상기 뷰포트는 현재 사용자가 360도 비디오에서 보고 있는 영역을 나타낼 수 있다. 상기 뷰포트는 상기 고화질 리전(710) 및 상기 저화질 리전(720)의 화질 차이로 인해 발생된 경계 아티팩트(boundary artifact)를 포함할 수 있다.
한편, 상기 경계 아티팩트(boundary artifact)를 포함한 상술한 문제들을 방지하기 위한 방안들로 다음과 같은 방안들이 있을 수 있다.
1) 새롭게 디스플레이되는 저화질 리전(720)을 고화질로 만들 수 있는 정보가 사용되어 상기 저화질 리전(720)의 화질이 고화질로 개선되는 방안이 있을 수 있다. 예를 들어, SHVC 기반 서비스가 제공되는 경우, 상기 저화질 리전(720)의 향상 레이어가 요청되거나, 상기 저화질 리전(720)의 향상 레이어가 디코딩되어 상기 저화질 리전(720)의 화질이 개선될 수 있다.
2) 또는 상기 저화질 리전(720)에 대한 후처리 과정(post processing)을 통하여 열화된 부분이 복원될 수 있다. 여기서, 상기 후처리 과정은 image enhancement, restoration, compensation 등을 포함할 수 있다.
3) 또는 상기 저화질 리전(720)과 기존에 디스플레이되된 주요 리전(즉, 상기 고화질 리전)과의 경계가 자연스럽게 보이도록 하는 블렌딩(blending) 또는 스무딩의 처리가 수행될 수 있다.
상술한 방안들이 수행되기 위해서는 픽처 내 각 리전이 어떠한 화질 열화가 있는지에 대한 정보가 사용될 수 있고, 필요할 수 있는바, 본 발명에서는 상기 각 리전이 어떠한 화질 열화가 있는지에 대한 정보, 즉, 리전별 퀄리티 정보를 인코딩하고 비디오 레벨(video level) 및/또는 시스템(system level)에서 제공하는 방법을 제안한다.
일 예로, 상기 리전별 퀄리티 정보를 전송하는 방법으로 리전별 퀄리티 표시(region-wise quality indication) 정보에 대한 메타데이터가 전송될 수 있다.
도 8a 내지 도 8c는 상기 리전별 퀄리티 표시 정보에 대한 메타데이터의 일 예를 나타낸다. 도 8a 내지 도 8c에 도시된 것과 같이 비디오 코덱의 메타데이터 형태로 상기 리전별 퀄리티 표시 정보가 전송될 수 있다. 예를 들어, 구체적으로, 상기 리전별 퀄리티 표시 정보에 대한 상기 메타데이터는 HEVC 코덱의 SEI 메시지(SEI message)를 통하여 전송될 수 있다. 또한, 상기 리전별 퀄리티 표시 정보가 비디오 레벨에서 필수적으로 사용되는 정보인 경우, 상기 리전별 퀄리티 표시 정보는 VPS(video parameter set), SPS(sequence parameter set), PPS(picture parameter set) 을 통하여 전송될 수 있다. 또한, 비디오 레벨뿐 아니라 디지털 유/무선 인터페이스, 시스템 레벨의 파일 포맷(file format) 등을 통해서도 상기 리전별 퀄리티 표시 정보와 동일 혹은 유사한 정보가 전송될 수 있다.
도 8a 내지 도 8c는 상기 리전별 퀄리티 표시 정보에 대한 메타데이터의 일 예를 나타낸다. 도 8a를 참조하면 payloadType 의 값이 특정값을 나타내는 경우, 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 구체적인 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 도 8b 내지 도 8c에 도시된 바와 같을 수 있다.
또한, 도 8b 내지 8c를 참조하면 리전별 패킹 과정에 대한 정보에 대한 신텍스에 상기 리전별 퀄리티 표시 정보가 포함되어 전송될 수 있다. 즉, 상기 리전별 패킹 과정에 대한 메타데이터에 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 포함될 수 있다. 한편, 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 별도의 신텍스를 통하여 전송될 수도 있다.
도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_wise_quality_indication_cancel_flag 필드를 포함할 수 있다. 상기 region_wise_quality_indication_cancel_flag 필드는 이전에 받은 리전별 퀄리티 표시 정보에 대한 메타데이터가 사용되는지 여부를 나타낼 수 있다. 즉, 상기 region_wise_quality_indication_cancel_flag 필드는 현재 픽처(또는 현재 프레임)의 인코딩/디코딩 과정 이전에 SEI 메시지를 통하여 전송된 리전별 퀄리티 표시 정보에 대한 메타데이터가 상기 현재 픽처의 리전별 퀄리티 표시 정보에 대한 메타데이터로 사용되는지 여부를 나타낼 수 있다. 예를 들어, 상기 region_wise_quality_indication_cancel_flag 필드의 값이 1인 경우, 상기 region_wise_quality_indication_cancel_flag 필드는 상기 현재 픽처의 인코딩/디코딩 과정 이전에 전송된 리전별 퀄리티 표시 정보에 대한 메타데이터가 상기 현재 픽처의 리전별 퀄리티 표시 정보로 사용되지 않음을 나타낼 수 있다. 또한, 상기 region_wise_quality_indication_cancel_flag 필드의 값이 0인 경우, 상기 region_wise_quality_indication_cancel_flag 필드는 상기 현재 픽처의 인코딩/디코딩 과정 이전에 전송된 리전별 퀄리티 표시 정보에 대한 메타데이터가 상기 현재 픽처의 리전별 퀄리티 표시 정보로 사용됨을 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_wise_quality_indication_persistence_flag 필드를 포함할 수 있다. 상기 region_wise_quality_indication_persistence_flag 필드는 상기 현재 픽처의 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 시간 순서상 현재 픽처(또는 현재 프레임)의 뒤에 위치하는 픽처들(또는 프레임들), 즉, 시간 순서상 상기 현재 픽처(또는 현재 프레임)에 후행하는 픽처들에서 사용될 수 있는지 여부를 나타낼 수 있다. 예를 들어, 상기 region_wise_quality_indication_persistence_flag 필드의 값이 1인 경우, 상기 현재 픽처의 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 시간 순서상 상기 현재 픽처(또는 현재 프레임)에 후행하는 픽처들(또는 프레임들)에서 사용될 수 있음을 나타낼 수 있다. 또한, 상기 region_wise_quality_indication_persistence_flag 필드의 값이 0인 경우, 상기 현재 픽처의 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 시간 순서상 상기 현재 픽처(또는 현재 프레임)에 후행하는 픽처들(또는 프레임들)에서 사용될 수 없음을 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 enhancement_layer_quality_indication_flag 필드를 포함할 수 있다. 상기 enhancement_layer_quality_indication_flag 필드는 계층화된 코딩(layered coding)이 수행되었는지를 나타낼 수 있다. 다시 말해, 상기 enhancement_layer_quality_indication_flag 필드는 베이스 레이어(base layer)에 대한 상기 리전별 퀄리티 표시 정보에 대한 메타데이터 및 향상 레이어(enhancement layer) 에 대한 상기 리전별 퀄리티 표시 정보가 전송되는지 여부를 나타낼 수 있다. 예를 들어, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 enhancement_layer_quality_indication_flag 필드는 베이스 레이어(base layer)에 대한 상기 리전별 퀄리티 표시 정보에 대한 메타데이터 및 향상 레이어(enhancement layer) 에 대한 상기 리전별 퀄리티 표시 정보가 전송됨을 나타낼 수 있다.
한편, 현재 픽처 내 리전의 위치를 표현하기 위하여 2가지 방안들이 지원될 수 있다. 상기 방안들은 상기 360도 비디오 데이터가 맵핑된 2D 이미지(즉, 현재 픽처) 상에서의 위치를 나타내는 방안 및 3D 공간, 예를 들어 구형면 상에서의 위치를 나타내는 방안을 포함할 수 있다. 상기 2가지 방안들 모두가 사용될 수 있고, 또는 상기 2가지 방안들 중 하나의 방안만이 선택되어 사용될 수도 있다.
예를 들어, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 2D_coordinate_flag 필드를 포함할 수 있다. 상기 2D_coordinate_flag 필드는 2D 이미지 상의 위치, 즉, 2D 좌표계에 대한 정보가 전송되는지 여부를 나타낼 수 있다. 상기 2D 좌표계가 나타내는 2D 이미지, 즉, 현재 픽처는 사각형 프레임(frame)에 정의된 영상을 나타낼 수 있다. 상기 현재 픽처는 360도 비디오 데이터 등을 2D 플레인(plane)에 프로젝션하여 만든 프로젝션된 픽처(projected picture), 혹은 상기 프로젝션된 픽처를 목적에 따라 사각형 영상에 재배치한 패킹된 픽처(packed picture)를 나타낼 수 있다. 상기 프로젝션된 픽처는 프로젝션된 프레임(projected frame)이라고 나타낼 수도 있다. 또한, 상기 패킹된 픽처는 패킹된 프레임(packed frame)이라고 나타낼 수도 있다. 상기 2D 좌표계를 나타내는 구체적인 표현 방법은 후술하는 region_type 에 따라서 달라질 수 있다. 한편, 예를 들어, 상기 2D_coordinate_flag 필드의 값이 1인 경우, 상기 2D_coordinate_flag 필드는 2D 좌표계에 대한 정보가 전송됨을 나타낼 수 있다. 또한, 상기 2D_coordinate_flag 필드의 값이 0인 경우, 상기 2D_coordinate_flag 필드는 2D 좌표계에 대한 정보가 전송되지 않음을 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 total_width 필드 및 total_height 필드를 포함할 수 있다. 상기 total_width 필드 및 상기 total_height 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1인 경우, 상기 total_width 필드 및 상기 total_height 필드가 전송될 수 있다. 상기 total_width 필드 및 상기 total_height 필드는 각각 상기 현재 픽처의 너비와 높이를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_type 필드를 포함할 수 있다. 상기 region_type 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1인 경우, 상기 region_type 필드가 전송될 수 있다. 상기 region_type 필드는 상기 현재 픽처에 포함된 리전의 타입(type)을 나타낼 수 있다. 상기 region_type 필드의 값이 나타내는 상기 리전의 타입은 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00001
상기 region_type 필드의 값이 1인 경우, 상기 region_type 필드는 상기 현재 픽처의 상기 리전의 타입을 사각형으로 나타낼 수 있고, 상기 region_type 필드의 값이 2인 경우, 상기 region_type 필드는 상기 현재 픽처의 상기 리전의 타입을 임의의 닫힌 도형으로 나타낼 수 있고, 상기 region_type 필드는 상기 region_type 필드의 값이 3인 경우, 상기 현재 픽처의 상기 리전의 타입을 원으로 나타낼 수 있다.
다시 말해, 상기 region_type 필드의 값이 1인 경우, 상기 현재 픽처의 상기 리전의 타입은 사각형으로 도출될 수 있고, 상기 region_type 필드의 값이 2인 경우, 상기 현재 픽처의 상기 리전의 타입은 임의의 닫힌 도형으로 도출될 수 있고, 상기 region_type 필드의 값이 3인 경우, 상기 현재 픽처의 상기 리전의 타입은 원으로 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 3D_coordinate_flag 필드를 포함할 수 있다. 상기 3D_coordinate_flag 필드는 3D 공간 상의 위치, 즉, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타낼 수 있다. 상기 3D 좌표계가 나타내는 3D 공간은 360도 비디오 등에서 고려되는 3차원 공간 자체를 나타낼 수 있다. 예를 들어, 상기 3D 공간은 상기 현재 픽처에 포함된 360도 비디오 데이터가 맵핑되는 구형면(sphere surface)을 나타낼 수 있다. 상기 3D 좌표계를 나타내는 구체적인 표현 방법은 후술하는 viewport_type 에 따라서 달라질 수 있다. 한편, 예를 들어, 상기 3D_coordinate_flag 필드의 값이 1인 경우, 상기 3D_coordinate_flag 필드는 3D 좌표계에 대한 정보가 전송됨을 나타낼 수 있다. 또한, 상기 3D_coordinate_flag 필드의 값이 0인 경우, 상기 3D_coordinate_flag 필드는 3D 좌표계에 대한 정보가 전송되지 않음을 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 viewport_type 필드를 포함할 수 있다. 상기 viewport_type 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 즉, 상기 3D_coordinate_flag 필드의 값이 1인 경우, 상기 viewport_type 필드가 전송될 수 있다. 상기 viewport_type 필드는 상기 3D 공간상에서 위치를 표시하는 타입, 즉, 상기 3D 좌표계의 타입을 나타낼 수 있다. 상기 viewport_type 필드의 값이 나타내는 상기 3D 좌표계의 타입은 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00002
상기 viewport_type 필드의 값이 1인 경우, 상기 viewport_type 필드는 상기 3D 좌표계의 타입을 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 4개의 원들을 기반으로 구형면을 나타내는 타입으로 나타낼 수 있다. 여기서, 상기 구의 중심을 원의 중심으로 하는 원은 대원(great circle)이라고 불릴 수 있다. 다시 말해, 상기 viewport_type 필드의 값이 1인 경우, 상기 viewport_type 필드는 상기 3D 좌표계의 타입을 4개의 대원들을 기반으로 상기 구형면을 나타내는 타입으로 나타낼 수 있다. 즉, 상기 viewport_type 필드의 값이 1인 경우, 상기 3D 좌표계의 타입은 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 4개의 원들을 기반으로 구형면을 나타내는 타입으로 도출될 수 있다. 다시 말해, 상기 viewport_type 필드의 값이 1인 경우, 상기 3D 좌표계의 타입은 4개의 대원들을 기반으로 상기 구형면을 나타내는 타입으로 도출될 수 있다.
또한, 상기 viewport_type 필드의 값이 2인 경우, 상기 viewport_type 필드는 상기 3D 좌표계의 타입을 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 2개의 원들, 즉, 2개의 대원들과, 적도로 이뤄지는 평면과 수평이 되는 2개의 원들을 기반으로 구형면을 나타내는 타입으로 나타낼 수 있다. 여기서, 상기 적도로 이뤄지는 평면과 수평이 되는 원은 소원(small circle)이라고 불릴 수 있다. 다시 말해, 상기 viewport_type 필드의 값이 2인 경우, 상기 viewport_type 필드는 상기 3D 좌표계의 타입을 2개의 대원들 및 2개의 소원들을 기반으로 상기 구형면을 나타내는 타입으로 나타낼 수 있다. 즉, 상기 viewport_type 필드의 값이 2인 경우, 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 2개의 원들, 즉, 2개의 대원들과, 적도로 이뤄지는 평면과 수평이 되는 2개의 원들을 기반으로 구형면을 나타내는 타입으로 도출될 수 있다. 다시 말해, 상기 viewport_type 필드의 값이 2인 경우, 상기 3D 좌표계의 타입은 2개의 대원들 및 2개의 소원들을 기반으로 상기 구형면을 나타내는 타입으로 도출될 수 있다.
도 9는 상기 3D 공간을 나타내는 타입들의 일 예를 나타낸다. 도 9의 (a)를 참조하면 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 4개의 원들, 즉, 4개의 대원들을 기반으로 상기 현재 픽처가 맵핑된 구형면 상의 영역을 나타낼 수 있다. 또한, 도 9의 (b)를 참조하면 상기 3D 공간을 나타내는 구의 중심을 원의 중심으로 하는 2개의 원들 및 적도로 이뤄지는 평면과 수평이 되는 2개의 원들을 기반으로 상기 현재 픽처가 맵핑된 구형면 상의 영역을 나타낼 수 있다. 다시 말해, 2개의 대원들 및 2개의 소원들을 기반으로 상기 현재 픽처가 맵핑된 구형면 상의 영역을 나타낼 수 있다.
한편, 상기 3D 공간을 나타내는 타입으로 상술한 타입들과 다른 구형면 상에 영역을 표현하는 방법들 및 구형면 이외의 큐빅(cubic) 등의 다른 3D 공간 상에서의 영역을 나타내는 방법들이 추가로 정의될 수 있다. 상술한 타입들과 다른 구형면 상에 영역을 표현하는 방법들은 상기 현재 픽처가 맵핑된 구형면 상의 영역을 중심점과 요(yaw), 피치(pitch) 범위를 기반으로 나타내는 방법과 대원들 및/또는 소원들의 교점에 해당하는 좌표를 표현하는 방법 등이 포함될 수 있다.
다시, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_quality_indication_type_minus1 필드를 포함할 수 있다. 상기 number_of_quality_indication_type_minus1 필드는 현재 픽처의 화질(quality) 구분 기준의 수를 나타낼 수 있다. 여기서, 상기 화질 구분 기준은 퀄리티 타입이라고 나타낼 수도 있다. 다시 말해, 상기 현재 픽처에 대한 퀄리티 표시 정보가 나타내는 화질 구분 기준의 개수를 나타낼 수 있다. 상기 화질 구분 기준은 공간 해상도, 압축(compression) 정도, 비트 심도(bitdepth), 색공간 또는 색감, 밝기 범위, 프레임 레이트(frame rate) 등을 포함할 수 있다. 상기 현재 픽처의 화질은 공간 해상도, 압축 정도, 비트 심도, 색공간 또는 색감, 밝기 범위 또는 프레임 레이트(frame rate) 등에 따라 차이가 발생할 수 있고, 상기 현재 픽처의 복수의 화질 구분 기준들에 따른 상기 현재 픽처의 퀄리티 표시 정보들이 전송될 수 있다. number_of_quality_indication_type_minus1 필드의 값에 1을 더한 값은 상기 현재 픽처의 퀄리티 표시 정보들의 개수를 나타낼 수 있다. 한편, 상기 현재 픽처에 대한 퀄리티 표시 정보가 SEI 메시지(SEI message)를 통하여 전송되는 경우, 상기 현재 픽처의 퀄리티 표시 정보는 적어도 하나 이상의 화질 구분 기준에 따른 정보를 포함하고 있을 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 quality_indication_type[i] 필드를 포함할 수 있다. 상기 quality_indication_type[i] 필드는 현재 픽처의 i번째 화질 구분 기준을 나타낼 수 있다. 즉, 다시 말해, 상기 quality_indication_type[i] 필드는 상기 현재 픽처의 i번째 화질 구분 기준을 나타낼 수 있다. 상기 quality_indication_type[i] 필드의 값이 나타내는 화질 구분 기준은 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00003
상기 현재 픽처에 대한 복수의 화질 구분 기준들에 대한 퀄리티 표시 정보들이 전송될 수 있고, 상기 퀄리티 표시 정보들 각각에 대한 화질 구분 기준을 나타내는 상기 quality_indication_type[i] 필드가 전송될 수 있다.
상기 quality_indication_type[i] 의 값이 1인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 공간 해상도로 도출될 수 있고, 상기 quality_indication_type[i] 의 값이 2인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 압축 정도로 도출될 수 있고, 상기 quality_indication_type[i] 의 값이 3인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 비트 심도로 도출될 수 있고, 상기 quality_indication_type[i] 의 값이 4인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 색감으로 도출될 수 있고, 상기 quality_indication_type[i] 의 값이 5인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 밝기 범위로 도출될 수 있고, 상기 quality_indication_type[i] 의 값이 6인 경우, 상기 현재 픽처의 i번째 화질 구분 기준은 프레임 레이트로 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 total_quality_indication_level[i] 필드를 포함할 수 있다. 상기 total_quality_indication_level[i] 필드는 상기 현재 픽처의 i번째 화질 구분 기준의 구분 가지수를 나타낼 수 있다. 다시 말해, 상기 total_quality_indication_level[i] 필드는 상기 현재 픽처의 i번째 화질 구분 기준에 의하여 구분되는 레벨(level)의 총개수를 나타낼 수 있다. 예를 들어, 상기 i번째 화질 구분 기준에 의하여 구분되는 레벨이 1 내지 n까지 존재하는 경우, 상기 total_quality_indication_level[i] 필드의 값은 n으로 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_quality_indication_level[i] 필드를 포함할 수 있다. 상기 number_of_quality_indication_level[i] 필드는 상기 현재 픽처의 i번째 화질 구분 기준에 대한 레벨(level)을 나타낼 수 있다. 상기 quality_indication_type[i] 필드 및 상기 number_of_quality_indication_level[i] 필드를 기반으로 상기 현재 픽처의 i번째 화질 구분 기준에 대한 레벨이 도출될 수 있다. 예를 들어, 상기 현재 픽처의 상기 quality_indication_type[i] 필드의 값이 2이고, 상기 number_of_quality_indication_level[i] 필드의 값이 1인 경우, 상기 현재 픽처의 압축 정도를 기준으로 나타나는 화질의 레벨은 2로 도출될 수 있다. 상기 quality_indication_type[i] 필드 및 상기 number_of_quality_indication_level[i] 필드를 기반으로 상기 현재 픽처에 대한 퀄리티 정보가 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_total_quality_indication_level 필드를 포함할 수 있다. 상기 number_of_total_quality_indication_level 필드는 화질이 구분되는 정보, 즉, 퀄리티 표시 정보의 전체 수를 나타낼 수 있다. 다시 말해, 상기 number_of_total_quality_indication_level 필드는 상기 현재 픽처에 대한 퀄리티 표시 정보의 전체 수를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_region_minus1 필드를 포함할 수 있다. 상기 number_of_region_minus1 필드는 화질 차이에 대한 정보, 즉, 상기 퀄리티 표시 정보가 시그널링되는 상기 현재 픽처의 리전의 수를 나타낼 수 있다. 상기 퀄리티 표시 정보가 시그널링되는 상기 현재 픽처의 리전의 수는 상기 number_of_region_minus1 필드가 나타내는 값에 1을 더한 값으로 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_top_index 필드, region_left_index 필드, region_width 필드 및 region_height 필드를 포함할 수 있다. 상기 region_top_index 필드, 상기 region_left_index 필드, 상기 region_width 필드 및 상기 region_height 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type 필드가 상기 현재 픽처의 리전의 타입을 사각형이라고 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 1인 경우, 상기 현재 픽처의 리전에 대한 상기 region_top_index 필드, 상기 region_left_index 필드, 상기 region_width 필드 및 상기 region_height 필드가 전송될 수 있다. 상기 region_top_index 필드 및 상기 region_left_index 필드는 상기 현재 픽처 내 리전의 좌상단 샘플의 x 성분 및 y 성분을 나타낼 수 있다. 또한, 상기 region_width 필드 및 상기 region_height 필드는 상기 현재 픽처 내 상기 리전의 너비 및 높이를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_vertex 필드, vertex_index_x 필드 및 vertex_index_y 필드를 포함할 수 있다. 상기 number_of_vertex 필드, 상기 vertex_index_x 필드 및 상기 vertex_index_y 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type 필드가 상기 현재 픽처의 리전의 타입을 임의의 닫힌 도형이라고 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 2인 경우, 상기 현재 픽처의 리전에 대한 상기 number_of_vertex 필드, 상기 vertex_index_x 필드 및 상기 vertex_index_y 필드가 전송될 수 있다. 상기 number_of_vertex 필드는 상기 현재 픽처의 리전을 나타내는 임의의 닫힌 도형의 점의 개수, 즉, 상기 리전의 꼭지점의 개수를 나타낼 수 있다. 상기 vertex_index_x 필드 및 상기 vertex_index_y 필드는 상기 리전의 꼭지점의 x 성분 및 y 성분을 나타낼 수 있다. 즉, 상기 vertex_index_x 필드 및 상기 vertex_index_y 필드는 상기 리전의 꼭지점 위치의 x 좌표 및 y 좌표를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 circle_center_point_x 필드, circle_center_point_y 필드 및 ciecle_radius 필드를 포함할 수 있다. 상기 circle_center_point_x 필드, 상기 circle_center_point_y 필드 및 상기 ciecle_radius 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type 필드가 상기 현재 픽처의 리전의 타입을 원이라고 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 3인 경우, 상기 현재 픽처의 리전에 대한 상기 circle_center_point_x 필드, 상기 circle_center_point_y 필드 및 상기 ciecle_radius 필드가 전송될 수 있다. 상기 circle_center_point_x 필드 및 상기 circle_center_point_x 필드는 상기 현재 픽처의 리전을 나타내는 원의 중점의 x 성분 및 y 성분을 나타낼 수 있다. 즉, 상기 circle_center_point_x 필드 및 상기 circle_center_point_x 필드는 상기 현재 픽처의 상기 리전의 중점의 x 성분 및 y 성분을 나타낼 수 있다. 또한, 상기 ciecle_radius 필드는 상기 현재 픽처의 리전을 나타내는 원의 반지름(radius), 즉, 상기 리전의 반지름을 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_yaw 필드, region_pitch 필드, region_roll 필드, region_width 필드 및 region_height 필드를 포함할 수 있다. 상기 region_yaw 필드, 상기 region_pitch 필드, 상기 region_roll 필드, 상기 region_width 필드 및 상기 region_height 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 4개의 대원들을 기반으로 상기 구형면을 나타내는 타입이라고 가리키는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 현재 픽처의 리전에 대한 상기 region_yaw 필드, 상기 region_pitch 필드, 상기 region_roll 필드, 상기 region_width 필드 및 상기 region_height 필드가 전송될 수 있다. 상기 region_yaw 필드, 상기 region_pitch 필드 및 상기 region_roll 필드는 3D 공간, 예를 들어 구형면 상에서의 상기 현재 픽처의 상기 리전의 중점(center)의 위치를 나타낼 수 있다. 구체적으로, 상기 구형면(spherical surface) 상의 각 점의 위치는 비행기 주축 개념(Aircraft Principal Axes)을 기반으로 나타내어질 수 있다. 예를 들어, 3차원을 이루는 축을 각각 피치(pitch) 축, 요(yaw) 축 및 롤(roll) 축이라고 할 수 있고, 상기 구형 면 상의 각 점의 위치는 피치(pitch), 요(yaw) 및 롤(roll)를 통해 표현될 수 있다. 본 명세서에서 이들을 줄여서 피치, 요, 롤 내지 pitch 방향, yaw 방향, roll 방향이라고 표현할 수도 있다. 상기 region_yaw 필드는 상기 구형면 상에서의 상기 리전의 중점의 요 값을 나타낼 수 있고, 상기 region_pitch 필드는 상기 구형면 상에서의 상기 리전의 중점의 피치 값을 나타낼 수 있고, 상기 region_roll 필드는 상기 구형면 상에서의 상기 리전의 중점의 롤 값을 나타낼 수 있다. 또한, 상기 region_width 필드 및 상기 region_height 필드는 상기 구형면 상에서의 상기 리전의 폭 및 높이를 나타낼 수 있다. 또는, 상기 region_width 필드 및 상기 region_height 필드는 상기 구형면 상에서의 상기 리전의 요(yaw) 범위(즉, 수평 범위) 및 피치(pitch) 범위(즉, 수직 범위)를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_yaw_top_left 필드, region_pitch_top_left 필드, region_yaw_bottom_right 필드 및 region_pitch_bottom_right 필드를 포함할 수 있다. 상기 region_yaw_top_left 필드, 상기 region_pitch_top_left 필드, 상기 region_yaw_bottom_right 필드 및 상기 region_pitch_bottom_right 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 2개의 대원들 및 2개의 소원들을 기반으로 상기 구형면을 나타내는 타입이라고 가리키는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 현재 픽처의 리전에 대한 상기 region_yaw_top_left 필드, 상기 region_pitch_top_left 필드, 상기 region_yaw_bottom_right 필드 및 상기 region_pitch_bottom_right 필드가 전송될 수 있다. 상기 region_yaw_top_left 필드, 상기 region_pitch_top_left 필드는 3D 공간, 예를 들어 구형면 상에서의 상기 현재 픽처의 상기 리전의 좌상단 샘플의 요 값 및 피치 값을 나타낼 수 있다. 또한, 상기 region_yaw_bottom_right 필드 및 상기 region_pitch_bottom_right 필드는 상기 구형면 상에서의 상기 리전의 우하단 샘플의 요 값 및 피치 값을 나타낼 수 있다. 한편, 상기 구형면 상에서의 상기 리전의 좌하단 샘플의 요 값 및 피치 값에 대한 메타데이터 및/또는 우상단 샘플의 요 값 및 피치 값가 전송될 수도 있다. 또는, 상기 리전의 기준이 되는 위치의 좌표에 대한 메타데이터 및 상기 리전의 요(yaw) 범위 및 피치(pitch) 범위에 대한 메타데이터가 전송될 수도 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_type[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_type[i][j] 필드는 상기 현재 픽처에 대한 quality_indication_type[i] 필드와 유사한 의미를 나타낼 수 있다. 즉, 다시 말해, 상기 region_quality_indication_type[i][j] 필드는 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준을 나타낼 수 있다.
구체적으로, 예를 들어, 상기 region_quality_indication_type[i][j] 필드의 값이 1인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 공간 해상도임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 1인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 공간 해상도로 도출될 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 2인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 압축 정도임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 2인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 압축 정도로 도출될 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 3인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 비트 심도임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 3인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 비트 심도로 도출될 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 4인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 색감임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 4인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 색감으로 도출될 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 5인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 밝기 범위임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 5인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 밝기 범위로 도출될 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 6인 경우, 상기 region_quality_indication_type[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준이 프레임 레이트임을 나타낼 수 있다. 즉, 상기 region_quality_indication_type[i][j] 필드의 값이 6인 경우, 상기 i번째 리전의 j번째 화질 구분 기준은 프레임 레이트로 도출될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_level[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_level[i][j] 필드는 상기 region_quality_indication_type[i][j] 필드의 세부 정보로써, 상기 region_quality_indication_type[i][j] 필드가 나타내는 화질 구분 기준에 의한 화질 차이에 따른 순서를 나타낼 수 있다. 즉, 상기 region_quality_indication_level[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준에 대한 레벨(level)을 나타낼 수 있다. 예를 들어, j번째 화질 구분 기준에 따른 화질이 가장 좋은 리전의 레벨이 1로 지정될 수 있고, 상기 리전이 다른 리전과의 j번째 화질 구분 기준에 따른 화질 비교에 대한 기준으로 설정될 수 있다. 상기 화질이 가장 좋은 리전과의 화질 차이에 따라 단계별로 2,3,4 의 순서, 즉 레벨이 설정될 수 있다. 상기 기준이 되는 리전은 프라이머리 리전이라고 나타낼 수 있다. 즉, j번째 화질 구분 기준에 따른 화질이 가장 좋은 리전은 상기 프라이머리 리전으로 지정될 수 있고, 상기 프라이머리 리전의 레벨은 1로 설정될 수 있고, 상기 프라이머리 리전을 기반으로 상기 현재 픽처의 리전의 상기 j번째 화질 구분 기준에 따른 레벨이 설정될 수 있다. 한편, 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_info[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_info[i][j] 필드는 레벨의 기준이 되는 화질 차이값을 나타낼 수 있다. 즉, 상기 region_quality_indication_info[i][j] 필드는 레벨의 범위를 나타낼 수 있는바, 상기 프라이머리 리전의 j번째 화질 구분 기준에 따른 화질과 상기 region_quality_indication_info[i][j] 필드가 나타내는 화질 차이값만큼의 범위가 하나의 레벨로 설정될 수 있다. 또는, 상기 region_quality_indication_info[i][j] 필드가 나타내는 화질 차이값의 몇 단계, 다시 말해, 상기 region_quality_indication_info[i][j] 필드가 나타내는 화질 차이값의 n배수가 레벨의 범위로 설정될 수 있다. 이 경우, 수신단에서는 상기 프라이머리 리전과 대상 리전과의 화질 차이가 상기 region_quality_indication_info[i][j] 필드가 나타내는 화질 차이값 이상이더라도, 영상 합성 및 재생 시 별도의 처리가 필요하지 않다는 의미로 해석될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 EL_region_quality_indication_level[i][j] 필드를 포함할 수 있다. 상기 EL_region_quality_indication_level[i][j] 필드는 상기 enhancement_layer_quality_indication_flag 필드가 계층화된 코딩(layered coding)이 수행되었음을 나타내는 경우, 즉, 향상 레이어(enhancement layer) 에 대한 상기 리전별 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 현재 픽처의 i번째 리전에 대한 상기 EL_region_quality_indication_level[i][j] 필드가 전송될 수 있다. 상기 EL_region_quality_indication_level[i][j] 필드는 향상 레이어(enhancement layer)를 통하여 발생하는 화질 차이로 인한 순서를 나타낼 수 있다. 다시 말해, 상기 EL_region_quality_indication_level[i][j] 필드는 향상 레이어를 기반으로 수행된 상기 i번째 리전에 대한 인터 레이어 예측에 의한 화질 차이에 따른 순서, 즉, 상기 대응 리전의 j번째 화질 구분 기준에 대한 레벨(level)을 나타낼 수 있다. 한편, 상기 EL_region_quality_indication_level[i][j] 필드가 나타내는 레벨의 화질 구분 기준은 상기 i번째 리전의 region_quality_indication_type[i][j] 필드에 따른 region_quality_indication_level[i][j] 필드가 나타내는 레벨의 화질 구분 기준과 동일할 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_subtype_flag[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_subtype_flag[i][j] 필드는 상기 enhancement_layer_quality_indication_flag 필드가 계층화된 코딩(layered coding)이 수행되었음을 나타내는 경우, 즉, 향상 레이어(enhancement layer) 에 대한 상기 리전별 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 현재 픽처의 i번째 리전에 대한 상기 region_quality_indication_subtype_flag[i][j] 필드가 전송될 수 있다. 상기 region_quality_indication_subtype_flag[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송되는지 여부를 나타낼 수 있다. 상기 region_quality_indication_subtype_flag[i][j] 필드의 값이 1인 경우, 상기 region_quality_indication_subtype_flag[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송됨을 나타낼 수 있다. 즉, 상기 region_quality_indication_subtype_flag[i][j] 필드의 값이 1인 경우, 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송될 수 있다. 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보는 후술하는 number_of_subtypes_minus1[i][j] 필드, region_quality_indication_subtype[i][j][k] 필드, region_quality_indication_info[i][j][k] 필드, 및/또는 EL_region_quality_indication_info[i][j][k] 필드를 포함할 수 있다.
예를 들어, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 number_of_subtypes_minus1[i][j] 필드를 포함할 수 있다. 상기 number_of_subtypes_minus1[i][j] 필드는 상기 region_quality_indication_subtype_flag[i][j] 필드가 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 region_quality_indication_subtype_flag[i][j] 필드의 값이 1인 경우, 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준에 대한 상기 umber_of_subtypes_minus1[i][j] 필드가 전송될 수 있다. 상기 umber_of_subtypes_minus1[i][j] 필드는 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보 타입(type)의 개수를 나타낼 수 있다. 다시 말해, 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준에 대한 서브 타입(sub type)의 개수를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_subtype[i][j][k] 필드를 포함할 수 있다. 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 region_quality_indication_subtype_flag[i][j] 필드가 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 region_quality_indication_subtype_flag[i][j] 필드의 값이 1인 경우, 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준에 대한 상기 region_quality_indication_subtype[i][j][k] 필드가 전송될 수 있다. 상기 region_quality_indication_subtype[i][j][k] 필드는 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입을 나타낼 수 있다.
예를 들어, 상술한 region_quality_indication_type[i][j] 필드의 값이 1인 경우, 즉, 상기 region_quality_indication_type[i][j] 필드가 상기 i번째 리전의 j번째 화질 구분 기준이 공간 해상도임을 나타내는 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 공간 해상도에 대한 서브 타입을 나타낼 수 있다. 상기 공간 해상도에 대한 서브 타입은 수평 방향 다운 스케일링(horizontal dowm scaling), 수직 방향 다운 스케일링(vertical dowm scaling), 닮은꼴(similar figure) 스케일링을 포함할 수 있다. 여기서, 상기 닮은꼴은 원, 삼각형 또는 사각형 등을 나타낼 수 있다.
또한, 상기 공간 해상도에 대한 서브 타입으로 사다리꼴(trapezoid) 형태의 스케일링이 정의될 수 있다. 상기 사다리꼴(trapezoid) 형태의 스케일링은 사각형이 사다리꼴로 변화되는 것과 같이 방향성을 가지고 왜곡(distortion)이 일어나는 스케일링을 나타낼 수 있다.
상기 region_quality_indication_type[i][j] 필드의 값이 1인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 나타내는 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입은 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00004
구체적으로, 예를 들어, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 1인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 수평 방향 다운 스케일링(horizontal dowm scaling)임을 나타낼 수 있다. 즉, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 1인 경우, 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입은 수평 방향 다운 스케일링으로 도출될 수 있다. 이 경우, 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 퀄리티 표시 정보, 즉, 후술하는 region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 수평 방향 다운 스케일링에 따른 화질 차이를 나타낼 수 있다. 즉, region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 수평 방향 다운 스케일링에 따른 화질의 정도를 나타낼 수 있다.
또한, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 2인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 수직 방향 다운 스케일링(vertical dowm scaling)임을 나타낼 수 있다. 즉, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 2인 경우, 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입은 수직 방향 다운 스케일링으로 도출될 수 있다. 이 경우, 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 퀄리티 표시 정보, 즉, 후술하는 region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 수직 방향 다운 스케일링에 따른 화질 차이를 나타낼 수 있다. 즉, region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 수직 방향 다운 스케일링에 따른 화질의 정도를 나타낼 수 있다.
또한, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 3인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 닮음꼴 스케일링(similar figure scaling)임을 나타낼 수 있다. 즉, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 3인 경우, 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입은 닮음꼴 스케일링으로 도출될 수 있다. 여기서, 상기 닮은꼴은 원, 삼각형 또는 사각형 등을 나타낼 수 있다. 한편, 상기 region_quality_indication_subtype[i][j][k] 필드가 상기 k번째 서브 타입이 닮음꼴 스케일링(similar figure scaling)임을 나타내는 경우, 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 퀄리티 표시 정보, 즉, 후술하는 region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 닮음꼴 스케일링에 따른 화질 차이를 나타낼 수 있다. 즉, region_quality_indication_info[i][j][k] 필드는 상기 i번째 리전의 상기 닮음꼴 스케일링에 따른 화질의 정도를 나타낼 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 4 내지 7인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 사다리꼴 스케일링(trapezoid scaling)임을 나타낼 수 있다. 구체적으로, 상기 region_quality_indication_type[i][j] 필드의 값이 4 인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 사다리꼴의 윗변이 변화되는 스케일링을 나타낼 수 있다. 즉, 사각형이 상기 사각형의 윗변의 변화를 통하여 사다리꼴로 도출되는 방향성을 가지고 왜곡(distortion)이 일어나는 스케일링을 나타낼 수 있다.
또한, 상기 region_quality_indication_type[i][j] 필드의 값이 5 인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 사다리꼴의 아랫변이 변화되는 스케일링, 상기 region_quality_indication_type[i][j] 필드의 값이 6 인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 사다리꼴의 좌측변이 변화되는 스케일링, 상기 region_quality_indication_type[i][j] 필드의 값이 7 인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 사다리꼴의 우측변이 변화되는 스케일링을 나타낼 수 있다.
한편, 상기 region_quality_indication_subtype[i][j][k] 필드가 상기 k번째 서브 타입이 사다리꼴 스케일링임을 나타내는 경우, 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 퀄리티 표시 정보, 즉, 후술하는 region_quality_indication_info[i][j][k] 필드는 상기 사다리꼴 스케일링에서 변화되는 변(윗변, 아랫변, 좌측변 또는 우측변)의 길이를 나타낼 수 있다. 또는 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 복수의 퀄리티 표시 정보들이 전송될 수 있고, 상기 퀄리티 표시 정보들은 상기 변화되는 변의 시작 지점 및 상기 변화되는 변의 길이 등을 나타낼 수 있다.
또한, 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 8인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드는 상기 k번째 서브 타입이 비정형 스케일링(atypical scaling)임을 나타낼 수 있다. 상기 비정형 스켕일링은 임의의 닫힌 도형인 리전에 대하여 비정형적(atypical)으로 수행되는 스케일링을 나타낼 수 있다. 즉, 상술한 region_type 필드가 나타내는 상기 i번째 리전의 타입이 임의의 닫힌 도형인 경우, 상기 i번째 리전에 대한 스케일링은 비정형적으로 수행될 수 있다. 상기 region_quality_indication_subtype[i][j][k] 필드의 값이 8인 경우, 상기 region_quality_indication_subtype[i][j][k] 필드에 대한 region_quality_indication_info[i][j][k] 필드가 전송되지 않을 수 있고, 상기 i번째 리전의 점(vertex)을 기반으로 상기 i번째 리전에 대한 스케일링이 유추될 수 있다. 한편, 상기 region_quality_indication_type[i][j] 필드가 상기 i번째 리전의 j번째 화질 구분 기준이 공간 해상도 이외의 타입을 나타내는 경우에도 상기 k번째 서브 타입을 비정형 스케일링으로 나타내는 상기 region_quality_indication_subtype[i][j][k] 필드가 사용될 수 있고, 상기 region_quality_indication_subtype[i][j][k] 필드를 통하여 상기 i번째 리전의 j번째 화질 구분 기준에 대한 세부 정보, 즉, 서브 타입이 도출될 수 있다.
한편, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_info[i][j][k] 필드를 포함할 수 있다. 상기 region_quality_indication_info[i][j][k] 필드는 상기 region_quality_indication_subtype_flag[i][j] 필드가 상기 i번째 리전의 j번째 화질 구분 기준에 대한 추가적인 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 상기 region_quality_indication_subtype_flag[i][j] 필드는 i번째 리전의 region_quality_indication_type[i][j] 필드 및 region_quality_indication_subtype[i][j][k] 필드에 대한 세부 정보를 나타낼 수 있다. 즉, 상기 region_quality_indication_subtype_flag[i][j] 필드는 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입에 대한 세부 정보를 나타낼 수 있다. 예를 들어, 상기 i번째 리전의 상기 region_quality_indication_type[i][j] 필드의 값이 2인 경우, 상기 region_quality_indication_info[i][j][k] 필드는 압축(compression) 과정에 사용된 QP(quantization parameter) 에 따른 압축율을 기반으로 발생된 디테일 손상 정도를 나타낼 수 있다. 상기 QP가 클수록 상기 i번째 리전에 대한 압축율은 향상될 수 있으나, 상기 i번째 리전에 대한 원본 데이터의 정보도 더 많이 손실되어 상기 손상 정도도 커질 수 있고 이에 따른 화질 차이도 발생할 수 있다. 이에, 상기 i번째 리전의 상기 region_quality_indication_type[i][j] 필드의 값이 2인 경우, 상기 region_quality_indication_info[i][j][k] 필드는 상기 QP에 따른 상기 i번째 리전의 손상 정도를 나타낼 수 있다.
또한, 다른 예로, 상기 i번째 리전의 상기 region_quality_indication_type[i][j] 필드의 값이 1이고, region_quality_indication_subtype[i][j][k] 필드의 값이 1인 경우, 상기 region_quality_indication_info[i][j][k] 필드는 수평 방향의 공간 해상도의 스케일링 비율을 나타낼 수 있다. 즉, 상기 i번째 리전의 상기 region_quality_indication_type[i][j] 필드의 값이 1인 경우, 상기 region_quality_indication_info[i][j][k] 필드는 스케일링 팩터(scaling factor)를 나타낼 수 있다. 예를 들어, 상기 region_quality_indication_info[i][j][k] 필드의 값이 0.5인 경우, 상기 i번째 리전의 수평 방향의 해상도는 기준이 되는 리전(즉, 프라이머리 리전)의 수평 방향의 해상도에 비하여 0.5 만큼의 손실이 있음을 나타낼 수 있다. 또한, 상기 region_quality_indication_info[i][j][k] 필드의 값이 1 인 경우는 상기 i번째 리전에 대한 스케일링이 없는 경우를 나타낼 수 있다. 또한, 다운-스케일 팩터(down-scale factor)는 1/region_quality_indication_info[i][j][k] 필드의 값으로 도출될 수도 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 EL_region_quality_indication_info[i][j][k] 필드를 포함할 수 있다. 상기 EL_region_quality_indication_info[i][j][k] 필드는 상기 enhancement_layer_quality_indication_flag 필드가 계층화된 코딩(layered coding)이 수행되었음을 나타내는 경우, 즉, 향상 레이어(enhancement layer) 에 대한 상기 리전별 퀄리티 표시 정보가 전송됨을 나타내는 경우에 전송될 수 있다. 구체적으로, 예를 들어, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 EL_region_quality_indication_info[i][j][k] 필드가 전송될 수 있다. 상기 EL_region_quality_indication_info[i][j][k] 필드는 향상 레이어(enhancement layer)를 통하여 발생하는 화질 차이에 대한 정보를 나타낼 수 있다. 다시 말해, 상기 EL_region_quality_indication_info[i][j][k] 필드는 상기 향상 레이어를 기반으로 수행된 인터레이어 예측에 의한 상기 i번째 리전의 j번째 화질 구분 기준의 k번째 서브 타입에 대한 세부 정보를 나타낼 수 있다. 한편, 상기 EL_region_quality_indication_info[i][j][k] 필드가 나타내는 정보의 화질 구분 기준은 상기 i번째 리전의 region_quality_indication_type[i][j] 필드 및 region_quality_indication_subtype[i][j][k] 필드에 따른 region_quality_indication_info[i][j][k] 필드의 화질 구분 기준과 동일할 수 있다. 즉, EL_region_quality_indication_info[i][j][k] 필드는 j번째 화질 구분 기준의 k번째 서브 타입에 대한 정보를 나타낼 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 type_priority_index[i] 필드를 포함할 수 있다. 상기 type_priority_index[i] 필드는 상기 현재 픽처의 화질 구분 기준의 우선 순위를 나타낼 수 있다. 즉, 상기 type_priority_index[i] 필드는 상기 현재 영상 내에서 리전 간 화질 차이의 기준이 되는 화질 구분 기준들 중 quality_indication_type[i] 필드가 나타내는 i번째 화질 구분 기준의 우선 순위를 나타낼 수 있다. 예를 들어, 리전의 크기에 의하여 화질 차이가 나는 경우가 우선시되는 경우, 즉, 화질 구분 기준들 중 공간 해상도가 우선시되는 경우, type_priority_index[i] 필드는 가장 높은 우선 순위를 나타낼 수 있다. 이 경우, 상기 quality_indication_type[i] 필드의 값은 1일 수 있고, 상기 quality_indication_type[i] 필드는 i번째 화질 구분 기준을 상기 공간 해상도임을 나타낼 수 있다. 복수의 리전들 또는 비디오 스트림(video stream)들에 대한 복수의 화질 구분 기준들이 정의되어 있는 경우, 즉, 상기 복수의 리전들 또는 비디오 스트림(video stream)들에 대한 복수의 quality_indication_type 필드들이 전송되는 경우, 화질 구분 기준들 각각에 대한 type_priority_index 필드를 기반으로 디코딩 장치에서 선호되는 퀄리티 차이를 가지는 영상이 선택될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_type_inter_type_index[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_type_inter_type_index[i][j] 필드는 상기 현재 픽처의 i번째 리전의 j번째 화질 구분 기준의 우선 순위를 나타낼 수 있다. 상기 i번째 리전에 대하여 복수의 화질 구분 기준들이 정의될 수 있고, 즉, 상기 i번째 리전에 대하여 복수의 region_quality_indication_type 필드들이 전송될 수 있고, region_quality_indication_type_inter_type_index 필드는 region_quality_indication_type 필드들 각각에 대한 퀄리티 표시 정보의 우선 순위를 나타낼 수 있다. 예를 들어, 상기 i번째 리전에 대한 화질 구분 기준들이 공간 해상도, 압축 정도 및 비트 심도(bit depth)가 정의된 경우, 즉, i번째 리전에 대하여 값이 1인 region_quality_indication_type 필드, 값이 2인 region_quality_indication_type 필드 및 값이 3인 region_quality_indication_type 필드가 전송된 경우, 각 화질 구분 기준, 즉, 각 region_quality_indication_type 필드에 대한 region_quality_indication_type_inter_type_index 필드를 통하여 region_quality_indication_type 필드에 대한 퀄리티 표시 정보의 우선 순위가 도출될 수 있다. 상기 region_quality_indication_type_inter_type_index 필드는 1, 2 또는 3 을 나타낼 수 있고, 값이 1인 region_quality_indication_type_inter_type_index 필드에 대한 region_quality_indication_type 필드가 나타내는 화질 구분 기준이 최우선 순위로 도출될 수 있다. 퀄리티 표시 정보의 우선 순위를 통하여 리전들의 특징을 비교하여 리전 또는 스트림을 선택하는 경우에 디코딩 장치(또는 수신기)에서 우선적으로 판단되는 기준이 도출될 수 있고, 상기 기준을 통하여 리전 또는 스트림이 선택될 수 있다. 또는, 상기 퀄리티 표시 정보의 우선 순위를 통하여 우선적으로 판단되는 기준이 도출될 수 있고, 상기 기준을 통하여 선택된 리전 또는 스트림에 대한 디코딩 장치에서의 후처리 과정을 준비하기 위한 신호로 상기 퀄리티 표시 정보의 우선 순위가 사용될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_type_inter_region_index[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_type_inter_region_index[i][j] 필드는 region_quality_indication_type[i][j] 필드가 나타내는 i번째 리전의 j번째 화질 구분 기준을 기반으로 도출되는 현재 픽처 내 동일한 화질 구분 기준의 퀄리티 표시 정보를 갖는 리전들 사이의 우선 순위를 나타낼 수 있다. 다시 말해, 상기 region_quality_indication_type_inter_region_index[i][j] 필드는 상기 현재 픽처 내 상기 j번째 화질 구분 기준에 대한 퀄리티 표시 정보를 갖는 리전들에서 상기 i번째 리전의 우선 순위를 나타낼 수 있다.
예를 들어, 현재 픽처가 CMP(cube map projection)를 기반으로 360도 비디오 데이터가 프로젝션된 픽처인 경우, 상기 현재 픽처는 큐브(cube)의 면(face)들을 나타내는 리전들을 포함할 수 있고, 상기 리전들별로 서로 다른 압축 에러(compression error), 공간적 스케일링(spatial scaling), 다이나믹 레인지(dynamic range)를 갖도록 설정될 수 있다. 여기서, 상기 공간적 스케일링은 공간 해상도라고 불릴 수도 있고, 상기 다이나믹 레인지는 밝기 범위라고 불릴 수도 있다. 이 경우, i번째 리전 및 압축 정도에 대한 region_quality_indication_type_inter_region_index[i][j] 필드가 전송될 수 있고, 상기 region_quality_indication_type_inter_region_index[i][j] 필드는 압축 정도를 기준으로 리전들을 비교하여 도출되는 i번째 리전의 우선 순위를 나타낼 수 있다. 상기 region_quality_indication_type_inter_region_index[i][j] 필드를 기반으로 영상 내 다양한 화질 구분 기준들에 따른 퀄리티(quality) 차이에 대한 고려없이 특정 화질 구분 기준에 대한 순서(즉, 우선 순위)를 기반으로 비디오 스트림이 선택될 수 있다.
또한, 도 8b를 참조하면 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 region_quality_indication_type_inter_stream_index[i][j] 필드를 포함할 수 있다. 상기 region_quality_indication_type_inter_stream_index[i][j] 필드는 region_quality_indication_type[i][j] 필드가 나타내는 i번째 리전의 j번째 화질 구분 기준을 기반으로 도출되는 상기 i번째 리전 및 다른 비디오 스트림들 내 및 대응 리전들 중 상기 i번째 리전의 우선 순위를 나타낼 수 있다.
예를 들어, 현재 영상에 대한 360도 비디오 데이터가 CMP(cube map projection)를 기반으로 프로젝션되고, 다양한 패킹 포맷(packing format)들 및 화질 구분 기준들을 갖는 비디오 스트림들이 존재하는 경우, 상기 비디오 스트림들 내 큐브(cube)의 앞면(front face)를 나타내는 리전들 각각에 대한 region_quality_indication_type_inter_stream_index[i][j] 필드가 전송될 수 있다. 상기 region_quality_indication_type_inter_stream_index[i][j] 필드는 앞면(front face)을 나타내는 리전들 중 j번째 화질 구분 기준을 기반으로 도출되는 상기 region_quality_indication_type_inter_stream_index[i][j] 필드에 대한 i번째 리전의 큐브(cube)의 우선 순위를 나타낼 수 있다. 상기 j번째 화질 구분 기준이 공간 해상도인 경우, 즉, region_quality_indication_type[i][j] 필드의 값이 1인 경우, 상기 region_quality_indication_type_inter_stream_index[i][j] 필드는 상기 앞면를 나타내는 리전들 중 상기 i번째 리전의 우선 순위를 나타낼 수 있다. 상기 region_quality_indication_type_inter_stream_index 필드를 기반으로 region_quality_indication_type 필드의 값이 1, 즉, 공간 해상도에 대한 퀄리티 표시 정보를 갖고, 앞면을 나타내는 리전을 선호하는 수신기에서 최선의 비디오 스트림인지 여부가 판단될 수 있다. 즉, 상기 region_quality_indication_type_inter_stream_index 필드를 기반으로 값이 1인 region_quality_indication_type 필드를 갖고, 앞면을 나타내는 리전들을 포함하는 복수의 비디오 스트림들 중 보다 향상된 화질의 비디오 스트림이 선택될 수 있다.
한편, 리전에 리전 경계 처리가 수행될 수 있고, 이 경우, 상기 리전에 대한 추가 정보로, 상기 리전 내 리전 경계 처리가 수행되는 영역을 나타내는 정보, 상기 리전 내 상기 리전 경계 처리가 수행되지 않는 영역을 나타내는 정보 및 상기 리전 경계 처리에 대한 정보 등이 전송될 수 있다. 여기서, 상기 리전 경계 처리는 리전들 간의 경계에서 발생되는 문제(예를 들어, 상기 리전들 간 화질 차이로 인한 경계 발생 등)를 해결하기 위한 처리로 스무딩 필터(smoothing filter), 블렌딩 필터(blending filter), 향상 필터(enhancement filter) 또는 복원 필터(restoration filter)를 기반으로 필터링을 수행하는 방법을 나타낼 수 있다.
구체적으로, 도 8b에 도시된 processing_region_indication_flag[i] 필드가 전송될 수 있다. 상기 processing_region_indication_flag[i] 필드는 i번째 리전 내 상기 리전 경계 처리가 수행되는 영역을 나타내는 정보의 전송 여부를 나타낼 수 있다. 상기 리전 경계 처리가 수행되는 영역은 프로세싱 영역(processing region)이라고 나타낼 수 있다. 예를 들어, 상기 processing_region_indication_flag[i] 필드의 값이 1인 경우, 상기 i번째 리전 내 상기 리전 경계 처리가 수행되는 영역을 나타내는 정보가 전송될 수 있고, 상기 processing_region_indication_flag[i] 필드의 값이 0인 경우, 상기 i번째 리전 내 상기 리전 경계 처리가 수행되는 영역을 나타내는 정보가 전송되지 않을 수 있다.
또한, 도 8b에 도시된 core_region_indication_flag[i] 필드가 전송될 수 있다. 상기 core_region_indication_flag[i] 필드는 i번째 리전 내 상기 리전 경계 처리가 수행되지 않는 영역을 나타내는 정보의 전송 여부를 나타낼 수 있다. 상기 리전 경계 처리가 수행되지 않는 영역은 코어 영역(core region)이라고 나타낼 수 있다. 예를 들어, 상기 core_region_indication_flag[i] 필드의 값이 1인 경우, 상기 i번째 리전 내 상기 리전 경계 처리가 수행되지 않는 영역을 나타내는 정보가 전송될 수 있고, 상기 core_region_indication_flag[i] 필드의 값이 0인 경우, 상기 i번째 리전 내 상기 리전 경계 처리가 수행되지 않는 영역을 나타내는 정보가 전송되지 않을 수 있다.
또한, 도 8b에 도시된 processing_info_present_flag[i] 필드가 전송될 수 있다. 상기 processing_info_present_flag[i] 필드는 i번째 리전의 리전 경계 처리에 대한 정보의 전송 여부를 나타낼 수 있다. 상기 리전 경계 처리에 대한 정보는 상기 리전 경계 처리의 필터를 나타내는 정보, 상기 필터의 파라미터에 대한 정보 등을 포함할 수 있다.
한편, 상기 리전 경계 처리가 수행되는 영역을 나타내는 정보, 상기 리전 경계 처리가 수행되지 않는 영역을 나타내는 정보 및 상기 리전 경계 처리에 대한 구체적인 정보는 후술하는 바와 같을 수 있다.
도 10a 내지 도 10b는 리전의 리전 경계 처리에 대한 정보의 일 예를 나타낸다. 도 10a을 참조하면 상술한 processing_region_indication_flag[i] 필드, core_region_indication_flag[i] 필드 및 processing_info_present_flag[i] 필드가 전송될 수 있다. 상기 processing_region_indication_flag[i] 필드, 상기 core_region_indication_flag[i] 필드 및 상기 processing_info_present_flag[i] 필드는 상술한 설명과 같을 수 있다.
또한, 도 10a을 참조하면 processing_region_top_margin[i] 필드, processing_region_bottom_margin[i] 필드, processing_region_left_margin[i] 필드 및 processing_region_right_margin[i] 필드가 전송될 수 있다. 상기 processing_region_top_margin[i] 필드, 상기 processing_region_bottom_margin[i] 필드, 상기 processing_region_left_margin[i] 필드 및 상기 processing_region_right_margin[i] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 사각형으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 1인 경우, 상기 processing_region_top_margin[i] 필드, 상기 processing_region_bottom_margin[i] 필드, 상기 processing_region_left_margin[i] 필드 및 상기 processing_region_right_margin[i] 필드가 전송될 수 있다. 상기 processing_region_top_margin[i] 필드, 상기 processing_region_bottom_margin[i] 필드, 상기 processing_region_left_margin[i] 필드 및 상기 processing_region_right_margin[i] 필드는 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다. 구체적으로, 상기 processing_region_top_margin[i] 필드는 상기 i번째 리전의 상측 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 상측 경계에서부터 상기 processing_region_top_margin[i] 필드의 값까지의 영역, 즉, 상기 상측 경계에 인접하고 상기 상측 경계를 너비(width), 상기 processing_region_top_margin[i] 필드의 값을 높이(height)로 하는 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 상기 processing_region_bottom_margin[i] 필드는 상기 i번째 리전의 하측 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 하측 경계에서부터 상기 processing_region_bottom_margin[i] 필드의 값까지의 영역, 즉, 상기 하측 경계에 인접하고 상기 하측 경계를 너비(width), 상기 processing_region_bottom_margin[i] 필드의 값을 높이(height)로 하는 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 상기 processing_region_left_margin[i] 필드는 상기 i번째 리전의 좌측 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 좌측 경계에서부터 상기 processing_region_left_margin[i] 필드의 값까지의 영역, 즉, 상기 좌측 경계에 인접하고 상기 좌측 경계를 높이(height), 상기 processing_region_left_margin[i] 필드의 값을 너비(width)로 하는 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 상기 processing_region_right_margin[i] 필드는 상기 i번째 리전의 우측 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 우측 경계에서부터 상기 processing_region_right_margin[i] 필드의 값까지의 영역, 즉, 상기 우측 경계에 인접하고 상기 우측 경계를 높이(height), 상기 processing_region_right_margin[i] 필드의 값을 너비(width)로 하는 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 도 10a을 참조하면 processing_region_perpendicular_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_perpendicular_margin[i][j] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 임의의 닫힌 도형으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 2인 경우, 상기 processing_region_perpendicular_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_perpendicular_margin[i][j] 필드는 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다. 구체적으로, 상기 processing_region_perpendicular_margin[i][j] 필드는 i번째 리전의 j번째 점(vertex)과 j+1 번째 점으로 구성된 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 j번째 점과 j+1 번째 점으로 구성된 경계에서부터 상기 processing_region_perpendicular_margin[i][j] 필드의 값까지의 영역, 즉, 상기 j번째 점과 j+1 번째 점으로 구성된 경계에 인접하고 상기 경계를 너비(width), 상기 processing_region_perpendicular_margin[i][j] 필드의 값을 높이(height)로 하는 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 도 10a을 참조하면 processing_region_radius_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_radius_margin[i][j] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 원으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 3인 경우, 상기 processing_region_radius_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_radius_margin[i][j] 필드는 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다. 구체적으로, 상기 processing_region_radius_margin[i][j] 필드는 i번째 리전의 경계에서부터의 거리를 나타낼 수 있다. 이 경우, 상기 경계에서부터 상기 processing_region_perpendicular_margin[i][j] 필드의 값까지의 영역, 즉, 상기 경계에서 상기 processing_region_perpendicular_margin[i][j] 필드의 값까지의 도넛 형태의 영역에 상기 리전 경계 처리가 수행될 수 있다.
또한, 도 10a을 참조하면 processing_region_yaw_margin[i][j] 필드 및 processing_region_pitch_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_yaw_margin[i][j] 필드 및 상기 processing_region_pitch_margin[i][j] 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 4개의 대원들을 기반으로 구형면을 나타내는 타입으로 나타내는 경우에 전송될 수 있다. 즉, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 processing_region_yaw_margin[i][j] 필드 및 상기 processing_region_pitch_margin[i][j] 필드가 전송될 수 있다. 상기 processing_region_yaw_margin[i][j] 필드 및 상기 processing_region_pitch_margin[i][j] 필드는 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다. 구체적으로, 상기 i번째 리전의 위치는 상기 i번째 리전의 중점 및 상기 i번째 리전의 너비 및 높이를 기반으로 나타낼 수 있는바, 상기 processing_region_yaw_margin[i][j] 필드 및 상기 processing_region_pitch_margin[i][j] 필드는 상기 i번째 리전의 상기 중점을 지나는 수직선 및 수평선 상의 좌표를 나타낼 수 있다. 즉, 상기 processing_region_yaw_margin[i][j] 필드 및 상기 processing_region_pitch_margin[i][j] 필드는 상기 i번째 리전의 경계로부터의 거리를 나타낼 수 있다. 한편, 상기 i번째 리전의 중점의 위치는 상술한 region_yaw[i] 필드, region_pitch[i] 필드, region_roll[i] 필드를 기반으로 도출될 수 있고, 상기 i번째 리전의 너비 및 높이는 상술한 region_width[i] 필드 및 region_height[i] 필드를 기반으로 도출될 수 있다.
또한, 도 10a을 참조하면 processing_region_yaw_top_margin[i] 필드, processing_region_yaw_bottom_margin[i] 필드, processing_region_pitch_left_ margin[i] 필드 및 processing_region_pitch_right_margin[i] 필드가 전송될 수 있다. 상기 processing_region_yaw_top_margin[i] 필드, 상기 processing_region_yaw_bottom_margin[i] 필드, 상기 processing_region_pitch_left_ margin[i] 필드 및 상기 processing_region_pitch_right_margin[i] 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 2개의 대원들 및 2개의 소원들을 기반으로 구형면을 나타내는 타입으로 나타내는 경우에 전송될 수 있다. 즉, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 processing_region_yaw_top_margin[i] 필드, 상기 processing_region_yaw_bottom_margin[i] 필드, 상기 processing_region_pitch_left_ margin[i] 필드 및 상기 processing_region_pitch_right_margin[i] 필드가 전송될 수 있다. 상기 processing_region_yaw_top_margin[i] 필드, 상기 processing_region_yaw_bottom_margin[i] 필드, 상기 processing_region_pitch_left_ margin[i] 필드 및 상기 processing_region_pitch_right_margin[i] 필드는 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다.
구체적으로, 상기 processing_region_yaw_top_margin[i] 필드는 상기 i번째 리전의 상측 경계에서부터의 거리를 나타낼 수 있다. 또한, 상기 processing_region_yaw_bottom_margin[i] 필드는 상기 i번째 리전의 하측 경계에서부터의 거리를 나타낼 수 있다. 또한, 상기 processing_region_pitch_left_margin[i] 필드는 상기 i번째 리전의 좌측 경계에서부터의 거리를 나타낼 수 있다. 또한, 상기 processing_region_pitch_right_margin[i] 필드는 상기 i번째 리전의 우측 경계에서부터의 거리를 나타낼 수 있다.
또한, 도 10a을 참조하면 core_region_top_index[i] 필드, core_region_left_index[i] 필드, core_region_width[i] 필드 및 core_region_height[i] 필드가 전송될 수 있다. 상기 core_region_top_index[i] 필드, 상기 core_region_left_index[i] 필드, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 사각형으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 1인 경우, 상기 core_region_top_index[i] 필드, 상기 core_region_left_index[i] 필드, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드가 전송될 수 있다. 상기 core_region_top_index[i] 필드, 상기 core_region_left_index[i] 필드, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있다. 구체적으로, 상기 core_region_top_index[i] 필드 및 상기 core_region_left_index[i] 필드는 상기 i번째 리전의 상기 리전 경계 처리가 수행되지 않는 영역, 즉, 상기 i번째 리전의 코어 영역(core region)의 좌상단 샘플의 y 성분 및 x 성분을 나타낼 수 있다. 또한, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 i번째 리전의 상기 리전 경계 처리가 수행되지 않는 영역, 즉, 상기 i번째 리전의 코어 영역(core region)의 폭(width)과 높이(height)를 나타낼 수 있다.
또한, 도 10a을 참조하면 core_vertex_index_x[i][j] 필드 및 core_vertex_index_y[i][j] 필드가 전송될 수 있다. 상기 core_vertex_index_x[i][j] 필드 및 상기 core_vertex_index_y[i][j] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 임의의 닫힌 도형으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 2인 경우, 상기 core_vertex_index_x[i][j] 필드 및 상기 core_vertex_index_y[i][j] 필드가 전송될 수 있다. 상기 core_vertex_index_x[i][j] 필드 및 상기 core_vertex_index_y[i][j] 필드는 i번째 리전의 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있다. 구체적으로, 상기 core_vertex_index_x[i][j] 필드 및 상기 core_vertex_index_y[i][j] 필드는 상기 i번째 리전의 리전 경계 처리가 수행되지 않는 영역, 즉, 상기 i번째 리전의 코어 영역의 점을 나타낼 수 있다. 이 경우, 상기 core_vertex_index_x[i][j] 필드 및 상기 core_vertex_index_y[i][j] 필드가 나타내는 점으로 구성된 임의의 닫힌 도형 형태의 영역은 상기 리전 경계 처리가 수행되지 않을 수 있다.
또한, 도 10a을 참조하면 core_circle_radius[i] 필드가 전송될 수 있다. 상기 core_circle_radius[i] 필드는 상기 2D_coordinate_flag 필드가 2D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 region_type[i] 필드가 i번째 리전의 타입을 원으로 나타내는 경우에 전송될 수 있다. 즉, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type[i] 필드의 값이 3인 경우, 상기 core_circle_radius[i] 필드가 전송될 수 있다. 상기 core_circle_radius[i] 필드는 상기 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있다. 구체적으로, 상기 core_circle_radius[i] 필드는 i번째 리전의 상기 리전 경계 처리가 수행되지 않는 영역, 즉, i번째 리전의 코어 영역의 반지름을 나타낼 수 있다. 이 경우, 상기 i번째 리전의 상기 코어 영역은 상기 i번째 리전의 중점을 중심으로 하고 상기 core_circle_radius[i] 필드의 값을 반지름으로 하는 영역으로 도출될 수 있고, 상기 코어 영역은 상기 영역 경계 처리가 수행되지 않을 수 있다.
또한, 도 10b를 참조하면 core_region_width[i] 필드 및 core_region_height[i] 필드가 전송될 수 있다. 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 4개의 대원들을 기반으로 구형면을 나타내는 타입으로 나타내는 경우에 전송될 수 있다. 즉, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드가 전송될 수 있다. 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있다. 구체적으로, 상기 core_region_width[i] 필드 및 상기 core_region_height[i] 필드는 상기 i번째 리전의 상기 리전 경계 처리가 수행되지 않는 영역, 즉, 상기 i번째 리전의 코어 영역의 너비 및 높이를 나타낼 수 있다. 이 경우, 상기 i번째 리전의 상기 코어 영역은 상기 i번째 리전의 중점을 중심으로 하고 상기 core_region_width[i] 필드의 값 및 상기 core_region_height[i] 필드의 값을 너비 및 높이로 하는 영역으로 도출될 수 있고, 상기 코어 영역은 상기 영역 경계 처리가 수행되지 않을 수 있다. 여기서, 상기 i번째 리전의 중점의 위치는 상술한 region_yaw[i] 필드, region_pitch[i] 필드 및 region_roll[i] 필드를 기반으로 도출될 수 있다.
또한, 도 10b를 참조하면 core_region_yaw_top_left[i] 필드, core_region_pitch_top_left[i] 필드, core_region_yaw_bottom_right[i] 필드 및 core_region_pitch_bottom_right[i] 필드가 전송될 수 있다. 상기 core_region_yaw_top_left[i] 필드, 상기 core_region_pitch_top_left[i] 필드, 상기 core_region_yaw_bottom_right[i] 필드 및 상기 core_region_pitch_bottom_right[i] 필드는 상기 3D_coordinate_flag 필드가 3D 좌표계에 대한 정보가 전송됨을 나타내고, 상기 viewport_type 필드가 상기 3D 좌표계의 타입을 2개의 대원들 및 2개의 소원들을 기반으로 구형면을 나타내는 타입으로 나타내는 경우에 전송될 수 있다. 즉, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 core_region_yaw_top_left[i] 필드, 상기 core_region_pitch_top_left[i] 필드, 상기 core_region_yaw_bottom_right[i] 필드 및 상기 core_region_pitch_bottom_right[i] 필드가 전송될 수 있다. 상기 core_region_yaw_top_left[i] 필드, 상기 core_region_pitch_top_left[i] 필드, 상기 core_region_yaw_bottom_right[i] 필드 및 상기 core_region_pitch_bottom_right[i] 필드는 상기 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있다. 구체적으로, 상기 core_region_yaw_top_left[i] 필드 및 상기 core_region_pitch_top_left[i] 필드는 상기 i번째 리전의 상기 리전 경계 처리가 수행되지 않는 영역, 즉, 상기 i번째 리전의 코어 영역의 좌상단 샘플의 요(yaw) 값 및 피치(pitch) 값을 나타낼 수 있다. 또한, 상기 core_region_yaw_bottom_right[i] 필드 및 상기 core_region_pitch_bottom_right[i] 필드는 상기 i번째 리전의 코어 영역의 우하단 샘플의 요(yaw) 값 및 피치(pitch) 값을 나타낼 수 있다.
또한, 도 10b를 참조하면 processing_type[i] 필드가 전송될 수 있다. 상기 processing_type[i] 필드는 i번째 리전의 영역 경계 처리에 사용되는 필터를 나타낼 수 있다. 예를 들어, 상기 processing_type[i] 필드의 값이 나타내는 i번째 리전의 영역 경계 처리를 위한 필터은 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00005
상기 processing_type[i] 필드의 값이 1인 경우, 상기 processing_type[i] 필드는 스무딩 필터(smoothing filter)를 나타낼 수 있다. 즉, 상기 processing_type[i] 필드의 값이 1인 경우, 상기 i번째 리전의 영역 경계 처리를 위한 필터는 스무딩 필터로 도출될 수 있다.
또한, 상기 processing_type[i] 필드의 값이 2인 경우, 상기 processing_type[i] 필드는 블렌딩 필터(blending filter)를 나타낼 수 있다. 즉, 상기 processing_type[i] 필드의 값이 2인 경우, 상기 i번째 리전의 영역 경계 처리를 위한 필터는 블렌딩 필터로 도출될 수 있다.
또한, 상기 processing_type[i] 필드의 값이 3인 경우, 상기 processing_type[i] 필드는 향상 필터(enhancement filter)를 나타낼 수 있다. 즉, 상기 processing_type[i] 필드의 값이 3인 경우, 상기 i번째 리전의 영역 경계 처리를 위한 필터는 향상 필터로 도출될 수 있다.
또한, 상기 processing_type[i] 필드의 값이 4인 경우, 상기 processing_type[i] 필드는 복원 필터(restoration filter)를 나타낼 수 있다. 즉, 상기 processing_type[i] 필드의 값이 4인 경우, 상기 i번째 리전의 영역 경계 처리를 위한 필터는 복원 필터로 도출될 수 있다.
또한, 도 10b를 참조하면 number_of_parameters[i] 필드 및 processing_parameter[i][j] 필드가 전송될 수 있다. 상기 number_of_parameters[i] 필드 및 상기 processing_parameter[i][j] 필드는 상기 i번째 리전의 영역 경계 처리를 위한 필터의 구체적이 정보들을 나타낼 수 있다. 상기 number_of_parameters[i] 필드는 상기 i번째 리전에 대한 상기 필터의 필터 계수(filter parameter)의 개수를 나타낼 수 있고, 상기 processing_parameter[i][j] 필드는 상기 필터의 파라미터 값을 나타낼 수 있다.
상술한 내용과 같이 리전별 퀄리티 표시(region-wise quality indication) 정보에 대한 메타데이터가 전송될 수 있는바, 상기 리전별 퀄리티 표시 정보에 대한 메타데이터를 기반으로 현재 픽처 내 화질 차이를 구분하는 실시예들은 다음과 같은 다양한 형태로 도출될 수 있다.
도 11a 내지 도 11e는 상기 리전별 퀄리티 표시 정보에 대한 메타데이터를 기반으로 현재 픽처 내 화질 차이를 구분하는 실시예들을 예시적으로 나타낸다. 도 11a의 (a)를 참조하면 인코딩 장치/디코딩 장치는 현재 픽처 내 리전들의 퀄리티 표시 정보에 대한 메타데이터를 기반으로 상기 리전들의 화질 차이를 판단할 수 있다. 도 11a의 (a)에 도시된 괄호 속의 숫자들은 좌에서 우의 순서로 각 리전의 region_quality_indication_type 필드의 값, region_quality_indication_level 필드의 값, region_quality_indication_info 필드의 값을 나타낼 수 있다. 즉, 도 11a의 (a)를 참조하면 제1 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제2 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제3 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제4 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 37로 도출될 수 있다. 여기서, 상기 제1 리전은 좌상측 리전, 상기 제2 리전은 우상측 리전, 상기 제3 리전은 좌하측 리전, 상기 제4 리전은 우하측 리전을 나타낼 수 있다. 상기 제1 리전 내지 상기 제4 리전에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 내지 상기 제4 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제4 리전의 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제4 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11a의 (b)에 도시된 것과 같이 각 리전에 대하여 복수의 화질 구분 기준들에 대한 퀄리티 표시 정보들의 메타데이터가 전송될 수 있다. 예를 들어, 도 11a의 (b)에 도시된 것과 같이 각 리전에 대한 제1 퀄리티 표시 정보에 대한 메타데이터 및 제2 퀄리트 표시 정보에 대한 메타데이터가 전송될 수 있다. 도 11a의 (b)를 참조하면 제1 레전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 1, region_quality_indication_subtype 필드의 값은 0, region_quality_indication_info 필드의 값은 1로 도출될 수 있고, 제2 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 1, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제3 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 1, region_quality_indication_subtype 필드의 값은 0, region_quality_indication_info 필드의 값은 1로 도출될 수 있고, 제4 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 1, region_quality_indication_info 필드의 값은 2로 도출될 수 있다. 여기서, 상기 제1 리전은 좌상측 리전, 상기 제2 리전은 우상측 리전, 상기 제3 리전은 좌하측 리전, 상기 제4 리전은 우하측 리전을 나타낼 수 있다. 상기 제1 리전 내지 상기 제4 리전의 제1 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 1이므로, 상기 제1 리전 내지 상기 제4 리전의 제1 퀄리티 표시 정보들의 타입은 공간 해상도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제4 리전의 제1 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제4 리전의 공간 해상도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11a의 (b)를 참조하면 상기 제1 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제2 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제3 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 4, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제4 리전의 region_quality_indication_type 필드의 값은 4, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 37로 도출될 수 있다. 이 경우, 상기 제1 리전 및 상기 제2 리전의 제2 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 및 상기 제2 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 또한, 상기 제3 리전 및 상기 제4 리전의 제2 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 4이므로, 상기 제3 리전 및 상기 제2 리전의 퀄리티 표시 정보들의 타입은 색감으로 도출될 수 있다. 따라서, 상기 제1 리전 및 상기 제2 리전의 제2 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 및 상기 제2 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있고, 상기 제3 리전 및 상기 제4 리전의 제2 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제3 리전 및 상기 제4 리전의 색감을 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11a의 (c)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 예를 들어, 도 11a의 (c)에 도시된 것과 같이 향상 레이어에 따라 각 리전의 화질 차이가 발생할 수 있고, 코딩 장치는 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터를 기반으로 상기 향상 레이어에 따라 각 리전의 화질 차이를 비교할 수 있다. 다시 말해, 도 11a의 (c)에 도시된 것과 같이 제1 리전은 향상 레이어를 기반으로 인터 레이어 예측이 수행되어 향상 레이어에 포함된 세부 정보(detail)이 추가될 수 있고, 제2 리전은 인터 레이어 예측이 수행되지 않을 수 있다. 여기서, 상기 제1 리전은 좌측 리전, 상기 제2 리전은 우측 리전을 나타낼 수 있다. 이에, 상기 제1 리전의 화질이 상기 제2 리전의 화질보다 좋을 수 있다. 이 경우, 도 11a의 (c)를 참조하면 제1 리전의 region_quality_indication_type 필드의 값은 8, region_quality_indication_level 필드의 값은 1로 도출될 수 있고, 제2 리전의 region_quality_indication_type 필드의 값은 8, region_quality_indication_level 필드의 값은 4로 도출될 수 있다. 한편, 이 경우, 상술한 enhancement_layer_quality_indication_flag 필드의 값은 1일 수 있다.
또한, 도 11b의 (d)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 상기 도 11b의 (d)는 SSP(segmented sphere projection)으로 360도 비디오 데이터가 프로젝션된 현재 픽처 내 각 리전의 퀄리티 표시 정보에 대한 메타데이터를 나타낼 수 있다. 여기서, SSP는 구형면의 두 극(pole) 부분의 360도 비디오 데이터는 원 타입의 리전들에 맵핑되고, 나머지 부분의 360도 비디오 데이터는 사각형 타입의 리전들에 맵핑되는 프로젝션 타입을 나타낼 수 있다.
도 11b의 (d)를 참조하면 제1 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 37로 도출될 수 있고, 제2 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제3 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제4 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 32로 도출될 수 있다. 여기서, 상기 제1 리전은 두 극 부분의 360도 비디오 데이터가 맵핑된 원 타입의 리전들, 상기 제2 리전은 북극 부분 및 적도 부분 사이의 360도 비디오 데이터가 맵핑된 리전들, 상기 제3 리전은 적도 부분의 360도 비디오 데이터가 맵핑된 사각형 타입의 리전, 상기 제4 리전은 남극 부분 및 적도 부분 사이의 360도 비디오 데이터가 맵핑된 리전들을 나타낼 수 있다. 상기 제1 리전 내지 상기 제4 리전에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 내지 상기 제4 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제4 리전의 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제4 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11b의 (e)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 상기 도 11b의 (e)는 CMP(cube map projection)으로 360도 비디오 데이터가 프로젝션된 현재 픽처 내 각 리전의 퀄리티 표시 정보에 대한 메타데이터를 나타낼 수 있다. 여기서, 상기 CMP는 구형면 상에 나타낸 360도 비디오 데이터를 큐브의 각 면(face)을 나타내는 리전으로 대응하여 2D 이미지에 프로젝션하는 프로젝션 타입을 나타낼 수 있다.
도 11b의 (e)를 참조하면 제1 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제2 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있고, 제3 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제4 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있고, 제5 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 4, region_quality_indication_info 필드의 값은 37로 도출될 수 있고, 제6 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있다. 여기서, 상기 제1 리전은 윗면(top face)을 나타내는 리전, 상기 제2 리전은 좌측면(left face)을 나타내는 리전, 상기 제3 리전은 앞면(front face)을 나타내는 리전, 상기 제4 리전은 우측면(right face)을 나타내는 리전, 상기 제5 리전은 뒷면(back face)을 나타내는 리전, 상기 제6 리전은 아랫면(bottom face)을 나타내는 리전을 나타낼 수 있다. 상기 제1 리전 내지 상기 제6 리전에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 내지 상기 제6 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제6 리전의 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제6 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11c의 (f)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 도 11c의 (f)는 CMP(cube map projection)으로 360도 비디오 데이터가 프로젝션되되, 다운 샘플링을 통하여 사이즈가 조정된 리전들을 포함하는 현재 픽처 내 각 리전의 퀄리티 표시 정보에 대한 메타데이터를 나타낼 수 있다. 또한, 상기 도 11c의 (f)에 도시된 것과 같이 상기 각 리전에 대하여 복수의 화질 구분 기준들에 대한 퀄리티 표시 정보들의 메타데이터가 전송될 수 있다.
도 11c의 (f)를 참조하면 제1 레전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 1, region_quality_indication_subtype 필드의 값은 0, region_quality_indication_info 필드의 값은 1로 도출될 수 있고, 제2 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제3 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제4 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제5 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제6 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있다. 여기서, 상기 제1 리전은 좌상측 리전(도 11c의 (f)의 Position 0), 상기 제2 리전은 우상측 리전(도 11c의 (f)의 Position 1), 상기 제3 리전은 우측 리전(도 11c의 (f)의 Position 2), 상기 제4 리전은 좌하측 리전(도 11c의 (f)의 Position 3), 상기 제5 리전은 하측 리전(도 11c의 (f)의 Position 4), 상기 제6 리전은 우하측 리전(도 11c의 (f)의 Position 5)을 나타낼 수 있다. 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 1이므로, 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보들의 타입은 공간 해상도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제6 리전의 공간 해상도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11c의 (f)를 참조하면 상기 제1 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제2 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제3 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있고, 제4 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있고, 제5 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제6 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 4, region_quality_indication_info 필드의 값은 37로 도출될 수 있다. 이 경우, 상기 제1 리전 내지 상기 제6 리전의 제2 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 내지 상기 제6 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제6 리전의 제2 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제6 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11c의 (g)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 도 11c의 (g)는 TSP(truncated square pyramid projection)으로 360도 비디오 데이터가 프로젝션된 현재 픽처 내 각 리전의 퀄리티 표시 정보에 대한 메타데이터를 나타낼 수 있다. 여기서, 상기 TSP는 구형면 상에 나타낸 360도 비디오 데이터를 윗 부분이 잘린 피라미드(Truncated Square Pyramid) 형태의 3D 프로젝션 구조로 나뉘어 2D 이미지 상에 프로젝션하는 프로젝션 타입을 나타낼 수 있다. 한편, 360도 비디오 데이터가 상기 TSP로 프로젝션된 현재 픽처의 경우, 사다리꼴 타입의 리전을 포함할 수 있는바, 상기 사다리꼴 타입의 리전의 퀄리티 표시 정보에 대한 메타데이터는 복수의 서브 타입 정보들을 포함할 수 있다. 예를 들어, 상기 리전의 공간 해상도에 대한 퀄리티 표시 정보가 전송되는 경우, 상기 리전의 퀄리티 표시 정보에 대한 메타데이터는 어느 방향으로 사다리꼴을 이루는지와 윗변(또는, 사다리꼴 스케일링이 수행되는 변)의 스케일(scale) 정보에 대한 서브 타입 정보, 밑변(또는, 사다리꼴 스케일링이 수행되는 변과 평행하는 변)의 scale 정보에 대한 서브 타입 정보, 높이의 scale 정보에 대한 서브 타입 정보를 포함할 수 있다. 여기서, 상기 리전의 윗변은 3D 공간 상에서 상기 리전과 앞면(front face)을 나타내는 리전과의 경계를 나타낼 수 있고, 상기 리전의 아랫변은 3D 공간 상에서 상기 리전과 뒷면(back face)을 나타내는 리전과의 경계를 나타낼 수 있다.
구체적으로, 도 11c의 (g)를 참조하면 제1 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 1, region_quality_indication_subtype 필드의 값은 0, region_quality_indication_info 필드의 값은 1로 도출될 수 있고, 제2 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 3, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 3으로 도출될 수 있다. 여기서, 상기 제1 리전은 앞면(front face)을 나타내는 리전, 상기 제2 리전은 뒷면(back face)을 나타내는 리전을 나타낼 수 있다.
이 경우, 상기 제1 리전의 region_quality_indication_type 필드의 값이 1이므로 상기 제1 리전의 퀄리티 표시 정보의 타입은 공간 해상도로 도출될 수 있다. 따라서, 상기 제1 리전의 퀄리티 표시 정보에 대한 메타데이터를 기반으로 상기 제1 리전의 공간 해상도를 기반으로 나타나는 화질 차이가 비교될 수 있다. 또한, 상기 제1 리전의 region_quality_indication_level 필드의 값 이 1이므로 상기 제1 리전의 공간 해상도에 대한 퀄리티 레벨은 최상위 레벨로 도출될 수 있고, 상기 제1 리전의 region_quality_indication_subtype 필드의 값이 0이므로 상기 제1 리전의 해상도는 원본 해상도(original resolution), 또는 기준이 되는 해상도라고 도출될 수 있다. 또한, 상기 제2 리전의 region_quality_indication_type 필드의 값이 1이므로 상기 제2 리전의 퀄리티 표시 정보의 타입은 공간 해상도로 도출될 수 있다. 또한, 상기 제2 리전의 region_quality_indication_level 필드의 값 이 3이므로 상기 제2 리전의 공간 해상도에 대한 퀄리티 레벨은 최하위 레벨로 도출될 수 있고, 상기 제2 리전의 region_quality_indication_subtype 필드의 값이 3이므로 상기 제2 리전의 해상도는 원본 해상도 또는 기준이 되는 해상도와 닮음꼴(similar figure)로 스케일링된 해상도임이 도출될 수 있고, 상기 제2 리전의 region_quality_indication_info 필드의 값이 3이므로 스케일링 팩터는 1/3 로 도출될 수 있다. 즉, 상기 제2 리전의 region_quality_indication_subtype 필드 및 상기 region_quality_indication_info 필드는 상기 제2 리전의 해상도가 원본 해상도 또는 기준이 되는 해상도로부터 1/3의 비율을 갖는 닮은꼴로 다운 스케일링된 해상도임을 나타낼 수 있다.
또한, 도 11c의 (g)를 참조하면 제3 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, 제1 region_quality_indication_subtype 필드의 값은 7, 제1 region_quality_indication_info 필드의 값은 3, 제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 3, 제3 region_quality_indication_subtype 필드의 값은 2, 제3 region_quality_indication_info 필드의 값은 1로 도출될 수 있다. 또한, 제4 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, 제1 region_quality_indication_subtype 필드의 값은 5, 제1 region_quality_indication_info 필드의 값은 3, 제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 1, 제3 region_quality_indication_subtype 필드의 값은 2, 제3 region_quality_indication_info 필드의 값은 3으로 도출될 수 있다. 또한, 제5 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, 제1 region_quality_indication_subtype 필드의 값은 6, 제1 region_quality_indication_info 필드의 값은 3, 제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 1, 제3 region_quality_indication_subtype 필드의 값은 2, 제3 region_quality_indication_info 필드의 값은 3으로 도출될 수 있다. 또한, 제6 리전의 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, 제1 region_quality_indication_subtype 필드의 값은 4, 제1 region_quality_indication_info 필드의 값은 3, 제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 1, 제3 region_quality_indication_subtype 필드의 값은 2, 제3 region_quality_indication_info 필드의 값은 3으로 도출될 수 있다. 여기서, 상기 제3 리전은 우측면(right face)을 나타내는 리전, 상기 제4 리전은 윗면(top face)을 나타내는 리전, 상기 제5 리전은 좌측면(left face)을 나타내는 리전, 상기 제6 리전은 아랫면(down face)을 나타내는 리전을 나타낼 수 있다.
이 경우, 상기 제 6 리전을 예로 들면, 상기 제6 리전의 region_quality_indication_type 필드의 값이 1이므로 상기 제6 리전의 퀄리티 표시 정보의 타입은 공간 해상도로 도출될 수 있다. 따라서, 상기 제6 리전의 퀄리티 표시 정보에 대한 메타데이터를 기반으로 상기 제6 리전의 공간 해상도를 기반으로 나타나는 화질 차이가 비교될 수 있다. 또한, 상기 제6 리전의 region_quality_indication_level 필드의 값이 2이므로 상기 제6 리전의 공간 해상도에 대한 퀄리티 레벨은 중간 레벨로 도출될 수 있다. 또한, 상기 제6 리전의 제1 region_quality_indication_subtype 필드의 값이 4이므로 상기 제6 리전의 해상도는 상측이 좁아지는 사다리꼴 형태로 스케일링이 수행된 해상도로 도출될 수 있다. 즉, 상기 제6 리전의 제1 region_quality_indication_subtype 필드는 상기 제6 리전의 형태는 상측 방향으로 좁아지는 형태의 사다리꼴임을 나타낼 수 있다. 또한, 제1 region_quality_indication_info 필드의 값이 3이므로 상기 제6 리전의 윗변(즉, 상측 경계)의 길이는 원본 해상도에서의 길이의 1/3 임이 도출될 수 있다. 또한, 상기 제6 리전의 제2 region_quality_indication_subtype 필드 및 상기 제6 리전의 제2 region_quality_indication_info 필드는 상기 제6 리전의 아랫변의 스케일 정보를 나타낼 수 있다. 구체적으로, 상기 제6 리전의 제2 region_quality_indication_subtype 필드의 값이 1이므로 상기 제6 리전의 아랫변의 스케일링은 수평 방향 스케일링으로 도출될 수 있고, 상기 제2 region_quality_indication_info 필드의 값이 1이므로 상기 제6 리전의 밑변의 길이는 원본 해상도 또는 기준이 되는 해상도에서의 길이와 동일한 길이로 도출될 수 있다. 즉, 상기 제2 region_quality_indication_info 필드는 상기 제6 리전의 밑변에 대한 스케일링이 수행되지 않음을 나타낼 수 있다. 또한, 상기 제6 리전의 제3 region_quality_indication_subtype 필드 및 상기 제3 region_quality_indication_info 필드는 상기 제6 리전의 높이의 스케일 정보를 나타낼 수 있다. 구체적으로, 상기 제6 리전의 제3 region_quality_indication_subtype 필드의 값이 2이므로, 상기 제6 리전의 높이의 스케일링은 수직 방향 스케일링으로 도출될 수 있고, 상기 제3 region_quality_indication_info 필드의 값이 3이므로 상기 제6 리전의 높이는 원본 해상도 또는 기준이 되는 해상도로부터 수직 방향으로 1/3 다운 스케일링된 높이임을 나타낼 수 있다.
상기 제6 리전과 같이 상기 제3 리전 내지 상기 제5 리전의 퀄리티 표시 정보에 대한 메타데이터를 기반으로 상기 제3 리전 및 상기 제5 리전 각각의 공간 해상도를 기준으로 나타낸 퀄리티 정보가 도출될 수 있다.
상술한 내용과 같이 리전별 퀄리티 표시 정보가 전송되는 경우, 수신단에서는 상기 리전별 퀄리티 표시 정보를 기반으로 수신단 특성에 맞는 비디오 스트림(video stream)이 선택될 수 있다.
또한, 도 11d의 (h)에 도시된 것과 같이 파노라마 비디오(panorama video)의 각 리전에 대한 특정 화질 구분 기준에 대한 화질이 다를 수 있다. 예를 들어, 상기 도 11d의 (h)에 도시된 리전 t0 내지 t2는 압축 정도에 대한 화질이 다를 수 있고, 이 경우, 상기 리전 t0 내지 t2 각각에 대한 압축 정도에 대한 퀄리티 표시 정보의 메타데이터가 전송될 수 있다. 수신기는 상기 리전 t0 내지 t2 각각에 대한 압축에 대한 퀄리티 표시 정보의 메타데이터를 기반으로 압축 정도에 대한 퀄리티 레벨이 가장 좋은 리전을 선택할 수 있고, 선택된 리전을 디스플레이할 수 있다. 또는, 수신기는 상기 리전 t0 내지 t2 각각에 대한 압축 정도에 대한 퀄리티 표시 정보의 메타데이터를 기반으로 리전들 사이에 발생하는 경계 현상을 방지하는 후처리 과정을 수행할 수 있다.
또한, 도 11e의 (i)에 도시된 것과 같이 360도 비디오 데이터가 OHP(Octahedron projection)으로 프로젝션된 픽처의 각 리전에 대한 특정 화질 구분 기준에 대한 화질이 다를 수 있다. 여기서, 상기 OHP 는 구형면 상에 나타낸 360도 비디오 데이터를 팔면체의 각 면(face)을 나타내는 리전으로 대응하여 2D 이미지에 프로젝션하는 프로젝션 타입을 나타낼 수 있다. 이 경우, 도 11e의 (i)에 도시된 리전 0 내지 7 각각에 대한 퀄리티 표시 정보의 메타데이터가 전송될 수 있다. 또한, 상기 리전 0 내지 7 각각의 복수의 화질 구분 기준들에 대한 퀄리티 표시 정보들의 메타데이터가 전송될 수 있다. 수신기는 상기 리전 0 내지 7 각각에 대한 퀄리티 표시 정보의 메타데이터를 기반으로 리전들 사이에 발생하는 경계 현상을 방지하는 후처리 과정을 수행할 수 있다.
또한, 도 11e의 (j)에 도시된 것과 같이 각 리전에 대하여 퀄리티 표시 정보에 대한 메타데이터가 전송될 수 있다. 도 11e의 (j)는 CMP(cube map projection)으로 360도 비디오 데이터가 프로젝션되되, 다운 샘플링을 통하여 사이즈가 조정된 리전들을 포함하는 현재 픽처 내 각 리전의 퀄리티 표시 정보에 대한 메타데이터를 나타낼 수 있다. 또한, 상기 도 11e의 (j)에 도시된 것과 같이 상기 각 리전에 대하여 복수의 화질 구분 기준들에 대한 퀄리티 표시 정보들의 메타데이터가 전송될 수 있다.
도 11e의 (j)를 참조하면 제1 레전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 1, region_quality_indication_subtype 필드의 값은 0, region_quality_indication_info 필드의 값은 1로 도출될 수 있고, 제2 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제3 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제4 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제5 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있고, 제6 리전의 제1 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 1, region_quality_indication_level 필드의 값은 2, region_quality_indication_subtype 필드의 값은 3, region_quality_indication_info 필드의 값은 2로 도출될 수 있다. 여기서, 상기 제1 리전은 좌상측 리전(도 11e의 (j)의 Position 0), 상기 제2 리전은 우상측 리전(도 11e의 (j)의 Position 1), 상기 제3 리전은 우측 리전(도 11e의 (j)의 Position 2), 상기 제4 리전은 좌하측 리전(도 11e의 (j)의 Position 3), 상기 제5 리전은 하측 리전(도 11e의 (j)의 Position 4), 상기 제6 리전은 우하측 리전(도 11e의 (j)의 Position 5)을 나타낼 수 있다. 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 1이므로, 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보들의 타입은 공간 해상도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제6 리전의 제1 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제6 리전의 공간 해상도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
또한, 도 11e의 (j)를 참조하면 상기 제1 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 1, region_quality_indication_info 필드의 값은 24로 도출될 수 있고, 제2 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제3 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제4 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있고, 제5 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 3, region_quality_indication_info 필드의 값은 32로 도출될 수 있고, 제6 리전의 제2 퀄리티 표시 정보에 대한 메타데이터에 포함된 region_quality_indication_type 필드의 값은 2, region_quality_indication_level 필드의 값은 2, region_quality_indication_info 필드의 값은 28로 도출될 수 있다. 이 경우, 상기 제1 리전 내지 상기 제6 리전의 제2 퀄리티 표시 정보에 대한 region_quality_indication_type 필드들의 값은 2이므로, 상기 제1 리전 내지 상기 제6 리전의 퀄리티 표시 정보들의 타입은 압축(compression) 정도로 도출될 수 있다. 따라서, 상기 제1 리전 내지 상기 제6 리전의 제2 퀄리티 표시 정보들에 대한 메타데이터들을 기반으로 상기 제1 리전 내지 상기 제6 리전의 압축 정도를 기반으로 나타나는 화질 차이가 비교될 수 있다.
한편, 도 11e의 (j) 에 도시된 각 리전의 코어 영역(core region) 및 프로세싱 영역(processing region) 각각의 퀄리티 표시 정보에 대한 메타데이터가 전송될 수도 있다. 즉, 상기 각 리전의 상기 코어 영역에 대한 region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_subtype 필드 및 region_quality_indication_info 필드가 전송될 수 있고, 상기 각 리전의 상기 프로세싱 영역에 대한 region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_subtype 필드 및 region_quality_indication_info 필드가 전송될 수 있다. 이 경우, 상기 코어 영역에 대한 region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_subtype 필드, region_quality_indication_info 필드와 상기 프로세싱 영역에 대한 region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_subtype 필드, region_quality_indication_info 필드는 서로 다른 값을 나타낼 수도 있다. 한편, 여기서 상기 코어 영역은 상기 각 리전 내 상기 리전 경계 처리가 수행되지 않는 영역을 나타낼 수 있고, 상기 프로세싱 영역은 상기 각 리전 내 상기 리전 경계 처리가 수행되는 영역을 나타낼 수 있다.
도 12a 내지 도 12c는 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하는 실시예들을 나타낸다. 도 12a는 수신기가 상기 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하는 일 예를 나타낼 수 있다. 예를 들어, 상기 수신기에서 앞면 리전이 관심 리전으로 설정된 경우, 구체적인 화질의 차이를 구분하는 타입에 대한 정보없이 단순히 픽처 내 리전들 간의 상대적인 퀄리티 우선 순위에 대한 정보만 존재하면 도 12a에 도시된 비디오 스트림 1(video stream 1) 과 비디오 스트림 7(video stream #7) 가 모두 수신기의 선택 대상이 될 수 있다. 여기서, 상기 앞면 리전은 3D 공간 상의 큐브의 앞면을 나타내는 리전일 수 있고, 도 12a에 도시된 상기 비디오 스트림 1의 패킹된 픽처 X 내 Face A 리전은 상기 패킹된 픽처 X의 앞면 리전, 상기 비디오 스트림 7의 패킹된 픽처 Y 내 Face A 리전은 상기 패킹된 픽처 Y의 앞면 리전을 나타낼 수 있다. 하지만, 본 발명에서 상술한 바와 같이 상기 픽처 내 리전들 각각의 화질에 대한 구체적인 정보가 존재하는 경우, 상기 4k 디스플레이 기반 수신기 및 상기 2k 디스플레이 기반 수신기 각각은 각 수신기의 하드웨어적인 특징에 가장 적합한 비디오 스트림을 선택하여 사용할 수 있다. 도 12a에 도시된 것과 같이 앞면 리전이 주변 리전에 비해 큰 해상도를 갖도록 패킹된 픽처 X를 포함하는 비디오 스트림 1과 앞면 리전이 주변 리전과 해상도는 동일하되 높은 SNR을 갖도록 구성하는 패킹된 픽처 Y를 포함하는 비디오 스트림 7이 존재할 수 있고, 상기 수신기가 선호하는 특징에 부합하는 비디오 스트림 7이 선택될 수 있다.
도 12b는 4k 디스플레이 기반 수신기 및 2k 디스플레이 기반 수신기에서 상기 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하는 다른 예를 나타낼 수 있다. 도 12b를 참조하면 상기 패킹된 픽처 X의 앞면 리전의 region_quality_indication_type 필드의 값은 1, 제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 1, 제2 region_quality_indication_subtype 필드의 값은 2, 제2 region_quality_indication_info 필드의 값은 1일 수 있고, 상기 패킹된 픽처 Y의 앞면 리전의 region_quality_indication_type 필드의 값은 1, 제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 0.5, 제2 region_quality_indication_subtype 필드의 값은 2, 제2 region_quality_indication_info 필드의 값은 0.5일 수 있다. 상기 4k 디스플레이 기반 수신기 및 상기 2k 디스플레이 기반 수신기는 패킹된 픽처 X의 앞면 리전의 리전별 퀄리티 표시 정보에 대한 메타데이터 및 상기 패킹된 픽처 Y의 앞면 리전의 리전별 퀄리티 표시 정보에 대한 메타데이터를 통하여 상기 패킹된 픽처 X의 앞면 리전의 공간 해상도(region_quality_indication_type 필드의 값은 1)는 원본 해상도에 비하여 수평 방향으로 1배 다운 스케일링(제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 1)되고, 수직 방향으로 1배 다운 스케일링(제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 1)된 해상도임을 판단할 수 있고, 상기 패킹된 픽처 Y의 앞면 리전의 공간 해상도(region_quality_indication_type 필드의 값은 1)는 원본 해상도에 비하여 수평 방향으로 1/2배 다운 스케일링(제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 0.5)되고, 수직 방향으로 1/2배 다운 스케일링(제2 region_quality_indication_subtype 필드의 값은 1, 제2 region_quality_indication_info 필드의 값은 0.5)된 해상도, 즉, 원본 해상도에 비하여 1/4 다운 스케일링된 해상도임을 판단할 수 있다. 이를 통하여, 상기 4k 디스플레이 기반 수신기는 디스플레이 해상도(display resolution)가 크므로 앞면 리전의 공간 해상도가 큰 상기 패킹된 픽처 X를 포함하는 비디오 스트림 1을 선택할 수 있고, 상기 4k 디스플레이 기반 수신기는 디스플레이 해상도가 작으므로 앞면 리전의 공간 해상도가 작은 상기 패킹된 픽처 Y를 포함하는 비디오 스트림 7을 선택할 수 있다.
한편, 상술한 type_priority_index[i] 필드 혹은 region_quality_indication_type_inter_type_index[i][j] 필드를 기반으로 수신기에서 선호하는, 즉, 최우선 순위의 quality_indication_type 혹은 region_quality_indication_type 을 갖는 비디오 스트림이 빠르게 선택될 수 있다. 또한, 수신기는 상술한 region_quality_indication_type_inter_stream_index[i][j] 필드를 통해 상기 region_quality_indication_type_inter_stream_index[i][j] 필드가 나타내는 선호도(즉, 우선 순위)를 갖는 리전이 포함된 다른 비디오 스트림(video stream)이 존재하는지 판단할 수 있고, 그리고 특정 리전의 특정 region_quality_indication_type 필드가 나타내는 화질 구분 타입에 대해 상위에 있는 비디오 스트림의 존재 여부를 판단하여 선택의 정확도를 높일 수 있다.
도 12c는 4k 디스플레이 기반 수신기 및 2k 디스플레이 기반 수신기에서 상기 리전별 퀄리티 표시 정보를 기반으로 비디오 스트림을 선택하는 다른 예를 나타낼 수 있다. 도 12c를 참조하면 상기 패킹된 픽처 X의 앞면 리전의 region_quality_indication_type 필드의 값은 1, 제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 1, 제2 region_quality_indication_subtype 필드의 값은 2, 제2 region_quality_indication_info 필드의 값은 1일 수 있고, 상기 패킹된 픽처 X의 좌측면 리전의 region_quality_indication_type 필드의 값은 1, 제1 region_quality_indication_subtype 필드의 값은 1, 제1 region_quality_indication_info 필드의 값은 0.5, 제2 region_quality_indication_subtype 필드의 값은 2, 제2 region_quality_indication_info 필드의 값은 0.5 일 수 있다. 또한, 상기 패킹된 픽처 Y의 앞면 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_info 필드의 값은 24 일 수 있고, 상기 패킹된 픽처 Y의 좌측면 리전의 region_quality_indication_type 필드의 값은 2, region_quality_indication_info 필드의 값은 32 일 수 있다. 수신기의 화각이 넓거나 시청자의 시점 변경으로 인하여 상기 앞면 리전 이외의 리전이 뷰포트(viewport) 내로 들어올 수 있고, 이 경우 상대적으로 저화질의 주변 리전이 포함되어 시청자에게 디스플레이(display)될 수 있다. 이 경우, 상기 수신기는 상기 주변 리전의 영상에 대하여 필터링을 수행하여 상기 앞면 리전과 상기 주변 리전과의 화질 차이를 완화시킬 수 있다.
예를 들어, 시청자의 시점이 좌측으로 움직여 상기 앞면 리전과 좌측면 리전의 영상이 상기 뷰포트에 포함될 수 있고, 비디오 스트림 1의 경우, 상기 좌측면 리전에 포함된 영상의 해상도(resolution)을 높이기 위하여 업샘플링 필터(up-sampling filter)를 기반으로 수행되는 필터링이 정규한 필터를 기반으로 수행되는 필터링보다 상기 앞면 리전과 상기 좌측면 리전의 화질 차이를 완화시키는데 보다 효과적일 수 있다. 수신기는 상기 비디오 스트림의 상기 앞면 리전 및 상기 좌측면 리전에 대한 퀄리티 표시 정보들의 메타데이터들(상기 앞면 리전 및 상기 좌측면 리전에 대한 region_quality_indication_type 필드, region_quality_indication_subtype 필드 및 region_quality_indication_info 필드 등)을 기반으로 상기 앞면 리전 및 상기 좌측면 리전의 수평 방향으로의 크기 정보, 수직 방향으로의 크기 정보를 도출할 수 있고, 도출된 정보를 기반으로 상기 필터링에 사용되는 필터 계수(filter coefficient)를 조정할 수 있다. 또는, 수신기는 본 발명에서 제안하는 방법을 통해 전달된 필터링 정보, 즉, 상기 앞면 리전 및 상기 좌측면 리전에 대한 processing_type 필드, processing_parameter 필드, 프로세싱 영역 및 코어 영역 관련 정보를 기반으로 상기 필터링에 사용되는 필터를 도출할 수 있다.
또한, 비디오 스트림 7의 경우, 상기 앞면 리전과 상기 좌측면 리전의 크기는 동일하지만 SNR의 차이가 있는바, 수신기는 엣지 인헨스먼트 필터(edge enhancement filter)를 사용하여 낮은 SNR의 좌측면 리전의 고주파 성분을 복원하여 상기 좌측면 리전의 해상도를 향상시킬 수 있다. 구체적으로, 수신기는 상기 앞면 리전 및 상기 좌측면 리전의 region_quality_indication_type 필드를 획득할 수 있고, 상기 region_quality_indication_type 필드의 값이 2인 경우 주어지는 region_quality_indication_info 정보를 통해 도출되는 상기 앞면 리전 및 상기 좌측면 리전 간 SNR 차이에 대한 객관적인 값(예를 들어 QP)을 기반으로 상기 엣지 인헨스먼트 필터의 필터 계수의 강도를 조절할 수 있다. 이 경우, 수신기는 직접 필터 계수를 조절할 수도 있고, 또는, 본 발명에서 제안하는 방법을 통해 전달된 필터링 정보, 즉, 상기 앞면 리전 및 상기 좌측면 리전에 대한 processing_type 필드, processing_parameter 필드, 프로세싱 영역 및 코어 영역 관련 정보를 기반으로 상기 필터링에 사용되는 필터를 도출할 수 있다. 이를 통하여 수신기는 송신기에서 의도한 필터를 사용하여 상기 좌측면 리전에 대한 필터링을 수행할 수 있다.
한편, 상기 리전별 퀄리티 표시 정보에 대한 메타데이터를 전달하기 위하여 RegionWiseQualityIndicationSEIBox가 새로 정의될 수 있다. 상기 RegionWiseQualityIndicationSEIBox는 상술한 리전별 퀄리티 표시 정보에 대한 메타데이터를 포함하는 SEI NAL 유닛을 포함할 수 있다. 상기 SEI NAL 유닛은 리전별 퀄리티 표시 정보에 대한 메타데이터를 포함하는 SEI 메시지를 포함할 수 있다. 상기 RegionWiseQualityIndicationSEIBox는 VisualSampleEntry, AVCSampleEntry, MVCSampleEntry, SVCSampleEntry, HEVCSampleEntry 등에 포함되어 전달될 수 있다.
도 13은 상기 VisualSampleEntry 또는 상기 HEVCSampleEntry 등에 포함되어 전송되는 상기 RegionWiseQualityIndicationSEIBox에 대한 예시적으로 나타낸다. 도 13의 (a)를 참조하면 상기 RegionWiseQualityIndicationSEIBox는 regionwisequalityindicationsei 필드를 포함할 수 있다. 상기 regionwisequalityindicationsei 필드는 전술한 리전별 퀄리티 표시 정보에 대한 메타데이터를 포함하는 SEI NAL 유닛을 포함할 수 있다. 상기 메타데이터는 전술한 바와 같다. 상기 regionwisequalityindicationsei 필드는 rqi_sei 필드라고 나타낼 수도 있다.
또한, 상기 RegionWiseQualityIndicationSEIBox는 VisualSampleEntry, AVCSampleEntry, MVCSampleEntry, SVCSampleEntry, HEVCSampleEntry 등에 포함되어 전달될 수 있다.
예를 들어, 도 13의 (b)를 참조하면 상기 RegionWiseQualityIndicationSEIBox는 상기 VisualSampleEntry에 포함되어 전송될 수 있다. 상기 VisualSampleEntry는 상기 RegionWiseQualityIndicationSEIBox의 적용 여부를 나타내는 rqi_sei 필드를 포함할 수 있다. 상기 rqi_sei 필드가 상기 RegionWiseQualityIndicationSEIBox가 상기 VisualSampleEntry에 적용되는 것으로 나타내는 경우, 상기 RegionWiseQualityIndicationSEIBox에 포함된 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 상기 VisualSampleEntry에 그대로 카피(copy)되어 적용될 수 있다.
또한, 예를 들어, 도 13의 (c)를 참조하면 상기 RegionWiseQualityIndicationSEIBox는 상기 HEVCSampleEntry의 HEVCDecoderConfigurationRecord에 포함되어 전송될 수 있다. 상기 HEVCSampleEntry의 HEVCDecoderConfigurationRecord는 상기 RegionWiseQualityIndicationSEIBox의 적용 여부를 나타내는 rqi_sei 필드를 포함할 수 있다. 상기 rqi_sei 필드가 상기 RegionWiseQualityIndicationSEIBox가 상기 HEVCDecoderConfigurationRecord에 적용되는 것으로 나타내는 경우, 상기 RegionWiseQualityIndicationSEIBox에 포함된 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 상기 HEVCDecoderConfigurationRecord에 그대로 카피(copy)되어 적용될 수 있다.
또한, 예를 들어, 도 13의 (d)를 참조하면 상기 RegionWiseQualityIndicationSEIBox는 상기 HEVCSampleEntry에 포함되어 전송될 수 있다. 상기 HEVCSampleEntry는 상기 RegionWiseQualityIndicationSEIBox의 적용 여부를 나타내는 rqi_sei 필드를 포함할 수 있다. 상기 rqi_sei 필드가 상기 RegionWiseQualityIndicationSEIBox가 상기 HEVCSampleEntry에 적용되는 것으로 나타내는 경우, 상기 RegionWiseQualityIndicationSEIBox에 포함된 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 상기 HEVCSampleEntry에 그대로 카피(copy)되어 적용될 수 있다.
한편, 상기 RegionWiseQualityIndicationSEIBox는 앞서 제안한 상술한 대상 리전에 대한 리전별 퀄리티 표시 정보를 포함하는 영상의 SEI(Supplemental enhancement information) 혹은 VUI(Video Usability Information)를 포함할 수 있다. 이를 통하여, 파일 포맷(file format)을 통하여 전달되는 비디오 프레임의 각 리전마다 다른 리전별 퀄리티 표시 정보가 시그널링될 수 있다.
예를 들어, ISOBMFF(ISO Base Media File Format) 등을 기반으로 비디오가 저장될 수 있고, 비디오 트랙(또는 비트스트림), 샘플, 혹은 샘플 그룹 등과 연관된 리전별 퀄리티 표시 정보에 대한 메타데이터가 저장 및 시그널링될 수 있다. 구체적으로, visual sample entry 등의 file format 상에 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 포함되어 저장될 수 있다. 또한, 다른 형태의 파일 포맷, 예를 들어 Common file format 등에도 상기 리전별 퀄리티 표시 정보에 대한 메타데이터가 포함되어 적용될 수 있다. 하나의 파일 내 비디오에 대한 비디오 트랙 혹은 샘플 등과 연관된 상기 리전별 퀄리티 표시 정보에 대한 메타데이터는 다음과 같은 박스(box) 형태 등으로 저장될 수 있다.
도 14a 내지 도 14d는 본 발명의 일 실시예에 따른 ISOBMFF 내 RegionWiseQualityIndicationBox 를 나타낸다.
상기 RegionWiseQualityIndicationBox 는 region_wise_quality_indication_persistence_flag 필드, enhancement_layer_quality_indication_flag 필드, 2D_coordinate_flag 필드 및 3D_coordinate_flag 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 현재 픽처의 리전에 대한 2D_coordinate_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 현재 픽처에 대한 total_width 필드 및 total_height 필드를 포함할 수 있고, 상기 필드들에 대한 정의는 전술한 바와 같다. 또한, 상기 현재 픽처에 대한 number_of_quality_indication_type_minus1 필드, quality_indication_type 필드, number_of_quality_indication_level 필드, number_of_total_quality_indication_level 필드, 및 number_of_region_minus1 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 2D_coordinate_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_type 필드를 포함할 수 있다. 또한, 상기 3D_coordinate_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 viewport_type 필드를 포함할 수 있다.
또한, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_top_index 필드, region_left_index 필드, region_width 필드 및 region_height 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 number_of_vertex 필드, vertex_index_x 필드 및 vertex_index_y 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 3인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 circle_center_point_x 필드, circle_center_point_y 필드 및 circle_radius 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_yaw 필드, region_pitch 필드, region_roll 필드, region_width 필드 및 region_height 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_yaw_top_left 필드, region_pitch_top_left 필드, region_yaw_bottom_right 필드 및 region_pitch_bottom_right 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_quality_indication_type 필드 및 region_quality_indication_level 필드를 포함할 수 있다. 또한, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 EL_region_quality_indication_level 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 region_quality_indication_subtype_flag 필드를 포함할 수 있다. 또한, 상기 region_quality_indication_subtype_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 number_of_subtypes_minus1 필드, region_quality_indication_subtype 필드, region_quality_indication_info 필드를 포함할 수 있다. 또한, 상기 region_quality_indication_subtype_flag 필드의 값이 1이고, 상기 enhancement_layer_quality_indication_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 EL_region_quality_indication_info 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 RegionWiseQualityIndicationBox 는 상기 현재 픽처의 상기 리전에 대한 processing_region_indication_flag 필드, core_region_indication_flag 필드 및 processing_info_present_flag 필드를 포함할 수 있다. 또한, 상기 processing_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_region_top_margin 필드, processing_region_bottom_margin 필드, processing_region_left_margin 필드 및 processing_region_right_margin 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 processing_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_region_perpendicular_margin 필드를 포함할 수 있다. 상기 필드에 대한 정의는 전술한 바와 같다.
또한, 상기 processing_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 3인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_region_radius_margin 필드를 포함할 수 있다. 상기 필드에 대한 정의는 전술한 바와 같다.
또한, 상기 processing_region_indication_flag 필드의 값이 1이고, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_region_yaw_margin 필드 및 processing_region_pitch_margin 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 processing_region_indication_flag 필드의 값이 1이고, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_region_yaw_top_margin 필드, processing_region_yaw_bottom_margin 필드, processing_region_pitch_left_margin 필드 및 processing_region_pitch_right_margin 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 core_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 core_region_top_index 필드, core_region_left_index 필드, core_region_width 필드 및 core_region_height 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 core_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 core_vertex_index_x 필드 및 core_vertex_index_y 필드를 포함할 수 있다. 상기 필드에 대한 정의는 전술한 바와 같다.
또한, 상기 core_region_indication_flag 필드의 값이 1이고, 상기 2D_coordinate_flag 필드의 값이 1이고, 상기 region_type 필드의 값이 3인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 core_circle_radius 필드를 포함할 수 있다. 상기 필드에 대한 정의는 전술한 바와 같다.
또한, 상기 core_region_indication_flag 필드의 값이 1이고, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 core_region_width 필드 및 core_region_height 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 core_region_indication_flag 필드의 값이 1이고, 상기 3D_coordinate_flag 필드의 값이 1이고, 상기 viewport_type 필드의 값이 2인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 core_region_yaw_top_left 필드, core_region_pitch_top_left 필드, core_region_yaw_bottom_right 필드 및 core_region_pitch_bottom_right 필드를 포함할 수 있다. 상기 필드들에 대한 정의는 전술한 바와 같다.
또한, 상기 processing_info_present_flag 필드의 값이 1인 경우, 상기 RegionWiseQualityIndicationBox 는 상기 리전에 대한 processing_type 필드, number_of_parameters 필드 및 processing_parameter 필드를 포함할 수 있다.
한편, 상기 리전별 퀄리티 표시 정보는 RegionWiseAuxiliaryInformationStruct(rwai) 클래스에 포함되어 전송될 수 있고, 상기 RegionWiseAuxiliaryInformationStruct(rwai) 클래스는 타임드 메타데이터(timed metadata)로 정의될 수 있다. 상기 타임드 메타데이터는 시간의 변화에 따라 값이 변화하는 메타데이터로 정의될 수 있다. 상기 타임드 메타데이터로 정의된 상기 RegionWiseAuxiliaryInformationStruct(rwai) 클래스는 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00006
상기 표 6은 상기 RegionWiseAuxiliaryInformationStruct 클래스를 상기 타임드 메타데이터로 정의하는 일 예를 나타낼 수 있다. 상기 리전별 퀄리티 표시 정보가 360도 비디오 데이터에 관한 샘플들 전체에 동일하게 적용되는 경우, 상기 표 6에 도시된 것과 같이 타임드 메타데이터 트랙(timed metadata track)의 MetadataSampleEntry 또는 헤더(예를 들어, moov 또는 moof 등)에 상기 RegionWiseAuxiliaryInformationStruct 클래스가 포함될 수 있다. 상기 RegionWiseAuxiliaryInformationStruct 클래스에 포함된 리전별 퀄리티 표시 정보에 대한 메타데이터의 필드들에 대한 정의는 전술한 바와 같을 수 있고, 상기 필드들은 mdat 내의 모든 메타데이터 샘플에 적용될 수 있다.
한편, 상기 리전별 추가 정보가 360도 비디오 데이터에 관한 샘플들에 다르게 적용되는 경우, 상기 타임드 메타데이터로 정의된 상기 RegionWiseAuxiliaryInformationStruct(rwai) 클래스는 다음의 표와 같이 도출될 수 있다.
Figure 112019094974647-pct00007
상기 표 7에 도시된 것과 같이 RegionWiseAuxiliaryInformationSample 박스에 상기 RegionWiseAuxiliaryInformationStruct 클래스가 포함될 수 있다. 한편, 이 경우에도 파일 포멧(file format) 내의 비디오 시퀀스(video sequence) 전체에 대한 상기 리전별 퀄리티 표시 정보가 전달될 수 있다. 이 경우, 상기 표 6에 도시된 것과 같이 상기 타임드 메타데이터 트랙의 상기 MetadataSampleEntry 에 상기 비디오 시퀀스 전체에 대한 상기 리전별 퀄리티 표시 정보가 포함될 수 있고, 상기 RegionWiseAuxiliaryInformationStruct 클래스의 필드들이 상기 비디오 시퀀스 전체에 대한 상기 리전별 퀄리티 표시 정보를 나타내도록 의미가 확장될 수 있다.
한편, DASH 기반 적응형 스트리밍 모델 등을 통하여 360도 비디오에 대한 방송 서비스가 제공되거나, 또는 DASH 기반 적응형 스트리밍 모델 등을 통하여 360도 비디오가 스트리밍되는 경우, 상술한 리전별 퀄리티 표시 정보에 대한 메타데이터의 필드들은 DASH MPD 등에 포함된 DASH 기반 디스크립터 형태로 시그널링될 수 있다. 즉, 전술한 리전별 퀄리티 표시 정보에 대한 메타데이터의 각각의 실시예들은 DASH 기반 디스크립터 형태로 다시 쓸 수 있다. 상기 DASH 기반 디스크립터 형태는 에센셜 프로퍼티(EssentialProperty) 디스크립터 및 서플멘탈 프로퍼티(SupplementalProperty) 디스크립터를 포함할 수 있다. 상술한 리전별 퀄리티 표시 정보에 대한 메타데이터들의 필드들을 나타내는 디스크립터는 MPD의 어댑테이션 셋(AdaptationSet), 레프리젠테이션(Representation) 또는 서브 레프리젠테이션(SubRepresentation)에 포함될 수 있다. 이를 통하여 클라이언트(client) 또는 360도 비디오 수신 장치 등은 리전별 퀄리티 표시 정보 관련 필드들을 획득할 수 있고, 상기 필드들을 기반으로 360도 비디오의 처리를 수행할 수 있다.
도 15a 내지 도 15i는 DASH 기반 디스크립터 형태로 기술한 리전별 퀄리티 표시 정보 관련 메타데이터들의 일 예를 나타낸다. 도 15a의 (1500)에 도시된 것과 같이 DASH 기반 디스크립터는 @schemeIdUri 필드, @value 필드 및/또는 @id 필드를 포함할 수 있다. @schemeIdUri 필드는 해당 디스크립터의 스킴(scheme)을 식별하기 위한 URI 를 제공할 수 있다. @value 필드는 @schemeIdUri 필드가 지시하는 스킴에 의해 그 의미가 정의되는 값(value) 들을 가질 수 있다. 즉, @value 필드는 해당 스킴에 따른 디스크립터 엘레멘트들의 값들을 가질 수 있으며, 이 들은 파라미터라고 불릴 수 있다. 이 들은 서로 ',' 에 의해 구분될 수 있다. @id 는 해당 디스크립터의 식별자를 나타낼 수 있다. 동일한 식별자를 가지는 경우, 동일한 스킴 ID, 값(value), 파라미터를 포함할 수 있다.
또한, 도 15b의 (1510)에 도시된 것과 같이 상기 리전별 퀄리티 표시 정보 관련 메타데이터를 전달하는 디스크립터의 경우, @schemeIdURI 필드가 urn:mpeg:dash:vr:201x 값을 가질 수 있다. 이는 해당 디스크립터가 상기 리전별 퀄리티 표시 정보 관련 메타데이터를 전달하는 디스크립터임을 식별하는 값일 수 있다.
각각의 리전별 퀄리티 표시 정보 관련 메타데이터를 전달하는 디스크립터의 @value 필드는 도시된 도 15c 내지 15i의 (1520)과 같은 값을 가질 수 있다. 즉, @value 의 ',' 에 의해 구분되는 각각의 파라미터들은, 전술한 리전별 퀄리티 표시 정보 관련 메타데이터의 각각의 필드들에 해당할 수 있다. 도시된 도 15c 내지 15i의 (1520)는 전술한 리전별 퀄리티 표시 정보 관련 메타데이터의 다양한 실시예들 중, 하나의 실시예를 @value 의 파라미터로 기술한 것이지만, 각 시그널링 필드들을 파라미터로 치환하여 전술한 모든 리전별 퀄리티 표시 정보 관련 메타데이터의 실시예들이 @value 의 파라미터로 기술될 수 있다. 즉, 전술한 모든 실시예에 따른 리전별 퀄리티 표시 정보 관련 메타데이터는 DASH 기반의 디스크립터 형태로도 기술될 수 있다.
도시된 도 15c 내지 15i의 (1520)에서 각 파라미터들은 전술한 동명의 시그널링 필드와 같은 의미를 가질 수 있다. 여기서 M 은 해당 파라미터가 필수 파라미터(Mandatory)임을, O 는 해당 파라미터가 옵셔널 파라미터(Optional)임을, OD 는 해당 파라미터가 디폴트 값을 가지는 옵셔널 파라미터(Optional with Default)임을 의미할 수 있다. OD 인 파라미터 값이 주어지지 않는 경우, 기 정의된 디폴트 값이 해당 파라미터 값으로 쓰일 수 있다. 도시된 실시예에서 각 OD 파라미터들의 디폴트 값이 괄호 내에 주어져있다.
도 16은 본 발명에 따른 360도 비디오 전송 장치에 의한 360도 비디오 데이터 처리 방법을 개략적으로 나타낸다. 도 16에서 개시된 방법은 도 5에서 개시된 360도 비디오 전송 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 16의 S1600은 상기 360도 비디오 전송 장치의 데이터 입력부에 의하여 수행될 수 있고, S1610은 상기 360도 비디오 전송 장치의 프로젝션 처리부에 의하여 수행될 수 있고, S1620은 상기 360도 비디오 전송 장치의 메타데이터 처리부에 의하여 수행될 수 있고, S1630은 상기 360도 비디오 전송 장치의 데이터 인코더에 의하여 수행될 수 있고, S1640은 상기 360도 비디오 전송 장치의 전송 처리부에 의하여 수행될 수 있다. 상기 전송 처리부는 전송부에 포함될 수 있다.
360도 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득한다(S1600). 360도 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득할 수 있다. 상기 360도 비디오 데이터는 적어도 하나의 카메라에 의해 캡처된 비디오일 수 있다.
360도 비디오 전송 장치는 상기 360도 비디오 데이터를 처리하여 현재 픽처를 획득한다(S1610). 360도 비디오 전송 장치는 여러 프로젝션 스킴(projection scheme)들 중 상기 360도 비디오 데이터에 대한 프로젝션 스킴에 따라 2D 이미지에 프로젝션을 수행할 수 있고, 프로젝션된 픽처를 획득할 수 있다. 상기 여러 프로젝션 스킴들은 등정방형 프로젝션(Equirectangular Projection) 스킴, 큐빅 프로젝션 스킴, 실린더형 프로젝션 스킴, 타일-베이스드(Tile-based) 프로젝션 스킴, 피라미드 프로젝션 스킴, 파노라믹 프로젝션 스킴 및 스티칭 없이 바로 2D 이미지 상에 프로젝션되는 상기 특정 스킴을 포함할 수 있다. 또한, 상기 프로젝션 스킴들은 팔면체 프로젝션 스킴, 이십면체 프로젝션 스킴 및 잘린 피라미드 프로젝션(truncated square pyramid projection) 스킴을 포함할 수 있다. 한편, 상기 프로젝션 스킴 정보가 특정 스킴을 지시하는 경우, 상기 적어도 하나의 카메라는 피쉬아이(Fish-eye) 카메라일 수 있고, 이 경우, 상기 각 카메라에 의하여 획득된 이미지는 원형 이미지(circular image)일 수 있다. 상기 프로젝션된 픽처는 프로젝션 스킴의 3D 프로젝션 구조의 면들을 나타내는 리전들을 포함할 수 있다.
또한, 360도 비디오 전송 장치는 상기 프로젝션된 픽처의 리전들 각각을 회전, 재배열하거나, 각 리전의 레졸루션을 변경하는 등의 처리를 수행할 수 있다. 상기 처리 과정은 상기 리전별 패킹 과정이라고 불릴 수 있다.
360도 비디오 전송 장치는 상기 프로젝션된 픽처에 리전별 패킹 과정을 적용하지 않을 수 있다. 이 경우, 상기 프로젝션된 픽처는 상기 현재 픽처를 나타낼 수 있다.
또는, 360도 비디오 전송 장치는 상기 프로젝션된 픽처에 리전별 패킹 과정을 적용할 수 있고, 상기 리전별 패킹 과정이 적용된 리전을 포함하는 상기 패킹된 픽처를 획득할 수 있다. 이 경우, 상기 패킹된 픽처는 상기 현재 픽처를 나타낼 수 있다.
360도 비디오 전송 장치는 상기 360도 비디오 데이터에 대한 메타데이터를 생성한다(S1620). 상기 메타데이터는 상술한 region_wise_quality_indication_cancel_flag 필드, region_wise_quality_indication_persistence_flag 필드, enhancement_layer_quality_indication_flag 필드, 2D_coordinate_flag 필드, 3D_coordinate_flag 필드, total_width 필드, total_height 필드, number_of_quality_indication_type_minus1 필드, quality_indication_type 필드, type_priority_index 필드, number_of_quality_indication_level 필드, number_of_total_quality_indication_level 필드, number_of_region_minus1 필드, region_type 필드, viewport_type 필드, region_top_index 필드, region_left_index 필드, region_width 필드, region_height 필드, number_of_vertex 필드, vertex_index_x 필드, vertex_index_y 필드, circle_center_point_x 필드, circle_center_point_y 필드, circle_radius 필드, region_yaw 필드, region_pitch 필드, region_roll 필드, region_width 필드, region_height 필드, region_yaw_top_left 필드, region_pitch_top_left 필드, region_yaw_bottom_right 필드, region_pitch_bottom_right 필드, region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_type_inter_type_index 필드, region_quality_indication_type_inter_region_index 필드, region_quality_indication_type_inter_stream_index 필드, EL_region_quality_indication_level 필드, region_quality_indication_subtype_flag 필드, number_of_subtypes_minus1 필드, region_quality_indication_subtype 필드, region_quality_indication_info 필드, EL_region_quality_indication_info 필드, region_quality_indication_info 필드, EL_region_quality_indication_info 필드, processing_region_indication_flag 필드, core_region_indication_flag 필드, processing_info_present_flag 필드, processing_region_top_margin 필드, processing_region_bottom_margin 필드, processing_region_left_margin 필드, processing_region_right_margin 필드, processing_region_perpendicular_margin 필드, processing_region_radius_margin 필드, processing_region_yaw_margin 필드, processing_region_pitch_margin 필드, processing_region_yaw_top_margin 필드, processing_region_yaw_bottom_margin 필드, processing_region_pitch_left_margin 필드, processing_region_pitch_right_margin 필드, core_region_top_index 필드, core_region_left_index 필드, core_region_width 필드, core_region_height 필드, core_vertex_index_x 필드, core_vertex_index_y 필드, core_circle_radius 필드, core_region_width 필드, core_region_height 필드, core_region_yaw_top_left 필드, core_region_pitch_top_left 필드, core_region_yaw_bottom_right 필드, core_region_pitch_bottom_right 필드, processing_type 필드, number_of_parameters 필드 및/또는 processing_parameter 필드를 포함할 수 있다. 상기 필드들의 의미는 상술한 바와 같다.
구체적으로, 일 예로, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티(quality) 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입을 나타내는 정보는 상기 region_quality_indication_type 필드를 나타낼 수 있고, 상기 퀄리티 타입의 레벨을 나타내는 정보는 상기 region_quality_indication_level 필드를 나타낼 수 있다.
예를 들어, 상기 퀄리티 타입은 공간 해상도, 압축(compression) 정도, 비트 심도(bit depth), 색감, 밝기 범위, 프레임 레이트(frame rate) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 퀄리티 타입을 나타내는 정보의 값이 1인 경우, 상기 퀄리티 타입을 나타내는 정보는 공간 해상도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 2인 경우, 상기 퀄리티 타입을 나타내는 정보는 압축 정도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 3인 경우, 상기 퀄리티 타입을 나타내는 정보는 비트 심도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 4인 경우, 상기 퀄리티 타입을 나타내는 정보는 색감을 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 5인 경우, 상기 퀄리티 타입을 나타내는 정보는 밝기 범위를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 6인 경우, 상기 퀄리티 타입을 나타내는 정보는 프레임 레이트를 상기 퀄리티 타입으로 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입을 기준으로 나타낸 상기 현재 픽처 내 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보를 포함할 수 있다. 상기 퀄리티 타입을 기준으로 나타낸 상기 현재 픽처 내 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보는 상기 region_quality_indication_type_inter_region_index 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입을 기준으로 나타낸 상기 대상 리전과 상기 대상 리전의 대응 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보를 포함할 수 있다. 상기 퀄리티 타입을 기준으로 나타낸 상기 대상 리전과 상기 대상 리전의 상기 대응 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보는 상기 region_quality_indication_type_inter_stream_index 필드를 나타낼 수 있다. 여기서, 상기 대응 리전은 상기 현재 픽처가 포함된 비디오 스트림 이외의 비디오 스트림들에 상기 대상 리전과 동일 위치의 리전들을 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 세부 정보를 포함할 수 있다. 상기 퀄리티 타입의 세부 정보는 상기 region_quality_indication_info 필드를 나타낼 수 있다. 예를 들어, 상기 퀄리티 타입을 나타내는 정보가 공간 해상도를 상기 퀄리티 타입으로 나타내는 경우, 상기 퀄리티 타입의 세부 정보는 스케일링 팩터(scaling factor)를 나타낼 수 있다. 구체적으로, 상기 스케일링 팩터는 상기 퀄리티 타입의 세부 정보가 나타내는 값의 역수로 도출될 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보가 압축 정도를 상기 퀄리티 타입으로 나타내는 경우, 상기 퀄리티 타입의 세부 정보는 압축율에 의한 손상 정도를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 서브 타입를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 region_quality_indication_subtype 필드를 나타낼 수 있다. 예를 들어, 상기 퀄리티 타입을 나타내는 정보가 공간 해상도를 상기 퀄리티 타입으로 나타내는 경우, 상기 서브 타입은 수평 방향 다운 스케일링(horizontal down scaling), 수직 방향 다운 스케일링(vertical down scaling), 닮은꼴 다운 스케일링(similar figure down scaling), 사다리꼴 다운 스케일링(trapezoid down scaling) 및 비정형적 다운 스케일링(atypical down scaling) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 1인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 수평 방향 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 2인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 수직 방향 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 3인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 닮은꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 4인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 상측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 5인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 하측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 6인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 좌측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 7인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 우측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 8인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 비정형적 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 복수개의 서브 타입를 나타내는 정보들을 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 퀄리티 타입의 서브 타입들의 개수를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입의 서브 타입들의 개수를 나타내는 정보는 상기 number_of_subtypes_minus1 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전의 복수개의 퀄리티 타입을 나타내는 정보들을 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 복수개의 퀄리티 타입을 나타내는 정보들 각각이 나타내는 퀄리티 타입에 대한 정보들을 포함할 수 있다. 즉, 상기 메타데이터는 상기 대상 리전의 각 퀄리티 타입의 레벨을 나타내는 정보, 상기 각 퀄리티 타입의 서브 타입을 나타내는 정보 및/또는 상기 각 퀄리티 타입의 세부 정보를 포함할 수 있다. 다시 말해, 상기 메타데이터는 상기 복수개의 퀄리티 타입을 나타내는 정보들이 나타내는 퀄리티 타입들 각각의 레벨을 나타내는 정보들을 포함할 수 있고, 상기 퀄리티 타입들 각각의 세부 정보를 포함할 수 있다. 또한, 상기 메타데이터는 상기 퀄리티 타입들 각각의 서브 타입을 나타내는 정보를 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 대상 리전의 퀄리티 타입들의 개수를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 퀄리티 타입들의 개수를 나타내는 정보는 상기 number_of_quality_indication_type_minus1 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입들 각각의 우선 순위를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입들 각각의 우선 순위를 나타내는 정보는 상기 region_quality_indication_type_inter_type_index 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전에서 후처리 과정(post processing)이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 대상 리전에서 후처리 과정이 수행되는 영역을 나타내는 정보를 포함할 수 있다. 상기 메타데이터는 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그는 상기 processing_region_indication_flag 필드를 나타낼 수 있다.
구체적으로, 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 대상 리전의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 사각형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보 및 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 후처리 과정이 수행되는 영역은 상기 상측 경계에서부터 상기 상측 경계에서부터의 거리까지의 영역, 즉, 상기 상측 경계에 인접하고 상기 상측 경계를 너비(width), 상기 상측 경계에서부터의 거리를 높이(height)로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 하측 경계에서부터 상기 하측 경계에서부터의 거리까지의 영역, 즉, 상기 하측 경계에 인접하고 상기 하측 경계를 너비(width), 상기 하측 경계에서부터의 거리를 높이(height)로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 좌측 경계에서부터 상기 좌측 경계에서부터의 거리까지의 영역, 즉, 상기 좌측 경계에 인접하고 상기 좌측 경계를 높이, 상기 좌측 경계에서부터의 거리를 너비로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 우측 경계에서부터 상기 우측 경계에서부터의 거리까지의 영역, 즉, 상기 우측 경계에 인접하고 상기 우측 경계를 높이, 상기 우측 경계에서부터의 거리를 너비로 하는 영역으로 도출될 수 있다.
여기서, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그는 상기 2D_coordinate_flag 필드를 나타낼 수 있고, 상기 대상 리전의 타입을 나타내는 정보는 region_type 필드를 나타낼 수 있다. 또한, 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보는 processing_region_top_margin 필드를 나타낼 수 있고, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보는 processing_region_bottom_margin 필드를 나타낼 수 있고, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보는 processing_region_left_margin 필드를 나타낼 수 있고, 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보는 processing_region_right_margin 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 임의의 닫힌 도형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 j번째 점(vertex)과 j+1 번째 점으로 구성된 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 j번째 점과 j+1 번째 점으로 구성된 경계에서부터 상기 정보가 나타내는 거리까지의 영역으로 도출될 수 있다. 즉, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 j번째 점과 j+1 번째 점으로 구성된 경계에 인접하고 상기 경계를 너비(width), 상기 정보가 나타내는 거리를 높이(height)로 하는 영역으로 도출될 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 원을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 경계에서부터 상기 정보가 나타내는 거리까지의 영역으로 도출될 수 있다. 즉, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 경계에서부터 상기 정보가 나타내는 거리까지의 도넛 형태의 영역으로 도출될 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 4개의 대원(great circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 중점을 지나는 수직선 상의 좌표를 나타내는 정보 및 상기 대상 리전의 상기 중점을 지나는 수평선 상의 좌표를 나타내는 정보를 포함할 수 있다. 즉, 상기 대상 리전의 상기 중점을 지나는 수직선 상의 좌표를 나타내는 정보는 상기 processing_region_yaw_margin 필드를 나타낼 수 있고, 상기 대상 리전의 상기 중점을 지나는 수평선 상의 좌표를 나타내는 정보는 상기 processing_region_pitch_margin 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 2개의 대원(great circle)들 및 2개의 소원(small circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보 및 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_yaw_top_margin 필드를 나타낼 수 있고, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_yaw_bottom_margin 필드를 나타낼 수 있고, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_pitch_left_margin 필드를 나타낼 수 있고, 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_pitch_right_margin 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전에서 후처리 과정(post processing)이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 대상 리전에서 후처리 과정이 수행되지 않는 영역을 나타내는 정보를 포함할 수 있다. 상기 메타데이터는 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그는 상기 core_region_indication_flag 필드를 나타낼 수 있다.
구체적으로, 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 대상 리전의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 사각형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 x 성분을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 y 성분을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭(width)을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이(height)을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 y 성분을 나타내는 정보는 상기 core_region_top_index 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 x 성분을 나타내는 정보는 상기 core_region_left_index 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭(width)을 나타내는 정보는 상기 core_region_width 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이(height)을 나타내는 정보는 상기 core_region_height 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 임의의 닫힌 도형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 x 성분을 나타내는 정보 및 상기 후처리 과정이 수행되지 않는 영역의 점의 y 성분을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 x 성분을 나타내는 정보는 상기 core_vertex_index_x 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 y 성분을 나타내는 정보는 상기 core_vertex_index_y 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 원을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 반지름을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 반지름을 나타내는 정보는 상기 core_circle_radius 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 4개의 대원(great circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭을 나타내는 정보는 상기 core_region_width 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이를 나타내는 정보는 상기 core_region_height 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 2개의 대원(great circle)들 및 2개의 소원(small circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 요(yaw) 값을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 피치(pitch) 값을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 요 값을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 피치 값을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 요(yaw) 값을 나타내는 정보는 상기 core_region_yaw_top_left 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 피치(pitch) 값을 나타내는 정보는 상기 core_region_pitch_top_left 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 요(yaw) 값을 나타내는 정보는 상기 core_region_yaw_bottom_right 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 피치(pitch) 값을 나타내는 정보는 상기 core_region_pitch_bottom_right 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 후처리 과정에 대한 세부 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 후처리 과정에 사용되는 필터를 가리키는 정보, 상기 필터의 필터 계수들의 개수를 나타내는 정보 및 상기 필터 계수들 각각의 값을 나타내는 정보를 포함할 수 있다. 상기 후처리 과정에 사용되는 필터는 스무딩 필터(smoothing filter), 블렌딩 필터(blending filter), 향상 필터(enhancement filter) 및 복원 필터(restoration filter) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 1인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 스무딩 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 2인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 블렌딩 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 3인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 향상 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 4인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 복원 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다.
상기 후처리 과정에 사용되는 필터를 가리키는 정보는 상기 processing_type 필드를 나타낼 수 있고, 상기 필터의 필터 계수들의 개수를 나타내는 정보는 상기 number_of_parameters 필드를 나타낼 수 있고, 상기 필터 계수들 각각의 값을 나타내는 정보는 상기 processing_parameter 필드를 나타낼 수 있다.
한편, 상기 메타데이터는 SEI 메시지를 통하여 전송될 수 있다. 또한, 상기 메타데이터는 MPD(Media Presentation Description)의 어댑테이션 셋(AdaptationSet), 레프리젠테이션(Representation) 또는 서브 레프리젠테이션(SubRepresentation)에 포함될 수도 있다. 여기서, 상기 SEI 메시지는 2D 이미지의 디코딩 또는 2D 이미지의 3D 공간으로의 디스플레이에 대한 보조를 위하여 사용될 수 있다.
360도 비디오 전송 장치는 상기 현재 픽처를 인코딩한다(S1630). 360도 비디오 전송 장치는 상기 현재 픽처를 인코딩할 수 있다. 또한, 360도 비디오 전송 장치는 상기 메타데이터를 인코딩할 수 있다.
360도 비디오 전송 장치는 상기 인코딩된 현재 픽처 및 상기 메타데이터에 대하여 저장 또는 전송을 위한 처리를 수행한다(S1640). 360도 비디오 전송 장치는 상기 인코딩된 360도 비디오 데이터 및/또는 상기 메타데이터를 파일 등의 형태로 인캡슐레이션(encapsulation)할 수 있다. 360도 비디오 전송 장치는 인코딩된 360도 비디오 데이터 및/또는 상기 메타데이터를 저장 또는 전송하기 위하여 ISOBMFF, CFF 등의 파일 포맷으로 인캡슐레이션하거나, 기타 DASH 세그먼트 등의 형태로 처리할 수 있다. 360도 비디오 전송 장치는 상기 메타데이터를 파일 포맷 상에 포함시킬 수 있다. 예를 들어, 상기 메타데이터는 ISOBMFF 파일 포맷 상의 다양한 레벨의 박스(box)에 포함되거나 파일 내에서 별도의 트랙내의 데이터로 포함될 수 있다. 또한, 360도 비디오 전송 장치는 상기 메타데이터 자체를 파일로 인캡슐레이션할 수 있다. 360도 비디오 전송 장치는 파일 포맷에 따라 인캡슐레이션된 상기 360도 비디오 데이터에 전송을 위한 처리를 가할 수 있다. 360도 비디오 전송 장치는 임의의 전송 프로토콜에 따라 상기 360도 비디오 데이터를 처리할 수 있다. 전송을 위한 처리에는 방송망을 통한 전달을 위한 처리, 또는 브로드밴드 등의 통신 네트워크를 통한 전달을 위한 처리를 포함할 수 있다. 또한, 360도 비디오 전송 장치는 상기 메타데이터에 전송을 위한 처리를 가할 수도 있다. 360도 비디오 전송 장치는 전송 처리된 상기 360도 비디오 데이터 및 상기 메타데이터를 방송망 및/또는 브로드밴드를 통해 전송할 수 있다.
도 17은 본 발명에 따른 360도 비디오 수신 장치에 의한 360도 비디오 데이터 처리 방법을 개략적으로 나타낸다. 도 17에서 개시된 방법은 도 6에서 개시된 360도 비디오 수신 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 17의 S1700은 상기 360도 비디오 수신 장치의 수신부에 의하여 수행될 수 있고, S1710은 상기 360도 비디오 수신 장치의 수신 처리부에 의하여 수행될 수 있고, S1720은 상기 360도 비디오 수신 장치의 데이터 디코더 및 렌더러에 의하여 수행될 수 있다.
360도 비디오 수신 장치는 360도 비디오 데이터에 관한 현재 픽처에 대한 정보 및 상기 360도 비디오 데이터에 대한 메타데이터를 포함하는 신호를 수신한다(S1700). 360도 비디오 수신 장치는 방송망을 통하여 360도 비디오 전송 장치로부터 시그널링된 상기 360도 비디오 데이터에 대한 상기 현재 픽처에 대한 정보 및 상기 메타데이터를 수신할 수 있다. 또한, 360도 비디오 수신 장치는 브로드밴드 등의 통신 네트워크, 또는 저장매체를 통하여 상기 현재 픽처에 대한 정보 및 상기 메타데이터를 수신할 수도 있다.
360도 비디오 수신 장치는 상기 수신된 신호를 처리하여 상기 현재 픽처에 대한 정보 및 상기 메타데이터를 획득한다(S1710). 360도 비디오 수신 장치는 수신된 상기 현재 픽처에 대한 정보 및 상기 메타데이터에 대해 전송 프로토콜에 따른 처리를 수행할 수 있다. 또한, 360도 비디오 수신 장치는 전술한 360도 비디오 전송 장치의 전송을 위한 처리의 역과정을 수행할 수 있다.
상기 메타데이터는 상술한 region_wise_quality_indication_cancel_flag 필드, region_wise_quality_indication_persistence_flag 필드, enhancement_layer_quality_indication_flag 필드, 2D_coordinate_flag 필드, 3D_coordinate_flag 필드, total_width 필드, total_height 필드, number_of_quality_indication_type_minus1 필드, quality_indication_type 필드, type_priority_index 필드, number_of_quality_indication_level 필드, number_of_total_quality_indication_level 필드, number_of_region_minus1 필드, region_type 필드, viewport_type 필드, region_top_index 필드, region_left_index 필드, region_width 필드, region_height 필드, number_of_vertex 필드, vertex_index_x 필드, vertex_index_y 필드, circle_center_point_x 필드, circle_center_point_y 필드, circle_radius 필드, region_yaw 필드, region_pitch 필드, region_roll 필드, region_width 필드, region_height 필드, region_yaw_top_left 필드, region_pitch_top_left 필드, region_yaw_bottom_right 필드, region_pitch_bottom_right 필드, region_quality_indication_type 필드, region_quality_indication_level 필드, region_quality_indication_type_inter_type_index 필드, region_quality_indication_type_inter_region_index 필드, region_quality_indication_type_inter_stream_index 필드, EL_region_quality_indication_level 필드, region_quality_indication_subtype_flag 필드, number_of_subtypes_minus1 필드, region_quality_indication_subtype 필드, region_quality_indication_info 필드, EL_region_quality_indication_info 필드, region_quality_indication_info 필드, EL_region_quality_indication_info 필드, processing_region_indication_flag 필드, core_region_indication_flag 필드, processing_info_present_flag 필드, processing_region_top_margin 필드, processing_region_bottom_margin 필드, processing_region_left_margin 필드, processing_region_right_margin 필드, processing_region_perpendicular_margin 필드, processing_region_radius_margin 필드, processing_region_yaw_margin 필드, processing_region_pitch_margin 필드, processing_region_yaw_top_margin 필드, processing_region_yaw_bottom_margin 필드, processing_region_pitch_left_margin 필드, processing_region_pitch_right_margin 필드, core_region_top_index 필드, core_region_left_index 필드, core_region_width 필드, core_region_height 필드, core_vertex_index_x 필드, core_vertex_index_y 필드, core_circle_radius 필드, core_region_width 필드, core_region_height 필드, core_region_yaw_top_left 필드, core_region_pitch_top_left 필드, core_region_yaw_bottom_right 필드, core_region_pitch_bottom_right 필드, processing_type 필드, number_of_parameters 필드 및/또는 processing_parameter 필드를 포함할 수 있다. 상기 필드들의 의미는 상술한 바와 같다.
구체적으로, 일 예로, 상기 메타데이터는 상기 현재 픽처 내 대상 리전의 퀄리티(quality) 타입을 나타내는 정보 및 상기 퀄리티 타입의 레벨을 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입을 나타내는 정보는 상기 region_quality_indication_type 필드를 나타낼 수 있고, 상기 퀄리티 타입의 레벨을 나타내는 정보는 상기 region_quality_indication_level 필드를 나타낼 수 있다.
예를 들어, 상기 퀄리티 타입은 공간 해상도, 압축(compression) 정도, 비트 심도(bit depth), 색감, 밝기 범위, 프레임 레이트(frame rate) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 퀄리티 타입을 나타내는 정보의 값이 1인 경우, 상기 퀄리티 타입을 나타내는 정보는 공간 해상도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 2인 경우, 상기 퀄리티 타입을 나타내는 정보는 압축 정도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 3인 경우, 상기 퀄리티 타입을 나타내는 정보는 비트 심도를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 4인 경우, 상기 퀄리티 타입을 나타내는 정보는 색감을 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 5인 경우, 상기 퀄리티 타입을 나타내는 정보는 밝기 범위를 상기 퀄리티 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보의 값이 6인 경우, 상기 퀄리티 타입을 나타내는 정보는 프레임 레이트를 상기 퀄리티 타입으로 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입을 기준으로 나타낸 상기 현재 픽처 내 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보를 포함할 수 있다. 상기 퀄리티 타입을 기준으로 나타낸 상기 현재 픽처 내 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보는 상기 region_quality_indication_type_inter_region_index 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입을 기준으로 나타낸 상기 대상 리전과 상기 대상 리전의 대응 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보를 포함할 수 있다. 상기 퀄리티 타입을 기준으로 나타낸 상기 대상 리전과 상기 대상 리전의 상기 대응 리전들 중 상기 대상 리전의 우선 순위를 가리키는 정보는 상기 region_quality_indication_type_inter_stream_index 필드를 나타낼 수 있다. 여기서, 상기 대응 리전은 상기 현재 픽처가 포함된 비디오 스트림 이외의 비디오 스트림들에 상기 대상 리전과 동일 위치의 리전들을 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 세부 정보를 포함할 수 있다. 상기 퀄리티 타입의 세부 정보는 상기 region_quality_indication_info 필드를 나타낼 수 있다. 예를 들어, 상기 퀄리티 타입을 나타내는 정보가 공간 해상도를 상기 퀄리티 타입으로 나타내는 경우, 상기 퀄리티 타입의 세부 정보는 스케일링 팩터(scaling factor)를 나타낼 수 있다. 구체적으로, 상기 스케일링 팩터는 상기 퀄리티 타입의 세부 정보가 나타내는 값의 역수로 도출될 수 있다. 또한, 상기 퀄리티 타입을 나타내는 정보가 압축 정도를 상기 퀄리티 타입으로 나타내는 경우, 상기 퀄리티 타입의 세부 정보는 압축율에 의한 손상 정도를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 서브 타입를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 region_quality_indication_subtype 필드를 나타낼 수 있다. 예를 들어, 상기 퀄리티 타입을 나타내는 정보가 공간 해상도를 상기 퀄리티 타입으로 나타내는 경우, 상기 서브 타입은 수평 방향 다운 스케일링(horizontal down scaling), 수직 방향 다운 스케일링(vertical down scaling), 닮은꼴 다운 스케일링(similar figure down scaling), 사다리꼴 다운 스케일링(trapezoid down scaling) 및 비정형적 다운 스케일링(atypical down scaling) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 1인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 수평 방향 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 2인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 수직 방향 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 3인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 닮은꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 4인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 상측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 5인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 하측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 6인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 좌측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 7인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 상기 대상 리전의 우측 경계를 중심으로 수행되는 사다리꼴 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다. 또한, 상기 퀄리티 타입의 서브 타입를 나타내는 정보의 값이 8인 경우, 상기 퀄리티 타입의 서브 타입를 나타내는 정보는 비정형적 다운 스케일링을 상기 퀄리티 타입의 서브 타입으로 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입의 복수개의 서브 타입를 나타내는 정보들을 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 퀄리티 타입의 서브 타입들의 개수를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입의 서브 타입들의 개수를 나타내는 정보는 상기 number_of_subtypes_minus1 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전의 복수개의 퀄리티 타입을 나타내는 정보들을 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 복수개의 퀄리티 타입을 나타내는 정보들 각각이 나타내는 퀄리티 타입에 대한 정보들을 포함할 수 있다. 즉, 상기 메타데이터는 상기 대상 리전의 각 퀄리티 타입의 레벨을 나타내는 정보, 상기 각 퀄리티 타입의 서브 타입을 나타내는 정보 및/또는 상기 각 퀄리티 타입의 세부 정보를 포함할 수 있다. 다시 말해, 상기 메타데이터는 상기 복수개의 퀄리티 타입을 나타내는 정보들이 나타내는 퀄리티 타입들 각각의 레벨을 나타내는 정보들을 포함할 수 있고, 상기 퀄리티 타입들 각각의 세부 정보를 포함할 수 있다. 또한, 상기 메타데이터는 상기 퀄리티 타입들 각각의 서브 타입을 나타내는 정보를 포함할 수 있다. 이 경우, 상기 메타데이터는 상기 대상 리전의 퀄리티 타입들의 개수를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 퀄리티 타입들의 개수를 나타내는 정보는 상기 number_of_quality_indication_type_minus1 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 퀄리티 타입들 각각의 우선 순위를 나타내는 정보를 포함할 수 있다. 상기 퀄리티 타입들 각각의 우선 순위를 나타내는 정보는 상기 region_quality_indication_type_inter_type_index 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전에서 후처리 과정(post processing)이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 대상 리전에서 후처리 과정이 수행되는 영역을 나타내는 정보를 포함할 수 있다. 상기 메타데이터는 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그는 상기 processing_region_indication_flag 필드를 나타낼 수 있다.
구체적으로, 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 대상 리전의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 사각형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보 및 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 후처리 과정이 수행되는 영역은 상기 상측 경계에서부터 상기 상측 경계에서부터의 거리까지의 영역, 즉, 상기 상측 경계에 인접하고 상기 상측 경계를 너비(width), 상기 상측 경계에서부터의 거리를 높이(height)로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 하측 경계에서부터 상기 하측 경계에서부터의 거리까지의 영역, 즉, 상기 하측 경계에 인접하고 상기 하측 경계를 너비(width), 상기 하측 경계에서부터의 거리를 높이(height)로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 좌측 경계에서부터 상기 좌측 경계에서부터의 거리까지의 영역, 즉, 상기 좌측 경계에 인접하고 상기 좌측 경계를 높이, 상기 좌측 경계에서부터의 거리를 너비로 하는 영역으로 도출될 수 있다. 또한, 상기 후처리 과정이 수행되는 영역은 상기 우측 경계에서부터 상기 우측 경계에서부터의 거리까지의 영역, 즉, 상기 우측 경계에 인접하고 상기 우측 경계를 높이, 상기 우측 경계에서부터의 거리를 너비로 하는 영역으로 도출될 수 있다.
여기서, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그는 상기 2D_coordinate_flag 필드를 나타낼 수 있고, 상기 대상 리전의 타입을 나타내는 정보는 region_type 필드를 나타낼 수 있다. 또한, 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보는 processing_region_top_margin 필드를 나타낼 수 있고, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보는 processing_region_bottom_margin 필드를 나타낼 수 있고, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보는 processing_region_left_margin 필드를 나타낼 수 있고, 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보는 processing_region_right_margin 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 임의의 닫힌 도형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 j번째 점(vertex)과 j+1 번째 점으로 구성된 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 j번째 점과 j+1 번째 점으로 구성된 경계에서부터 상기 정보가 나타내는 거리까지의 영역으로 도출될 수 있다. 즉, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 j번째 점과 j+1 번째 점으로 구성된 경계에 인접하고 상기 경계를 너비(width), 상기 정보가 나타내는 거리를 높이(height)로 하는 영역으로 도출될 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 원을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 이 경우, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 상기 경계에서부터 상기 정보가 나타내는 거리까지의 영역으로 도출될 수 있다. 즉, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역은 경계에서부터 상기 정보가 나타내는 거리까지의 도넛 형태의 영역으로 도출될 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 4개의 대원(great circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 중점을 지나는 수직선 상의 좌표를 나타내는 정보 및 상기 대상 리전의 상기 중점을 지나는 수평선 상의 좌표를 나타내는 정보를 포함할 수 있다. 즉, 상기 대상 리전의 상기 중점을 지나는 수직선 상의 좌표를 나타내는 정보는 상기 processing_region_yaw_margin 필드를 나타낼 수 있고, 상기 대상 리전의 상기 중점을 지나는 수평선 상의 좌표를 나타내는 정보는 상기 processing_region_pitch_margin 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 2개의 대원(great circle)들 및 2개의 소원(small circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보 및 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_yaw_top_margin 필드를 나타낼 수 있고, 상기 대상 리전의 하측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_yaw_bottom_margin 필드를 나타낼 수 있고, 상기 대상 리전의 좌측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_pitch_left_margin 필드를 나타낼 수 있고, 상기 대상 리전의 우측 경계에서부터의 거리를 나타내는 정보는 상기 processing_region_pitch_right_margin 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 대상 리전에서 후처리 과정(post processing)이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 대상 리전에서 후처리 과정이 수행되지 않는 영역을 나타내는 정보를 포함할 수 있다. 상기 메타데이터는 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그는 상기 core_region_indication_flag 필드를 나타낼 수 있다.
구체적으로, 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 대상 리전의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 사각형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 x 성분을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 y 성분을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭(width)을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이(height)을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 y 성분을 나타내는 정보는 상기 core_region_top_index 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 x 성분을 나타내는 정보는 상기 core_region_left_index 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭(width)을 나타내는 정보는 상기 core_region_width 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이(height)을 나타내는 정보는 상기 core_region_height 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 임의의 닫힌 도형을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 x 성분을 나타내는 정보 및 상기 후처리 과정이 수행되지 않는 영역의 점의 y 성분을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 x 성분을 나타내는 정보는 상기 core_vertex_index_x 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 점의 y 성분을 나타내는 정보는 상기 core_vertex_index_y 필드를 나타낼 수 있다.
또한, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 2D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 대상 리전의 타입을 나타내는 정보가 원을 상기 대상 리전의 타입으로 나타내는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 반지름을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 반지름을 나타내는 정보는 상기 core_circle_radius 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 4개의 대원(great circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이를 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 폭을 나타내는 정보는 상기 core_region_width 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 높이를 나타내는 정보는 상기 core_region_height 필드를 나타낼 수 있다.
또한, 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그 및 상기 뷰포트(viewport)의 타입을 나타내는 정보가 전송될 수 있고, 상기 대상 리전에서 상기 후처리 과정이 수행되지 않는 영역에 대한 정보의 전달 여부를 나타내는 플래그의 값이 1이고, 상기 3D 좌표계에 대한 정보가 전송되는지 여부를 나타내는 플래그의 값이 1이고, 상기 뷰포트의 타입을 나타내는 정보가 2개의 대원(great circle)들 및 2개의 소원(small circle)들을 기반으로 상기 대상 리전을 나타내는 타입으로 가리키는 경우, 상기 메타데이터는 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 요(yaw) 값을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 피치(pitch) 값을 나타내는 정보, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 요 값을 나타내는 정보 및 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 피치 값을 나타내는 정보를 포함할 수 있다. 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 요(yaw) 값을 나타내는 정보는 상기 core_region_yaw_top_left 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 좌상단 샘플의 피치(pitch) 값을 나타내는 정보는 상기 core_region_pitch_top_left 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 요(yaw) 값을 나타내는 정보는 상기 core_region_yaw_bottom_right 필드를 나타낼 수 있고, 상기 대상 리전의 상기 후처리 과정이 수행되지 않는 영역의 우하단 샘플의 피치(pitch) 값을 나타내는 정보는 상기 core_region_pitch_bottom_right 필드를 나타낼 수 있다.
또한, 상기 메타데이터는 상기 후처리 과정에 대한 세부 정보의 전달 여부를 나타내는 플래그를 포함할 수 있고, 상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 후처리 과정에 사용되는 필터를 가리키는 정보, 상기 필터의 필터 계수들의 개수를 나타내는 정보 및 상기 필터 계수들 각각의 값을 나타내는 정보를 포함할 수 있다. 상기 후처리 과정에 사용되는 필터는 스무딩 필터(smoothing filter), 블렌딩 필터(blending filter), 향상 필터(enhancement filter) 및 복원 필터(restoration filter) 중 하나일 수 있다.
구체적으로, 예를 들어, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 1인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 스무딩 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 2인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 블렌딩 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 3인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 향상 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다. 또한, 상기 후처리 과정에 사용되는 필터를 가리키는 정보의 값이 4인 경우, 상기 후처리 과정에 사용되는 필터를 가리키는 정보는 복원 필터를 상기 후처리 과정에 사용되는 필터로 나타낼 수 있다.
상기 후처리 과정에 사용되는 필터를 가리키는 정보는 상기 processing_type 필드를 나타낼 수 있고, 상기 필터의 필터 계수들의 개수를 나타내는 정보는 상기 number_of_parameters 필드를 나타낼 수 있고, 상기 필터 계수들 각각의 값을 나타내는 정보는 상기 processing_parameter 필드를 나타낼 수 있다.
한편, 상기 메타데이터는 SEI 메시지를 통하여 수신될 수 있다. 또한, 상기 메타데이터는 MPD(Media Presentation Description)의 어댑테이션 셋(AdaptationSet), 레프리젠테이션(Representation) 또는 서브 레프리젠테이션(SubRepresentation)에 포함될 수도 있다. 여기서, 상기 SEI 메시지는 2D 이미지의 디코딩 또는 2D 이미지의 3D 공간으로의 디스플레이에 대한 보조를 위하여 사용될 수 있다.
360도 비디오 수신 장치는 상기 메타데이터 및 상기 현재 픽처에 대한 정보를 기반으로 상기 현재 픽처를 디코딩하고, 상기 디코딩된 현재 픽처를 처리하여 3D 공간으로 렌더링한다(S1720). 360도 비디오 수신 장치는 상기 현재 픽처에 대한 정보를 기반으로 상기 현재 픽처를 디코딩할 수 있다. 또한, 360도 비디오 수신 장치는 수신된 비트스트림을 통하여 리전별 퀄리티 표지 정보에 대한 메타 데이터를 획득할 수 있고, 상기 메타데이터를 기반으로 리전의 퀄리티를 비교하여 상기 360도 비디오 수신 장치가 선호하는 특성을 갖는 리전을 선택할 수 있다. 또한, 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 대상 리전 및 상기 대상 리전의 대응 리전들 중 상기 대상 리전의 우선 순위를 판단할 수 있고, 상기 우선 순위를 기반으로 상기 대상 리전이 포함된 비디오 스트림을 선택할 수 있다. 여기서, 상기 대응 리전은 상기 현재 픽처가 포함된 비디오 스트림 이외의 비디오 스트림들에 상기 대상 리전과 동일 위치의 리전들을 나타낼 수 있다. 또한, 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 대상 리전의 퀄리티 타입들 중 상기 최우선 순위를 갖는 퀄리티 타입을 선택할 수 있고, 우선적으로 상기 최우선 순위를 갖는 퀄리티 타입를 기준으로 상기 현재 픽처 내 리전들의 퀄리티를 비교할 수 있다.
또한, 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 디코딩된 현재 픽처를 처리하여 3D 공간으로 렌더링할 수 있다. 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 현재 픽처의 360도 비디오 데이터를 3D 공간으로 맵핑할 수 있다. 구체적으로, 360도 비디오 수신 장치는 상기 현재 픽처의 상기 대상 리전에 대한 리전별 패킹 과정 관련 메타데이터들을 기반으로 상기 대상 리전에 대한 후처리 과정을 수행할 수 있고, 상기 후처리 과정이 수행된 현재 픽처를 3D 공간으로 렌더링할 수 있다. 구체적으로, 360도 비디오 수신 장치는 수신된 비트스트림을 통하여 리전별 퀄리티 표지 정보에 대한 메타데이터를 획득할 수 있고, 상기 메타데이터를 기반으로 상기 대상 리전에 대한 후처리 과정을 수행할 수 있다. 상기 후처리 과정은 상기 대상 리전과 상기 대상 리전의 주변 리전 사이의 경계 주변 영역에 필터링을 수행하는 과정을 나타낼 수 있다. 또한, 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 대상 리전의 상기 후처리 과정이 수행되는 영역 및 상기 후처리 과정이 수행되지 않는 영역을 도출할 수 있고, 상기 후처리 영역에 사용되는 필터의 종류, 및 상기 필터의 필터 계수들을 도출할 수 있다.
한편, 상기 현재 픽처가 패킹된 픽처(packed picture)인 경우, 360도 비디오 수신 장치는 상기 메타데이터를 기반으로 상기 현재 픽처로부터 프로젝션된 픽처를 획득할 수 있고, 상기 프로젝션된 픽처를 상기 3D 공간으로 리-프로젝션(re-projection)할 수 있다. 이 경우, 360도 비디오 수신 장치는 상기 대상 리전을 기반으로 상기 프로젝션된 픽처를 획득할 수 있고, 상기 대상 리전에 대한 상기 메타데이터를 기반으로 후처리 과정을 수행하여 상기 프로젝션된 픽처의 리전 경계 오류를 저감시킬 수 있다. 상기 리전 경계 오류는 상기 프로젝션된 픽처의 리전들이 인접한 경계가 뚜렷한 선으로 나타나거나, 경계를 중심으로 리전들간 차이가 명확하게 나타나 연속되는 픽처로 보이지 않고 구분된 영역이 나타나는 오류를 의미할 수 있다.
전술한 단계들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 단계에 의해 대체될 수 있다.
본 발명의 일 실시예에 따른 360도 비디오 전송 장치는 전술한 데이터 입력부, 스티처, 시그널링 처리부, 프로젝션 처리부, 데이터 인코더, 전송 처리부 및/또는 전송부를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360도 비디오 전송 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360도 비디오를 전송하는 방법의 실시예들을 수행할 수 있다.
본 발명의 일 실시예에 따른 360도 비디오 수신 장치는 전술한 수신부, 수신 처리부, 데이터 디코더, 시그널링 파서, 리-프로젝션 처리부 및/또는 렌더러를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360도 비디오 수신 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360도 비디오를 수신하는 방법의 실시예들을 수행할 수 있다.
전술한 장치의 내부 컴포넌트들은 메모리에 저장된 연속된 수행과정들을 실행하는 프로세서들이거나, 그 외의 하드웨어로 구성된 하드웨어 컴포넌트들일 수 있다. 이 들은 장치 내/외부에 위치할 수 있다.
전술한 모듈들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 모듈에 의해 대체될 수 있다.
전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서이거나 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서 또는 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블록/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.

Claims (21)

  1. 360도 비디오 전송 장치에 의하여 수행되는 360도 비디오 데이터 처리 방법으로,
    적어도 하나의 카메라에 의해 캡쳐된 360도 비디오 데이터를 획득하는 단계, 상기 360도 비디오 데이터는 하나 또는 그 이상의 구형 리전들에 기반하여 표현됨;
    상기 360도 비디오 데이터를 프로젝션하는 단계;
    상기 프로젝션된 360도 비디오 데이터를 리전별 패킹(region-wise packing)하여 픽처를 생성하는 단계;
    상기 360도 비디오 데이터에 대한 메타데이터를 생성하는 단계;
    상기 픽처를 인코딩하는 단계; 및
    상기 인코딩된 픽처 및 상기 메타데이터를 파일에 인캡슐레이팅하는 단계; 를 포함하고,
    상기 메타데이터는 상기 구형 리전들의 타입에 관한 정보, 상기 구형 리전들의 개수에 관한 정보, 상기 구형 리전들의 퀄리티(quality) 순서에 관한 정보, 상기 구형 리전들을 위한 너비(width)에 관한 정보 및 상기 구형 리전들을 위한 높이(height)에 관한 정보를 포함하고,상기 메타데이터는 상기 퀄리티의 차이를 야기(cause)하는 요인(factor)을 지시하는 퀄리티 타입 정보를 더 포함하는,
    360도 비디오 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 메타데이터는 수평 방향 또는 수직 방향과 관련된 정보를 더 포함하고, 상기 수평 방향 또는 수직 방향과 관련된 정보는 수평 방향 다운 스케일링(horizontal down scaling) 및 수직 방향 다운 스케일링(vertical down scaling) 중 적어도 하나를 나타내는 정보인 것을 특징으로 하는,
    360도 비디오 데이터 처리 방법.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 수평 방향 또는 수직 방향과 관련된 정보는 상기 픽처에 포함된 리전의 스케일링에 대한 정보인 것을 특징으로 하는,
    360도 비디오 데이터 처리 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 메타데이터는 상기 퀄리티 타입 정보를 기준으로 나타낸 상기 리전들의 우선 순위를 가리키는 정보를 포함하는 것을 특징으로 하는 360도 비디오 데이터 처리 방법.
  8. 제7항에 있어서,
    상기 메타데이터는,
    상기 픽처에 포함된 리전들 간의 바운더리(boundary)가 프로세싱 되는지 여부를 나타내는 정보 및 상기 바운더리에 관한 타입을 나타내는 타입 정보를 더 포함하는,
    360도 비디오 데이터 처리 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제5항에 있어서,
    상기 메타데이터는 상기 리전에서 후처리 과정(post processing)이 수행되는 영역에 대한 정보의 전달 여부를 나타내는 플래그를 포함하되,
    상기 플래그의 값이 1인 경우, 상기 메타데이터는 상기 리전에서 후처리 과정이 수행되는 영역을 나타내는 정보를 포함하는 것을 특징으로 하는 360도 비디오 데이터 처리 방법.
  13. 삭제
  14. 삭제
  15. 360도 비디오 수신 장치에 의하여 수행되는 360도 비디오 데이터 처리 방법으로,
    상기 360도 비디오 데이터가 프로젝션된 픽처 및 상기 360도 비디오 데이터에 대한 메타데이터를 포함하는 신호를 수신하는 단계, 상기 360도 비디오 데이터는 하나 또는 그 이상의 구형 리전들에 기반하여 표현됨;
    상기 메타데이터를 기반으로 상기 픽처를 디코딩하는 단계;
    상기 디코딩된 픽처를 렌더링하는 단계; 를 포함하고,
    상기 메타데이터는 상기 구형 리전들의 타입에 관한 정보, 상기 구형 리전들의 개수에 관한 정보, 상기 구형 리전들의 퀄리티(quality) 순서에 관한 정보, 상기 구형 리전들을 위한 너비(width)에 관한 정보 및 상기 구형 리전들을 위한 높이(height)에 관한 정보를 포함하고,
    상기 메타데이터는 상기 퀄리티의 차이를 야기(cause)하는 요인(factor)을 지시하는 퀄리티 타입 정보를 더 포함하는,
    360도 비디오 데이터 처리 방법.
  16. 제15항에 있어서,
    상기 메타데이터는 수평 방향 또는 수직 방향과 관련된 정보를 더 포함하고, 상기 수평 방향 또는 수직 방향과 관련된 정보는 수평 방향 다운 스케일링(horizontal down scaling) 및 수직 방향 다운 스케일링(vertical down scaling) 중 적어도 하나를 나타내는 정보인 것을 특징으로 하는 360도 비디오 데이터 처리 방법.
  17. 삭제
  18. 삭제
  19. 제16항에 있어서,
    상기 수평 방향 또는 수직 방향과 관련된 정보는 상기 픽처에 포함된 리전의 스케일링에 대한 정보인 것을 특징으로 하는 360도 비디오 데이터 처리 방법.
  20. 제19항에 있어서,
    상기 메타데이터는 상기 퀄리티 타입 정보를 기준으로 나타낸 상기 리전들의 우선 순위를 가리키는 정보를 포함하는 것을 특징으로 하는 360도 비디오 데이터 처리 방법.
  21. 제 20 항에 있어서,
    상기 메타데이터는,
    상기 픽처에 포함된 리전들 간의 바운더리(boundary)가 프로세싱 되는지 여부를 나타내는 정보 및 상기 바운더리에 관한 타입을 나타내는 타입 정보를 더 포함하는,
    360도 비디오 데이터 처리 방법.
KR1020197027175A 2017-03-17 2017-12-27 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 KR102305633B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762472634P 2017-03-17 2017-03-17
US62/472,634 2017-03-17
US201762478060P 2017-03-29 2017-03-29
US62/478,060 2017-03-29
PCT/KR2017/015559 WO2018169176A1 (ko) 2017-03-17 2017-12-27 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190140903A KR20190140903A (ko) 2019-12-20
KR102305633B1 true KR102305633B1 (ko) 2021-09-28

Family

ID=63523790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197027175A KR102305633B1 (ko) 2017-03-17 2017-12-27 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20200112710A1 (ko)
KR (1) KR102305633B1 (ko)
WO (1) WO2018169176A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10827160B2 (en) * 2016-12-16 2020-11-03 Samsung Electronics Co., Ltd Method for transmitting data relating to three-dimensional image
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10979663B2 (en) * 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
JP7396047B2 (ja) 2018-01-12 2023-12-12 ソニーグループ株式会社 情報処理装置および方法
WO2020007554A1 (en) * 2018-07-05 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Compact description of region-wise packing information
US20220012329A1 (en) * 2018-11-12 2022-01-13 Dover Microsystems, Inc. Systems and methods for metadata encoding
WO2020034509A1 (en) * 2018-12-14 2020-02-20 Zte Corporation Immersive video bitstream processing
EP3906701A4 (en) * 2019-01-04 2022-09-07 Nokia Technologies Oy METHOD AND APPARATUS FOR STORING AND SIGNALING MEDIA SEGMENT SIZES AND PRIORITY ORDERS
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
WO2021053262A1 (en) * 2019-09-20 2021-03-25 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20210211723A1 (en) * 2020-01-08 2021-07-08 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling 2d and 3d regions in immersive media
JP7443536B2 (ja) 2020-04-10 2024-03-05 中興通訊股▲ふん▼有限公司 没入型のメディア処理におけるランク情報
KR20220037617A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 동영상 처리 방법 및 장치
US20220103846A1 (en) * 2020-09-28 2022-03-31 Alibaba Group Holding Limited Supplemental enhancement information message in video coding
CN117882373A (zh) * 2021-06-29 2024-04-12 瑞典爱立信有限公司 对图片应用覆盖过程

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017040686A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269377A (ja) * 1997-03-27 1998-10-09 Toshiba Corp 表示制御システムおよび３次元グラフィクスデータの表示制御方法
US6157929A (en) * 1997-04-15 2000-12-05 Avid Technology, Inc. System apparatus and method for managing the use and storage of digital information
AU758390B2 (en) * 1998-07-27 2003-03-20 Webtv Networks, Inc. Remote computer access
US8189662B2 (en) * 1999-07-27 2012-05-29 Microsoft Corporation Selection compression
US20010016010A1 (en) * 2000-01-27 2001-08-23 Lg Electronics Inc. Apparatus for receiving digital moving picture
US20020075961A1 (en) * 2000-12-19 2002-06-20 Philips Electronics North America Corporaton Frame-type dependent reduced complexity video decoding
EP1592236A1 (en) * 2003-01-29 2005-11-02 Olympus Corporation Image sensing apparatus
US7084889B2 (en) * 2003-10-23 2006-08-01 Silicon Integrated Systems Corp. Digital picture scaling
KR20070122577A (ko) * 2005-04-26 2007-12-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 패킷들의 시퀀스 및 상기 패킷과 관련된 타이밍 정보를갖는 데이터 스트림을 처리하기 위한 디바이스 및 방법
US7652674B2 (en) * 2006-02-09 2010-01-26 Real D On the fly hardware based interdigitation
JP2008067223A (ja) * 2006-09-08 2008-03-21 Toshiba Corp データ放送コンテンツ再生装置及びデータ放送コンテンツ再生方法
US8456531B2 (en) * 2010-01-14 2013-06-04 Cheetah Technologies, L.P. Video alignment and calibration for video quality measurement
MX2013004068A (es) * 2010-10-25 2013-05-22 Panasonic Corp Metodo de codificacion, dispositivo de visualizacion, metodo de codificacion.
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
US8942512B2 (en) * 2011-12-24 2015-01-27 Ecole De Technologie Superieure Methods and systems for processing a first image with reference to a second image
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
KR101518814B1 (ko) * 2013-09-11 2015-05-28 (주) 메리제이콘텐츠 360도 서라운드 뷰 영상 데이터를 이용한 방송 컨텐츠의 저작방법
CN105874806A (zh) * 2014-01-03 2016-08-17 汤姆逊许可公司 生成用于视频优化的元数据的方法和设备
WO2015126213A1 (ko) * 2014-02-21 2015-08-27 엘지전자 주식회사 방송 신호 송신 장치 및 방송 신호 수신 장치
US10536731B2 (en) * 2014-05-12 2020-01-14 Apple Inc. Techniques for HDR/WCR video coding
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN112511837A (zh) * 2014-08-20 2021-03-16 弗劳恩霍夫应用研究促进协会 视频合成系统、视频合成方法及计算机可读存储介质
US20160088090A1 (en) * 2014-09-24 2016-03-24 Intel Corporation System and method for sensor prioritization
KR102234477B1 (ko) * 2015-01-15 2021-04-01 한국전자통신연구원 영상 품질에 기초한 파노라마 영상 생성 장치 및 방법
KR20160101584A (ko) * 2015-02-17 2016-08-25 주식회사 무버 파노라마 콘텐츠를 단말에 제공하기 위한 방법, 서버, 단말 및 컴퓨터 판독 가능한 기록 매체
US10074014B2 (en) * 2015-04-22 2018-09-11 Battelle Memorial Institute Feature identification or classification using task-specific metadata
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR102638468B1 (ko) * 2015-05-06 2024-02-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10448058B2 (en) * 2015-05-21 2019-10-15 Qualcomm Incorporated Grouping palette index at the end and index coding using palette size and run value
US10542289B2 (en) * 2015-07-16 2020-01-21 Dolby Laboratories Licensing Corporation Signal reshaping and coding for HDR and wide color gamut signals
US10176642B2 (en) * 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US20170103577A1 (en) * 2015-10-12 2017-04-13 Cinova Media Method and apparatus for optimizing video streaming for virtual reality
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US9787896B2 (en) * 2015-12-29 2017-10-10 VideoStitch Inc. System for processing data from an omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US9843725B2 (en) * 2015-12-29 2017-12-12 VideoStitch Inc. Omnidirectional camera with multiple processors and/or multiple sensors connected to each processor
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
CN109076241B (zh) * 2016-05-04 2023-06-23 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10123020B2 (en) * 2016-12-30 2018-11-06 Axis Ab Block level update rate control based on gaze sensing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017040686A (ja) * 2015-08-17 2017-02-23 株式会社リコー 画像表示システム、情報処理装置、画像表示方法及びプログラム

Also Published As

Publication number Publication date
KR20190140903A (ko) 2019-12-20
WO2018169176A1 (ko) 2018-09-20
US20200112710A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
KR102305633B1 (ko) 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US11109013B2 (en) Method of transmitting 360-degree video, method of receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video
KR102208132B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
KR102157655B1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102264028B1 (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
KR102262727B1 (ko) 360 비디오 처리 방법 및 그 장치
CN110612723B (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
US11140373B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR102221301B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
US20190364261A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video and apparatus for receiving 360-degree video
US11831855B2 (en) Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
KR102305634B1 (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR102157658B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US20190199921A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, 360-degree video transmitting device, and 360-degree video receiving device
KR102271444B1 (ko) 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치
KR102214079B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant