KR20200079340A - 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치 - Google Patents
360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치 Download PDFInfo
- Publication number
- KR20200079340A KR20200079340A KR1020207017712A KR20207017712A KR20200079340A KR 20200079340 A KR20200079340 A KR 20200079340A KR 1020207017712 A KR1020207017712 A KR 1020207017712A KR 20207017712 A KR20207017712 A KR 20207017712A KR 20200079340 A KR20200079340 A KR 20200079340A
- Authority
- KR
- South Korea
- Prior art keywords
- view
- packed
- field
- region
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 254
- 238000012545 processing Methods 0.000 claims abstract description 184
- 238000012856 packing Methods 0.000 claims abstract description 142
- 238000009877 rendering Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 191
- 230000005540 biological transmission Effects 0.000 claims description 126
- 238000003672 processing method Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 52
- 239000012634 fragment Substances 0.000 description 29
- 241000023320 Luma <angiosperm> Species 0.000 description 15
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 15
- 230000011664 signaling Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005538 encapsulation Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 239000000470 constituent Substances 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 230000004886 head movement Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 101150103552 cagE gene Proteins 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 241001482237 Pica Species 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명에 따른 360도 비디오 수신 장치에 의해 수행되는 360도 비디오 데이터 처리 방법은, 다수의 뷰들에 대한 360도 비디오 데이터를 수신하는 단계; 메타데이터 및 패킹된 픽처에 관한 정보를 도출하는 단계; 상기 패킹된 픽처에 관한 정보에 기초하여 상기 패킹된 픽처를 디코딩하는 단계; 상기 메타데이터에 기초하여 상기 패킹된 픽처로부터 목표 뷰에 대한 특정 패킹된 영역을 도출하는 단계; 상기 특정 패킹된 영역 및 상기 메타데이터에 기초하여 상기 목표 뷰의 프로젝션된 픽처를 도출하는 단계; 및 상기 메타데이터에 기초하여 상기 프로젝션된 픽처를 렌더링하는 단계를 포함하되, 상기 메타데이터는 멀티뷰 리전 와이즈 패킹 정보를 포함하고, 상기 멀티뷰 리전 와이즈 패킹 정보는 상기 패킹된 픽처의 패킹된 영역에 관한 정보 및 상기 목표 뷰에 관한 정보를 포함한다.
Description
본 발명은 360도 비디오에 관한 것으로, 보다 상세하게는 멀티뷰 리전 와이즈(multiview region-wise) 패킹(packing) 정보를 포함하는 3DoF+ 컨텐츠에 대한 360도 비디오를 송수신하는 방법들 및 장치에 관한 것이다.
VR(Virtual Reality) 시스템은 사용자에게 전자적으로 투영된 환경 내에 있는 것 같은 감각을 제공한다. VR을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 시스템은 사용자가 인터랙티브하게 VR 컨텐츠들을 소비할 수 있도록 할 수 있다.
3DoF+ (3 자유도 플러스) 컨텐츠는 사용자의 위치 이동에 따라 새롭게 구성되는 3DoF 또는 360도 비디오를 다수의 시청 위치들/시점들에 대한 360도 비디오를 통하여 제공한다. 3DoF+ 컨텐츠는 사용자로 하여금 다양한 감각 경험을 소비하도록 할 수 있다.
본 발명의 목적은 VR 시스템을 제공하기 위한 VR 비디오 데이터 전송 효율을 향상시키는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 VR 비디오 데이터에 대하여 VR 비디오 데이터 및 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 3DoF+ 시스템을 제공하기 위한 360도 비디오 데이터 전송 효율을 향상시키는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 멀티뷰 리전 와이즈 패킹 정보에 대하여 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면, 360도 비디오 전송 장치에 의하여 수행되는 360도 비디오 데이터 처리 방법이 제공된다. 상기 방법은: 다수의 뷰들에 대한 360도 비디오를 획득하는 단계; 상기 360도 비디오를 처리함으로써 상기 뷰들에 대한 프로젝션된 픽처들을 생성하는 단계; 상기 프로젝션된 픽처들을 패킹함으로써 패킹된 픽처를 생성하는 단계; 상기 패킹된 픽처를 인코딩하는 단계; 상기 360도 비디오에 관한 메타데이터를 생성하는 단계; 및 상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하는 단계를 포함하되, 상기 메타데이터는 멀티뷰 리전 와이즈(multiview region-wise) 패킹 정보를 포함하고, 상기 멀티뷰 리전 와이즈 패킹 정보는 상기 패킹된 픽처에서 패킹된 영역에 관한 정보 및 상기 뷰들의 각각에 관한 정보를 포함한다.
본 발명의 다른 실시예에 따르면, 360도 비디오 데이터를 처리하기 위한 360도 비디오 전송 장치가 제공된다. 상기 360도 비디오 전송 장치는: 다수의 시점들에 대한 360도 비디오를 획득하도록 구성된 데이터 입력부; 상기 360도 비디오를 처리함으로써 상기 뷰들에 대해 프로젝션된 픽처들을 생성하도록 구성된 프로젝션 처리부; 상기 프로젝션된 픽처들을 패킹함으로써 패킹된 픽처를 생성하도록 구성된 패킹처리부; 상기 패킹된 픽처를 인코딩하도록 구성된 인코더; 360도 비디오에 관한 메타데이터를 생성하도록 구성된 메타데이터 처리부; 및 상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하도록 구성된 송신 처리부를 포함하되, 상기 메타데이터는 멀티뷰 리전 와이즈(multiview region-wise) 패킹 정보를 포함하고, 상기 멀티뷰 리전 와이즈 패킹 정보는 상기 패킹된 픽처에서 패킹된 영역에 관한 정보 및 상기 뷰들의 각각에 관한 정보를 포함한다.
본 발명의 또 다른 실시예에 따르면, 360도 비디오 수신 장치에 의해 수행되는 360도 비디오 데이터 처리 방법이 제공된다. 상기 방법은: 다수의 뷰들에 대한 360도 비디오 데이터를 수신하는 단계; 메타데이터 및 패킹된 픽처에 관한 정보를 도출하는 단계; 상기 패킹된 픽처에 관한 정보에 기초하여 상기 패킹된 픽처를 디코딩하는 단계; 상기 메타데이터에 기초하여 상기 패킹된 픽처로부터 목표 뷰에 대한 특정 패킹된 영역을 도출하는 단계; 상기 특정 패킹된 영역 및 상기 메타데이터에 기초하여 상기 목표 뷰의 프로젝션된 픽처를 도출하는 단계; 및 상기 메타데이터에 기초하여 상기 프로젝션된 픽처를 렌더링하는 단계를 포함하되, 상기 메타데이터는 멀티뷰 리전 와이즈(multiview reason-wise) 패킹 정보를 포함하고, 상기 멀티뷰 리전 와이즈 패킹 정보는 상기 패킹된 픽처에서 패킹된 영역에 관한 정보 및 상기 목표 뷰에 관한 정보를 포함한다.
본 발명의 또 다른 실시예에 따르면, 360도 비디오 데이터를 처리하기위한 360도 비디오 수신 장치가 제공된다. 상기 360도 비디오 수신 장치는: 다수의 뷰들에 대한 360도 비디오 데이터를 수신하도록 구성된 수신기; 메타데이터 및 패킹된 픽처에 관한 정보를 도출하도록 구성된 수신 처리부/파일 추출부; 상기 패킹된 픽처에 관한 정보에 기초하여 상기 패킹된 픽처를 디코딩하도록 구성된 데이터 디코더; 상기 메타데이터에 기초하여 상기 패킹된 픽처로부터 목표 뷰에 대한 특정 패킹된 영역을 도출하고, 상기 특정 패킹된 영역 및 상기 메타데이터에 기초하여 상기 목표 뷰의 프로젝션된 픽처를 도출하도록 구성된 패킹처리부; 및 상기 메타데이터에 기초하여 상기 프로젝션된 픽처를 렌더링하도록 구성된 렌더러를 포함하되, 상기 메타데이터는 멀티뷰 리전 와이즈(multiview region-wise) 패킹 정보를 포함하고, 상기 멀티뷰 리전 와이즈 패킹 정보는 상기 패킹된 픽처에서 패킹된 영역에 관한 정보 및 상기 목표 뷰에 관한 정보를 포함한다.
본 발명에 따르면, 지상파 방송망들 및 인터넷을 이용하여 차세대 하이브리드 방송을 지원하는 환경에서 3DoF+ 컨텐츠를 효율적으로 전송할 수 있다.
본 발명에 따르면, 사용자들의 3DoF+ 컨텐츠 소비에서의 상호작용(interactive) 경험을 제공하는 방법을 제안할 수 있다.
본 발명에 따르면, 사용자들의 360도 컨텐츠 소비에 있어서 3DoF+ 컨텐츠 제공자의 의도를 정확하게 반영하는 시그널링 방법을 제안할 수 있다.
본 발명에 따르면, 3DoF+ 컨텐츠 전송에서 전송 용량을 효율적으로 증가시키고 필요한 정보를 전달하는 방법을 제안할 수 있다.
본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자들의 3DoF+ 컨텐츠 소비에서 상호작용 경험을 제공하는 방법을 제안할 수 있다.
본 발명에 따르면, 다수의 뷰들에 대한 성분들을 포함하는 패킹된 픽처가 멀티뷰 리전 와이즈 패킹에 의하여 생성될 수 있다. 따라서, 뷰들 간의 불필요한 정보를 제거함으로써 3DoF+ 컨텐츠의 비트 효율이 증가될 수 있다.
도 1은 본 발명에 따른 360도 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 3DoF+ VR 시스템을 도시한 것이다.
도 6은 본 발명에 따른 3DoF+ 비디오를 제공하기 위한 전체 아키텍처를 도시한 도면이다.
도 7은 360도 비디오 전송 장치/360도 비디오 수신 장치에 의해 수행되는 360도 콘텐츠/3DoF+ 콘텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 8은 본 발명이 적용될 수 있는 360 비디오 전송 장치의 구성을 개략적으로 나타내는 도면이다.
도 9은 본 발명이 적용될 수 있는 360 비디오 수신 장치의 구성을 개략적으로 나타내는 도면이다.
도 10은 멀티뷰 리전 와이즈 패킹 정보가 사용되는 3DoF 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 11은 멀티뷰들의 텍스처, 잔차 및 깊이 맵을 갖는 멀티 뷰 리전 와이즈 패킹의 프리인코딩 과정의 예를 도시한 것이다.
도 12는 멀티뷰 리전 와이즈 패킹의 포스트-디코더 과정의 예를 도시한 것이다.
도 13은 시점A의 뷰B에 대한 텍스처, 잔차 및 깊이 맵을 갖는 멀티뷰 리전 와이즈 패킹의 디코딩 과정의 예를 도시한 것이다.
도 14a 및 14b는 다중 뷰들을 포함하는 비디오에 대한 멀티뷰 리전 와이즈 패킹 과정의 예들을 도시한 것이다.
도 15는 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다.
도 16은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 도시한 것이다.
도 17은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다.
도 18은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기위한 360 비디오 수신 장치를 개략적으로 도시한 것이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 3DoF+ VR 시스템을 도시한 것이다.
도 6은 본 발명에 따른 3DoF+ 비디오를 제공하기 위한 전체 아키텍처를 도시한 도면이다.
도 7은 360도 비디오 전송 장치/360도 비디오 수신 장치에 의해 수행되는 360도 콘텐츠/3DoF+ 콘텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 8은 본 발명이 적용될 수 있는 360 비디오 전송 장치의 구성을 개략적으로 나타내는 도면이다.
도 9은 본 발명이 적용될 수 있는 360 비디오 수신 장치의 구성을 개략적으로 나타내는 도면이다.
도 10은 멀티뷰 리전 와이즈 패킹 정보가 사용되는 3DoF 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 11은 멀티뷰들의 텍스처, 잔차 및 깊이 맵을 갖는 멀티 뷰 리전 와이즈 패킹의 프리인코딩 과정의 예를 도시한 것이다.
도 12는 멀티뷰 리전 와이즈 패킹의 포스트-디코더 과정의 예를 도시한 것이다.
도 13은 시점A의 뷰B에 대한 텍스처, 잔차 및 깊이 맵을 갖는 멀티뷰 리전 와이즈 패킹의 디코딩 과정의 예를 도시한 것이다.
도 14a 및 14b는 다중 뷰들을 포함하는 비디오에 대한 멀티뷰 리전 와이즈 패킹 과정의 예들을 도시한 것이다.
도 15는 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다.
도 16은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 도시한 것이다.
도 17은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다.
도 18은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기위한 360 비디오 수신 장치를 개략적으로 도시한 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 360도 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
본 발명은 사용자에게 가상현실 (Virtual Reality, VR)을 제공하기 위하여, 360 컨텐츠를 제공하는 방안을 제안한다. VR이란 실제 또는 가상의 환경을 복제(replicates) 하기 위한 기술 내지는 그 환경을 의미할 수 있다. VR은 인공적으로 사용자에게 감각적 경험을 제공하며, 이를 통해 사용자는 전자적으로 프로젝션된 환경에 있는 것과 같은 경험을 할 수 있다.
360 컨텐츠는 VR을 구현, 제공하기 위한 컨텐츠 전반을 의미하며, 360 비디오 및/또는 360 오디오를 포함할 수 있다. 360 비디오는 VR을 제공하기 위해 필요한, 동시에 모든 방향(360도)으로 캡처되거나 재생되는 비디오 내지 이미지 컨텐츠를 의미할 수 있다. 이하, 360 비디오라 함은 360도 비디오를 의미할 수 있다. 360 비디오는 3D 모델에 따라 다양한 형태의 3D 공간 상에 나타내어지는 비디오 내지 이미지를 의미할 수 있으며, 예를 들어 360 비디오는 구형면(Spherical surface) 상에 나타내어질 수 있다. 360 오디오 역시 VR을 제공하기 위한 오디오 컨텐츠로서, 음향 발생지가 3차원의 특정 공간상에 위치하는 것으로 인지될 수 있는, 공간적(Spatial) 오디오 컨텐츠를 의미할 수 있다. 360 컨텐츠는 생성, 처리되어 사용자들로 전송될 수 있으며, 사용자들은 360 컨텐츠를 이용하여 VR 경험을 소비할 수 있다.
본 발명은 특히 360 비디오를 효과적으로 제공하는 방안을 제안한다. 360 비디오를 제공하기 위하여, 먼저 하나 이상의 카메라를 통해 360 비디오가 캡처될 수 있다. 캡처된 360 비디오는 일련의 과정을 거쳐 전송되고, 수신측에서는 수신된 데이터를 다시 원래의 360 비디오로 가공하여 렌더링할 수 있다. 이를 통해 360 비디오가 사용자에게 제공될 수 있다.
구체적으로 360 비디오 제공을 위한 전체의 과정은 캡처 과정(process), 준비 과정, 전송 과정, 프로세싱 과정, 렌더링 과정 및/또는 피드백 과정을 포함할 수 있다.
캡처 과정은 하나 이상의 카메라를 통하여 복수개의 시점 각각에 대한 이미지 또는 비디오를 캡처하는 과정을 의미할 수 있다. 캡처 과정에 의해 도시된 도 1의 (110)과 같은 이미지/비디오 데이터가 생성될 수 있다. 도시된 도 1의 (110)의 각 평면은 각 시점에 대한 이미지/비디오를 의미할 수 있다. 이 캡처된 복수개의 이미지/비디오를 로(raw) 데이터라 할 수도 있다. 캡처 과정에서 캡처와 관련된 메타데이터가 생성될 수 있다.
이 캡처를 위하여 VR을 위한 특수한 카메라가 사용될 수 있다. 실시예에 따라 컴퓨터로 생성된 가상의 공간에 대한 360 비디오를 제공하고자 하는 경우, 실제 카메라를 통한 캡처가 수행되지 않을 수 있다. 이 경우 단순히 관련 데이터가 생성되는 과정으로 해당 캡처 과정이 갈음될 수 있다.
준비 과정은 캡처된 이미지/비디오 및 캡처 과정에서 발생한 메타데이터를 처리하는 과정일 수 있다. 캡처된 이미지/비디오는 이 준비 과정에서, 스티칭 과정, 프로젝션 과정, 리전 와이즈 패킹 과정(Region-wise Packing) 및/또는 인코딩 과정 등을 거칠 수 있다.
먼저 각각의 이미지/비디오가 스티칭(Stitching) 과정을 거칠 수 있다. 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구형의 이미지/비디오를 만드는 과정일 수 있다.
이 후, 스티칭된 이미지/비디오는 프로젝션(Projection) 과정을 거칠 수 있다. 프로젝션 과정에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 이 2D 이미지는 문맥에 따라 2D 이미지 프레임으로 불릴 수도 있다. 2D 이미지로 프로젝션하는 것을 2D 이미지로 맵핑한다고 표현할 수도 있다. 프로젝션된 이미지/비디오 데이터는 도시된 도 1의 (120)과 같은 2D 이미지의 형태가 될 수 있다.
2D 이미지 상에 프로젝션된 비디오 데이터는 비디오 코딩 효율 등을 높이기 위하여 리전 와이즈 패킹 과정(Region-wise Packing)을 거칠 수 있다. 리전 와이즈 패킹이란, 2D 이미지 상에 프로젝션된 비디오 데이터를 리전(Region, 영역) 별로 나누어 처리를 가하는 과정을 의미할 수 있다. 여기서 리전(Region)이란, 360 비디오 데이터가 프로젝션된 2D 이미지가 나누어진 영역을 의미할 수 있다. 이 영역들은, 실시예에 따라, 2D 이미지를 균등하게 나누어 구분되거나, 임의로 나누어져 구분될 수 있다. 또한 실시예에 따라 영역들은, 프로젝션 방식에 따라 구분될 수도 있다. 리전 와이즈 패킹 과정은 선택적(optional) 과정으로써, 준비 과정에서 생략될 수 있다.
실시예에 따라 이 처리 과정은, 비디오 코딩 효율을 높이기 위해, 각 영역을 회전한다거나 2D 이미지 상에서 재배열하는 과정을 포함할 수 있다. 예를 들어, 영역들을 회전하여 영역들의 특정 변들이 서로 근접하여 위치되도록 함으로써, 코딩 시의 효율이 높아지게 할 수 있다.
실시예에 따라 이 처리 과정은, 360 비디오상의 영역별로 레졸루션(resolution)을 차등화하기 위하여, 특정 영역에 대한 레졸루션을 높인다거나, 낮추는 과정을 포함할 수 있다. 예를 들어, 360 비디오 상에서 상대적으로 더 중요한 영역에 해당하는 영역들은, 다른 영역들보다 레졸루션을 높게할 수 있다. 2D 이미지 상에 프로젝션된 비디오 데이터 또는 리전 와이즈 패킹된 비디오 데이터는 비디오 코덱을 통한 인코딩 과정을 거칠 수 있다.
실시예에 따라 준비 과정은 부가적으로 편집(editing) 과정 등을 더 포함할 수 있다. 이 편집 과정에서 프로젝션 전후의 이미지/비디오 데이터들에 대한 편집 등이 더 수행될 수 있다. 준비 과정에서도 마찬가지로, 스티칭/프로젝션/인코딩/편집 등에 대한 메타데이터가 생성될 수 있다. 또한 2D 이미지 상에 프로젝션된 비디오 데이터들의 초기 시점, 혹은 ROI (Region of Interest) 등에 관한 메타데이터가 생성될 수 있다.
전송 과정은 준비 과정을 거친 이미지/비디오 데이터 및 메타데이터들을 처리하여 전송하는 과정일 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 수신측에서는 다양한 경로를 통해 해당 데이터를 수신할 수 있다.
프로세싱 과정은 수신한 데이터를 디코딩하고, 프로젝션되어 있는 이미지/비디오 데이터를 3D 모델 상에 리프로젝션(Re-projection) 하는 과정을 의미할 수 있다. 이 과정에서 2D 이미지들 상에 프로젝션되어 있는 이미지/비디오 데이터가 3D 공간 상으로 리프로젝션될 수 있다. 이 과정을 문맥에 따라 맵핑, 프로젝션이라고 부를 수도 있다. 이 때 맵핑되는 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 예를 들어 3D 모델에는 구형(Sphere), 큐브(Cube), 실린더(Cylinder) 또는 피라미드(Pyramid) 가 있을 수 있다.
실시예에 따라 프로세싱 과정은 부가적으로 편집(editing) 과정, 업스케일링(upscaling) 과정 등을 더 포함할 수 있다. 이 편집 과정에서 리프로젝션 전후의 이미지/비디오 데이터에 대한 편집 등이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되어 있는 경우 업 스케일링 과정에서 샘플들의 업 스케일링을 통해 그 크기를 확대할 수 있다. 필요한 경우, 다운 스케일링을 통해 크기를 축소하는 작업이 수행될 수도 있다.
렌더링 과정은 3D 공간상에 리프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 과정을 의미할 수 있다. 표현에 따라 리프로젝션과 렌더링을 합쳐 3D 모델 상에 렌더링한다 라고 표현할 수도 있다. 3D 모델 상에 리프로젝션된 (또는 3D 모델 상으로 렌더링된) 이미지/비디오는 도시된 도 1의 (130)과 같은 형태를 가질 수 있다. 도시된 도 1의 (130)은 구형(Sphere)의 3D 모델에 리프로젝션된 경우이다. 사용자는 VR 디스플레이 등을 통하여 렌더링된 이미지/비디오의 일부 영역을 볼 수 있다. 이 때 사용자가 보게되는 영역은 도시된 도 1의 (140)과 같은 형태일 수 있다.
피드백 과정은 디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하는 과정을 의미할 수 있다. 피드백 과정을 통해 360 비디오 소비에 있어 인터랙티비티(Interactivity) 가 제공될 수 있다. 실시예에 따라, 피드백 과정에서 헤드 방향(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등이 송신측으로 전달될 수 있다. 실시예에 따라, 사용자는 VR 환경 상에 구현된 것들과 상호작용할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 과정에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 과정은 수행되지 않을 수도 있다.
헤드 방향 정보는 사용자의 머리 위치, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 360 비디오 내에서 보고 있는 영역에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.
뷰포트 정보는 현재 사용자가 360 비디오에서 보고 있는 영역에 대한 정보일 수 있다. 이를 통해 게이즈 분석(Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 360 비디오를 소비하는지, 360 비디오의 어느 영역을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR 디스플레이 등의 장치는 사용자의 머리 위치/방향, 장치가 지원하는 수직(vertical) 혹은 수평(horizontal) FOV(Field Of View) 정보 등에 근거하여 뷰포트 영역을 추출할 수 있다.
실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것 뿐아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 리프로젝션, 렌더링 과정 등이 수행될 수 있다. 예를 들어, 헤드 방향 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 영역에 대한 360 비디오만 우선적으로 디코딩 및 렌더링될 수도 있다.
여기서 뷰포트(viewport) 내지 뷰포트 영역이란, 사용자가 360 비디오에서 보고 있는 영역을 의미할 수 있다. 시점(viewpoint)은 사용자가 360 비디오에서 보고 있는 지점으로서, 뷰포트 영역의 정중앙 지점을 의미할 수 있다. 즉, 뷰포트는 시점을 중심으로 한 영역인데, 그 영역이 차지하는 크기 형태 등은 후술할 FOV(Field Of View)에 의해 결정될 수 있다.
전술한 360 비디오 제공을 위한 전체 아키텍처 내에서, 캡처/프로젝션/인코딩/전송/디코딩/리프로젝션/렌더링의 일련의 과정을 거치게 되는 이미지/비디오 데이터들을 360 비디오 데이터라 부를 수 있다. 360 비디오 데이터라는 용어는 또한 이러한 이미지/비디오 데이터들과 관련되는 메타데이터 내지 시그널링 정보를 포함하는 개념으로 쓰일 수도 있다.
상술한 오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 미디어 파일은 ISO BMFF (ISO base media file format)를 기반으로 한 파일 포맷을 가질 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블록 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 형태를 띄게 될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.
본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.
ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 복호기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.
moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타 데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타 데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타 데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.
mdat 박스(미디어 데이터 박스)는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.
실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.
mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.
trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. Trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.
trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.
mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야할 수 있다.
본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(200). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.
moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타 데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.
mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.
실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.
mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number)를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.
traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 복호화/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.
실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.
tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.
trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생시점 등과 같은 정보를 포함할 수 있다.
전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.
도시된 실시예(210)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.
도시된 실시예(220)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.
styp 박스(세그먼트 타입 박스)는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.
sidx 박스(세그먼트 인덱스 박스)는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.
실시예에 따라(230) ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.
미디어 파일 내의 박스들은, 도시된 실시예(250)와 같은 박스 내지 풀 박스(FullBox) 형태를 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. Type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.
한편, 본 발명의 360 비디오에 대한 필드(속성)들은 DASH 기반 적응형(Adaptive) 스트리밍 모델에 포함되어 전달될 수 있다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다. 도시된 실시예(400)에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH(Dynamic Adaptive Streaming over HTTP)는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐츠 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD를 획득할 수 있다. MPD 는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. DASH 클라이언트는 MPD 에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐츠가 끊김없이 재생될 수 있다.
MPD (Media Presentation Description) 는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 형태로 표현될 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller) 는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블록에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser) 는 획득한 MPD 를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser) 는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블록들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐츠를 화면상에 표시할 수 있다. 이 때, MPD의 정보들이 활용될 수 있다.
DASH 데이터 모델은 계층적 구조(410)를 가질 수 있다. 미디어 프리젠테이션은 MPD에 의해 기술될 수 있다. MPD는 미디어 프리젠테이션를 만드는 복수개의 구간(Period)들의 시간적인 시퀀스를 기술할 수 있다. 피리오드는 미디어 컨텐츠의 한 구간을 나타낼 수 있다.
한 구간에서, 데이터들은 어댑테이션 셋들에 포함될 수 있다. 어댑테이션 셋은 서로 교환될 수 있는 복수개의 미디어 컨텐츠 컴포넌트들의 집합일 수 있다. 어댑테이션은 레프리젠테이션들의 집합을 포함할 수 있다. 레프리젠테이션은 미디어 컨텐츠 컴포넌트에 해당할 수 있다. 한 레프리젠테이션 내에서, 컨텐츠는 복수개의 세그먼트들로 시간적으로 나뉘어질 수 있다. 이는 적절한 접근성과 전달(delivery)를 위함일 수 있다. 각각의 세그먼트에 접근하기 위해서 각 세그먼트의 URL 이 제공될 수 있다.
MPD는 미디어 프리젠테이션에 관련된 정보들을 제공할 수 있고, 피리오드 엘레멘트, 어댑테이션 셋 엘레멘트, 레프리젠테이션 엘레멘트는 각각 해당 피리오드, 어댑테이션 셋, 레프리젠테이션에 대해서 기술할 수 있다. 레프리젠테이션은 서브 레프리젠테이션들로 나뉘어질 수 있는데, 서브 레프리젠테이션 엘레멘트는 해당 서브 레프리젠테이션에 대해서 기술할 수 있다.
여기서 공통(Common) 속성/엘레멘트들이 정의될 수 있는데, 이 들은 어댑테이션 셋, 레프리젠테이션, 서브 레프리젠테이션 등에 적용될 수 (포함될 수) 있다. 공통 속성/엘레멘트 중에는 에센셜 프로퍼티(EssentialProperty) 및/또는 서플멘탈 프로퍼티(SupplementalProperty) 가 있을 수 있다.
에센셜 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 필수적이라고 여겨지는 엘레멘트들을 포함하는 정보일 수 있다. 서플멘탈 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 사용될 수도 있는 엘레멘트들을 포함하는 정보일 수 있다. 실시예에 따라 후술할 디스크립터들은, MPD 를 통해 전달되는 경우, 에센셜 프로퍼티 및/또는 서플멘탈 프로퍼티 내에 정의되어 전달될 수 있다.
한편, 본 발명은 사용자에게 몰입형 미디어의 경험을 제공하기 위하여 전술한 360 비디오 컨텐츠에 대한 방법 이외에 3DoF+ (3개의 자유도 플러스) 컨텐츠에 대한 방법을 제공한다.
전술한 3DoF (3개의 자유도) 기반 VR 시스템(즉, 전술한 360 비디오 컨텐츠 시스템)에서는, 사용자의 고정 위치에서의 서로 다른 시청 방향들에 대한 시각/청각 경험을 사용자에게 제공한다. 그러나, 3DoF+ 컨텐츠에 대한 VR 시스템은 서로 다른 시점들 및 시청 위치들에서 서로 다른 시청 방향들에 대하여 확장된 시각/청각 경험을 제공하는 것을 목표로 한다. 다시 말해, 3DoF+ 컨텐츠에 대한 VR 시스템은 다수의 위치들(시점들)에서 다수의 시청 위치들에서 렌더링되는 360도 컨텐츠를 제공하는 시스템을 의미할 수 있다.
3DoF+ VR 시스템에서 추가로 정의되는 시청 위치 및 시점의 개념은 다음의 도면으로 설명될 수 있다. 시청 위치는 헤드 위치라고 할 수 있다.
도 5는 3DoF+ VR 시스템을 도시한 것이다.
구체적으로, 도 5(a)는 3DoF+ VR 시스템에서 360 비디오 컨텐츠가 제공되는 다수의 시점들을 나타낸다. 예를 들어, 도 5(a)에 도시된 바와 같이, 특정 공간(예를 들어, 극장, 경기장 등)에 있는 다수의 특정 위치들이 360 비디오 컨텐츠가 제공되는 시점들로서 고려될 수 있다. 이 경우, 동일한 특정 공간에 존재하는 시점들의 각각에서 제공된 비디오/오디오가 동일한 시간 흐름을 갖는 것으로 가정할 수 있다.
한편, 특정 시점은 다수의 시청 위치들에 대해 360 컨텐츠로 렌더링될 수 있다. 따라서, 서로 다른 시각/청각 경험들이 특정 시점에서 사용자의 헤드 움직임에 따라 제공될 수 있다. 여기서, 360 컨텐츠는 3DoF+ 컨텐츠라 불릴 수 있으며, 3DoF+ 컨텐츠는 3DoF+ 비디오 및 3DoF+ 오디오를 포함할 수 있다.
도 5(b)는 다수의 시청 위치들의 3D 공간들을 도시한 것이다. 여기서, 3D 공간은 구(sphere)일 수 있다. 서로 다른 시각/청각 경험들이 특정 시점에서 사용자의 헤드 움직임에 따라 제공될 수 있으므로, 각 시청 위치의 상대적인 위치를 반영한 비디오/오디오/텍스트 정보가 제공된다.
또한, 특정 시청 위치에서 전 방향 미디어에 대한 비디오/오디오 정보는 360 컨텐츠에 대한 기존의 방법에서와 같이 전송될 수 있다. 다시 말해, 상기 특정 시청 위치에 대한 360 컨텐츠는 상기 특정 시청 위치에 대한 3D 공간에서 렌더링될 수 있다. 이 경우, 비디오/오디오/텍스트 등을 포함하는 메인 소스뿐만 아니라 다양한 추가 소스들이 전송되어 통합될 수 있다. 또한, 다른 예로서, 추가 소스들에 대한 정보는 사용자의 시청 방향과 관련하여 또는 독립적으로 전송될 수 있다.
도 5(c)는 시청 위치의 360도 비디오가 렌더링되는 3D 공간을 도시한 것이다. 도 5(c)에 도시된 바와 같이. 구면상의 각 점은 구면 좌표계를 사용하여 r(구의 반경), 
(z-축을 기준으로 한 회전 방향 및 정도) 및 φ(x-y 평면의 z-방향을 향한 회전 방향 및 정도)를 이용하여 나타낼 수 있다. 일 실시예에 따르면, 구면은 월드 좌표계와 일치할 수 있고 전면 카메라의 주점이 구면의 점(r, 0, 0)으로 가정될 수 있다.
한편, 항공기 주축들의 개념이 구면상의 각 지점의 위치를 나타내는데 사용될 수 있다. 즉, 항공기 주축들의 내용이 본 발명에서 프로젝션 전 또는 리프로젝션 후 3D 공간을 기술하고 그에 대한 시그널링을 수행하는데 사용될 수 있다. 일 실시예에 따르면, X, Y 및 Z축들 또는 구면좌표들의 개념을 이용한 방법이 사용될 수 있다.
항공기는 3차원적으로 자유롭게 회전할 수 있다. 3차원을 구성하는 축들은 피치(pitch)축, 요(yaw)축 및 롤(roll)축이라고 한다. 이들은 설명에서 피치, 요 및 롤로 지칭되거나 피치 방향, 요 방향 및 롤 방향으로 지칭될 수 있다.
피치축은 항공기의 선단이 위아래로 회전하는 방향의 베이스인 축을 의미할 수 있다. 예시된 항공기 주축들의 개념에서, 피치축은 항공기의 날개를 연결하는 축을 지칭할 수 있다.
요축은 항공기의 선단이 좌우로 회전하는 방향의 베이스인 축을 의미할 수 있다. 예시된 항공기 주축들의 개념에서, 요축은 항공기의 상단과 하단을 연결하는 축을 지칭할 수 있다. 롤축은 설명된 항공기 주축들의 개념에서 항공기의 선단을 항공기의 꼬리에 연결하는 축을 지칭할 수 있고, 롤 방향으로의 회전은 롤축에 기반한 회전을 지칭할 수 있다. 전술한 바와 같이, 본 발명에서의 3D 공간은 피치, 요 및 롤의 개념을 사용하여 설명될 수 있다.
도 6은 본 발명에 따른 3DoF+ 비디오를 제공하기 위한 전체 아키텍처를 도시한 도면이다.
도 6을 참조하면, 3DoF+ 비디오 데이터 및/또는 3DoF+ 오디오 데이터가 획득될 수 있다. 구체적으로, HDCA (High Density Camera Array), Lenslet (microlens) 카메라 등이 3DoF+ 컨텐츠를 캡처하는데 사용되거나, 3DoF+ 컨텐츠가 3DoF+ 비디오 캡처를 위해 설계된 새로운 장치를 통해 획득될 수 있다. 도 6에 도시된 획득된 이미지(610)와 같이, 캡처에 사용되는 카메라의 위치에 따라 생성되는 이미지/비디오 데이터 셋은 다수의 숫자들로 생성될 수 있다. 즉, 다수의 위치들에서 헤드 움직임에 따른 다수의 비디오/오디오 정보들이 획득될 수 있다. 이 경우, 이미지 정보는 텍스처 정보뿐만 아니라 깊이 정보를 포함할 수 있다. 도 6에 도시된 획득된 이미지(610)와 같이, 서로 다른 캡처 위치들에 따라 서로 다른 시청 위치들의 다수의 정보들이 각각 획득될 수 있다. 또한, 카메라의 내부/외부 설정 값들을 나타내는 메타데이터가 3DoF+ 컨텐츠의 캡처 과정에서 생성될 수 있다. 한편, 카메라 이외에 컴퓨터에 의해 생성된 이미지의 경우, 캡처 과정은 이미지 생성 과정으로 대체될 수 있다.
상기 이미지 획득 과정이 수행되면, 합성(composition) 과정이 수행될 수 있다. 상기 합성 과정은 비디오/오디오 입력 장치를 통해 얻어진 획득된 이미지(610) 및 외부 미디어, 음성(오디오/효과음 등) 및 텍스트(캡션 등)를 통하여 얻어진 이미지(비디오/이미지 등)를 사용자 경험에 포함하도록 합성하는 과정이다.
획득된 이미지(610)의 전처리(preprocessing) 과정은 캡처 과정으로부터 전달된 캡처된 이미지/비디오 및 메타데이터를 처리하는 과정일 수 있다. 전처리 과정은 스티칭(stitching) 과정, 컬러 보정(color correction) 과정, 프로젝션(projection) 과정, 뷰 분할(view segmentation) 과정, 및 인코딩 과정과 같은 모든 타입의 전처리과정들을 포함한다.
구체적으로, 스티칭 과정은 캡처된 이미지들/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구면(spherical) 이미지/비디오를 생성하는 과정일 수 있다. 이어서, 스티칭된 이미지들/비디오들에 프로젝션 과정이 수행될 수 있다. 프로젝션 과정에서, 스티칭된 이미지들/비디오들은 2D 이미지상에 프로젝션될 수 있다. 2D 이미지는 문맥에 따라 2D 이미지 프레임으로 지칭될 수 있다. 2D 이미지상에서의 프로젝션은 2D 이미지로의 매핑으로 지칭될 수 있다. 프로젝션된 이미지/비디오 데이터는 도 6에서 2D 이미지(620)의 형태를 가질 수 있다.
뷰 분할 과정은 코딩 효율을 향상시키기 위하여 1차 뷰와 2차 뷰로 분할하는 과정일 수 있다. 예를 들어, 각 카메라 위치에서 매핑되는 이미지들은 1차 뷰와 2차 뷰로 분리될 수 있고, 비디오 코딩 효율을 향상시키기 위해 서로 다른 해상도들이 서로 다른 뷰들에 적용될 수 있다. 또한, 코딩 효율을 향상시키기 위하여 매핑 이미지의 배열 또는 해상도가 1차 뷰내에서 다르게 적용될 수 있다. 또한, 캡처 환경에 기반하여 2차 뷰가 존재하지 않을 수도 있다. 2차 뷰는 사용자가 1차 뷰에서 또 다른 1차 뷰로 움직일 때 움직임 과정에서 재생되는 이미지/비디오를 나타낼 수 있다. 2차 뷰는 일차 뷰보다 더 낮은 해상도를 가질 수 있지만 필요에 따라 동일한 해상도가 적용될 수 있다. 또한, 예를 들어, 360 비디오 수신 장치는 가상 정보에 기반한 2차 뷰를 새로 생성할 수 있다.
전처리 과정은 편집 과정을 더 포함할 수 있다. 편집 과정은 360 비디오의 영역들 사이의 경계를 제거하거나, 360 비디오의 영역들 사이의 색/밝기 차이를 줄이거나, 이미지의 시각적 효과를 추가하는 과정을 나타낼 수 있다.
또한, 전처리 과정은 이미지의 영역들을 재정렬하는 패킹 과정 및 이미지 정보를 압축하는 인코딩 과정을 더 포함할 수 있다. 프로젝션된 픽처는 도 6의 프로젝션된 픽처(620)와 같이 서로 다른 시청 위치들에서의 다수의 프로젝션 이미지에 기반하여 생성될 수 있다.
또한, 전처리 과정에서, 프로젝션 전후에 이미지/비디오 데이터의 편집이 추가로 수행될 수 있으며 메타데이터가 생성될 수 있다. 예를 들어, 전처리 과정에서, 초기 시청 방향, 사용자의 초기 위치 및 관심 영역(region of interest, ROI)에 대한 메타데이터가 생성될 수 있다.
도 6에 도시된 전달 과정은 전처리 과정에서 획득된 이미지/비디오 데이터 및 메타데이터를 처리하고 전송하는 과정을 나타낼 수 있다. 임의의 전송 프로토콜에 따른 처리가 이미지/비디오 데이터 및 메타데이터의 전송을 위하여 수행될 수 있다. 전송을 위해 처리된 데이터는 방송망 및/또는 브로드밴드를 통하여 전달될 수 있다. 이러한 데이터는 주문형(on-demand) 방식으로 수신측에 전달될 수 있다. 수신측은 다양한 경로를 통해 데이터를 수신할 수 있다.
처리 과정은 수신된 이미지/비디오 데이터 및 메타데이터에 대한 디코딩 과정, 디코딩된 프로젝션된 픽처의 이미지/비디오 데이터를 3D (3차원) 모델로 매핑/프로젝션하는 리프로젝션 과정, 가상 시점을 생성하고 구성하는 과정을 포함할 수 있다. 여기서, 이미지/비디오 데이터가 매핑되는 3D 모델 또는 프로젝션 맵은 3D 모델에 따라 서로 다른 형태를 가질 수 있다. 예를 들어, 3D 모델은 구(sphere), 정육면체(cube), 원기둥(cylinder) 및 피라미드(pyramid)를 포함할 수 있다. 또는, 3D 모델 또는 프로젝션 맵은 구, 정육면체, 원기둥 또는 피라미드의 수정된 형태이거나 자유로운 형태의 모델일 수도 있다.
가상 시점을 생성하고 구성하는 과정은 사용자가 1차 뷰에서 또 다른 1차 뷰 또는 2차 뷰로 움직일 때 움직임 과정에서 재생되는 이미지/비디오 데이터를 생성하는 과정을 나타낼 수 있다. 가상 시점을 생성하기 위해, 캡처 및 전처리 과정에서 전달된 메타데이터를 처리할 필요가 있다. 어떤 경우에는, 가상 시점에서 360 비디오/비디오의 일부만이 생성/합성될 수 있다.
일 실시예에 따르면, 상기 처리 과정은 편집 과정 및 업 스케일링 과정을 추가로 포함할 수 있다. 편집 과정에서, 리프로젝션 전후에 이미지/비디오 데이터의 편집이 추가로 수행될 수 있다. 이미지/비디오 데이터가 감소된 경우, 업 스케일링 과정에서 샘플들을 업 스케일링함으로써 이미지/비디오 데이터의 크기를 증가시킬 수 있다. 다운 스케일링을 통해 크기를 감소시키는 동작이 필요에 따라 수행될 수 있다.
렌더링 과정은 3D 공간에 리프로젝션된 이미지/비디오 데이터를 렌더링하고 표시하는 과정을 의미할 수 있다. 리프로젝션 및 렌더링은 결합되어 3D 모델상에서 렌더링으로 나타낼 수 있다. 3D 모델상에서 리프로젝션된 (또는 3D 모델상에서 렌더링된) 이미지/비디오는 도 6에 도시된 형태(630)를 가질 수 있다. 도 6에 도시된 형태(630)는 이미지/비디오가 3D 구면 모델로 리프로젝션되는 경우에 해당한다. 사용자는 VR 디스플레이를 통하여 렌더링된 이미지/비디오의 영역을 볼 수 있다. 여기서, 사용자가 바라본 영역은 도 6에 도시된 형태(640)를 가질 수 있다.
피드백 과정은 디스플레이 과정에서 획득될 수 있는 다양한 형태의 피드백 정보를 전송측에 전달하는 과정을 지칭할 수 있다. 360 비디오 소비시 상호 작용이 피드백 과정을 통하여 제공될 수 있다. 일 실시예에 따르면, 헤드 방향 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트 정보 등이 피드백 과정에서 전송측으로 전달될 수 있다. 일 실시예에 따르면, 사용자는 VR 환경에서 구현된 객체와 상호 작용할 수 있다. 이 경우, 상호 작용에 관한 정보가 피드백 과정에서 전송측 또는 서비스 제공자에게 전달될 수 있다. 일 실시예에 따르면 피드백 과정이 수행되지 않을 수도 있다.
도 7은 360도 비디오 전송 장치/360도 비디오 수신 장치에 의해 수행되는 360도 콘텐츠/3DoF+ 콘텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 7을 참조하면, 현실 세계 시청각 장면(A)이 카메라 세트, 또는 다수의 렌즈들 및 센서들을 가진 카메라 장치뿐만 아니라 오디오 센서들에 의하여 캡처될 수 있다. 획득의 결과 일련의 디지털 이미지/비디오(Bi) 및 오디오(Ba) 신호들을 발생시킬 수 있다. 카메라들/렌즈들은 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주위의 모든 방향을 커버할 수 있으므로 360도 비디오로 명명될 수 있다.
동일한 시간 인스턴스의 이미지들(Bi)은 패킹된 픽처(D)상에 스티칭되고, 가능하게는 회전되고, 프로젝션되고 및 매핑될 수 있다.
패킹된 픽처들(D)은 코딩된 이미지들(Ei) 또는 코딩된 비디오 비트스트림 (Ev)으로서 인코딩될 수 있다. 캡처된 오디오(Ba)는 오디오 비트 스트림(Ea)으로서 인코딩될 수 있다. 코딩된 이미지들, 비디오 및/또는 오디오는 특정 미디어 컨테이너 파일 포맷에 따라 파일 재생을 위한 미디어 파일(F) 또는 스트리밍을 위한 일련의 초기화 세그먼트 및 미디어 세그먼트들(Fs)로 합성될 수 있다. 본 문서에서, 미디어 컨테이너 파일 포맷은 ISO/IEC 14496-12에 명시된 ISO 기본 미디어 파일 포맷(Base Media File Format)일 수 있다. 파일 인캡슐레이터(encapsulator)는 메타데이터를 디코딩된 패킹된 픽처들을 렌더링하는데 도움이 되는 프로젝션 및 리전 와이즈 패킹 정보와 같은 파일 또는 세그먼트들에 포함시킬 수 있다.
세그먼트들(Fs)은 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.
파일 인캡슐레이터가 출력하는 파일(F)은 파일 디캡슐레이터(decapsulator)가 입력하는 파일(F')과 동일할 수 있다. 파일 디캡슐레이터는 파일(F') 또는 수신되는 세그먼트들(F's)을 처리하고 코딩된 비트 스트림들(E'a, E'v 및/또는 E'i)을 추출하고 메타데이터를 파싱할 수 있다. 그 다음, 오디오, 비디오 및/또는 이미지들은 디코딩된 신호들(오디오의 경우 B'a 및 이미지/비디오의 경우 D')로 디코딩될 수 있다. 현재의 시청 방향이나 뷰포트 및 상기 파일로부터 파싱된 프로젝션, 구면 커버리지, 회전 및 리전 와이즈 패킹 메타데이터에 기초하여, 디코딩된 패킹된 픽처들(D')은 헤드 마운트 디스플레이 또는 임의의 다른 디스플레이 장치의 화면상에 프로젝션될 수 있다. 마찬가지로, 디코딩된 오디오(B'a)는 현재 시청 방향에 따라, 예를 들어, 헤드폰을 통하여 렌더링될 수 있다. 현재 시청 방향은 헤드 트래킹 및 가능하게는 아이 트래킹 기능에 의하여 결정될 수 있다. 디코딩된 비디오 및 오디오 신호들의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에도, 현재 시청 방향은 디코딩 최적화를 위한 비디오 및 오디오 디코더에 의하여 사용될 수도 있다.
상술한 과정은 라이브 및 주문형 사용 케이스들 모두에 적용 가능하다.
도 8은 본 발명이 적용될 수 있는 360 비디오 전송 장치의 구성을 개략적으로 나타내는 도면이다.
본 발명에 따른 360 비디오 전송 장치는 상술한 준비 과정 및 전송 과정과 관련된 동작들을 수행할 수 있다. 360 비디오 전송 장치는 데이터 입력부, 합성 정보 처리부, 스티처(stitcher), 프로젝션 처리부, (리전 와이즈) 패킹 처리부, 서브픽처 처리부, 데이터 인코더, 인캡슐레이션 처리부, 파일 추출부, 전송 처리부, 시점/시청 위치/시청 방향 정보 및 메타데이터 처리부 및/또는 (전송측) 피드백 처리부를 내/외부 엘레멘트들로서 포함할 수 있다. 입력 데이터가 카메라 출력 이미지인 경우, 360도 비디오 전송 장치는 각 시점/시청 위치/시청 방향에 대한 구면 이미지(즉, 3D 공간에서 렌더링된 360도 비디오)를 생성하기 위해 스티칭을 수행할 수 있다. 시점/시청 위치/시청 방향 정보 및 메타데이터 처리부는 메타데이터 처리부로 지칭될 수 있다.
데이터 입력부는 캡처된 각 시점별 이미지/비디오 들을 입력받을 수 있다. 이 시점별 이미지/비디오 들은 하나 이상의 카메라들에 의해 캡처된 이미지/비디오들일 수 있다. 또한 데이터 입력부는 캡처 과정에서 발생된 메타데이터를 입력받을 수 있다. 데이터 입력부는 입력된 시점별 이미지/비디오들을 스티처로 전달하고, 캡처 과정의 메타데이터를 시그널링 처리부로 전달할 수 있다.
스티처는 캡처된 시점별 이미지/비디오들에 대한 스티칭 작업을 수행할 수 있다. 스티처는 스티칭된 360 비디오 데이터를 프로젝션 처리부로 전달할 수 있다. 스티처는 필요한 경우 메타데이터 처리부로부터 필요한 메타데이터를 전달받아 스티칭 작업에 이용할 수 있다. 스티처는 스티칭 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. 스티칭 과정의 메타데이터에는 스티칭이 수행되었는지 여부, 스티칭 타입 등의 정보들이 있을 수 있다.
프로젝션 처리부는 스티칭된 360 비디오 데이터를 2D 이미지 상에 프로젝션할 수 있다. 프로젝션 처리부는 다양한 방식에 따라 프로젝션을 수행할 수 있는데, 이에 대해서는 후술한다. 프로젝션 처리부는 각 시점별 360도 비디오 데이터의 해당 뎁스(depth)를 고려하여 맵핑을 수행할 수 있다. 프로젝션 처리부는 필요한 경우 메타데이터 처리부로부터 프로젝션에 필요한 메타데이터를 전달받아 프로젝션 작업에 이용할 수 있다. 프로젝션 처리부는 프로젝션 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. 프로젝션 처리부의 메타데이터에는 프로젝션 방식의 종류 등이 있을 수 있다.
(리전 와이즈) 패킹 처리부는 전술한 리전 와이즈 패킹 과정을 수행할 수 있다. 즉, (리전 와이즈) 패킹 처리부는 프로젝션된 360 비디오 데이터를 영역별로 나누고, 각 영역들을 회전, 재배열하거나, 각 영역의 레졸루션을 변경하는 등의 처리를 수행할 수 있다. 전술한 바와 같이 리전 와이즈 패킹 과정은 선택적(optional) 과정이며, 리전 와이즈 패킹이 수행되지 않는 경우,(리전 와이즈) 패킹 처리부는 생략될 수 있다. 리전 와이즈 패킹 처리부는 필요한 경우 메타데이터 처리부로부터 리전 와이즈 패킹에 필요한 메타데이터를 전달받아 리전 와이즈 패킹 동작에 이용할 수 있다. (리전 와이즈) 패킹 처리부는 리전 와이즈 패킹 과정에서 발생된 메타데이터를 메타데이터 처리부로 전달할 수 있다. (리전 와이즈) 패킹 처리부의 메타데이터에는 각 영역의 회전 정도, 크기 등이 있을 수 있다.
전술한 스티처, 프로젝션 처리부 및/또는 리전 와이즈 패킹 처리부는 실시예에 따라 하나의 하드웨어 컴포넌트에서 수행될 수도 있다.
어플리케이션에 따라, 서브 픽처 처리부는 다수의 이미지들을 통합된 이미지로 만드는 패킹을 수행하거나 전체 비디오를 세부 영역의 비디오로 분할한 서브 픽처를 생성할 수 있다. 또한, 입력 데이터가 비디오/오디오/텍스트 부가 정부를 포함하는 경우, 상기 부가 정보를 가운데 이미지/비디오에 추가적으로 디스플레이하는 방법에 관한 정보가 생성될 수 있으며, 상기 정보는 상기 부가 정보와 함께 전송될 수 있다.
메타데이터 처리부는 캡처 과정, 스티칭 과정, 프로젝션 과정, 리전 와이즈 패킹 과정, 인코딩 과정, 인캡슐레이션 과정 및/또는 전송을 위한 처리 과정에서 발생할 수 있는 메타데이터들을 처리할 수 있다. 메타데이터 처리부는 이러한 메타데이터들을 이용하여 360 비디오 관련 메타데이터를 생성할 수 있다. 실시예에 따라 메타데이터 처리부는 360 비디오 관련 메타데이터를 시그널링 테이블의 형태로 생성할 수도 있다. 시그널링 문맥에 따라 360도 비디오 관련 메타데이터는 메타데이터 또는 360 비디오 관련 시그널링 정보라 불릴 수도 있다. 또한 메타데이터 처리부는 획득하거나 생성한 메타데이터들을 필요에 따라 360도 비디오 전송 장치의 내부 엘레멘트들에 전달할 수 있다. 메타데이터 처리부는 360 비디오 관련 메타데이터가 수신측으로 전송될 수 있도록 데이터 인코더, 인캡슐레이션 처리부 및/또는 전송 처리부에 전달할 수 있다.
데이터 인코더는 2D 이미지 상에 프로젝션된 360 비디오 데이터 및/또는 리전 와이즈 패킹된 360 비디오 데이터를 인코딩할 수 있다. 360 비디오 데이터는 다양한 포맷으로 인코딩될 수 있다.
인캡슐레이션 처리부는 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 파일 등의 형태로 인캡슐레이션할 수 있다. 여기서 360 비디오 관련 메타데이터는 전술한 메타데이터 처리부로부터 전달받은 것일 수 있다. 인캡슐레이션 처리부는 해당 데이터들을 ISOBMFF, CFF 등의 파일 포맷으로 인캡슐레이션하거나, 기타 DASH 세그먼트 등의 형태로 처리할 수 있다. 인캡슐레이션 처리부는 실시예에 따라 360 비디오 관련 메타데이터를 파일 포맷 상에 포함시킬 수 있다. 360 비디오 관련 메타데이터는 예를 들어 ISOBMFF 파일 포맷 상의 다양한 레벨의 박스(box)에 포함되거나 파일 내에서 별도의 트랙내의 데이터로 포함될 수 있다. 실시예에 따라, 인캡슐레이션 처리부는 360 비디오 관련 메타데이터 자체를 파일로 인캡슐레이션할 수 있다. 전송 처리부는 파일 포맷에 따라 인캡슐레이션된 360 비디오 데이터에 전송을 위한 처리를 가할 수 있다. 전송 처리부는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 전송을 위한 처리에는 방송망을 통한 전달을 위한 처리, 브로드밴드를 통한 전달을 위한 처리를 포함할 수 있다. 실시예에 따라 전송 처리부는 360 비디오 데이터뿐만 아니라, 메타데이터 처리부로부터 360 비디오 관련 메타데이터를 전달받아, 360 비디오 관련 메타데이터에 대하여 전송을 위한 처리를 수행할 수도 있다.
전송부는 전송 처리된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 방송망 및/또는 브로드밴드를 통해 전송할 수 있다. 전송부는 방송망을 통한 전송을 위한 엘레멘트 및/또는 브로드밴드를 통한 전송을 위한 엘레멘트를 포함할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 일 실시예에 의하면, 360 비디오 전송 장치는 데이터 저장부(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 데이터 저장부는 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 전송 처리부로 전달하기 전에 저장하고 있을 수 있다. 이 데이터들이 저장되는 형태는 ISOBMFF 등의 파일 형태일 수 있다. 실시간으로 360 비디오를 전송하는 경우에는 데이터 저장부가 필요하지 않을 수 있으나, 온 디맨드, NRT(Non Real Time), 브로드밴드 등을 통해 전달하는 경우에는 인캡슐레이션된 360 데이터가 데이터 저장부에 일정 기간 저장되었다가 전송될 수도 있다.
본 발명에 따른 360 비디오 전송 장치의 다른 실시예에 의하면, 360 비디오 전송 장치는 (송신측) 피드백 처리부 및/또는 네트워크 인터페이스(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 네트워크 인터페이스는 본 발명에 따른 360 비디오 수신 장치로부터 피드백 정보를 전달받고, 이를 송신측 피드백 처리부로 전달할 수 있다. 송신측 피드백 처리부는 피드백 정보를 스티처, 프로젝션 처리부, 리전 와이즈 패킹 처리부, 데이터 인코더, 인캡슐레이션 처리부, 메타데이터 처리부 및/또는 전송 처리부로 전달할 수 있다. 실시예에 따라 피드백 정보는 메타데이터 처리부에 일단 전달된 후, 다시 각 내부 엘레멘트들로 전달될 수 있다. 피드백 정보를 전달받은 내부 엘레먼트들은 이 후의 360 비디오 데이터의 처리에 피드백 정보를 반영할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 또 다른 실시예에 의하면, 리전 와이즈 패킹 처리부는 각 영역을 회전하여 2D 이미지 상에 맵핑할 수 있다. 이 때 각 영역들은 서로 다른 방향, 서로 다른 각도로 회전되어 2D 이미지 상에 맵핑될 수 있다. 영역의 회전은 360 비디오 데이터가 구형의 면 상에서 프로젝션 전에 인접했던 부분, 스티칭된 부분 등을 고려하여 수행될 수 있다. 영역의 회전에 관한 정보들, 즉 회전 방향, 각도 등은 360 비디오 관련 메타데이터에 의해 시그널링될 수 있다. 본 발명에 따른 360 비디오 전송 장치의 또 다른 실시예에 의하면, 데이터 인코더는 각 영역 별로 다르게 인코딩을 수행할 수 있다. 데이터 인코더는 특정 영역은 높은 퀄리티로, 다른 영역은 낮은 퀄리티로 인코딩을 수행할 수 있다. 송신측 피드백 처리부는 360 비디오 수신 장치로부터 전달받은 피드백 정보를 데이터 인코더로 전달하여, 데이터 인코더가 영역별 차등화된 인코딩 방법을 사용하도록 할 수 있다. 예를 들어 송신측 피드백 처리부는 수신측으로부터 전달받은 뷰포트 정보를 데이터 인코더로 전달할 수 있다. 데이터 인코더는 뷰포트 정보가 지시하는 영역을 포함하는 영역들에 대해 다른 영역들보다 더 높은 퀄리티(UHD 등) 로 인코딩을 수행할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 또 다른 실시예에 의하면, 전송 처리부는 각 영역 별로 다르게 전송을 위한 처리를 수행할 수 있다. 전송 처리부는 영역 별로 다른 전송 파라미터(모듈레이션 오더, 코드 레이트 등)를 적용하여, 각 영역 별로 전달되는 데이터의 강건성(robustenss)을 다르게 할 수 있다.
이때, 송신측 피드백 처리부는 360 비디오 수신 장치로부터 전달받은 피드백 정보를 전송 처리부로 전달하여, 전송 처리부가 영역별 차등화된 전송 처리를 수행하도록 할 수 있다. 예를 들어 송신측 피드백 처리부는 수신측으로부터 전달받은 뷰포트 정보를 전송 처리부로 전달할 수 있다. 전송 처리부는 해당 뷰포트 정보가 지시하는 영역을 포함하는 영역들에 대해 다른 영역들보다 더 높은 강건성을 가지도록 전송 처리를 수행할 수 있다.
전술한 본 발명에 따른 360 비디오 전송 장치의 내/외부 엘레멘트들은 하드웨어로 구현되는 하드웨어 엘레멘트들일 수 있다. 실시예에 따라 내/외부 엘레멘트들은 변경, 생략되거나 다른 엘레멘트로 대체, 통합될 수 있다. 실시예에 따라 부가 엘레멘트들이 360 비디오 전송 장치에 추가될 수도 있다.
도 9는 본 발명이 적용될 수 있는 360 비디오 수신 장치의 구성을 개략적으로 설명하는 도면이다.
본 발명에 따른 360 비디오 수신 장치는 전술한 처리 과정 및/또는 렌더링 과정과 관련된 동작들을 수행할 수 있다. 360 비디오 수신 장치는 수신부, 수신 처리부/파일 추출부, 디캡슐레이션 처리부, 데이터 디코더, 메타데이터 파서, 언패킹(unpacking)/선택 처리부, 렌더러, 합성 처리부, (수신측) 처리부 및/또는 리프로젝션 처리부를 내/외부 엘레멘트들로서 포함할 수 있다. 시그널링 파서는 메타데이터 파서라고 불릴 수 있다.
수신부는 본 발명에 따른 360 비디오 전송 장치로부터 전송되는 360 비디오 데이터를 수신할 수 있다. 수신부는 360 비디오 데이터가 전송되는 채널에 따라 방송망 또는 브로드밴드를 통해 360 비디오 데이터를 수신할 수 있다. 수신부는 전송부로부터 전송된 비트 스트림을 수신한 후 필요한 파일을 추출할 수 있다.
수신 처리부는 수신된 360 비디오 데이터에 대해 전송 프로토콜에 따른 처리를 수행할 수 있다. 전송측에서 전송을 위한 처리가 수행된 것에 대응되도록, 수신 처리부는 전술한 전송 처리부의 역과정을 수행할 수 있다. 수신 처리부는 획득한 360 비디오 데이터는 디캡슐레이션 처리부로 전달하고, 획득한 360 비디오 관련 메타데이터는 메타데이터 파서로 전달할 수 있다. 수신 처리부가 획득하는 360 비디오 관련 메타데이터는 시그널링 테이블의 형태일 수 있다.
디캡슐레이션 처리부는 수신 처리부로부터 수신된 파일 포맷으로 360 비디오 데이터를 디캡슐레이션할 수 있다. 디캡슐레이션 처리부는 파일들을 ISOBMFF 등으로 디캡슐레이션함으로써 360 비디오 데이터 및 360 비디오 관련 메타데이터를 획득할 수 있다. 디캡슐레이션 처리부는 피드백 처리부로부터 전송된 시점/시청 위치/시점 방향 정보 및 비디오 메타데이터를 이용하여 생성된 파일 포맷에서 비디오 스트림을 선택할 수 있고, 선택된 비디오 스트림은 디코더를 통해 비디오 정보로 재구성될 수 있다. 디캡슐레이션 처리부는 획득된 360 비디오 데이터를 데이터 디코더로 전달하고 획득된 360 비디오 관련 메타데이터를 메타데이터 파서로 전달할 수 있다. 디캡슐레이션 처리부에 의해 획득된 360 비디오 관련 메타데이터는 파일 포맷으로 박스 또는 트랙 형태를 가질 수 있다. 디캡슐레이션 처리부는 필요에 따라 메타데이터 파서로부터 디캡슐레이션에 필요한 메타데이터를 수신할 수 있다.
데이터 디코더는 360 비디오 데이터를 디코딩할 수 있다. 데이터 디코더는 메타데이터 파서로부터 디코딩에 필요한 메타데이터를 수신할 수 있다. 데이터 디코딩 과정에서 획득된 360 비디오 관련 메타데이터는 메타데이터 파서로 전달될 수 있다.
패킹된 이미지의 경우, 언패킹/선택 처리부는 메타데이터를 통해 전송된 패킹 정보에 기초하여 패킹된 이미지의 언패킹을 수행할 수 있다. 필요에 따라, 언 패킹/선택 처리부는 피드백 처리부로부터 전송되는 시점/시청 위치/시청 방향에 적합한 비디오 및 필요 성분을 선택하는 과정을 수행할 수 있다.
메타데이터 파서는 360 비디오 관련 메타데이터에 대한 파싱/디코딩을 수행할 수 있다. 메타데이터 파서는 획득한 메타데이터를 데이터 디캡슐레이션 처리부, 데이터 디코더, 리프로젝션 처리부 및/또는 렌더러로 전달할 수 있다.
리프로젝션 처리부는 디코딩된 360 비디오 데이터에 대하여 리프로젝션을 수행할 수 있다. 리프로젝션 처리부는 360 비디오 데이터를 3D 공간으로 리프로젝션할 수 있다. 3D 공간은 사용되는 3D 모델에 따라 다른 형태를 가질 수 있다. 리프로젝션 처리부는 메타데이터 파서로부터 리프로젝션에 필요한 메타데이터를 전달받을 수도 있다. 예를 들어 리프로젝션 처리부는 사용되는 3D 모델의 타입 및 그 세부 정보에 대한 정보를 메타데이터 파서로부터 전달받을 수 있다. 실시예에 따라 리프로젝션 처리부는 리프로젝션에 필요한 메타데이터를 이용하여, 3D 공간 상의 특정 영역에 해당하는 360 비디오 데이터만을 3D 공간으로 리프로젝션할 수도 있다.
렌더러는 리프로젝션된 360 비디오 데이터를 렌더링할 수 있다. 전술한 바와 같이 360 비디오 데이터가 3D 공간상에 렌더링된다고 표현할 수도 있는데, 이처럼 두 과정이 한번에 일어나는 경우 리프로젝션 처리부와 렌더러는 통합되어, 렌더러에서 이 과정들이 모두 진행될 수 있다. 실시예에 따라 렌더러는 사용자의 시점 정보에 따라 사용자가 보고 있는 부분만을 렌더링할 수도 있다.
또한, 렌더러는 비디오의 텍스처, 깊이 및 오버레이 정보를 디스플레이에 적합한 포맷으로 재구성하는 렌더링 과정을 수행할 수 있다. 최종 비디오를 생성하기 전에 서로 다른 계층들의 정보를 통합하기 위한 합성 과정이 수행될 수 있으며, 디스플레이 뷰포트에 적합한 이미지가 생성 및 디스플레이될 수 있다.
사용자는 VR 디스플레이 등을 통하여 렌더링된 360 비디오의 일부 영역을 볼 수 있다. VR 디스플레이는 360 비디오를 재생하는 장치로서, 360 비디오 수신 장치에 포함될 수도 있고(tethered), 별도의 장치로서 360 비디오 수신 장치에 연결될 수도 있다(un-tethered).
본 발명에 따른 360 비디오 수신 장치의 일 실시예에 의하면, 360 비디오 수신 장치는 (수신측) 피드백 처리부 및/또는 네트워크 인터페이스(도시되지 않음)를 내/외부 엘레멘트로서 더 포함할 수 있다. 수신측 피드백 처리부는 렌더러, 리프로젝션 처리부, 데이터 디코더, 디캡슐레이션 처리부 및/또는 VR 디스플레이로부터 피드백 정보를 획득하여 처리할 수 있다. 피드백 정보는 뷰포트 정보, 헤드 방향 정보, 게이즈(Gaze) 정보 등을 포함할 수 있다. 네트워크 인터페이스는 피드백 정보를 수신측 피드백 처리부로부터 전달받고, 이를 360 비디오 전송 장치로 전송할 수 있다.
전술한 바와 같이, 피드백 정보는 송신측으로 전달되는 것뿐 아니라, 수신측에서 소비될 수도 있다. 수신측 피드백 처리부는 획득한 피드백 정보를 360 비디오 수신 장치의 내부 엘레멘트들로 전달하여, 렌더링 등의 과정에 반영되게 할 수 있다. 수신측 피드백 처리부는 피드백 정보를 렌더러, 리프로젝션 처리부, 데이터 디코더 및/또는 디캡슐레이션 처리부로 전달할 수 있다. 예를 들어, 렌더러는 피드백 정보를 활용하여 사용자가 보고 있는 영역을 우선적으로 렌더링할 수 있다. 또한 디캡슐레이션 처리부, 데이터 디코더 등은 사용자가 보고 있는 영역 내지 보게 될 영역을 우선적으로 디캡슐레이션, 디코딩할 수 있다.
전술한 본 발명에 따른 360 비디오 수신 장치의 내/외부 엘레멘트들은 하드웨어로 구현되는 하드웨어 엘레멘트들일 수 있다. 실시예에 따라 내/외부 엘레멘트들은 변경, 생략되거나 다른 엘레멘트로 대체, 통합될 수 있다. 실시예에 따라 부가 엘레멘트들이 360 비디오 수신 장치에 추가될 수도 있다.
본 발명의 또 다른 관점은 360 비디오를 전송하는 방법 및 360 비디오를 수신하는 방법과 관련될 수 있다. 본 발명에 따른 360 비디오를 전송/수신하는 방법은, 각각 전술한 본 발명에 따른 360 비디오 전송/수신 장치 또는 그 장치의 실시예들에 의해 수행될 수 있다.
전술한 본 발명에 따른 360 비디오 전송/수신 장치, 전송/수신 방법의 각각의 실시예 및 그 내/외부 엘리멘트 각각의 실시예들을 서로 조합될 수 있다. 예를 들어 프로젝션 처리부의 실시예들과, 데이터 인코더의 실시예들은 서로 조합되어, 그 경우의 수만큼의 360 비디오 전송 장치의 실시예들을 만들어 낼 수 있다. 이렇게 조합된 실시예들 역시 본 발명의 범위에 포함된다.
한편, 3DoF의 프로젝션된 비디오를 갖는 전방향 미디어 어플리케이션을 위한 일반적인 컨텐츠 흐름 과정에서, 캡처된 이미지들은 구를 구성하여 정적 시점으로부터의 뷰포트를 제공한다. 시청 위치는 변경되지 않는 것으로 가정되므로 시청자와 VR 환경간에 상호 작용을 제공하기가 쉽지 않다. VR 환경에서 시청자의 행동을 가진 서로 다른 시청 경험을 제공하기 위하여 시청 경계의 제한이 있는 시청 위치를 변경하는 것을 고려해야 한다. 서로 다른 시청 위치로 인한 서로 다른 뷰를 헤드 모션 시차라고 한다.
전술한 바와 같이, 헤드 모션 시차는 시청자에게 현실적인 시청 경험을 갖는 어느 정도의 헤드 모션 자유도를 제공할 수 있다. 이러한 특징을 지원하기 위해 이상적인 컨텐츠는 앵커 (또는 중심) 구에 인접한 다수의 구들로 구성되는 반면 3DoF의 현재 컨텐츠는 단지 단일 구를 고려한다. 부가적인 구면 정보가 보조 시청 위치들에 대해 고려될 수 있음에 따라, 단일 구 콘텐츠에 기초한 3DoF 서비스의 종래의 콘텐츠 작업 흐름은, 이미지 캡처, 프로젝션, 패킹 포맷, 파일 인캡슐레이션, 전달, 파일 디캡슐레이션, 렌더링 과정이 변경될 수 있는 것처럼, 변경되어야 한다.
따라서, 본 발명은 시점의 서로 다른 시청 위치를 나타내는 다수의 구면 비디오들/이미지들을 지원하기 위는 다수의 실시예들을 제안한다. 일 실시예는 네스티드(nested) 형태의 다수의 구면 비디오들/이미지들 또는 상관된 다수의 구들에 대한 추가 정보를 알려주는 멀티뷰 리전 와이즈 패킹 SEI 메시지를 포함한다.
여기서, 멀티뷰 리전 와이즈 패킹은 다수의 뷰들에 대해 프로젝션된 픽처들을 하나의 픽처로 패킹하는 과정을 나타낼 수 있다. 뷰(view)는 아이 뷰들(eyeviews), 시청 위치(viewing position) 또는 시점들(viewpoints)을 나타낼 수 있고 프로젝션된 픽처들의 각각은 대응하는 뷰에 대한 구면 비디오/이미지가 프로젝션되는 픽처를 나타낼 수 있다.
또한, 다수의 구면 비디오들/이미지들의 네스티드 형태에 관한 정보 및/또는 상관된 다수의 구에 대한 추가 정보는 ISOBMFF 및/또는 OMAF로서 정의된다. 또한, 본 발명에서 제안되는 신택스들(syntaxes) 및 시맨틱들(semantics)은 VPS(Video Parameter Set), SPS(Sequence Parameter Set) 및 PPS(Picture Parameter Set)와 같은 비디오 레벨의 파라미터 세트들에서 정의될 수 있다. 다시 말해, 제안되는 신택스들 및 시맨틱들은 HEVC(High Efficiency Video Coding) 또는 VVC(Versatile Video Coding)와 같은 비디오 코덱 표준들의 파라미터 세트들에서 전송될 수 있다. 또한, 제안되는 신택스들 및 시맨틱들은 디지털 유무선 인터페이스, 시스템 레벨에서의 파일 포맷 등을 통해 전송될 수 있다.
예를 들어, 현재 이미지/비디오의 멀티뷰 리전 와이즈 패킹 정보 및 모든 관련 시청 위치들이 다음 표에 도시된 바와 같이 SEI 메시지에서 정의될 수 있다.
[Table 1]
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹은 멀티뷰 리전 와이즈 패킹 SEI 메시지를 나타낼 수 있다. 멀티뷰 리전 와이즈 패킹 SEI 메시지는 가드 대역의 위치 및 크기에 관한 정보뿐만 아니라 크롭트(cropped) 디코딩된 픽처들의 컬러 샘플들을 프로젝션된 픽처들로 리매핑 가능하도록 하는 정보를 제공할 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 multiview_regionwise_packing_id 필드 및/또는 multiview_regionwise_packing_cancel_flag 필드를 포함할 수 있다.
multiview_regionwise_packing_id 필드는 멀티뷰 리전 와이즈 패킹의 목적을 식별하기 위해 사용될 수 있는 식별 번호를 나타낼 수 있다. 예를 들어, multiview_regionwise_packing_id 필드의 값은 이 SEI 메시지의 서로 다른 사용 케이스들을 나타내거나, 서로 다른 수신기 성능들을 지원하거나, 구 이미지, 파노라마 이미지, 멀티뷰 이미지, 멀티시점 이미지 등을 구성하는 데 사용될 수 있는 서브 픽처들을 나타내는 데 사용될 수 있다.
구체적으로, multiview_regionwise_packing_id 필드와 동일한 값을 가진 멀티뷰 리전 와이즈 패킹 SEI 메시지들이 존재하는 경우, 이러한 멀티뷰 리전 와이즈 패킹 SEI 메시지들의 컨텐츠는 동일할 수 있다. multiview_regionwise_packing_id 필드의 하나의 값 이상을 가지는 멀티 뷰 리전 와이즈 패킹 SEI 메시지들이 존재하는 경우, 이는 multiview_regionwise_packing_id 필드의 서로 다른 값들에 의하여 나타내는 정보가 서로 다른 목적을 위하여 제공되는 대안들이거나 순차적인 순서로 (순서는 어플리케이션에 따라 명시될 수 있음) 적용될 정정의 케스케이딩을 나타낼 수 있다. multiview_regionwise_packing_id 필드의 값은 0 내지 212-1 까지의 범위내에 있을 수 있다.
multiview_regionwise_packing_cancel_flag 필드는 멀티뷰 리전 와이즈 패킹 SEI 메시지가 이전의 멀티뷰 리전 와이즈 패킹 SEI 메시지의 지속을 현재 계층에 적용되는 출력 순서로 취소하는지 여부를 나타낼 수 있다. 예를 들어, multiview_regionwise_packing_cancel_flag 필드가 1인 경우, 멀티뷰 리전 와이즈 패킹 SEI 메시지가 이전의 멀티뷰 리전 와이즈 패킹 SEI 메시지의 지속을 현재 계층에 적용되는 출력 순서로 취소한다는 것을 나타낸다. multiview_regionwise_packing_cancel_flag 필드가 0인 경우 멀티뷰 리전 와이즈 패킹 정보가 뒤따른다는 것을 나타낸다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 multiview_regionwise_packing_persistence_flag 필드, constituent_picture_matching_flag 필드, 및/또는 packing_format_matching_between_views_flag 필드를 포함할 수 있다.
multiview_regionwise_packing_persistence_flag 필드는 현재 계층에 대한 멀티뷰 리전 와이즈 패킹 SEI 메시지의 지속을 명시할 수 있다. 예를 들어, multiview_regionwise_packing_persistence_flag 필드가 0이면 멀티뷰 리전 와이즈 패킹 정보가 현재 디코딩된 픽처에만 적용됨을 명시한다. 여기서, 현재 디코딩된 픽처는 현재 픽처 또는 대응하는 디코딩된 픽처로 지칭될 수도 있다.
picA를 현재 픽처라고 할 때, multiview_regionwise_packing_persistence_flag 필드를 1로 설정하면 다음 조건들 중 어느 것이 참(true)일 때까지 멀티뷰 리전 와이즈 패킹 정보 SEI 메시지가 현재 계층에 대하여 출력 순서대로 지속된다:
- 현재 계층의 새로운 CLVS가 시작된다.
- 비트 스트림이 종료된다.
- 현재 계층에 적용 가능한 멀티뷰 리전 와이즈 패킹 SEI 메시지를 포함하는 액세스 단위의 현재 계층에서의 픽처 picB는 PicOrderCnt(picB)가 PicOrderCnt (picA)보다 큰 경우에 출력되며, 여기서 PicOrderCnt( picB) 및 PicOrderCnt (picA)는 각각 picB의 픽처 순서 카운트에 대한 디코딩 과정의 요청 직후의 picB 및 picA의 PicOrderCntVal 값들이다.
constituent_picture_matching_flag 필드는 이 SEI 메세지에 있는 프로젝션된 영역 정보, 패킹된 영역 정보 및 가드 밴드 영역 정보가 패킹된 픽처를 적용하는지 여부를 나타낼 수 있다.
예를 들어, constituent_picture_matching_flag 필드가 1이면 이 SEI 메시지에 있는 프로젝션된 영역 정보, 패킹된 영역 정보 및 가드 밴드 영역 정보가 구성 픽처들의 각각에 개별적으로 적용됨을 명시할 수 있다. 여기서, 구성 픽처들은 패킹된 픽처의 구성 픽처와 프로젝션된 픽처의 구성 픽처를 나타낼 수 있다. 또한, 패킹된 픽처 및 프로젝션된 픽처는 프레임 패킹 배열 SEI 메시지에 의해 지시되는 동일 스테레오 프레임 패킹 포맷을 가질 수 있다. constituent_picture_matching_flag 필드가 0인 경우, 이 SEI 메시지에 있는 프로젝션된 영역 정보, 패킹된 영역 정보 및 가드 밴드 영역 정보가 프로젝션된 픽처에 적용됨을 명시할 수 있다.
한편, StereoFlag 필드가 0이거나, StereoFlag 필드가 1이고 frame_packing_arrangement_type 필드가 5 인 경우, constituent_picture_matching_flag 필드의 값은 0일 수 있다.
Packing_format_matching_between_views_flag 필드가 1인 경우, 패킹된 픽처가 각 시청 위치에 대하여 동일한 패킹 포맷을 갖음을 명시할 수 있으며 여기서 프로젝션 포맷은 mrwp_projection_type 필드에 의해 지시된다. Packing_format_matching_between_views_flag 필드가 0이면, 각 시청 위치에 대해 서로 다른 프로젝션 포맷이 사용됨을 명시할 수 있다. 시청 위치는 헤드 위치라고도 할 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 num_view_minus1 필드, mrwp_view_id[i] 필드, mrwp_anchor_view_flag[i] 필드, mrwp_view_independent_rotation_flag[i] 필드, mrwp_all_components_in_one_packedregion_flag[i] 및/또는 mrwp_reserved_zero_4bits[i] 필드를 포함할 수 있다.
num_view_minus1 플러스 1 필드는 SEI 메시지에서 고려되는 뷰의 개수를 명시할 수 있다. 여기서 뷰는 아이 뷰, 시청 위치( viewing position) 및/또는 시점(viewpoint)일 수 있다.
mrwp_view_id[i] 필드는 뷰를 식별하기 위해 사용될 수 있는 식별 번호를 나타낼 수 있다. 예를 들어, mrwp_view_id[i] 필드의 값은 i번째 뷰의 식별 번호를 나타낼 수 있다. 다시 말해, mrwp_view_id[i] 필드의 값은 i번째 뷰를 나타내는데 사용될 수 있으며, mrwp_view_id[i] 필드는 특정 목적을 위한, 예를 들어, 헤드 움직임 시차를 유발하는 헤드 위치에 대응하는 서브 픽처들의 표시 또는 헤드 위치의 양안 시차를 지원하는 서브 픽처 쌍의 표시 등을 위한, 하나 또는 다수의 영역들을 나타내는데 사용될 수 있다. 여기서, 헤드 위치는 시청 위치로 지칭될 수 있다.
mrwp_anchor_view_flag[i] 필드는 i번째 mrwp_view_id를 갖는 i번째 뷰가 앵커 (또는 중심 또는 대표) 뷰인지 여부를 나타낼 수 있다. 예를 들어, mrwp_anchor_view_flag 필드가 1이면 i번째 mrwp_view_id를 갖는 i번째 뷰가 앵커 뷰임을 나타낼 수 있다. mrwp_anchor_view_flag 필드가 0이면 i번째 뷰가 주변 뷰임을 나타낼 수 있다.
mrwp_view_independent_rotation_flag[i] 필드는 i번째 뷰의 회전이 앵커 뷰의 회전과 다른지 여부를 나타낼 수 있다. 예를 들어, mrwp_view_independent_rotation_flag[i] 필드가 1이면 i번째 뷰의 회전이 앵커 뷰의 회전과 다르다는 것을 나타낼 수 있다. mrwp_view_independent_rotation_flag[i] 필드가 0인 경우, i번째 뷰의 회전이 앵커 뷰의 회전과 동일함을 나타낼 수 있다.
mrwp_all_components_in_one_packedregion_flag[i] 필드는 프로젝션된 픽처로 구성되고 i번째 뷰에 대응하는 패킹된 영역들이 하나의 직사각형 영역에서만 패킹되는지 여부를 나타낼 수 있다. 예를 들어, mrwp_all_components_in_one_packedregion_flag[i] 필드가 1인 경우, 프로젝션된 픽처로 구성되고 i번째 뷰에 대응하는 패킹된 영역들이 하나의 직사각형 영역에만 패킹됨을 나타낼 수 있다. mrwp_exclusive_packing_flag[i] 필드가 0인 경우, i번째 뷰에 대응하는 패킹된 영역들이 하나의 직사각형 영역 내에 패킹되지 않음을 나타낼 수 있다. 다시 말해, mrwp_exclusive_packing_flag[i] 필드가 0인 경우는 i번째 뷰에 대응하는 패킹된 영역들이 다수의 직사각형 영역들 내에 패킹됨을 나타낼 수 있다.
mrwp_reserved_zero_4bits[i] 필드는 0으로 설정될 수 있다. mrwp_reserved_zero_4bits[i] 필드의 0이외의 다른 값으로 설정되면 추후 사용을 위해 남겨질 수 있다. 디코더들은 mrwp_reserved_zero_4bits[i] 필드의 값을 무시할 수 있다. 한편, mrwp_reserved_zero_5bits[i] 필드가 mrwp_reserved_zero_4bits[i] 필드 대신 사용될 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드, mrwp_location_anchor_view_z[i] 필드, mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드 및/또는 mrwp_rotation_anchor_view_roll[i] 필드를 포함할 수 있다.
mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드는 2-16 밀리미터 단위로 mrwp_view_id[i] 필드와 관련된 i번째 뷰의 위치를 나타낼 수 있다. mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드의 범위는 -32768 * 216 - 1 (즉, -2147483647) 내지 32768 * 216 (즉, 2147483648) 까지의 범위에 있다.
mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드 및 mrwp_rotation_anchor_view_roll[i] 필드는 로컬 좌표축을 2-16도 단위로 글로벌 좌표축으로 변환하기 위하여 mrwp_view_id[i] 필드, mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드와 관련된 i번째 뷰의 단위 구에 적용되는 요, 피치 및 롤 회전 각도들을 각각 나타낼 수 있다. 다시 말해, mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드 및 mrwp_rotation_anchor_view_roll[i] 필드는 i번째 뷰에 대한 회전의 요 각도, 피치 각도 및 롤 각도를 나타낼 수 있다. mrwp_rotation_anchor_view_yaw[i] 필드의 값은 -180 * 216 (즉, -11796480) 내지 180 * 216-1 (즉, 11796479) 까지의 범위내에 있을 수 있으며, mrwp_rotation_anchor_view_pitch[i] 필드의 값은 -90 * 216 (즉, -5898240) 내지 90 * 216 (즉, 5898240) 까지의 범위내에 있을 수 있으며, mrwp_rotation_anchor_view_roll[i] 필드의 값은 -180 * 216 (즉, -11796480) 내지 180 * 216-1 (즉, 11796479) 까지의 범위내에 있을 수 있다. mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드 및 mrwp_rotation_anchor_view_roll[i] 필드는 i번째 뷰 회전의 방위각, 고도각 및 경사각을 각각 나타내는데 사용할 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드, mrwp_location_diff_z[i] 필드, mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드 및/또는 mrwp_rotation_diff_roll[i] 필드를 포함할 수 있다.
mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드 및 mrwp_location_diff_z[i] 필드는 앵커 뷰의 위치에 대한 i번째 뷰의 위치를 2-16 밀리미터 단위로 나타낼 수 있다. i번째 뷰의 (x, y, z) 위치는 mrwp_location_anchor_view_x[i] 필드와 mrwp_location_diff_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_diff_y[i] 필드, 및 mrwp_location_anchor_view_z[i] 필드와 mrwp_location_diff_z[i] 필드를 각각 추가하여 계산될 수 있다. mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드 및 mrwp_location_diff_z[i] 필드의 범위는 -32768 * 216 - 1 (즉, -2147483647)에서 32768 * 216 (즉, 2147483648) 까지의 범위내에 있을 수 있다.
mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드 및 mrwp_rotation_diff_roll[i] 필드는 각각 앵커 뷰에 대한 i번째 뷰의 요, 피치 및 롤 회전 각도를 2-16도 단위로 나타낼 수 있다. 다시 말해서, mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드 및 mrwp_rotation_diff_roll[i] 필드는 앵커 뷰에 대한 i번째 뷰의 시청 방향의 요 각도, 피치 각도 및 롤 각도를 나타낼 수 있다. 글로벌 좌표에 대한 i번째 뷰의 요, 피치 및 롤 회전 각도들은 mrwp_rotation_diff_yaw[i] 필드와 mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드 및 mrwp_rotation_anchor_view_pitch[i] 필드, 및 mrwp_rotation_diff_roll[i] 필드 및 mrwp_rotation_anchor_view_roll[i] 필드를 각각 추가하여 계산될 수 있다. 이들은 로컬 좌표축을 글로벌 좌표축으로 변환하기 위하여 mrwp_view_id[i] 필드, mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드와 관련된 i번째 뷰의 단위 구에 적용된다.
mrwp_rotation_diff_yaw[i] 필드의 값은 -180 * 216 (즉, -11796480) 내지 180 * 216-1 (즉, 11796479) 까지의 범위내에 있을 수 있으며, mwp_rotation_diff_pitch[i] 필드의 값은 필드는 -90 * 216 (즉, -5898240) 내지 90 * 216 (즉, 5898240) 까지의 범위내에 있을 수 있으며, mrwp_rotation_diff_roll[i] 필드의 값은 -180 * 216 (즉, -11796480) 내지 180 * 216-1 (즉, 11796479) 까지의 범위내에 있을 수 있다. mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드 및 mrwp_rotation_diff_roll[i] 필드는 각각 방위각, 고도각 및 경사각을 나타내는데 사용될 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 num_component_minus1[i] 필드, mrwp_component_id[i][j] 필드, mrwp_component_type[i][j] 필드, mrwp_projection_type[i][j] 필드, mrwp_proj_picture_width[i][j] 필드, mrwp_proj_picture_height[i][j] 필드, mrwp_coverage_horizontal[i][j] 필드 및/또는 mrwp_coverage_vertical[i][j] 필드를 포함할 수 있다.
num_component_minus1[i] 필드는 SEI 메시지에서 i번째 뷰에 있는 성분들의 개수를 명시할 수 있다. 구체적으로, num_component_minus1[i] 필드 플러스 1은 SEI 메시지에서 고려되는 i번째 뷰에 있는 성분들의 개수를 명시할 수 있다.
mrwp_component_id[i][j] 필드는 i번째 뷰의 j번째 성분을 식별하는데 사용될 수 있는 식별 번호를 명시할 수 있다. 즉, mrwp_component_id[i][j] 필드는 i번째 뷰의 j번째 성분의 식별 번호를 명시할 수 있다.
mrwp_component_type[i][j] 필드는 i번째 뷰의 j번째 성분의 타입을 명시할 수 있다. 예를 들어, mrwp_component_type[i][j] 필드가 0이면 j번째 성분의 타입이 명시되지 않았음을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 1이면 j번째 성분이 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 2이면 j번째 성분이 깊이 맵임을 나타낼 수 있다.
mrwp_component_type[i][j] 필드가 3이면 j번째 성분이 알파 채널임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 4이면 j번째 성분이 좌안 뷰의 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 5이면 j번째 성분이 우안 뷰의 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 6이면 j번째 성분이 양안 뷰의 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 7이면 j번째 성분이 좌안 뷰의 잔차(residual) 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 8이면 j번째 성분이 우안 뷰의 잔차 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드가 9이면 j번째 성분이 양안 뷰의 잔차 비디오 성분임을 나타낼 수 있다. mrwp_component_type[i][j] 필드 값이 10에서 15이면 상기 필드가 추후 사용을 위해 남겨진다. 여기서, 비디오 성분은 텍스처 성분으로 지칭될 수 있다.
mrwp_projection_type[i][j] 필드는 360 구(즉, 구 비디오/이미지 또는 360도 비디오)로부터 프로젝션된 픽처를 생성하는데 사용되는 i번째 뷰의 j번째 성분에 대한 프로젝션의 타입을 명시할 수 있다. 예를 들어, mrwp_projection_type[i][j]가 0이면 i번째 뷰의 j번째 성분에 대한 프로젝션의 타입이 명시되지 않았음을 나타낼 수 있다. mrwp_projection_type[i][j] 필드가 1이면 i번째 뷰의 j번째 성분에 대한 프로젝션의 타입이 등장방형 프로젝션임을 나타낼 수 있다. mrwp_projection_type[i][j] 필드가 2이면 i번째 뷰의 j번째 성분에 대한 프로젝션의 타입이 정육면체 맵 프로젝션임을 나타낼 수 있다. mrwp_projection_type[i][j] 필드 값이 3에서 15이면 상기 필드가 추후 사용을 위해 남겨짐을 나타낸다.
mrwp_proj_picture_width[i][j] 필드 및 mrwp_proj_picture_height[i][j] 필드는 i번째 뷰의 j번째 성분에 대한 프로젝션된 픽처에서 영역의 폭 및 높이를 샘플단위로 각각 명시할 수 있다. 여기서, 영역은 프로젝션된 픽처에서 i번째 뷰의 j번째 성분이 프로젝션되는 영역을 말한다. 즉, 영역은 프로젝션된 픽처에서 i번째 뷰의 j번째 성분을 포함하는 영역이다. mrwp_proj_picture_width 필드 및 mrwp_proj_picture_height 필드의 값들은 모두 0보다 클 수 있다.
mrwp_coverage_horizontal[i][j] 필드 및 mrwp_coverage_vertical[i][j] 필드는 i번째 뷰의 j번째 성분의 커버리지의 수평 범위 및 수직 범위를 2-16도 단위로 각각 명시할 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 depth_near[i][j] 필드 및/또는 depth_far[i][j] 필드를 포함할 수 있다.
depth_near[i][j] 필드 및 depth_far[i][j] 필드는 각각 이미지 평면으로부터 i번째 뷰의 j번째 성분의 객체까지의 최소 거리 및 최대 거리를 2-16도 단위로 각각 명시할 수 있다. 다시 말해, depth_near[i][j] 필드 및 depth_far[i][j] 필드는 i 번째 뷰의 j번째 성분의 최소 깊이 값 및 최대 값을 2-16도 단위로 명시할 수 있다. 여기서, 이미지 평면은 i번째 뷰의 j번째 성분에 대한 프로젝션된 픽처를 나타낼 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 mrwp_rotation_component_diff_yaw[i][j] 필드, mrwp_rotation_component_diff_pitch[i][j] 필드 및/또는 mrwp_rotation_component_diff_roll[i][j] 필드를 포함할 수 있다.
mrwp_rotation_component_diff_yaw[i][j] 필드, mrwp_rotation_component_diff_pitch[i][j] 필드, mrwp_rotation_component_diff_roll[i][j] 필드는 i번째 뷰의 기준 회전 각도에 대한 i번째 뷰의 j번째 성분의 요 회전 각도 차이, 피치 회전 각도 차이 및 롤 회전 각도 차이를 2-16도의 단위로 각각 나타낼 수 있다. 글로벌 좌표에 대한 i번째 뷰의 j번째 성분의 요 회전 각도, 피치 회전 각도 및 롤 회전 각도는 각각의 차이 값들 및 기준 회전 각도들을 가산함으로써 각각 계산될 수 있다. 예를 들어, 글로벌 좌표에 대한 i번째 뷰의 j번째 성분의 요 회전 각도는 요 회전 각도 차이 및 요 기준 회전 각도를 더함으로써 계산될 수 있으며. 글로벌 좌표에 대한 i번째 뷰의 j번째 성분의 피치 회전 각도는 피치 회전 각도 차이 및 피치 기준 회전 각도를 더함으로써 계산될 수 있으며, 글로벌 좌표에 대한 i번째 뷰의 j번째 성분의 롤 회전 각도는 롤 회전 각도 차이 및 롤 기준 회전 각도를 더하여 계산될 수 있다.
mrwp_rotation_component_diff_yaw[i] 필드의 값은 -180 * 216 (즉, -11796480) 내지 180 * 216 - 1 (즉, 11796479) 까지의 범위내에 있을 수 있으며, mwp_rotation_component_diff_pitch[i] 필드의 값은 -90 * 216 (즉, -5898240) 내지 90 * 216 (즉, 5898240) 까지의 범위내에 있을 수 있으며, mrwp_rotation_component_diff_roll[i] 필드의 값은 -180 * 216 ( 즉, -11796480) 내지 180 * 216 - 1 (즉, 11796479) 까지의 범위내에 있을 수 있다. mrwp_rotation_component_diff_yaw[i] 필드, mrwp_rotation_component_diff_pitch[i] 필드 및 mrwp_rotation_component_diff_roll[i] 필드는 각각 방위각, 고도각 및 경사각을 나타내는데 사용될 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드 및/또는 mrwp_packed_region_left[i][j] 필드를 포함할 수 있다.
mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드 및 mrwp_packed_region_left[i][j] 필드는 i번째 뷰의 j번째 성분에 대한 패킹된 픽처 혹은 패킹된 픽처의 구성 픽처에서 영역의 폭, 높이, 상단 샘플 행 및 가장 왼쪽 샘플 열을 샘플 단위로 각각 명시할 수 있다. constituent_picture_matching_flag 필드의 값이 0이면, mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드 및 mrwp_packed_region_left[i][j] 필드는 i번째 뷰의 j번째 성분에 대한 패킹된 픽처의 패킹된 픽처에서 영역의 폭, 높이, 상부 샘플 행 및 가장 왼쪽 샘플 열을 샘플 단위로 각각 명시할 수 있다. constituent_picture_matching_flag 필드의 값이 1인 경우, mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드 및 mrwp_packed_region_left[i][j] 필드는 i번째 뷰의 j번째 성분에 대한 패킹된 픽처의 패킹된 픽처의 구성픽처에서 영역의 폭, 높이, 상부 샘플 행 및 가장 왼쪽 샘플 열을 샘플 단위로 각각 명시할 수 있다. 여기서, 영역은 패킹된 픽처 혹은 패킹된 픽처의 구성 픽처에서 i번째 뷰의 j번째 성분이 프로젝션되는 영역을 말한다. 즉, 영역은 패킹된 픽처 혹은 패킹된 픽처의 구성 픽처에서 i번째 뷰의 j번째 성분을 포함하는 영역이다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 num_packed_regions 필드, packed_picture_width 필드 및/또는 packed_picture_height 필드를 포함할 수 있다.
num_packed_regions 필드는 constituent_picture_matching_flag 필드의 값이 0 일 때 패킹된 영역의 개수를 명시할 수 있다. 또한, num_packed_regions 필드의 값은 0보다 클 수 있다. 한편, constituent_picture_matching_flag 필드의 값이 1인경우, 패킹된 영역의 총 개수는 num_packed_regions 필드 * 2 일수 있고, num_packed_regions 필드 엔트리들의 루프의 각 엔트리에서의 정보는 프로젝션된 픽처 및 패킹된 픽처의 각 구성 픽처에 적용될 수 있다.
packed_picture_width 필드 및 packed_picture_height 필드는 각각 패킹된 픽처의 폭 및 높이를 상대적인 패킹된 픽처 샘플 단위로 명시할 수 있다. packed_picture_width 필드 및 packed_picture_height 필드의 값은 모두 0보다 클 수 있다.
packed_picture_width 필드 및 packed_picture_height 필드의 경우 packed_picture_width 필드는 cropPicWidth의 정수 배이고 packed_picture_height 필드는 cropPicHeight의 정수배인 값을 가지도록 하는 것이 비트스트림 일치의 필요조건이며, 여기서 cropPicWidth 및 cropPicHeight는 각각 크롭트 디코딩된 픽처의 폭 및 높이를 나타낸다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 num_view_id_minus1[i] 필드를 포함할 수 있다.
num_view_id_minus1[i] 필드는 i번째 패킹된 영역을 나타내는 뷰 지시자들의 개수를 명시할 수 있다. 예를 들어, num_view_id_minus1[i] 필드 플러스 1은 i번째 패킹된 영역을 나타내는 뷰 지시자들의 개수를 명시한다. 1보다 큰 num_view_id_minus1[i] 필드는 i번째 패킹된 영역이 서로 다른 뷰들과 공유됨을 나타낼 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 view_idx[i][j] 필드, num_component_id_minus1[i][j] 필드, component_idx[i][j][k] 필드, proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드 및/또는 proj_region_left[i][j][k] 필드를 포함할 수 있다.
view_idx[i][j] 필드는 i번째 패킹된 영역에 대하여 j번째 뷰의 뷰 정보 및 프로젝션된 픽처 정보를 나타내는 j번째 뷰 지시자를 명시할 수 있다. view_idx[i][j] 필드의 값은 현재 SEI 메시지에 정의된 mrwp_view_id[i] 필드의 값들 중 하나와 일치할 수 있다. 즉, view_idx[i][j] 필드와 mrwp_view_id[i] 필드는 동일한 뷰를 명시할 수 있다. 따라서, j번째 뷰 지시자가 나타내는 뷰 정보 및 프로젝션된 픽처 정보는 mrwp_view_id[i] 필드가 나타내는 뷰의 뷰 정보 및 프로젝션된 픽처 정보일 수 있다.
num_component_id_minus1[i][j] 필드는 i번째 패킹된 영역을 나타내는 j번째 뷰의 성분 뷰 지시자들의 개수를 명시할 수 있다. 예를 들어, num_component_id_minus1[i][j] 필드 플러스 1은 i번째 패킹된 영역을 나타내는 성분 뷰 지시자들의 개수를 명시한다. 1보다 큰 num_component_id_minus1[i][j] 필드는 i번째 패킹된 영역을 j번째 뷰의 성분들이 공유함을 나타낼 수 있다.
component_idx[i][j][k] 필드는 i번째 패킹된 영역에 대하여 프로젝션된 픽처의 성분 타입, 프로젝션 타입 및 크기를 나타내는 j번째 뷰의 k번째 성분 지시자를 명시할 수 있다. component_idx[i][j][k] 필드의 값은 현재 SEI 메시지에 정의된 mrwp_component_id[i][j] 필드의 값들 중 하나와 일치할 수 있다. 다시 말해, component_idx[i][j][k] 필드와 mrwp_component_id[i][j] 필드는 동일한 성분을 명시할 수 있다.
proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드 및 proj_region_left[i][j][k] 필드는 프로젝션된 픽처 내에서 또는 프로젝션된 픽처의 구성 픽처 내에서 i번째 프로젝션된 영역의 폭, 높이, 상부 샘플 행 및 가장 왼쪽 샘플 열을 각각 명시할 수 있다. constituent_picture_matching_flag 필드의 값이 0인 경우, proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드 그리고 proj_region_left[i][j][k] 필드는 프로젝션된 픽처 내에서 i번째 프로젝션된 영역의 폭, 높이, 상단 샘플 행 및 가장 왼쪽 샘플 열을 각각 명시할 수 있다. constituent_picture_matching_flag 필드의 값이 1인 경우, proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드 그리고 proj_region_left[i][j][k] 필드는 프로젝션된 픽처의 구성 픽처내에서 i번째 프로젝션된 영역의 폭, 높이, 상단 샘플 행 및 가장 왼쪽 샘플 열을 각각 명시할 수 있다. 여기서, 프로젝션된 픽처는 component_idx[i][j][k] 필드 및 view_idx[i][j] 필드에 의해 지시된 시청 위치의 성분의 프로젝션된 픽처를 나타낼 수 있다.
한편, i번째 프로젝션된 영역은 i번째 패킹된 영역에 해당할 수 있고, i번째 패킹된 영역은 i번째 프로젝션된 영역에 대한 멀티뷰 리전 와이즈 패킹에 의해 도출될 수 있다. proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드 및 proj_region_left[i][j][k] 필드는 상대적인 프로젝션된 픽처 샘플 단위로 지시될 수 있다. 또한, 2개의 프로젝션된 영역들은 서로 부분적으로 또는 전체적으로 겹칠 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 rwp_reserved_zero_4bits[i] 필드, rwp_transform_type[i] 필드, rwp_guard_band_flag[i] 필드, packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및/또는 packed_region_left[i] 필드를 포함할 수 있다.
rwp_reserved_zero_4bits[i] 필드는 본 명세서의 본 버전을 따르는 비트 스트림에서 0일 수 있다. rwp_reserved_zero_4bits[i] 필드의 다른 값들은 ITU-T|ISO/IEC에 의해 추후 사용을 위하여 남겨진다. 디코더는 rwp_reserved_zero_4bits[i] 필드의 값을 무시할 수 있다.
rwp_transform_type[i] 필드는 i번째 프로젝션 영역으로의 리매핑을 위하여 i번째 패킹된 영역에 적용될 회전 및 미러링을 명시한다. rwp_transform_type[i] 필드가 회전과 미러링을 모두 명시하면 회전이 미러링전에 적용된다. rwp_transform_type[i] 필드의 값은 다음과 같이 명시된다.
예를 들어, rwp_transform_type[i] 필드가 0이면 i번째 패킹된 영역에 대해 어떤 변환(즉, 회전 및 미러링)도 사용되지 않음을 나타낼 수 있다. rwp_transform_type[i] 필드가 1이면 i번째 패킹된 영역에 적용된 변환이 수평으로 미러링임을 나타낼 수 있다. rwp_transform_type[i] 필드가 2이면 i번째 패킹된 영역에 적용된 변환이 180도 (반시계 방향) 회전임을 나타낼 수 있다. rwp_transform_type[i] 필드가 3이면 i번째 패킹된 영역에 적용된 변환이 수평으로 미러링후 180도 (반시계 방향) 회전임을 나타낼 수 있다. rwp_transform_type[i] 필드가 4인 경우, i번째 패킹된 영역에 적용되는 변환이 수평으로 미러링전 90도 (반시계 방향) 회전임을 나타낼 수 있다. rwp_transform_type[i] 필드가 5이면 i번째 패킹된 영역에 적용된 변환이 90도 (반시계 방향) 회전임을 나타낼 수 있다. rwp_transform_type[i] 필드가 6인 경우, i번째 패킹된 영역에 적용된 변환이 수평으로 미러링전 270도 (반시계 방향) 회전임을 나타낼 수 있다. rwp_transform_type[i] 필드가 7인 경우, i번째 패킹된 영역에 적용된 변환이 270도 (반시계 방향) 회전임을 나타낼 수 있다.
rwp_guard_band_flag[i] 필드는 i번째 패킹된 영역이 가드 밴드를 갖는지 여부를 명시할 수 있다. 예를 들어, rwp_guard_band_flag[i] 필드가 0이면 i번째 패킹된 영역에 가드 밴드가 없음을 명시한다. rwp_guard_band_flag[i] 필드가 1이면 i번째 패킹된 영역이 가드 밴드를 가짐을 명시한다.
packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및 packed_region_left[i] 필드는 리전 와이즈 패킹된 픽처내에서 또는 리전 와이즈 패킹된 픽처의 각 구성 픽처 내에서 i번째 패킹된 영역의 폭, 높이, 상단 루마 샘플 행 및 가장 왼쪽 루마 샘플 열을 각각 명시할 수 있다. constituent_picture_matching_flag가 0인 경우, packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및 packed_region_left[i] 필드는 리전 와이즈 패킹된 픽처 내에서 i번째 패킹된 영역의 폭, 높이, 상부 루마 샘플 행 및 가장 왼쪽의 루마 샘플 열을 각각 명시할 수 있다 constituent_picture_matching_flag가 1인 경우, packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및 packed_region_left[i] 필드는 리전 와이즈 패킹된 픽처의 각 구성 픽처 내의 i번째 패킹된 영역의 폭, 높이, 상부 루마 샘플 행 및 가장 왼쪽의 루마 샘플 열을 각각 명시할 수 있다.
packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및 packed_region_left[i] 필드는 상대적 리전 와이즈 패킹된 픽처 샘플 단위로 지시될 수 있다. packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드 및 packed_region_left[i] 필드는 크롭트 디코딩된 픽처들내에서 루마 샘플 유닛의 정수의 수평 및 수직 좌표들을 나타낼 수 있다.
표 1을 참조하면, 멀티뷰 리전 와이즈 패킹 정보는 rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_height[i] 필드, rwp_bottom_guard_band_height[i] 필드, rwp_guard_band_not_used_for_pred_flag[i] 필드, rwp_guard_band_type[i] 필드 및/또는 rwp_guard_band_reserved_zero_3bits[i][j] 필드를 포함할 수 있다.
rwp_left_guard_band_width[i] 필드는 i번째 패킹된 영역의 좌측에 있는 가드 밴드의 폭을 상대적 리전 와이즈 패킹된 픽처 샘플 단위로 명시할 수 있다. chroma_format_idc 필드가 1이거나 (즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:0 크로마 포맷) 또는 2(즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:2 크로마)인 경우 rwp_left_guard_band_width[i] 필드는 크롭트 디코딩된 픽처내의 짝수개의 루마 샘플들에 대응할 수 있다. 한편, i번째 패킹된 영역의 좌측에 있는 가드 밴드의 높이는 i번째 패킹된 영역의 높이와 동일할 수 있다.
rwp_right_guard_band_width[i] 필드는 i번째 패킹된 영역의 우측에 있는 가드 밴드의 폭을 상대적 리전 와이즈 패킹된 픽처 샘플 단위로 명시할 수 있다. chroma_format_idc 필드가 1이거나 (즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:0 크로마 포맷) 또는 2(즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:2 크로마)인 경우 rwp_right_guard_band_width[i] 필드는 크롭트 디코딩된 픽처내의 짝수 개의 루마 샘플들에 대응할 수 있다. 한편, i번째 패킹된 영역의 우측에 있는 가드 밴드의 높이는 i번째 패킹된 영역의 높이와 동일할 수 있다.
rwp_top_guard_band_height[i] 필드는 i번째 패킹된 영역 위의 가드 밴드의 높이를 상대적 리전 와이즈 패킹된 픽처 샘플 단위로 명시할 수 있다. chroma_format_idc 필드가 1(즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:0 크로마 포맷)이면, rwp_top_guard_band_height[i] 필드는 크롭트 디코딩된 픽처 내의 짝수개의 루마 샘플들에 대응할 수 있다. 한편, i번째 패킹된 영역 위의 가드 밴드의 폭은 i번째 패킹된 영역의 폭과 동일할 수 있다.
rwp_bottom_guard_band_height[i] 필드는 i번째 패킹된 영역 아래의 가드 밴드의 높이를 상대적 리전 와이즈 패킹된 픽처 샘플 단위로 명시할 수 있다. chroma_format_idc 필드가 1(즉, 리전 와이즈 패킹된 픽처의 크로마 포맷이 4:2:0 크로마 포맷)이면, rwp_bottom_guard_band_height[i] 필드는 크롭트 디코딩된 픽처 내의 짝수개의 루마 샘플들에 대응할 수 있다. 한편, i번째 패킹된 영역 아래의 가드 밴드의 폭은 i번째 패킹된 영역의 폭과 동일할 수 있다.
rwp_guard_band_flag[i] 필드가 1인 경우, rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_height[i] 필드 또는 rwp_bottom_guard_band_height[i] 필드는 0보다 클 수 있다.
상기 SEI 메시지에 의해 명시된 바와 같은 i번째 패킹된 영역은 동일한 SEI 메시지에 의해 명시된 다른 패킹된 영역 또는 동일한 SEI 메시지에 의해 명시된 임의의 가드 밴드와 중첩되지 않을 수 있다.
또한, 상기 SEI 메시지에 의해 명시된 바와 같은 i번째 패킹된 영역과 연관된 가드 밴드는, 만일 그것이 존재한다면, 동일한 SEI 메시지에 의해 명시된 임의의 패킹된 영역 또는 동일한 SEI 메시지에 의해 명시된 다른 가드 밴드들과 중첩되지 않을 수 있다 .
rwp_guard_band_not_used_for_pred_flag[i] 필드는 i번째 패킹된 영역에 대한 가드 밴드가 인터 예측(inter prediction) 과정에서 사용되는지 여부를 명시할 수 있다. 예를 들어, rwp_guard_band_not_used_for_pred_flag[i] 필드라 0이면 가드 밴드가 인터 예측 과정에서 사용될 수도 있고 사용되지 않을 수도 있음을 명시한다. rwp_guard_band_not_used_for_pred_flag[i] 필드가 1이면 가드 밴드들의 샘플 값들이 인터 예측 과정에서 사용되지 않음을 명시한다.
구체적으로, rwp_guard_band_not_used_for_pred_flag[i] 필드의 값이 1인 경우, 크롭트 디코딩된 픽처들이 디코딩될 후속 픽처들의 인터 예측을 위한 참조들로서 사용된 경우라도, 크롭트 디코딩된 픽처들의 가드 밴드들의 샘플 값들이 재기입될 수 있다. 예를 들어, 패킹된 영역의 컨텐츠는 다른 패킹된 영역의 디코딩된 리프로젝션된 샘플들을 가진 가드 밴드로 끊김없이 확장될 수 있다.
rwp_guard_band_type[i][j] 필드는 다음과 같이 i번째 패킹된 영역에 대한 가드 밴드들의 타입을 나타낼 수 있다. 또한 rwp_guard_band_type[i][j] 필드에서 j가 0, 1, 2 또는 3인 경우 아래의 시맨틱들이 i번째 패킹된 영역의 왼쪽, 오른쪽, 위쪽 또는 아래쪽 가장자리에 각각 적용됨을 나타낸다:
예를 들어, rwp_guard_band_type[i][j] 필드가 0이면 패킹된 영역들의 컨텐츠와 관련하여 가드 밴드들의 컨텐츠가 명시되지 않음을 나타낼 수 있다. rwp_guard_band_not_used_for_pred_flag[i] 필드가 0이면 rwp_guard_band_type[i][j] 필드는 0이 아닐 수 있다.
rwp_guard_band_type[i][j] 필드가 1인 경우 가드 밴드들의 컨텐츠는 패킹된 영역내의 서브-펠(sub-pel) 샘플 분수 위치들에서 샘플 값들 및 패킹된 영역의 경계 밖의 하나의 샘플 보다 작은 값들의 보간에 대해 충분함을 나타낼 수 있다. 예를 들어, 1의 값을 가지는 rwp_guard_band_type[i][j] 필드는 i번째 패킹된 영역의 경계 샘플들이 가드 밴드에 수평 또는 수직으로 복사된 경우에 사용될 수 있다.
rwp_guard_band_type[i][j] 필드가 2이면 가드 밴드들의 컨텐츠가 패킹된 영역의 컨텐츠에 구면으로 인접한 실제 픽처 컨텐츠 및 패킹된 영역의 화질로부터 구면으로 인접한 패킹된 영역의 화질로 점차 변하는 품질에서의 패킹된 영역의 표면상의 실제 픽처 컨텐츠임을 나타낼 수 있다. 다시 말해서, rwp_guard_band_type[i][j] 필드가 2이면 가드 밴드의 컨텐츠가 실제 픽처 컨텐츠를 나타낼 수 있다. 여기서, 실제 픽처 컨텐츠는 i번째 패킹된 영역의 컨텐츠에 구면으로 인접할 수 있고, 실제 픽처 컨텐츠는 패킹된 영역의 화질로부터 구면으로 인접한 패킹된 영역의 화질 점차 변경되는 품질에서의 패킹된 영역의 표면상에 있을 수 있다.
rwp_guard_band_type[i][j] 필드가 3이면 가드 밴드들의 컨텐츠가 패킹된 영역에서 컨텐츠에 구면으로 인접한 실제 픽처 컨텐츠 및 패킹된 영역내에서와 유사한 화질에서의 패킹된 영역의 표면에 있는 실제 픽처 컨텐츠임을 나타낼 수 있다. 다시 말해서, rwp_guard_band_type[i][j] 필드가 3이면 가드 밴드들의 컨텐츠가 i번째 패킹된 영역에서 컨텐츠에 구면으로 인접한 실제 픽처 컨텐츠 및 i번째 패킹된 영역내에서와 유사한 화질에서의 i번째 패킹된 영역의 표면상의 실제 픽처 컨텐츠를 나타낼 수 있다.
rwp_guard_band_type[i][j] 필드가 3보다 큰 값을 가지면 ITU-T|ISO/IEC에 의하여 추후 사용을 위하여 남겨진다. 디코더는 값이 3보다 큰 경우의 rwp_guard_band_type[i][j] 필드의 값은 값 0과 동등한 것으로 간주할 수 있다.
rwp_guard_band_reserved_zero_3bits[i] 필드는 본 명세서의 본 버전을 따르는 비트 스트림에서 0일 수 있다. rwp_guard_band_reserved_zero_3bits[i] 필드의 다른 값들은 ITU-T|ISO/IEC에 의하여 추후 사용을 위하여 남겨진다. 디코더는 rwp_guard_band_reserved_zero_3bits[i] 필드의 값을 무시할 수 있다.
한편, 변수들 NumPackedRegions, PackedRegionLeft[n], PackedRegionTop[n], PackedRegionWidth[n], PackedRegionHeight[n], ProjRegionLeft[n], ProjRegionTop[n], ProjRegionWidth[n], ProjRegionHeight[n], ProjRegionHeight[n] 및 TransformType[n]은 다음과 같이 유도될 수 있다.
0 내지 num_packed_regions 필드-1 까지의 범위에 있는 n의 경우 다음이 적용된다.
PackedRegionLeft[n]은 packed_region_left[n]과 동일하게 설정될 수 있다. PackedRegionTop[n]은 packed_region_top[n] 필드와 동일하게 설정된다. PackedRegionWidth[n]은 packed_region_width[n] 필드와 동일하게 설정된다. PackedRegionHeight[n]은 packed_region_height[n] 필드와 동일하게 설정된다. ProjRegionLeft[n]은 proj_region_left[n] 필드와 동일하게 설정된다. ProjRegionTop[n]은 proj_region_top[n] 필드와 동일하게 설정된다. ProjRegionWidth[n]은 proj_region_width[n] 필드와 동일하게 설정된다. ProjRegionHeight[n]은 proj_region_height[n] 필드와 동일하게 설정된다. TransformType[n]은 rwp_transform_typ[n] 필드와 동일하게 설정된다.
한편, constituent_picture_matching_flag 필드의 값이 0이면, 다음이 적용된다:
NumPackedRegions는 num_packed_regions 필드와 동일하게 설정된다. 그렇지 않으면 (constituent_picture_matching_flag 필드의 값이 1인 경우) 다음이 적용된다:
NumPackedRegions는 2 * num_packed_regions 필드와 동일하게 설정된다.
한편, TopBottomFlag가 1인 경우, 다음이 적용된다:
projLeftOffset 및 packedLeftOffset은 모두 0으로 설정된다. projTopOffset은 proj_picture_height 필드/2와 동일하게 설정되고 packedTopOffset은 packed_picture_height 필드/2와 동일하게 설정된다.
한편, SideBySideFlag가 1인 경우, 다음이 적용된다:
projLeftOffset은 proj_picture_width 필드/2와 동일하게 설정되고 packedLeftOffset은 packed_picture_width 필드/2와 동일하게 설정된다. projTopOffset 및 packedTopOffset은 모두 0으로 설정된다.
한편, NumPackedRegions/2 내지 NumPackedRegions-1 까지의 범위에 있는 n의 경우, 다음이 적용된다:
nIdx는 n-NumPackedRegions/2와 동일하게 설정된다. PackedRegionLeft[n]은 packed_region_left[nIdx] 필드 + packedLeftOffset과 동일하게 설정된다. PackedRegionTop[n]은 packed_region_top[nIdx] 필드 + packedTopOffset과 동일하게 설정된다. PackedRegionWidth[n]은 packed_region_width[nIdx] 필드와 동일하게 설정된다. PackedRegionHeight[n]은 packed_region_height[nIdx] 필드와 동일하게 설정된다. ProjRegionLeft[n]은 proj_region_left[nIdx] + projLeftOffset과 동일하게 설정된다. ProjRegionTop[n]은 proj_region_top[nIdx] + projTopOffset과 동일하게 설정된다. ProjRegionWidth[n]은 proj_region_width[nIdx] 필드와 동일하게 설정된다. ProjRegionHeight[n]은 proj_region_height[nIdx] 필드와 동일하게 설정된다. TransformType[n]은 rwp_transform_type[nIdx] 필드와 동일하게 설정된다.
한편, 0 내지 NumPackedRegions-1 까지의 범위내에 있는 n의 각 값에 대해, ProjRegionWidth[n], ProjRegionHeight[n], ProjRegionTop[n] 및 ProjRegionLeft[n]은다음과 같이 제한된다:
ProjRegionWidth[n]은 1 내지 proj_picture_width 필드 까지의 범위내에 있을 수 있다. ProjRegionHeight[n]은 1 내지 proj_picture_height 필드 까지의 범위내에 있을 수 있다. ProjRegionLeft[n]은 0 내지 proj_picture_width 필드-1 까지의 범위내에 있을 수 있다. ProjRegionTop[n]은 0에서 proj_picture_height 필드-1 까지의 범위내에 있을 수 있다.
ProjRegionTop[n]이 proj_picture_height 필드/VerDiv1보다 작은 경우, ProjRegionTop[n]과 ProjRegionHeight[n]의 합은 proj_picture_height 필드/VerDiv1 보다 작거나 같을 수 있다. 그렇지 않으면 ProjRegionTop[n] 및 ProjRegionHeight[n]의 합이 proj_picture_height 필드/VerDiv1 * 2 보다 작거나 같을 수 있다.
0 내지 NumPackedRegions-1 까지의 범위에 있는 n의 각 값에 대하여, PackedRegionWidth[n], PackedRegionHeight[n], PackedRegionTop[n] 및 PackedRegionLeft[n]의 값들은 다음과 같이 제한된다:
PackedRegionWidth[n]은 1 내지 packed_picture_width 필드 까지의 범위내에 있을 수 있다. ProjRegionHeight[n]은 1 내지 packed_picture_height 필드의 범위내에 있을 수 있다. PackedRegionLeft[n]은 0 내지 packed_picture_width 필드-1 까지의 범위내에 있을 수 있다. PackedRegionTop[n]은 0 내지 packed_picture_height 필드-1 까지의 범위내에 있을 수 있다.
PackedRegionLeft[n]이 packed_picture_width 필드/HorDiv1보다 작은 경우, PackedRegionLeft[n] 및 PackedRegionWidth[n]의 합은 packed_picture_width 필드/HorDiv1보다 작거나 같을 수 있다. 그렇지 않으면 PackedRegionLeft[n] 및 PackedRegionWidth[n]의 합은 packed_picture_width 필드/HorDiv1 * 2 보다 작거나 같을 수 있다.
PackedRegionTop[n]이 packed_picture_height 필드/VerDiv1보다 작은 경우, PackedRegionTop[n]과 PackedRegionHeight[n]의 합은 packed_picture_height 필드/VerDiv1보다 작거나 같을 수 있다. 그렇지 않으면 PackedRegionTop[n]과 PackedRegionHeight[n]의 합이 packed_picture_height 필드/VerDiv1 * 2 보다 작거나 같을 수 있다.
한편, chroma_format_idc가 1 (4:2:0 크로마 포맷) 또는 2(4:2:2 크로마 포맷)인 경우, PackedRegionLeft[n]은 디코딩된 픽처내에서 루마 샘플 단위의 짝수의 수평 좌표 값에 대응할 수 있으며 PackedRegionWidth[n]은 디코딩된 픽처내에서 짝수 개의 루마 샘플들에 대응할 수 있다. 또한, chroma_format_idc가 1(4:2:0 크로마 포맷)인 경우, PackedRegionTop[n]은 디코딩된 픽처내에서 루마 샘플 단위의 짝수의 수직 좌표 값에 대응할 수 있으며 ProjRegionHeight[n]은 디코딩된 픽처내에서 짝수 개의 루마 샘플들에 대응할 수 있다.
도 10은 멀티뷰 리전 와이즈 패킹 정보가 사용되는 3DoF 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 도시한 것이다.
도 10을 참조하면, 선택을 포함한 멀티뷰 리전 와이즈 패킹 및 언패킹에 의하여 구성되는 멀티뷰 3DoF+ 비디오의 엔드 투 엔드(end-to-end) 흐름도가 기술된다.
구체적으로, 현실 세계 시청각 장면(A)은 카메라들의 세트 또는 다수의 렌즈들 및 센서들을 갖는 카메라 장치뿐만 아니라 오디오 센서들에 의해 캡처될 수 있다. 획득의 결과 일련의 디지털 이미지/비디오(Bi) 및 오디오(Ba) 신호들을 발생시킬 수 있다. 카메라들/렌즈들은 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주위의 모든 방향을 커버할 수 있으므로 360도 비디오로 명명될 수 있다.
동일한 시간 인스턴스 그리고/또는 서로 다른 헤드 위치 및/또는 서로 다른 시점에서 텍스처/깊이 카메라 렌즈들에 의해 캡처된 이미지들(Bi)은 패킹된 픽처(D)상에 스티칭되고, 가능하게는 회전되고, 뷰 및/또는 시점 별로 프로젝션된 다음 맵핑될 수 있다.
구체적으로, 패킹된 픽처들(D)은 코딩된 이미지들(Ei) 또는 코딩된 비디오 비트 스트림(Ev)으로서 인코딩될 수 있다. 캡처된 오디오(Ba)는 오디오 비트 스트림(Ea)으로서 인코딩될 수 있다. 코딩된 이미지들, 비디오 및/또는 오디오는 특정 미디어 컨테이너 파일 포맷에 따라, 파일 재생을 위한 미디어 파일(F) 또는 스트리밍을 위한 일련의 초기화 세그먼트 및 미디어 세그먼트들(Fs)로 합성될 수 있다. 미디어 컨테이너 파일 형식은 ISO 기본 미디어 파일 포맷 일 수 있다. 파일 인캡슐레이터는 메타데이터를 디코딩된 패킹된 픽처들을 렌더링하는데 도움이 되는 멀티뷰 리전 와이즈 패킹 정보와 같은 파일 또는 세그먼트에 포함시킬 수 있다.
예를 들어, 파일에 있는 메타데이터에는 다음을 포함한다:
- 뷰를 나타내는 로컬 구면좌표의 위치 및 회전에 관한 메타데이터,
- 뷰의 앵커 뷰로부터 뷰의 로컬 구의 위치 및 회전 차이에 관한 메타데이터,
- 뷰의 프로젝션된 픽처의 프로젝션 포맷에 대한 메타데이터,
- 뷰의 프로젝션된 픽처의 커버리지에 관한 메타데이터,
-멀티뷰 리전 와이즈 패킹 정보에 관한 메타데이터, 및
-리전 와이즈 품질 순위에 대한 메타데이터.
세그먼트 Fs는 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.
파일 인캡슐레이터가 출력하는 파일(F)은 파일 디캡슐레이터가 입력하는 파일(F')과 동일하거나 동일하지 않을 수 있다. 파일 디캡슐레이터는 파일(F') 또는 수신된 세그먼트들(F's)를 처리하고 코딩된 비트스트림들(E'a, E'v 및/또는 E'i)을 추출하고 메타데이터를 파싱할 수 있다. 이어서, 오디오, 비디오 및/또는 이미지들은 디코딩된 신호들(오디오의 경우 B'a 및 이미지/비디오의 경우 D')로 디코딩될 수 있다. 디코딩된 패킹된 픽처들(D')은, 현재의 시청 방향 또는 뷰포트 및/또는 뷰 (예를 들어, 헤드 위치) 및/또는 시점 및 파일로부터 파싱된 프로젝션, 구면 커버리지, 회전 및 멀티뷰 리전 와이즈 패킹 메타데이터에 기초하여, 헤드 마운트 디스플레이 또는 임의의 다른 디스플레이 장치의 화면 상에 프로젝션될 수 있다. 마찬가지로, 디코딩된 오디오(B'a)는 현재 시청 방향에 따라, 예를 들어, 헤드폰을 통해 렌더링될 수 있다. 현재 시청 방향은 헤드 트래킹 및 가능하게는 아이 트래킹 기능에 의해 결정될 수 있다. 디코딩된 비디오 및 오디오 신호들의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에도, 현재 시청 방향은 디코딩 최적화를 위해 비디오 및 오디오 디코더에 의해 사용될 수도 있다.
한편, 예를 들어, 멀티뷰 리전 와이즈 패킹의 신택스는 ISOBMFF, OMAF와 같은 파일 포맷 도메인에서 정의될 수 있다. 다시 말해서, 멀티뷰 리전 와이즈 패킹 정보는 ISOBMFF, OMAF와 같은 파일 포맷 도메인에서 박스 형태로 포함될 수 있다.
일 실시예에 따르면, MultiviewRegionWisePackingBox는 다음 표에 나타낸 바와 같이 정의될 수 있다.
[Table 2]
MultiviewRegionWisePackingBox는 패킹된 영역들과 뷰(예를 들어, 아이 뷰, 시청 위치 또는 시점)의 성분의 해당 프로젝션된 영역들 사이의 매핑 정보 및 만일 있다면, 가드 밴드들의 위치 및 크기 정보를 명시할 수 있다.
예를 들어, MultiviewRegionWisePackingBox는 다음 표에 나타낸 바와 같이 현재 이미지/비디오의 멀티뷰 리전 와이즈 패킹 정보를 포함할 수 있다.
[Table 3]
MultiviewRegionWisePackingBox에서 신택스들의 의미들은 전술한 멀티뷰 리전 와이즈 패킹 SEI 메시지에서 신택스의 의미들과 동일하다.
한편, 3DoF+ 컨텐츠에 대한 방송 서비스가 DASH 기반 적응형 스트리밍 모델을 통해 제공되거나 3DoF+ 컨텐츠의 비디오가 DASH 기반 적응형 스트리밍 모델을 통해 스트리밍되는 경우, 상술한 필드들 관련 메타데이터(즉, 멀티뷰 리전 와이즈 패킹 정보)는 DASH MPD에 포함된 DASH 기반 디스크립터 포맷으로 시그널링될 수 있다. 즉, 상술한 실시예들은 DASH 기반 디스크립터 포맷으로 변형될 수 있다. DASH 기반 디스크립터 포맷은 EssentialProperty 디스크립터 및 SupplementalProperty 디스크립터를 포함할 수 있다. 전술한 360 비디오 관련 메타데이터의 필드들을 나타내는 디스크립터는 MPD의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.
예를 들어, DASH 기반 디스크립터는 @schemeIdUri 필드, @value 필드 및/또는 @id 필드를 포함할 수 있다.
@schemeIdUri 필드는 방식(scheme) 또는 해당 디스크립터를 식별하기 위한 URI를 제공할 수 있다. @value 필드는 @schemeIdUri 필드에 의하여 지시되는 방식에 의해 정의된 값을 가질 수 있다. 즉, @value 필드는 대응하는 방식에 따라 파라미터들이라고 불릴 수 있는 디스크립터 요소들의 값들을 가질 수 있다. 이들은 ','로 구별할 수 있다. @id 필드는 해당 디스크립터의 ID를 나타낼 수 있다. 디스크립터들이 동일한 ID를 갖는 경우, 상기 디스크립터들은 동일한 방식 ID, 값들 및 파라미터들을 포함할 수 있다.
도 11은 멀티뷰들의 텍스처, 잔차 및 깊이 맵을 갖는 멀티 뷰 리전 와이즈 패킹의 프리인코딩 과정의 예를 도시한 것이다.
도 11을 참조하면, 각 시점 및 성분의 리전 와이즈 패킹에 기초한 멀티뷰 리전 와이즈 패킹의 프리-인코딩 처리의 예가 설명된다. 도 11에서, 시점은 변경되지 않은 것으로 가정될 수 있어서, 멀티뷰 리전 와이즈 패킹으로의 다수의 입력들은 서로 다른 시점들 및 서로 다른 성분들로부터 생성된다. 도 11에 도시된 바와 같이. 각 뷰는 스티칭, 회전, 프로젝션 및 프레임 (즉, 픽처) 패킹 과정에 의해 각 뷰의 각 성분의 프로젝션된 픽처로 생성되는 서로 다른 성분들에 의하여, 예를 들어, 텍스처 및 깊이 맵에 의하여 구성될 수 있다. 또한 뷰들 간, 예를 들어, 앵커 뷰와 우측 헤드 움직임 뷰 간 리던던시를 사용하여 텍스처의 잔차, 가능한 경우 깊이 또는 기타 성분들이 보조 뷰들을 위해 생성될 수 있다. 이는 뷰들 간의 불필요한 정보를 제거하여 비트 효율성을 높일 수 있다. 텍스처, 잔차 및 깊이를 포함하는 각 뷰의 프로젝션된 픽처들이 단일 2D 이미지 평면(예를 들어, 패킹된 픽처)으로 패킹된 다음 비디오는 HEVC 또는 VVC와 같은 단일 레이어 비디오 인코더를 사용하여 인코딩될 수 있다.
도 12는 멀티뷰 리전 와이즈 패킹의 포스트-디코더 과정의 예를 도시한 것이다. 도 12를 참조하면, 멀티뷰 리전 와이즈 패킹의 포스트-디코더 과정의 예가 설명된다. 구체적으로, 적어도 하나의 인코딩된 픽처(즉, 패킹된 픽처)에 대한 디코딩 후, 360 비디오 수신 장치의 포스트 디코더 처리부는 각 시점에 대해 뷰당 다수의 프로젝션된 픽처들을 생성할 수 있다. 그러나, 모든 이미지가 디스플레이 장치에서 재생되는 것은 아니기 때문에, 목표 프로젝션된 픽처들은 시청자의 시점 및 시청 위치에 기초하여 생성될 수 있다. 여기서, 시청자는 사용자라고 할 수 있다. 도 12에서, 시점(A)의 뷰(B)가 선택되는 것으로 가정되고, 텍스처, 잔차 및 깊이 맵과 같은 관련 프로젝션된 픽처들이 디스플레이 전에 렌더러에 입력될 수 있다. 다시 말해, 선택된 뷰B에 대한 성분들(예를 들어, 텍스처, 잔차, 깊이 맵)이 매핑된 프로젝션된 픽처들만이 디스플레이 전에 렌더러에 입력될 수 있다.
도 13은 시점A의 뷰B에 대한 텍스처, 잔차 및 깊이 맵을 갖는 멀티뷰 리전 와이즈 패킹의 디코딩 과정의 예를 도시한 것이다.
도 13을 참조하면, 디코더 및 포스트 디코더 과정의 상세한 흐름도가 설명된다. 도 13에서, HEVC 단일 계층 디코더가 디코더로서 가정된다. 도 13을 참조하면, 디코딩된 픽처가 HEVC 디코더에 의해 생성된 후, 목표 뷰 및 시점(예를 들어, 시점 A의 뷰B)에 대응하는 패킹된 영역이 선택되고, 텍스처, 잔차 및 깊이 맵과 같은 각 성분의 프로젝션된 픽처들이 생성된다. 생성된 프로젝션된 픽처들이 잔차 픽처를 포함하는 경우, 잔차 픽처에 대한 해당 텍스처 픽처(예를 들어, 앵커 뷰의 텍스처)가 생성될 수 있고, 360 비디오 수신 장치는 잔차 픽처 및 해당 텍스처 픽처에 기초하여 텍스처 합성 단계를 수행할 수 있다. 목표 뷰의 텍스처의 프로젝션된 픽처 및 깊이의 텍스처의 프로젝션된 픽처를 도출한 후, 프로젝션된 픽처들의 각각은 구면 좌표상에 매핑되고 필요한 경우 각 구의 회전을 정렬시킨다. 목표 뷰가 디코딩된 픽처에서 제공된 픽처와 정확히 일치하지 않으면, 인접한 기존 뷰 혹은 뷰들의 텍스처 및 깊이 맵을 사용하여 뷰들이 합성될 수 있다.
구체적으로, 예를 들어, 각 단계에서, 전술한 신택스 요소들은 다음과 같이 사용될 수 있다.
-뷰 선택
360 비디오 수신 장치는 목표 뷰 및 시점과 일치하는 뷰를 찾을 수 있다. 즉, 360 비디오 수신 장치는 도 3 및 4의 시점A의 뷰B를 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 및 mrwp_location_anchor_view_z[i] 필드에 의하여 주어지는 시점 위치와 앵커 뷰에 대한 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드에 의하여 주어지는 시청 위치 혹은 mrwp_location_anchor_view_x[i] 필드 + mrwp_location_diff_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 + mrwp_location_diff_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드 + mrwp_location_diff_diff_[z]에 의하여 계산되는 (x,y,z) 위치와 일치하는 뷰를 찾을 수 있다. 다시 말하면, 360 비디오 수신 장치는 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드에 의하여 주어지는 뷰의 위치, 또는 보조 뷰들에 대한 mrwp_location_anchor_view_x[i] 필드 + mrwp_location_diff_x[i] 필드, mrwp_location_anchor_view_y[i] 필드 + mrwp_location_diff_y[i] 필드 및 mrwp_location_anchor_view_z[i] 필드 + mrwp_location_diff_z[i] 필드에 의하여 계산된 뷰의 위치에 기초하여, 목표 뷰와 일치하는 뷰를 찾을 수 있다. 여기서, 상기 뷰는 시청 위치 또는 시점을 나타낼 수 있다.
또한, 시청 위치 또는 시점의 위치는 시청 위치들과 수퍼 구의 원점으로 부터의 거리뿐만 아니라 모든 시점들을 포함하는 수퍼 구에서의 방위각, 고도각 및 경사각에 의해 주어지는 방향과 같은 대안적인 방식으로 시그널링될 수 있다. 시점 및 시청 위치가 목표 시점 및 목표 시청 위치와 매칭될 때, i번째 뷰 지시자 mrwp_view_id[i] 필드가 다음 영역 선택 과정에서 사용된다.
-영역 선택
360 비디오 수신 장치는 mrwp_view_id[i] 필드에 의해 지시되는 목표 뷰와 일치하는 뷰 인덱스 view_idx[i][j] 필드를 갖는 패킹된 영역을 찾을 수 있다. 또한, mrwp_view_id[i] 필드에 의해 지시되는 i번째 뷰(예를 들어, 시청 위치)에 대응하는 모든 성분들이 사용되는 것이 아니라면, 이들 성분들은 mrwp_component_type[i][j] 필드를 사용함으로써 폐기될 수 있다.
또한, 목표 뷰의 프로젝션된 픽처의 생성에서, mrwp_proj_picture_width[i][j] 필드 및 mrwp_proj_picture_height[i][j] 필드는 mrwp_component_id[i][j] 필드에 의하여 지시되는 성분 타입 mrwp_component_type[i][j] 필드의 프로젝션된 픽처의 크기를 나타내는데 사용될 수 있다.
픽처 크기가 결정되면, packed_region_top[i] 필드, packed_region_left[i] 필드에 의하여 지시되는 위치에서 packed_region_width[i] 필드, packed_region_height[i] 필드에 의하여 지시되는 영역 크기를 가진 패킹된 픽처들로 부터 영역들이 선택될 수 있다. 다시 말하면, 패킹된 픽처에서 packed_region_top[i] 필드, packed_region_left[i] 필드, packed_region_width[i] 필드 및 packed_region_height[i] 필드에 의하여 지시되는 영역이 선택될 수 있다.
선택된 영역에 대응하는 component_idx[i][j][k] 필드에 의해 지시되는 성분 인덱스는 mrwp_component_type[i][j] 필드에 의해 지시된 성분 타입의 프로젝션된 픽처상에 맵핑될 수 있다. mrwp_component_type[i][j] 필드에 의하여 지시되는 성분 타입은 component_idx[i][j][k] 필드에 대응하는 mrwp_component_id[i][j] 필드에 해당한다. 프로젝션된 픽처로의 영역 선택 및 매핑은 num_packed_regions 필드에 의해 시그널링되는 모든 수들의 패킹된 영역들에 대해 수행될 수 있고, 출력은 선택된 뷰 및 시점의 선택된 성분들의 프로젝션된 픽처일 수 있다.
텍스처 합성(composition)
선택된 뷰의 성분들이 잔차를 포함하는 경우, 선택된 뷰의 텍스처의 프로젝션된 픽처는 선택된 뷰와 참조 픽처의 잔차, 예를 들어, 앵커 뷰의 텍스처의 프로젝션된 픽처를 합성함으로써 생성될 수 있다. 이 단계에서 디코더들이 다수의 뷰들로 부터의 픽처들을 생성해야 할 수도 있다. 상세한 과정은 움직임 추정, 적절한 움직임 정보를 갖는 뷰들 간의 보상을 포함할 수 있다. 깊이 맵과 같은 다른 성분들은 잔차들에 의해 전달될 수 있다.
-구면 좌표 변환
선택된 뷰 내에서 또는 뷰들간에 성분들을 정렬시키기 위해, mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드, mrwp_rotation_anchor_view_roll[i] 필드 또는 mrwp_rotation_diff_yaw[i] mrwp_rotation_diff_pitch[i] 필드 인 mrwp_rotation_diff_roll[i] 필드에 의하여 지시되는 각 뷰의 회전이 글로벌 좌표와 정렬할 수 있다.
-뷰 합성(synthesis)
선택된 뷰가 목표 뷰와 일치하지 않으면, 인접한 뷰들의 텍스처 및 깊이를 사용하여 뷰를 합성할 수 있다. 여기서, 인접 뷰들이란 목표 뷰의 위치에 인접한 뷰들일 수 있다. 또한, 상세한 과정은 뷰들 사이의 깊이 변화 추정 과정을 포함할 수 있고, depth_near[i][j] 필드 및 depth_far[i][j] 필드와 같은 깊이 정보는 뷰들 사이의 깊이 변화들을 추정하는데 사용될 수 있다.
도 14a 및 14b는 다중 뷰들을 포함하는 비디오에 대한 멀티뷰 리전 와이즈 패킹 과정의 예들을 도시한 것이다. 도 14a는 다수의 시청 위치들의 패킹된 픽처에 대한 멀티뷰 리전 와이즈 패킹 과정의 예를 도시한 것이다. 도 14b는 아이 뷰들의 패킹된 픽처에 대한 멀티뷰 리전 와이즈 패킹 과정의 예를 도시한 것이다.
도 14a 및 도 14b를 참조하면, 패킹된 픽처의 크기는 시청 위치들 사이 또는 아이 뷰들 사이에서 영역을 공유함으로써 효율적으로 감소될 수 있다. 도 14a에서, 시청 위치들 사이의 공유 영역들의 2 가지 서로 다른 사용 케이스들이 도시된다. 구체적으로, 영역들 사이에 높은 상관 관계가 있다면, 하나의 뷰로부터 하나의 영역이 도 14a의 (a)에 도시된 바와 같이 다른 영역의 대용으로 사용될 수 있다. 또한, 하나의 뷰로부터의 하나의 영역은 도 14a의 (b)에 도시된 바와 같이 추가 잔차를 이용하여 기본 픽처로 사용될 수 있다. 이 과정에서, 공유 영역은 뷰들 간 영역 중 하나 혹은 뷰들의 평균의 영역일 수 있다.
유사하게, 영역들은 좌측 및 우측 아이 뷰의 프로젝션된 픽처들 간에 공유될 수 있다. 도 14b에서, 아이 뷰들 사이의 영역들을 공유하는 두가지 서로 다른 사용 케이스들이 도시되어 있다.
예를 들어, 하나의 아이 뷰로부터의 하나의 영역은 도 14b의 (a)에 도시된 바와 같이 다른 영역의 대용으로 사용될 수 있다. 또한, 하나의 아이 뷰로부터의 하나의 영역은 도 14b의 (b)에 도시된 바와 같이 추가 잔차를 이용하여 기본 픽처로 사용될 수 있다.
도 15는 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다. 도 15에 도시된 방법은 도 8에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 15의 S1500은 360 비디오 전송 장치의 데이터 입력부에 의해 수행될 수 있고, S1510은 360 비디오 전송 장치의 프로젝션 처리부에 의해 수행될 수 있고, S1520은 360 비디오 전송 장치의 패킹 처리부에 의해 수행될 수 있고, S1530은 360 비디오 전송 장치의 데이터 인코더에 의해 수행될 수 있으며, S1540은 360 비디오 전송 장치의 메타데이터 인코더에 의해 수행될 수 있고, S1550은 360 비디오 전송 장치의 전송 처리부에 의해 수행될 수 있다.
360 비디오 전송 장치는 다수의 뷰들 대한 360도 비디오를 획득한다(S1500). 360 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡처된 뷰들의 360 비디오를 획득할 수 있다. 여기서, 뷰들은 아이 뷰들, 시청 위치들 또는 시점들을 나타낼 수 있다.
360 비디오 전송 장치는 360도 비디오를 처리하여 뷰들에 대한 프로젝션된 픽처들을 생성한다(S1510). 360 비디오 전송 장치는 다양한 프로젝션 방식 중에서 각 뷰의 360 비디오 데이터에 대한 프로젝션 방식에 따라 프로젝션을 수행할 수 있다. 또한, 360 비디오 전송 장치는 각 뷰의 360 비디오 데이터가 스티칭되는지 판단할 수 있다. 예를 들어, 360 비디오 전송 장치는 프로젝션 방식이 특정 방식에 해당하는 경우, 각 뷰의 360 비디오 데이터가 스티칭되지 않은 것으로 판단할 수 있다. 즉, 360 비디오 데이터에 대한 프로젝션 방식 정보는 특정 방식을 나타낸다. 또한, 다양한 프로젝션 방식들은 등장방형 프로젝션 방식, 정육면체의 프로젝션 방식, 원기둥형 프로젝션 방식, 타일 기반 프로젝션 방식, 피라미드 프로젝션 방식, 파노라마 프로젝션 방식 및 비디오 데이터를 2D 이미지상에 스티칭없이 직접 프로젝션하는 특정 방식을 포함할 수 있다.
또한, 각 뷰의 360 비디오 데이터의 경우, 360 비디오 전송 장치는 각 뷰의 360 비디오 데이터를 스티칭하고 스티칭된 360 비디오 데이터를 각 뷰의 2D 기반 픽처에 프로젝션할 수 있다. 각 뷰의 360 비디오 데이터가 스티칭되지 않은 경우, 360 비디오 전송 장치는 스티칭없이 각 뷰의 2D 기반 픽처에 360 비디오 데이터를 프로젝션할 수 있다. 여기서, 2D 기반 픽처는 각각의 뷰의 2D 이미지 또는 프로젝션된 픽처라 불릴 수 있다. 또한, 360 비디오 전송 장치는 각 뷰의 프로젝션 성분들을 각각 프로젝션하여 그 성분들의 각각의 프로젝션 픽처를 도출할 수 있다. 예를 들어, 상기 성분들은 텍스처, 깊이 및/또는 잔차를 포함할 수 있다.
360 비디오 전송 장치는 프로젝션된 픽처들을 패킹하여 패킹된 픽처를 생성한다(S1520). 360 비디오 전송 장치는 프로젝션된 픽처에 대해 리전 와이즈 패킹 과정을 수행할 수 있다. 리전 와이즈 패킹 과정에 따르면 뷰들의 프로젝션된 픽처들이 2D 이미지 평면에 패킹된다. 여기서, 2D 이미지 평면은 패킹된 픽처로 지칭될 수 있다. 예를 들어, 프로젝션된 픽처에서 프로젝션된 영역은 패킹된 픽처의 패킹된 영역에 매핑될 수 있다. 또한, 프로젝션된 픽처에서 프로젝션된 영역에 변환이 적용되고 프로젝션된 영역은 패킹된 픽처에서 패킹된 영역에 매핑된다. 360 비디오 전송 장치는 변환의 타입을 나타내는 정보를 생성할 수 있다. 또한, 360 비디오 전송 장치는 패킹된 영역의 가드 밴드를 생성할 수 있다. 멀티뷰 리전 와이즈 패킹 정보는 패킹된 영역의 가드 밴드에 관한 정보를 포함할 수 있다.
360 비디오 전송 장치는 패킹된 픽처를 인코딩한다(S1530). 360 비디오 전송 장치는 패킹된 픽처를 인코딩할 수 있다.
360 비디오 전송 장치는 360도 비디오에 대한 메타데이터를 생성한다(S1540). 360 비디오 전송 장치는 멀티뷰 리전 와이즈 패킹에 대한 메타데이터를 생성할 수 있다.
예를 들어, 메타데이터는 멀티뷰 리전 와이즈 패킹 정보를 포함할 수 있다. 여기서, 메타데이터는 시그널링 정보로 지칭될 수 있다.
멀티 뷰 리전 와이즈 패킹 정보는 multiview_regionwise_packing_id 필드, multiview_regionwise_packing_cancel_flag 필드, multiview_regionwise_packing_persistence_flag 필드, constituent_picture_matching_flag 필드, packing_format_matching_between_views_flag 필드, num_view_minus1 필드, mrwp_view_id[i] 필드, mrwp_anchor_view_flag[i] 필드, mrwp_view_independent_rotation_flag[i] 필드, mrwp_all_components_in_one_packedregion_flag[i] 필드, mrwp_reserved_zero_4bits[i] 필드, mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드, mrwp_location_anchor_view_z[i] 필드, mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드, mrwp_rotation_anchor_view_roll[i] 필드, mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드, mrwp_location_diff_z[i] 필드, mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드, mrwp_rotation_diff_roll[i] 필드, num_component_minus1[i] 필드, mrwp_component_id[i][j] 필드, mrwp_component_type[i][j] 필드, mrwp_projection_type[i][j] 필드, mrwp_proj_picture_width[i][j] 필드, mrwp_proj_picture_height[i][j] 필드, mrwp_coverage_horizontal[i][j] 필드, mrwp_coverage_vertical[i][j] 필드, depth_near[i][j] 필드, depth_far[i][j] 필드, mrwp_rotation_component_diff_yaw[i][j] 필드, mrwp_rotation_component_diff_pitch[i][j] 필드, mrwp_rotation_component_diff_roll[i][j] 필드, mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드, mrwp_packed_region_left[i][j] 필드, num_packed_regions 필드, packed_picture_width 필드, packed_picture_height 필드, num_view_id_minus1[i] 필드, view_idx[i][j] 필드, num_component_id_minus1[i][j] 필드, component_idx[i][j][k] 필드, proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드, proj_region_left[i][j][k] 필드, rwp_reserved_zero_4bits[i] 필드, rwp_transform_type[i] 필드, rwp_guard_band_flag[i] 필드, packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드, packed_region_left[i] 필드, rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_height[i] 필드, rwp_bottom_guard_band_height[i] 필드, rwp_guard_band_not_used_for_pred_flag[i] 필드, rwp_guard_band_type[i] 필드 및/또는 rwp_guard_band_reserved_zero_3bits[i][j] 필드를 포함할 수 있다. 멀티뷰 리전 와이즈 패킹 정보의 필드들의 의미는 전술한 의미와 동일하다.
구체적으로, 멀티뷰 리전 와이즈 패킹 정보는 뷰들의 각각에 관한 정보를 포함할 수 있다.
예를 들어, 멀티뷰 리전 와이즈 패킹 정보는 뷰에 관한 정보를 포함할 수 있다.
일 실시예에 따르면, 뷰에 관한 정보는 뷰의 식별 번호를 나타내는 뷰의 뷰 인덱스를 포함할 수 있다. 뷰의 뷰 인덱스는 mrwp_view_id[i] 필드를 나타낼 수 있다.
또한, 뷰에 관한 정보는 뷰에 대한 성분들의 개수를 나타내는 정보를 포함할 수 있다. 뷰에 관한 정보는 뷰에 대한 프로젝션된 픽처의 각 성분에 관한 정보를 포함할 수 있다. 뷰의 성분들의 개수를 나타내는 정보는 num_component_minus1[i] 필드를 나타낼 수 있다.
예를 들어, 프로젝션된 픽처의 성분에 관한 정보는 성분의 식별 번호를 나타내는 뷰의 성분 인덱스, 및 성분의 타입을 나타내는 정보를 포함할 수 있다. 또한, 프로젝션된 픽처의 성분에 관한 정보는 프로젝션된 픽처의 프로젝션 타입을 나타내는 정보를 포함할 수 있다. 뷰의 성분 인덱스는 mrwp_component_id[i][j] 필드를 나타낼 수 있고, 성분의 타입을 나타내는 정보는 mrwp_component_type[i][j] 필드를 나타낼 수 있다. 프로젝션된 픽처의 프로젝션 타입을 나타내는 정보는 mrwp_projection_type[i][j] 필드를 나타낼 수 있다. 프로젝션 타입은 등장방형 프로젝션 및 정육면체 맵 프로젝션 중 하나이다.
또한, 프로젝션된 픽처의 성분에 관한 정보는 프로젝션된 픽처의 폭 및 높이를 나타내는 정보, 및 성분의 수평 커버리지 및 수직 커버리지를 나타내는 정보를 포함할 수 있다. 프로젝션된 픽처의 폭 및 높이를 나타내는 정보는 각각 mrwp_proj_picture_width[i][j] 필드 및 mrwp_proj_picture_height[i][j] 필드를 나타낼 수 있다.
또한, 뷰에 관한 정보는 뷰가 앵커 뷰인지를 나타내는 앵커 뷰 플래그를 포함할 수 있다. 앵커 뷰 플래그가 뷰가 앵커 뷰임을 나타내는 경우, 뷰에 관한 정보는 앵커 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 앵커 뷰 플래그는 mrwp_anchor_view_flag[i] 필드를 나타낼 수 있다. 앵커 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드, mrwp_location_anchor_view_z[i] 필드를 나타낼 수 있다.
또한, 앵커 뷰 플래그가 뷰가 앵커 뷰임을 나타내는 경우, 뷰에 관한 정보는 앵커 뷰의 회전의 요 각도, 피치 각도 및 롤 각도를 나타내는 정보를 포함할 수 있다. 앵커 뷰의 회전의 요 각도, 피치 각도 및 회전의 롤 각도를 나타내는 정보는 각각 mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드, mrwp_rotation_anchor_view_roll[i] 필드를 나타낼 수 있다.
또한, 앵커 뷰 플래그가 뷰가 앵커 뷰가 아님을 나타내는 경우, 뷰에 관한 정보는 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보 및 뷰의 회전의 요 각도, 피치 각도 및 롤 각도를 나타내는 정보를 포함할 수 있다. 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드, mrwp_location_diff_z[i] 필드를 나타낼 수 있다. 뷰의 회전의 요 각도, 피치 각도 및 회전 각도를 나타내는 정보는 각각 mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드, mrwp_rotation_diff_roll[i] 필드를 나타낼 수 있다.
또한, 뷰에 관한 정보는 하나의 패킹된 영역이 뷰의 프로젝션된 픽처의 모든 성분으로 구성되는지를 나타내는 플래그를 포함할 수 있다. 플래그의 값이 1인 경우, 뷰에 관한 정보는 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보는 각각 mrwp_packed_region_top[i][j] 필드 및 mrwp_packed_region_left[i][j] 필드를 나타낼 수 있다. 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보는 각각 mrwp_packed_region_width[i][j] 필드 및 mrwp_packed_region_height[i][j] 필드를 나타낼 수 있다.
또한, 예를 들어, 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역에 관한 정보를 포함할 수 있다. 패킹된 픽처는 다수의 패킹된 영역들을 포함할 수 있고, 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역들의 각각에 관한 정보를 포함할 수 있다. 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역들의 개수를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역들의 개수를 나타내는 정보는 num_packed_regions 필드를 나타낼 수 있다.
구체적으로, 패킹된 영역에 관한 정보는 패킹된 영역에 대한 뷰의 식별 번호를 나타내는 패킹된 영역에 대한 뷰 인덱스 및 패킹된 영역에 대한 뷰의 성분의 식별 번호를 나타내는 성분 인덱스를 포함할 수 있다. 패킹된 영역에 대한 뷰 인덱스는 view_idx[i][j] 필드를 나타낼 수 있고, 패킹된 영역에 대한 뷰의 성분의 식별 번호를 나타내는 성분 인덱스는 component_idx[i][j][k]를 나타낼 수 있다. 멀티뷰 리전 와이즈 패킹 정보는 패킹된 영역에 대한 뷰의 성분들의 개수에 관한 정보를 포함할 수 있다. 패킹된 영역에 관한 정보는 패킹된 영역에 대한 뷰의 성분들의 개수를 나타내는 정보를 포함할 수 있다. 패킹된 영역에 대한 뷰의 성분들의 개수를 나타내는 정보는 num_component_id_minus1[i][j] 필드를 나타낼 수 있다.
또한, 패킹된 영역에 관한 정보는 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 뷰의 프로젝션된 픽처의 도출 과정에서, 패킹된 영역은 프로젝션된 픽처에서 프로젝션된 영역에 매핑될 수 있다. 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 상단-좌측 샘플 위치를 나타내는 정보는 각각 proj_region_top[i][j][k] 필드 및 proj_region_left[i][j][k] 필드를 나타낼 수 있다. 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 폭 및 높이를 나타내는 정보는 각각 proj_region_width[i][j][k] 필드 및 proj_region_height[i][j][k] 필드를 나타낼 수 있다.
또한, 패킹된 영역에 관한 정보는 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 패킹된 픽처에서의 패킹된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역의 좌측 상단 샘플 위치를 나타내는 정보는 각각 packed_region_top[i] 필드 및 packed_region_left[i] 필드를 나타낼 수 있다. 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보는 각각 packed_region_width[i] 필드 및 packed_region_height[i] 필드를 나타낼 수 있다.
또한, 예를 들어, 패킹된 영역에 관한 정보는 패킹된 영역의 가드 밴드가 존재하는지를 나타내는 가드 밴드 플래그를 포함할 수 있다. 가드 밴드 플래그는 rwp_guard_band_flag[i] 필드를 나타낼 수 있다.
또한, 가드 밴드 플래그가 패킹된 영역의 가드 밴드가 존재함을 나타내는 경우, 패킹된 영역에 관한 정보는 패킹된 영역의 왼쪽 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 오른쪽 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 상부 가드 밴드의 높이를 나타내는 정보 및 패킹된 영역의 하부 가드 밴드의 높이를 나타내는 정보를 포함할 수 있다. 패킹된 영역의 좌측 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 우측 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 상부 가드 밴드의 높이를 나타내는 정보 및 패킹된 영역의 하부 가드 대역의 높이는 각각 rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_width[i] 필드, rwp_bottom_guard_band_width[i] 필드를 나타낼 수 있다.
360 비디오 전송 장치는 인코딩된 픽처 및 메타데이터의 저장 또는 전송을 위한 처리를 수행한다(S1550). 360 비디오 전송 장치는 360도 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 파일로 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 인코딩된 360 비디오 데이터 및/또는 메타데이터를 저장 또는 전송하기 위하여 360도 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 ISOBMFF 및 CFF와 같은 파일 포맷으로 인캡슐레이션하거나 360도 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 DASH 세그먼트들과 같은 형태로 처리할 수 있다. 예를 들어, 메타데이터는 ISOBMFF로 다양한 레벨에서 박스들에 포함되거나 파일에 있는 별도의 트랙에 데이터로 포함될 수 있다. 또한, 360 비디오 전송 장치는 메타데이터를 파일에 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 파일 포맷에 따라 인캡슐레이션된 360 비디오 데이터에 대하여 전송을 위한 처리를 수행할 수 있다. 360 비디오 전송 장치는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 전송을 위한 처리는 방송망을 통한 전달을 위한 처리 또는 브로드밴드와 같은 통신망을 통한 전달을 위한 처리를 포함할 수 있다. 또한, 360 비디오 전송 장치는 메타데이터에 대하여 전송을 위한 처리를 수행할 수 있다. 360 비디오 전송 장치는 처리된 360 비디오 데이터 및 메타데이터를 방송망 및/또는 브로드밴드를 통해 전송할 수 있다.
도 16은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 도시한 것이다. 도 15에 도시된 방법은 도 16에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 16의 360 비디오 전송 장치의 데이터 입력부는 도 15에서 S1500을 수행할 수 있으며, 도 16의 360 비디오 전송 장치의 프로젝션 처리부는 도 15에서 S1510을 수행할 수 있으며, 도 16의 360 비디오 전송 장치의 패킹 처리부는 도 15에서 S1520을 수행할 수 있으며, 도 16의 360 비디오 전송 장치의 데이터 인코더는 도 15에서 S1530을 수행할 수 있으며, 도 16의 360 비디오 전송 장치의 메타데이터 인코더는 도 15에서 S1540을 수행할 수 있으며, 도 16의 360 비디오 전송 장치의 전송 처리부는 도 15에서 S1550을 수행할 수 있다.
본 발명에 따르면, 헤드 움직임 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에서 상호작용 경험을 제공하는 방법을 제안할 수 있다.
또한, 본 발명에 따르면, 다수의 뷰들에 대한 성분들을 포함하는 패킹된 픽처가 멀티뷰 리전 와이즈 패킹에 의해 생성될 수 있다. 따라서, 뷰들 간의 불필요한 정보를 제거함으로써 3DoF+ 컨텐츠의 비트 효율이 증가될 수 있다.
도 17은 본 발명에 따른 360 비디오 수신 장치에 의하여 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한 것이다. 도 17에 도시된 방법은 도 9에 도시된 360 비디오 수신 장치에 의하여 수행될 수 있다. 구체적으로, 도 17에서 S1700은 360 비디오 수신 장치의 데이터 입력부에 의하여 수행될 수 있고, S1710은 360 비디오 수신 장치의 수신 처리부/파일 추출부에 의하여 수행될 수 있고, S1720은 360 비디오 수신 장치의 데이터 디코더에 의하여 수행될 수 있으며 S1730 및 S1740은 360 비디오 수신 장치의 언패킹 처리부에 의하여 수행될 수 있으며 S1750은 360 비디오 수신 장치의 렌더러에 의하여 수행될 수 있다.
360 비디오 수신 장치는 다수의 뷰들에 대한 360도 비디오 데이터를 수신한다(S1700). 360 비디오 수신 장치는 뷰들에 대한 360도 비디오 데이터를 수신할 수 있다. 여기서, 상기 뷰들은 아이 뷰들, 시청 위치들 또는 시점들을 나타낼 수 있다. 360도 비디오 데이터는 각 뷰에 대한 비디오 스트림을 포함할 수 있다. 뷰에 대한 비디오 스트림은 메타데이터 및 인코딩된 패킹된 픽처에 관한 정보를 포함할 수 있다. 상기 뷰들은 적어도 하나의 뷰 세트를 포함할 수 있고, 뷰 세트는 앵커 뷰를 포함할 수 있다.
360 비디오 수신 장치는 방송망을 통해 360 비디오 전송 장치로부터 시그널링된 360도 비디오 데이터를 수신할 수 있다. 또한, 360 비디오 수신 장치는 브로드밴드 또는 저장 매체와 같은 통신망을 통해 360도 비디오 데이터를 수신할 수 있다.
360 비디오 수신 장치는 메타데이터 및 패킹된 픽처에 관한 정보를 도출한다(S1710). 360 비디오 수신 장치는 패킹된 픽처에 대한 수신된 정보에 대하여 그리고 메타데이터에 대하여 전송 프로토콜에 따른 처리를 수행할 수 있다. 또한, 360 비디오 수신 장치는 360 비디오 전송 장치의 전송을 위한 처리와 반대되는 처리를 수행할 수 있다.
여기서, 360도 비디오 데이터에 대한 메타데이터는 시그널링 정보로 지칭될 수 있다. 한편, 메타데이터는 SEI 메시지를 통해 전송될 수 있다. 또한, 메타데이터는 MPD(Media Presentation Description)의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.
예를 들어, 메타데이터는 멀티뷰 리전 와이즈 패킹 정보를 포함할 수 있다.
멀티 뷰 리전 와이즈 패킹 정보는 multiview_regionwise_packing_id 필드, multiview_regionwise_packing_cancel_flag 필드, multiview_regionwise_packing_persistence_flag 필드, constituent_picture_matching_flag 필드, packing_format_matching_between_views_flag 필드, num_view_minus1 필드, mrwp_view_id[i] 필드, mrwp_anchor_view_flag[i] 필드, mrwp_view_independent_rotation_flag[i] 필드, mrwp_all_components_in_one_packedregion_flag[i] 필드, mrwp_reserved_zero_4bits[i] 필드, mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드, mrwp_location_anchor_view_z[i] 필드, mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드, mrwp_rotation_anchor_view_roll[i] 필드, mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드, mrwp_location_diff_z[i] 필드, mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드, mrwp_rotation_diff_roll[i] 필드, num_component_minus1[i] 필드, mrwp_component_id[i][j] 필드, mrwp_component_type[i][j] 필드, mrwp_projection_type[i][j] 필드, mrwp_proj_picture_width[i][j] 필드, mrwp_proj_picture_height[i][j] 필드, mrwp_coverage_horizontal[i][j] 필드, mrwp_coverage_vertical[i][j] 필드, depth_near[i][j] 필드, depth_far[i][j] 필드, mrwp_rotation_component_diff_yaw[i][j] 필드, mrwp_rotation_component_diff_pitch[i][j] 필드, mrwp_rotation_component_diff_roll[i][j] 필드, mrwp_packed_region_width[i][j] 필드, mrwp_packed_region_height[i][j] 필드, mrwp_packed_region_top[i][j] 필드, mrwp_packed_region_left[i][j] 필드, num_packed_regions 필드, packed_picture_width 필드, packed_picture_height 필드, num_view_id_minus1[i] 필드, view_idx[i][j] 필드, num_component_id_minus1[i][j] 필드, component_idx[i][j][k] 필드, proj_region_width[i][j][k] 필드, proj_region_height[i][j][k] 필드, proj_region_top[i][j][k] 필드, proj_region_left[i][j][k] 필드, rwp_reserved_zero_4bits[i] 필드, rwp_transform_type[i] 필드, rwp_guard_band_flag[i] 필드, packed_region_width[i] 필드, packed_region_height[i] 필드, packed_region_top[i] 필드, packed_region_left[i] 필드, rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_height[i] 필드, rwp_bottom_guard_band_height[i] 필드, rwp_guard_band_not_used_for_pred_flag[i] 필드, rwp_guard_band_type[i] 필드 및/또는 rwp_guard_band_reserved_zero_3bits[i][j] 필드를 포함할 수 있다. 멀티뷰 리전 와이즈 패킹 정보의 필드의 의미는 전술한 의미와 동일하다.
구체적으로, 멀티뷰 리전 와이즈 패킹 정보는 뷰들의 각각에 관한 정보를 포함할 수 있다.
예를 들어, 멀티뷰 리전 와이즈 패킹 정보는 목표 뷰에 관한 정보를 포함할 수 있다. 여기서, 목표 뷰는 시청자의 아이 뷰, 시청 위치 또는 시점에 기초하여 도출될 수 있다. 360 비디오 수신 장치는 메타데이터를 이용하여 뷰들의 위치 및/또는 시청 방향을 시청자의 아이 뷰, 시청 위치 또는 시점과 비교하여 목표 뷰를 선택할 수 있다.
일 실시예에 따르면, 목표 뷰에 관한 정보는 목표 뷰의 식별 번호를 나타내는 목표 뷰의 뷰 인덱스를 포함할 수 있다. 목표 뷰의 뷰 인덱스는 mrwp_view_id[i] 필드를 나타낼 수 있다.
또한, 목표 뷰에 관한 정보는 목표 뷰에 대한 성분들의 개수를 나타내는 정보를 포함할 수 있다. 목표 뷰에 관한 정보는 목표 뷰에 대한 프로젝션된 픽처의 각 성분에 관한 정보를 포함할 수 있다. 목표 뷰에 대한 성분들의 개수를 나타내는 정보는 num_component_minus1[i] 필드를 나타낼 수 있다.
예를 들어, 프로젝션된 픽처의 성분에 관한 정보는 성분의 식별 번호를 나타내는 목표 뷰의 성분 인덱스 및 성분의 타입을 나타내는 정보를 포함할 수 있다. 또한, 프로젝션된 픽처의 성분에 관한 정보는 프로젝션된 픽처의 프로젝션 타입을 나타내는 정보를 포함할 수 있다. 목표 뷰의 성분 인덱스는 mrwp_component_id[i][j] 필드를 나타낼 수 있고, 성분의 타입을 나타내는 정보는 mrwp_component_type[i][j] 필드를 나타낼 수 있다. 프로젝션된 픽처의 프로젝션 타입을 나타내는 정보는 mrwp_projection_type[i][j] 필드를 나타낼 수 있다. 프로젝션 타입은 등장방형 프로젝션 및 정육면체 맵 프로젝션 중 하나이다.
또한, 프로젝션된 픽처의 성분에 관한 정보는 프로젝션된 픽처의 폭 및 높이를 나타내는 정보, 및 성분의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 프로젝션된 픽처의 폭 및 높이를 나타내는 정보는 각각 mrwp_proj_picture_width[i][j] 필드 및 mrwp_proj_picture_height[i][j] 필드를 나타낼 수 있다.
또한, 목표 뷰에 관한 정보는 목표 뷰가 앵커 시점인지를 나타내는 앵커 뷰 플래그를 포함할 수 있다. 앵커 뷰 플래그가 목표 뷰가 앵커 뷰임을 나타내는 경우, 목표 뷰에 관한 정보는 앵커 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 앵커 뷰 플래그는 mrwp_anchor_view_flag[i] 필드를 나타낼 수 있다. 앵커 시청 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 mrwp_location_anchor_view_x[i] 필드, mrwp_location_anchor_view_y[i] 필드, mrwp_location_anchor_view_z[i] 필드를 나타낼 수 있다.
또한, 앵커 뷰 플래그가 목표 뷰가 앵커 뷰임을 나타내는 경우, 목표 뷰에 관한 정보는 앵커 뷰의 회전의 요 각도, 피치 각도 및 롤 각도를 나타내는 정보를 포함할 수 있다. 앵커 뷰의 회전의 요 각도, 피치 각도 및 회전의 롤 각도를 나타내는 정보는 각각 mrwp_rotation_anchor_view_yaw[i] 필드, mrwp_rotation_anchor_view_pitch[i] 필드, mrwp_rotation_anchor_view_roll[i] 필드를 나타낼 수 있다.
또한, 앵커 뷰 플래그가 목표 뷰가 앵커 뷰가 아님을 나타내는 경우, 목표 뷰에 관한 정보는 목표 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보 및 목표 뷰의 회전의 요 각도, 피치 각도 및 롤 각도를 지시하는 정보를 포함할 수 있다. 목표 뷰의 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 mrwp_location_diff_x[i] 필드, mrwp_location_diff_y[i] 필드, mrwp_location_diff_z[i] 필드를 나타낼 수 있다. 목표 뷰의 회전의 요 각도, 피치 각도 및 롤 각도를 나타내는 정보는 각각 mrwp_rotation_diff_yaw[i] 필드, mrwp_rotation_diff_pitch[i] 필드, mrwp_rotation_diff_roll[i] 필드를 나타낼 수 있다.
또한, 목표 뷰에 관한 정보는 하나의 패킹된 영역이 목표 뷰의 프로젝션된 픽처의 모든 성분으로 구성되는지를 나타내는 플래그를 포함할 수 있다. 플래그의 값이 1인 경우, 목표 뷰에 관한 정보는 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보는 각각 mrwp_packed_region_top[i][j] 필드 및 mrwp_packed_region_left[i][j] 필드를 나타낼 수 있다. 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보는 각각 mrwp_packed_region_width[i][j] 필드 및 mrwp_packed_region_height[i][j] 필드를 나타낼 수 있다.
또한, 예를 들어, 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역에 관한 정보를 포함할 수 있다. 패킹된 픽처는 다수의 패킹된 영역들을 포함할 수 있고, 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역들의 각각에 관한 정보를 포함할 수 있다. 멀티뷰 리전 와이즈 패킹 정보는 패킹된 픽처에서 패킹된 영역들의 개수를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역들의 개수를 나타내는 정보는 num_packed_regions 필드를 나타낼 수 있다.
구체적으로, 패킹된 영역에 관한 정보는 패킹된 영역에 대한 뷰의 식별 번호를 나타내는 패킹된 영역에 대한 뷰 인덱스 및 패킹된 영역에 대한 뷰의 성분의 식별 번호를 나타내는 성분 인덱스를 포함할 수 있다. 패킹된 영역에 대한 뷰 인덱스는 view_idx[i][j] 필드를 나타낼 수 있고, 패킹된 영역에 대한 뷰의 성분의 식별 번호를 나타내는 성분 인덱스는 component_idx[i][j][k]를 나타낼 수 있다. 멀티뷰 리전 와이즈 패킹 정보는 패킹된 영역에 대한 뷰의 성분들의 개수에 관한 정보를 포함할 수 있다. 패킹된 영역에 관한 정보는 패킹된 영역에 대한 뷰의 성분들의 개수를 나타내는 정보를 포함할 수 있다. 패킹된 영역에 대한 뷰의 성분들의 개수를 나타내는 정보는 num_component_id_minus1[i][j] 필드를 나타낼 수 있다.
또한, 패킹된 영역에 관한 정보는 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 뷰의 프로젝션된 픽처에서의 프로젝션된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 뷰의 프로젝션된 픽처의 도출 과정에서, 패킹된 영역은 프로젝션된 픽처에서 프로젝션된 영역에 매핑될 수 있다. 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 상단-좌측 샘플 위치를 나타내는 정보는 각각 proj_region_top[i][j][k] 필드 및 proj_region_left[i][j][k] 필드를 나타낼 수 있다. 뷰의 프로젝션된 픽처에서 프로젝션된 영역의 폭 및 높이를 나타내는 정보는 각각 proj_region_width[i][j][k] 필드 및 proj_region_height[i][j][k] 필드를 나타낼 수 있다.
또한, 패킹된 영역에 관한 정보는 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보 및 패킹된 픽처에서의 패킹된 영역의 폭 및 높이를 나타내는 정보를 포함할 수 있다. 패킹된 픽처에서 패킹된 영역의 상단-좌측 샘플 위치를 나타내는 정보는 각각 packed_region_top[i] 필드 및 packed_region_left[i] 필드를 나타낼 수 있다. 패킹된 픽처에서 패킹된 영역의 폭 및 높이를 나타내는 정보는 각각 packed_region_width[i] 필드 및 packed_region_height[i] 필드를 나타낼 수 있다.
한편, 패킹된 영역에 대한 뷰 인덱스의 값이 목표 뷰의 뷰 인덱스의 값과 일치하고 패킹된 영역에 대한 성분 인덱스의 값이 목표 뷰의 성분 인덱스의 값과 일치하는 경우, 패킹된 영역은 목표 뷰의 프로젝션된 픽처에 대한 특정 패킹된 영역으로서 도출될 수 있다.
또한, 예를 들어, 패킹된 영역에 관한 정보는 패킹된 영역의 가드 밴드가 존재하는지를 나타내는 가드 밴드 플래그를 포함할 수 있다. 가드 밴드 플래그는 rwp_guard_band_flag[i] 필드를 나타낼 수 있다.
또한, 가드 밴드 플래그가 패킹된 영역의 가드 밴드가 존재함을 나타내는 경우, 패킹된 영역에 관한 정보는 패킹된 영역의 왼쪽 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 오른쪽 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 상부 가드 밴드의 높이를 나타내는 정보 및 패킹된 영역의 하부 가드 밴드의 높이를 나타내는 정보를 포함할 수 있다. 패킹된 영역의 좌측 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 우측 가드 밴드의 폭을 나타내는 정보, 패킹된 영역의 상부 가드 밴드의 높이를 나타내는 정보 및 패킹된 영역의 하부 가드 대역의 높이는 각각 rwp_left_guard_band_width[i] 필드, rwp_right_guard_band_width[i] 필드, rwp_top_guard_band_width[i] 필드, rwp_bottom_guard_band_width[i] 필드를 나타낼 수 있다.
360 비디오 수신 장치는 패킹된 픽처에 관한 정보에 기초하여 패킹된 픽처를 디코딩한다(S1720). 360 비디오 수신 장치는 패킹된 픽처에 관한 정보에 기초하여 패킹된 픽처를 디코딩할 수 있다.
360 비디오 수신 장치는 메타데이터에 기초하여 패킹된 픽처로 부터 목표 뷰에 대한 특정 패킹된 영역을 도출한다(S1730). 360 비디오 수신 장치는 패킹된 영역에 대한 뷰 인덱스 및 패킹된 영역에 대한 성분 인덱스에 기초하여 패킹된 영역을 선택할 수 있다. 예를 들어, 패킹된 영역에 대한 뷰 인덱스의 값이 목표 뷰의 뷰 인덱스 값과 일치하고 패킹된 영역에 대한 성분 인덱스 값이 목표 뷰의 성분 인덱스 값과 일치하는 경우, 패킹된 영역은 특정 패킹된 영역으로서 도출된다.
360 비디오 수신 장치는 특정 패킹된 영역 및 메타데이터에 기초하여 목표 뷰의 프로젝션 픽처를 도출한다(S1740). 특정 패킹된 영역은 프로젝션된 픽처에서 프로젝션된 영역에 매핑된다. 특정 패킹된 영역에 대한 프로젝션된 영역은 특정 패킹된 영역에 관한 정보를 기반으로 도출된다.
360 비디오 수신 장치는 메타데이터에 기초하여 프로젝션된 픽처를 렌더링한다(S1750). 예를 들어, 360 비디오 수신 장치는 디코딩된 픽처에 대해 리프로젝션을 수행할 수 있다. 360 비디오 수신 장치는 메타데이터에 기초하여 디코딩된 픽처를 3D 공간상에 리프로젝션할 수 있다. 3D 공간은 목표 뷰의 성분에 대한 프로젝션 타입의 3D 모델에 따라 서로 다른 형태들을 가질 수 있다. 예를 들어, 메타데이터는 3D 모델의 프로젝션 타입에 관한 정보 및 3D 모델의 세부 정보(예를 들어, mrwp_projection_type[i][j] 필드)를 포함할 수 있다. 일 실시예에 따르면, 360 비디오 수신 장치는 메타데이터를 이용하여 3D 공간상에 3D 공간의 특정 영역에 대응하는 프로젝션된 픽처의 영역을 리프로젝션할 수 있다. 360 비디오 수신 장치는 리프로젝션된 픽처를 렌더링할 수 있다. 일 실시예에 따르면, 렌더러는 시청자의 뷰포트 정보에 따라 사용자가 바라본 부분만을 렌더링할 수 있다.
도 18은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기위한 360 비디오 수신 장치를 개략적으로 도시한 것이다. 도 17에 도시된 방법은 도 18에 도시된 360 비디오 수신 장치에 의해 수행될 수 있다. 구체적으로, 도 18의 360 비디오 수신 장치의 데이터 입력부는 도 17에서 S1700을 수행할 수 있으며, 도 18의 360 비디오 수신 장치의 수신 처리부/파일 추출부는 도 17에서 S1710을 수행할 수 있으며, 도 18의 360 비디오 수신 장치의 데이터 디코더는 도 17에서 S1720을 수행할 수 있고, 도 18의 360 비디오 수신 장치의 렌더러는 도 17에서의 S1750을 수행할 수 있다.
본 발명에 따르면, 헤드 움직임 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에서 상호작용 경험을 제공하는 방법을 제안할 수 있다.
또한, 본 발명에 따르면, 다수의 뷰들에 대한 성분들을 포함하는 패킹된 픽처가 멀티뷰 리전 와이즈 패킹에 의해 생성될 수 있다. 따라서, 뷰들 간의 불필요한 정보를 제거함으로써 3DoF+ 컨텐츠의 비트 효율이 증가될 수 있다.
상술한 단계들은 실시예에 따라 생략되거나, 유사/동일한 동작들을 수행하는 다른 단계들에 의하여 대체될 수 있다.
본 발명의 일 실시예에 따른 360 비디오 전송 장치는 전술한 데이터 입력부, 스티처, 신호 처리부, 프로젝션 처리부, 데이터 인코더, 전송 처리부 및/혹은 전송부를 포함할 수 있다. 내부 구성요소들은 위에서 설명되었다. 본 발명의 일 실시예에 따른 360 비디오 전송 장치 및 이의 구성요소들은 본 발명의 360 비디오를 전송하는 발명에 대하여 전술한 실시예들을 수행할 수 있다.
본 발명의 일 실시예에 따른 360 비디오 수신 장치는 전술한 수신부, 수신 처리부, 데이터 디코더, 시그널링 파서, 리프로젝션 처리부 및/혹은 렌더러를 포함할 수 있다. 내부 구성요소들은 위에서 설명되었다. 본 발명의 일 실시예에 따른 360 비디오 수신 장치 및 이의 구성요소들은 본 발명의 360 비디오를 수신하는 발명에 대하여 전술한 실시예들을 수행할 수 있다.
전술한 장치들의 내부 구성요소들은 메모리에 저장된 연속적인 과정들을 수행하는 프로세서들일 수 있거나 하드웨어 요소들일 수 있다. 이러한 요소들은 상기 장치들의 내/외부에 위치할 수 있다.
전술한 모듈들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 모듈에 의해 대체될 수 있다.
전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서이거나 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서 또는 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블록/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.
Claims (15)
- 360도 비디오 수신 장치에 의하여 수행되는 360도 비디오 데이터 처리 방법에 있어서,
복수의 뷰(view)들에 대한 360도 비디오 데이터를 수신하는 단계;메타데이터 및 패킹된 픽처(packed picture)에 대한 정보를 도출하는 단계;
상기 패킹된 픽처에 대한 정보에 기초하여 상기 패킹된 픽처를 디코딩하는 단계;
상기 메타데이터에 기초하여 상기 패캥된 픽처로부터 타겟 뷰(target view)에 대한 특정 패킹된 리전을 도출하는 단계;
상기 특정 패킹된 리전 및 상기 메타데이터에 기초하여 상기 타겟 뷰의 프로젝션된 픽처(projected picture)를 도출하는 단계; 및
상기 메타데이터에 기초하여 상기 프로젝션된 픽처를 렌더링하는 단계,
상기 메타데이터는 멀티뷰 리전-와이즈 패킹 정보(Multiview region-wise packing information)을 포함하고,
상기 멀티뷰 리전-와이즈 패킹 정보는 상기 패킹된 픽처 내의 패킹된 리전에 관한 정보 및 상기 타겟 뷰에 관한 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제1 항에 있어서,
상기 타겟 뷰에 관한 정보는 상기 타겟 뷰의 식별 번호를 지시하는 상기 타겟 뷰의 뷰 인덱스(view index)를 포함하는,
360도 비디오 데이터 처리 방법. - 제2 항에 있어서,
상기 타겟 뷰에 관한 정보는 상기 프로젝션된 픽처의 컴포넌트(component)에 대한 정보를 포함하고,
상기 프로젝션된 픽처의 컴포넌트에 대한 상기 정보는 상기 컴포넌트의 식별 번호를 지시하는 상기 타겟 뷰의 컴포넌트 인덱스 및 상기 컴포넌트의 타입을 지시하는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제3 항에 있어서,
상기 프로젝션된 픽처의 상기 컴포넌트에 관한 정보는 상기 프로젝션된 픽처의 프로젝션 타입을 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제1 항에 있어서,
상기 타겟 뷰에 관한 정보는 상기 타겟 뷰가 앵커 뷰(anchor view)인지 여부를 나타내는 앵커 뷰 플래그를 포함하는,
360도 비디오 데이터 처리 방법. - 제5 항에 있어서,
상기 앵커 뷰 플래그가 상기 타겟 뷰가 상기 앵커 뷰임을 나타내는 경우, 상기 타겟 뷰에 관한 정보는 상기 앵커 뷰의 위치의 x 컴포넌트, y 컴포넌트 및 z 컴포넌트를 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제6 항에 있어서,
상기 앵커 뷰 플래그가 상기 타겟 뷰가 상기 앵커 뷰임을 나타내는 경우, 상기 타겟 뷰에 관한 정보는 상기 앵커 뷰의 회전(rotation)의 요(yaw) 각도, 피치(pitch) 각도 및 롤(roll) 각도를 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제5 항에 있어서,
상기 앵커 뷰 플래그가 상기 타겟 뷰가 상기 앵커뷰가 아님을 나타내는 경우, 상기 타겟 뷰에 관한 정보는 상기 타겟 뷰의 위치의 x 컴포넌트, y 컴포넌트 및 z 컴포넌트를 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제3 항에 있어서,
상기 패킹된 영역에 대한 정보는 상기 패킹된 영역에 대한 뷰의 식별 수를 나타내는 상기 패킹된 영역에 대한 뷰 인덱스 및 상기 패킹된 영역에 대한 뷰의 컴포넌트의 식별 수를 나타내는 컴포넌트 인덱스를 포함하는,
360도 비디오 데이터 처리 방법. - 제9 항에 있어서,
상기 패킹된 리전에 대한 상기 뷰 인덱스의 값이 상기 타겟 뷰의 상기 뷰 인덱스의 값과 매치(match)되고, 상기 패킹된 리전에 대한 컴포넌트 인덱스의 값이 상기 타겟 뷰의 상기 컴포넌트 인덱스의 값과 매치되는 경우, 상기 패킹된 영역은 상기 특정 패킹된 영역으로 도출되는,
360도 비디오 데이터 처리 방법. - 제1 항에 있어서,
상기 패킹된 영역에 관한 정보는 상기 패킹된 영역의 가드 밴드가 존재하는지 여부를 나타내는 가드 밴드 플래그를 더 포함하는,
360도 비디오 데이터 처리 방법. - 제1 항에 있어서,
상기 가드 밴드 플래그가 상기 패킹된 리전의 가드 밴드가 존재함을 나타내는 경우, 상기 패킹된 리전에 관한 정보는 상기 패킹된 영역의 왼쪽 가드 밴드의 폭(width)을 나타내는 정보, 상기 패킹된 영역의 오른쪽 가드 밴드의 폭(width)을 나타내는 정보, 상기 패킹된 영역의 위쪽 가드 밴드의 높이(height)을 나타내는 정보, 및 상기 패킹된 영역의 아래쪽 가드 밴드의 높이(height)을 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제12 항에 있어서,
상기 앵커 뷰잉 포지션 플래그가 상기 특정 뷰잉 포지션이 상기 뷰잉 포지션 세트(viewing position set)의 상기 앵커 뷰잉 포지션이 아님을 나타내는 경우, 상기 뷰잉 포지션 정보는 상기 앵커 뷰잉 포지션의 x 컴포넌트, y 컴포넌트 및 z 컴포넌트를 나타내는 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 360도 비디오 데이터 송신 장치에 의해 수행되는 360도 비디오 데이터 처리 방법에 있어서,
복수의 뷰들에 대한 360도 비디오를 획득하는 단계;
상기 360도 비디오를 처리하여 상기 뷰들에 대한 프로젝션된 픽처(projected picture)들를 생성하는 단계;
상기 프로젝션된 픽처들을 패킹하여 패킹된 픽처(packed picture)를 생성하는 단계;
상기 360도 비디오에 대한 메타데이터(metadata)를 생성하는 단계; 및
상기 인코딩된 픽처 및 상기 메타데이터의 저장(storage) 및 전송(transmission)에 대한 처리를 수행하는 단계,
상기 메타데이터는 멀티뷰 리전-와이즈 패킹 정보(multiview region-wise packing information)을 포함하고,
상기 멀티뷰 리전-와이즈 패킹 정보는 상기 패킹된 픽처 내의 패킹된 영역에 관한 정보 및 상기 뷰들 각각에 대한 정보를 포함하는,
360도 비디오 데이터 처리 방법. - 제14 항에 있어서,
뷰에 관한 정보는 상기 뷰의 식별 수를 나타내는 상기 뷰의 뷰 인덱스를 포함하는,
360도 비디오 데이터 처리 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862653527P | 2018-04-05 | 2018-04-05 | |
| US62/653,527 | 2018-04-05 | ||
| PCT/KR2019/003939 WO2019194573A1 (en) | 2018-04-05 | 2019-04-03 | Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200079340A true KR20200079340A (ko) | 2020-07-02 |
| KR102344073B1 KR102344073B1 (ko) | 2021-12-28 |
Family
ID=68101325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207017712A KR102344073B1 (ko) | 2018-04-05 | 2019-04-03 | 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11140373B2 (ko) |
| EP (1) | EP3791575A4 (ko) |
| KR (1) | KR102344073B1 (ko) |
| CN (1) | CN111819842B (ko) |
| WO (1) | WO2019194573A1 (ko) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019243539A1 (en) | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Tile partitions with sub-tiles in video coding |
| WO2019243534A1 (en) * | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Tile shuffling for 360 degree video decoding |
| CN112823525A (zh) | 2018-10-02 | 2021-05-18 | 瑞典爱立信有限公司 | 基于图块组id对图片进行编码和解码 |
| US11265580B2 (en) * | 2019-03-22 | 2022-03-01 | Tencent America LLC | Supplemental enhancement information messages for neural network based video post processing |
| IL267211A (en) * | 2019-06-10 | 2019-08-29 | Elbit Systems Ltd | System and method for video display |
| US11659206B2 (en) | 2019-07-02 | 2023-05-23 | Mediatek Inc. | Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus |
| US11190768B2 (en) | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus |
| US11190801B2 (en) | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method |
| US20210203995A1 (en) * | 2019-12-30 | 2021-07-01 | Mediatek Inc. | Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling |
| CN113014814A (zh) * | 2021-03-03 | 2021-06-22 | 上海七牛信息技术有限公司 | 一种视频采集方法、视频采集终端及视频直播系统 |
| US11895336B2 (en) | 2021-04-02 | 2024-02-06 | Qualcomm Incorporated | Picture orientation and quality metrics supplemental enhancement information message for video coding |
| WO2022213005A1 (en) * | 2021-04-02 | 2022-10-06 | Qualcomm Incorporated | Picture orientation and quality metrics supplemental enhancement information message for video coding |
| US11917269B2 (en) * | 2022-01-11 | 2024-02-27 | Tencent America LLC | Multidimensional metadata for parallel processing of segmented media data |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018038523A1 (ko) * | 2016-08-25 | 2018-03-01 | 엘지전자 주식회사 | 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080077451A1 (en) | 2006-09-22 | 2008-03-27 | Hartford Fire Insurance Company | System for synergistic data processing |
| KR101490689B1 (ko) * | 2008-05-27 | 2015-02-06 | 삼성전자주식회사 | 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 |
| US10880535B2 (en) * | 2016-02-17 | 2020-12-29 | Lg Electronics Inc. | Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video |
| US9986221B2 (en) | 2016-04-08 | 2018-05-29 | Visbit Inc. | View-aware 360 degree video streaming |
| KR102208132B1 (ko) * | 2016-05-26 | 2021-01-27 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| EP3761645A1 (en) | 2016-05-26 | 2021-01-06 | Vid Scale, Inc. | Methods and apparatus of viewport adaptive 360 degree video delivery |
| KR102014240B1 (ko) | 2016-09-08 | 2019-08-27 | 가온미디어 주식회사 | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 |
| US11172005B2 (en) * | 2016-09-09 | 2021-11-09 | Nokia Technologies Oy | Method and apparatus for controlled observation point and orientation selection audiovisual content |
| KR102545195B1 (ko) * | 2016-09-12 | 2023-06-19 | 삼성전자주식회사 | 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치 |
| BR112019007279A2 (pt) * | 2016-11-17 | 2019-07-09 | Intel Corp | indicação de janela de visualização sugerida para vídeo panorâmico |
| US10560660B2 (en) * | 2017-01-04 | 2020-02-11 | Intel Corporation | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission |
| WO2018171758A1 (en) * | 2017-03-24 | 2018-09-27 | Mediatek Inc. | Method and apparatus for deriving vr projection, packing, roi and viewport related tracks in isobmff and supporting viewport roll signaling |
| US20200382809A1 (en) * | 2017-03-27 | 2020-12-03 | SHARP KABUSHIK! KAiSHA | Systems and methods for signaling of information associated with most-interested regions for virtual reality applications |
| US10659815B2 (en) * | 2018-03-08 | 2020-05-19 | At&T Intellectual Property I, L.P. | Method of dynamic adaptive streaming for 360-degree videos |
-
2019
- 2019-04-03 US US16/958,033 patent/US11140373B2/en active Active
- 2019-04-03 WO PCT/KR2019/003939 patent/WO2019194573A1/en active Application Filing
- 2019-04-03 EP EP19782005.3A patent/EP3791575A4/en active Pending
- 2019-04-03 KR KR1020207017712A patent/KR102344073B1/ko active IP Right Grant
- 2019-04-03 CN CN201980017364.1A patent/CN111819842B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018038523A1 (ko) * | 2016-08-25 | 2018-03-01 | 엘지전자 주식회사 | 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200322587A1 (en) | 2020-10-08 |
| CN111819842A (zh) | 2020-10-23 |
| CN111819842B (zh) | 2022-11-04 |
| EP3791575A1 (en) | 2021-03-17 |
| EP3791575A4 (en) | 2021-11-10 |
| WO2019194573A1 (en) | 2019-10-10 |
| US11140373B2 (en) | 2021-10-05 |
| KR102344073B1 (ko) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102344073B1 (ko) | 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오를 전송하는 장치 및 360도 비디오를 수신하는 장치 | |
| KR102202338B1 (ko) | 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| CN109076255B (zh) | 发送、接收360度视频的方法及设备 | |
| KR102221301B1 (ko) | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102258448B1 (ko) | 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR20190094451A (ko) | 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치 | |
| KR102082707B1 (ko) | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 | |
| US10893254B2 (en) | Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video | |
| KR20190140903A (ko) | 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102305634B1 (ko) | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| EP3804342A1 (en) | Method, device, and computer program for transmitting media content | |
| US11677922B2 (en) | Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video | |
| KR102271444B1 (ko) | 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치 | |
| KR102214079B1 (ko) | 360도 비디오를 송수신하는 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |