KR102214079B1 - 360도 비디오를 송수신하는 방법 및 그 장치 - Google Patents
360도 비디오를 송수신하는 방법 및 그 장치 Download PDFInfo
- Publication number
- KR102214079B1 KR102214079B1 KR1020190039161A KR20190039161A KR102214079B1 KR 102214079 B1 KR102214079 B1 KR 102214079B1 KR 1020190039161 A KR1020190039161 A KR 1020190039161A KR 20190039161 A KR20190039161 A KR 20190039161A KR 102214079 B1 KR102214079 B1 KR 102214079B1
- Authority
- KR
- South Korea
- Prior art keywords
- viewing
- video
- information
- field
- viewing position
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 249
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 238000003672 processing method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 178
- 230000005540 biological transmission Effects 0.000 claims description 113
- 238000012545 processing Methods 0.000 claims description 41
- 238000003860 storage Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 description 93
- 238000012856 packing Methods 0.000 description 37
- 239000012634 fragment Substances 0.000 description 29
- 239000010410 layer Substances 0.000 description 17
- 230000011664 signaling Effects 0.000 description 13
- 101150103552 cagE gene Proteins 0.000 description 10
- 238000013507 mapping Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 238000005538 encapsulation Methods 0.000 description 9
- 241001482237 Pica Species 0.000 description 8
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 230000002688 persistence Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명에 따른 360도 비디오 수신 장치에 의하여 수행되는 360도 영상 데이터 처리 방법은 뷰잉 스페이스(viewing space) 내 복수의 뷰잉 포지션들(viewing positions)에 대한 360도 영상 데이터를 수신하는 단계, 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 도출하는 단계, 상기 인코딩된 픽처에 대한 상기 정보를 기반으로 상기 인코딩된 픽처를 디코딩하는 단계, 및 상기 메타데이터를 기반으로 상기 디코딩된 픽처를 렌더링하는 단계를 포함하되, 상기 메타데이터는 상기 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하는 것을 특징으로 한다.
Description
본 발명은 360 비디오에 관한 것으로, 보다 상세하게는 뷰잉 스페이스 정보를 포함하는 3DoF + 컨텐츠에 대해 360 비디오를 전송 및 수신하는 방법 및 장치에 관한 것이다.
VR(Virtual Reality) 시스템은 사용자에게 전자적으로 프로젝션된 환경내에 있는 것 같은 감각을 제공한다. VR을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 시스템은 사용자가 인터랙티브하게 VR 컨텐트들을 소비할 수 있도록 할 수 있다.
3DoF + (3 자유도 플러스) 컨텐츠는 다수의 뷰잉 포지션/시점에 대해 360 비디오를 통해 사용자의 위치 이동에 따라 새롭게 구성된 3DoF 또는 360 비디오를 제공한다. 3DoF + 컨텐츠를 통해 사용자는 다양한 감각 경험을 사용할 수 있다.
본 발명의 기술적 과제는 VR 시스템을 제공하기 위한 VR 비디오 데이터 전송의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 VR 비디오 데이터 및 VR 비디오 데이터에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 3DoF + 시스템을 제공하기 위한 360 비디오 데이터 전송 효율을 향상시키는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 뷰잉 포지션 정보 및 뷰잉 스페이스 정보에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 예에 따르면, 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법이 제공된다. 상기 방법은 뷰잉 스페이스내 복수의 뷰잉 포지션들에 대한 360 비디오를 획득하는 단계; 상기 360 비디오를 처리하여 상기 뷰잉 포지션들에 대한 픽처들을 생성하는 단계; 상기 픽처들을 인코딩하는 단계; 상기 360 비디오에 대한 메타데이터를 생성하는 단계; 및 상기 인코딩된 픽처 및 상기 메타데이터를 저장 또는 전송하기 위한 프로세싱을 수행하는 단계를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.
본 발명의 다른 실시 예에 따르면, 360 비디오 데이터를 처리하기 위한 360 비디오 전송 장치가 제공된다. 상기 360 비디오 전송 장치는 뷰잉 스페이스내 복수의 뷰잉 포지션들에 대한 360 비디오를 획득하도록 구성된 데이터 유닛; 상기 360 비디오를 처리하여 상기 뷰잉 포지션들에 대한 픽처들을 생성하도록 구성된 프로젝션 프로세서; 상기 픽처들을 인코딩하도록 구성된 인코더; 상기 360 비디오에 대한 메타데이터를 생성하도록 구성된 메타데이터 프로세서; 및 상기 인코딩된 픽처 및 상기 메타데이터를 저장 또는 전송하기 위한 프로세싱을 수행하도록 구성된 전송 프로세서를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.
본 발명의 다른 실시 예에 따르면, 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법이 제공된다. 상기 방법은, 상기 뷰잉 스페이스내 복수의 뷰잉 포지션들에 대한 360 비디오 데이터를 수신하는 단계; 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 유도하는 단계; 상기 인코딩된 픽처에 대한 상기 정보를 기반으로 상기 인코딩된 픽처를 디코딩하는 단계; 및 상기 메타데이터에 기반하여 상기 디코딩된 픽처를 렌더링 하는 단계를 포함하고, 상기 메타데이터는 상기 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.
본 발명의 다른 실시 예에 따르면, 360 비디오 데이터를 처리하기 위한 360 비디오 수신 장치가 제공된다. 상기 360 비디오 수신 장치는 상기 뷰잉 스페이스내 복수의 뷰잉 포지션들에 대한 360 비디오 데이터를 수신하도록 구성된 수신기; 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 유도하도록 구성된 수신 프로세서/파일 추출 유닛; 상기 인코딩된 픽처에 대한 상기 정보를 기반으로 상기 인코딩된 픽처를 디코딩하도록 구성된 데이터 디코더; 및 상기 메타데이터에 기반하여 상기 디코딩된 픽처를 렌더링하도록 구성된 렌더러를 포함하고, 상기 메타데이터는 상기 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.
본 발명에 따르면 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 3DoF+ 컨텐츠를 효율적으로 전송할 수 있다.
본 발명에 따르면 사용자의 3DoF+ 컨텐츠 소비에 있어서, 인터랙티브 경험(interactive experience)를 제공하기 위한 방안을 제안할 수 있다.
본 발명에 따르면 사용자의 360 컨텐츠 소비에 있어서, 3DoF+ 컨텐츠 제작자가 의도하는 바가 정확히 반영되도록 시그널링 하는 방안을 제안할 수 있다.
본 발명에 따르면 3DoF+ 컨텐츠 전달에 있어, 효율적으로 전송 캐패시티를 늘리고, 필요한 정보가 전달될 수 있도록 하는 방안을 제안할 수 있다.
본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF + 컨텐트 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.
본 발명에 따르면, 3DoF + 응용에 대한 한정된 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자들의 3DoF + 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.
도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 나타낸다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 나타낸다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 3DoF + VR 시스템을 나타낸다.
도 6은 본 발명에 따른 3DoF + 비디오를 제공하기 위한 전체 아키텍처를 나타낸다.
도 7은 360 비디오 전송 장치/360 비디오 수신 장치에 의해 수행되는 360도 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 8은 본 발명이 적용 가능한 360 비디오 전송 장치의 구성을 개략적으로 나타낸다
도 9는 본 발명이 적용 가능한 360 비디오 수신 장치의 구성을 개략적으로 나타낸다.
도 10은 뷰잉 포지션 정보 및 헤드 모션 정보가 사용되는 3DoF 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 11은 뷰잉 포지션 세트의 시점을 포함하는 비디오의 프리-인코딩 프로세스의 일례를 나타내는 도면이다.
도 12는 복수의 뷰잉 포지션들의 시점을 포함하는 비디오 스트림에 대한 전달 프로세스의 예를 나타낸다.
도 13은 뷰의 시점에 대한 텍스처, 레지듀얼 및 깊이 맵을 구비하는 멀티-뷰 리전 별 패킹의 디코딩 프로세스의 일례를 나타낸다.
도 14a 및 도 14b는 다수의 뷰잉 포지션들을 포함하는 비디오에 대한 코딩 프로세스의 예를 나타낸다.
도 15a 및 도 15b는 다수의 뷰잉 포지션들 및 뷰잉 포지션들의 경계를 나타낸다.
도 16은 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 17은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 나타낸다.
도 18은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 19는 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 수신 장치를 개략적으로 나타낸다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 나타낸다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 3DoF + VR 시스템을 나타낸다.
도 6은 본 발명에 따른 3DoF + 비디오를 제공하기 위한 전체 아키텍처를 나타낸다.
도 7은 360 비디오 전송 장치/360 비디오 수신 장치에 의해 수행되는 360도 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 8은 본 발명이 적용 가능한 360 비디오 전송 장치의 구성을 개략적으로 나타낸다
도 9는 본 발명이 적용 가능한 360 비디오 수신 장치의 구성을 개략적으로 나타낸다.
도 10은 뷰잉 포지션 정보 및 헤드 모션 정보가 사용되는 3DoF 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 11은 뷰잉 포지션 세트의 시점을 포함하는 비디오의 프리-인코딩 프로세스의 일례를 나타내는 도면이다.
도 12는 복수의 뷰잉 포지션들의 시점을 포함하는 비디오 스트림에 대한 전달 프로세스의 예를 나타낸다.
도 13은 뷰의 시점에 대한 텍스처, 레지듀얼 및 깊이 맵을 구비하는 멀티-뷰 리전 별 패킹의 디코딩 프로세스의 일례를 나타낸다.
도 14a 및 도 14b는 다수의 뷰잉 포지션들을 포함하는 비디오에 대한 코딩 프로세스의 예를 나타낸다.
도 15a 및 도 15b는 다수의 뷰잉 포지션들 및 뷰잉 포지션들의 경계를 나타낸다.
도 16은 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 17은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 나타낸다.
도 18은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 19는 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 수신 장치를 개략적으로 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 컨텍스트상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 엘리먼트, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 엘리먼트, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 엘리먼트에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 엘리먼트에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 나타낸다.
본 발명은 사용자에게 가상현실 (Virtual Reality, VR)을 제공하기 위하여, 360 컨텐츠를 제공하는 방안을 제안한다. VR이란 실제 또는 가상의 환경을 복제(replicates) 하기 위한 기술 내지는 그 환경을 의미할 수 있다. VR은 인공적으로 사용자에게 감각적 경험을 제공하며, 이를 통해 사용자는 전자적으로 프로젝션된 환경에 있는 것과 같은 경험을 할 수 있다.
360 컨텐츠는 VR을 구현, 제공하기 위한 컨텐츠 전반을 의미하며, 360 비디오 및/또는 360 오디오를 포함할 수 있다. 360 비디오는 VR을 제공하기 위해 필요한, 동시에 모든 방향(360도)으로 캡처되거나 재생되는 비디오 내지 이미지 컨텐츠를 의미할 수 있다. 이하, 360 비디오라 함은 360 비디오를 의미할 수 있다. 360 비디오는 3D 모델에 따라 다양한 모양의 3D 공간 상에 나타내어지는 비디오 내지 이미지를 의미할 수 있으며, 예를 들어 360 비디오는 구형면(Speherical surface) 상에 나타내어질 수 있다. 360 오디오 역시 VR을 제공하기 위한 오디오 컨텐츠로서, 음향 발생지가 3차원의 특정 공간상에 위치하는 것으로 인지될 수 있는, 공간적(Spatial) 오디오 컨텐츠를 의미할 수 있다. 360 컨텐츠는 생성, 처리되어 사용자들로 전송될 수 있으며, 사용자들은 360 컨텐츠를 이용하여 VR 경험을 소비할 수 있다.
본 발명은 특히 360 비디오를 효과적으로 제공하는 방안을 제안한다. 360 비디오를 제공하기 위하여, 먼저 하나 이상의 카메라를 통해 360 비디오가 캡처될 수 있다. 캡처된 360 비디오는 일련의 과정을 거쳐 전송되고, 수신측에서는 수신된 데이터를 다시 원래의 360 비디오로 가공하여 렌더링할 수 있다. 이를 통해 360 비디오가 사용자에게 제공될 수 있다.
구체적으로 360 비디오 제공을 위한 전체의 과정은 캡처 과정(process), 준비 프로세스, 전송 프로세스, 프로세싱 과정, 렌더링 프로세스 및/또는 피드백 프로세스를 포함할 수 있다.
캡처 과정은 하나 이상의 카메라를 통하여 복수개의 시점 각각에 대한 이미지 또는 비디오를 캡처하는 과정을 의미할 수 있다. 캡처 과정에 의해 도시된 도 1의 (110)과 같은 이미지/비디오 데이터가 생성될 수 있다. 도시된 도 1의 (110)의 각 평면은 각 시점에 대한 이미지/비디오를 의미할 수 있다. 이 캡처된 복수개의 이미지/비디오를 로(raw) 데이터라 할 수도 있다. 캡처 과정에서 캡처와 관련된 메타데이터가 생성될 수 있다.
이 캡처를 위하여 VR을 위한 특수한 카메라가 사용될 수 있다. 실시예에 따라 컴퓨터로 생성된 가상의 공간에 대한 360 비디오를 제공하고자 하는 경우, 실제 카메라를 통한 캡처가 수행되지 않을 수 있다. 이 경우 단순히 관련 데이터가 생성되는 과정으로 해당 캡처 과정이 갈음될 수 있다.
준비 프로세스는 캡처된 이미지/비디오 및 캡처 과정에서 발생한 메타데이터를 처리하는 과정일 수 있다. 캡처된 이미지/비디오는 이 준비 프로세스에서, 스티칭 과정, 프로젝션 과정, 리전별 패킹 프로세스(Region-wise Packing) 및/또는 인코딩 프로세스 등을 거칠 수 있다.
먼저 각각의 이미지/비디오가 스티칭(Stitching) 과정을 거칠 수 있다. 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구형의 이미지/비디오를 만드는 과정일 수 있다.
이 후, 스티칭된 이미지/비디오는 프로젝션(Projection) 과정을 거칠 수 있다. 프로젝션 과정에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 이 2D 이미지는 컨텍스트에 따라 2D 이미지 프레임으로 불릴 수도 있다. 2D 이미지로 프로젝션하는 것을 2D 이미지로 맵핑한다고 표현할 수도 있다. 프로젝션된 이미지/비디오 데이터는 도시된 도 1의 (120)과 같은 2D 이미지의 모양이 될 수 있다.
2D 이미지 상에 프로젝션된 비디오 데이터는 비디오 코딩 효율 등을 높이기 위하여 리전별 패킹 프로세스(Region-wise Packing)을 거칠 수 있다. 리전별 패킹이란, 2D 이미지 상에 프로젝션된 비디오 데이터를 리전(Region) 별로 나누어 처리를 가하는 과정을 의미할 수 있다. 여기서 리전(Region)이란, 360 비디오 데이터가 프로젝션된 2D 이미지가 나누어진 리전을 의미할 수 있다. 이 리전들은, 실시예에 따라, 2D 이미지를 균등하게 나누어 구분되거나, 임의로 나누어져 구분될 수 있다. 또한 실시예에 따라 리전들은, 프로젝션 스킴에 따라 구분될 수도 있다. 리전별 패킹 프로세스는 선택적(optional) 과정으로써, 준비 프로세스에서 생략될 수 있다.
실시예에 따라 이 프로세싱 프로세스는, 비디오 코딩 효율을 높이기 위해, 각 리전을 회전한다거나 2D 이미지 상에서 재배열하는 과정을 포함할 수 있다. 예를 들어, 리전들을 회전하여 리전들의 특정 변들이 서로 근접하여 위치되도록 함으로써, 코딩 시의 효율이 높아지게 할 수 있다.
실시예에 따라 이 프로세싱 프로세스는, 360 비디오상의 리전 별로 레졸루션(resolution)을 차등화하기 위하여, 특정 리전에 대한 레졸루션을 높인다거나, 낮추는 과정을 포함할 수 있다. 예를 들어, 360 비디오 상에서 상대적으로 더 중요한 리전에 해당하는 리전들은, 다른 리전들보다 레졸루션을 높게할 수 있다. 2D 이미지 상에 프로젝션된 비디오 데이터 또는 리전별 패킹된 비디오 데이터는 비디오 코덱을 통한 인코딩 프로세스를 거칠 수 있다.
실시예에 따라 준비 프로세스는 부가적으로 에디팅(editing) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 프로젝션 전후의 이미지/비디오 데이터들에 대한 에디팅 등이 더 수행될 수 있다. 준비 프로세스에서도 마찬가지로, 스티칭/프로젝션/인코딩/에디팅 등에 대한 메타데이터가 생성될 수 있다. 또한 2D 이미지 상에 프로젝션된 비디오 데이터들의 초기 시점, 혹은 ROI (Region of Interest) 등에 관한 메타데이터가 생성될 수 있다.
전송 프로세스는 준비 프로세스를 거친 이미지/비디오 데이터 및 메타데이터들을 처리하여 전송하는 과정일 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 수신측에서는 다양한 경로를 통해 해당 데이터를 수신할 수 있다.
프로세싱 과정은 수신한 데이터를 디코딩하고, 프로젝션되어 있는 이미지/비디오 데이터를 3D 모델 상에 리-프로젝션(Re-projection) 하는 과정을 의미할 수 있다. 이 과정에서 2D 이미지들 상에 프로젝션되어 있는 이미지/비디오 데이터가 3D 공간 상으로 리-프로젝션될 수 있다. 이 과정을 컨텍스트에 따라 맵핑, 프로젝션이라고 부를 수도 있다. 이 때 맵핑되는 3D 공간은 3D 모델에 따라 다른 모양을 가질 수 있다. 예를 들어 3D 모델에는 구형(Sphere), 큐브(Cube), 실린더(Cylinder) 또는 피라미드(Pyramid) 가 있을 수 있다.
실시예에 따라 프로세싱 과정은 부가적으로 에디팅(editing) 과정, 업 스케일링(up scaling) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 리-프로젝션 전후의 이미지/비디오 데이터에 대한 에디팅 등이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되어 있는 경우 업 스케일링 과정에서 샘플들의 업 스케일링을 통해 그 크기를 확대할 수 있다. 필요한 경우, 다운 스케일링을 통해 사이즈를 축소하는 작업이 수행될 수도 있다.
렌더링 프로세스는 3D 공간상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 과정을 의미할 수 있다. 표현에 따라 리-프로젝션과 렌더링을 합쳐 3D 모델 상에 렌더링한다 라고 표현할 수도 있다. 3D 모델 상에 리-프로젝션된 (또는 3D 모델 상으로 렌더링된) 이미지/비디오는 도시된 도 1의 (130)과 같은 모양을 가질 수 있다. 도시된 도 1의 (130)은 구형(Sphere)의 3D 모델에 리-프로젝션된 경우이다. 사용자는 VR 디스플레이 등을 통하여 렌더링된 이미지/비디오의 일부 리전을 볼 수 있다. 이 때 사용자가 보게 되는 리전은 도시된 도 1의 (140)과 같은 모양일 수 있다.
피드백 프로세스는 디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하는 과정을 의미할 수 있다. 피드백 프로세스를 통해 360 비디오 소비에 있어 인터랙티비티(Interactivity) 가 제공될 수 있다. 실시예에 따라, 피드백 프로세스에서 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 리전을 나타내는 뷰포트(Viewport) 정보 등이 송신측으로 전달될 수 있다. 실시예에 따라, 사용자는 VR 환경 상에 구현된 것들과 상호작용할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 프로세스에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 프로세스는 수행되지 않을 수도 있다.
헤드 오리엔테이션 정보는 사용자의 헤드 포지션, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 360 비디오 내에서 보고 있는 리전에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.
뷰포트 정보는 현재 사용자가 360 비디오에서 보고 있는 리전에 대한 정보일 수 있다. 이를 통해 게이즈 분석(Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 360 비디오를 소비하는지, 360 비디오의 어느 리전을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR 디스플레이 등의 장치는 사용자의 헤드 포지션/방향, 장치가 지원하는 수직(vertical) 혹은 수평(horizontal) FOV(Field Of View) 정보 등에 근거하여 뷰포트 리전을 추출할 수 있다.
실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것 뿐아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 리-프로젝션, 렌더링 프로세스 등이 수행될 수 있다. 예를 들어, 헤드 오리엔테이션 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 리전에 대한 360 비디오만 우선적으로 디코딩 및 렌더링될 수도 있다.
여기서 뷰포트(viewport) 내지 뷰포트 리전이란, 사용자가 360 비디오에서 보고 있는 리전을 의미할 수 있다. 시점(viewpoint)은 사용자가 360 비디오에서 보고 있는 지점으로서, 뷰포트 리전의 정중앙 지점을 의미할 수 있다. 즉, 뷰포트는 시점을 중심으로 한 리전인데, 그 리전이 차지하는 크기 모양 등은 후술할 FOV(Field Of View)에 의해 결정될 수 있다.
전술한 360 비디오 제공을 위한 전체 아키텍처 내에서, 캡처/프로젝션/인코딩/전송/디코딩/리-프로젝션/렌더링의 일련의 과정을 거치게 되는 이미지/비디오 데이터들을 360 비디오 데이터라 부를 수 있다. 360 비디오 데이터라는 용어는 또한 이러한 이미지/비디오 데이터들과 관련되는 메타데이터 내지 시그널링 정보를 포함하는 개념으로 쓰일 수도 있다.
상술한 오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 미디어 파일은 ISO BMFF (ISO base media file format)를 기반으로 한 파일 포맷을 가질 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 나타낸다.
본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블록 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 모양을 띄게될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.
본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.
ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 디코딩이기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.
moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.
mdat 박스(미디어 데이터 박스)는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.
실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.
mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.
trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. Trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.
trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.
mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야 할 수 있다.
본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(200). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.
moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.
mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.
실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.
mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number)를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.
traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 디코딩/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.
실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.
tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.
trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생시점 등과 같은 정보를 포함할 수 있다.
전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.
도시된 실시예(210)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.
도시된 실시예(220)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.
styp 박스(세그먼트 타입 박스)는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.
sidx 박스(세그먼트 인덱스 박스)는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.
실시예에 따라(230) ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.
미디어 파일 내의 박스들은, 도시된 실시예(250)와 같은 박스 내지 풀 박스(FullBox) 모양을 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. Type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.
한편, 본 발명의 360 비디오에 대한 필드(속성)들은 DASH 기반 적응형(Adaptive) 스트리밍 모델에 포함되어 전달될 수 있다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다. 도시된 실시예(400)에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH(Dynamic Adaptive Streaming over HTTP)는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐트 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD를 획득할 수 있다. MPD는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. DASH 클라이언트는 MPD에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐트가 끊김없이 재생될 수 있다.
MPD (Media Presentation Description)는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 모양으로 표현될 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller)는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블락에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser)는 획득한 MPD를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser)는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블락들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐트를 화면상에 표시할 수 있다. 이 때, MPD의 정보들이 활용될 수 있다.
DASH 데이터 모델은 계층적 구조(410)를 가질 수 있다. 미디어 프리젠테이션은 MPD에 의해 기술될 수 있다. MPD는 미디어 프리젠테이션를 만드는 복수개의 구간(Period)들의 시간적인 시퀀스를 기술할 수 있다. 피리오드는 미디어 컨텐트의 한 구간을 나타낼 수 있다.
한 구간에서, 데이터들은 어댑테이션 셋들에 포함될 수 있다. 어댑테이션 셋은 서로 교환될 수 있는 복수개의 미디어 컨텐트 컴포넌트들의 세트일 수 있다. 어댑테이션은 레프리젠테이션들의 세트를 포함할 수 있다. 레프리젠테이션은 미디어 컨텐트 컴포넌트에 해당할 수 있다. 한 레프리젠테이션 내에서, 컨텐트는 복수개의 세그먼트들로 시간적으로 나뉘어질 수 있다. 이는 적절한 접근성과 전달(delivery)를 위함일 수 있다. 각각의 세그먼트에 접근하기 위해서 각 세그먼트의 URL 이 제공될 수 있다.
MPD는 미디어 프리젠테이션에 관련된 정보들을 제공할 수 있고, 피리오드 엘레멘트, 어댑테이션 셋 엘레멘트, 레프리젠테이션 엘레멘트는 각각 해당 피리오드, 어댑테이션 셋, 레프리젠테이션에 대해서 기술할 수 있다. 레프리젠테이션은 서브 레프리젠테이션들로 나뉘어질 수 있는데, 서브 레프리젠테이션 엘레멘트는 해당 서브 레프리젠테이션에 대해서 기술할 수 있다.
여기서 공통(Common) 속성/엘레멘트들이 정의될 수 있는데, 이 들은 어댑테이션 셋, 레프리젠테이션, 서브 레프리젠테이션 등에 적용될 수 (포함될 수) 있다. 공통 속성/엘레멘트 중에는 에센셜 프로퍼티(EssentialProperty) 및/또는 서플멘탈 프로퍼티(SupplementalProperty) 가 있을 수 있다.
에센셜 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 필수적이라고 여겨지는 엘레멘트들을 포함하는 정보일 수 있다. 서플멘탈 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 사용될 수도 있는 엘레멘트들을 포함하는 정보일 수 있다. 실시예에 따라 후술할 디스크립터들은, MPD를 통해 전달되는 경우, 에센셜 프로퍼티 및/또는 서플멘탈 프로퍼티 내에 정의되어 전달될 수 있다.
한편, 본 발명은 사용자에게 몰입형 매체(immersive media)의 경험을 제공하기 위해 360 비디오 컨텐츠에 대한 전술한 방법 이외에 3DoF + (3 자유도 플러스) 컨텐츠를 제공하는 방법을 제공한다.
전술한 3DoF (3 Degrees of Freedom) 기반 VR 시스템 (즉, 전술한 360 비디오 컨텐츠 시스템)에서, 사용자는 사용자의 고정된 위치에서 상이한 뷰잉 오리엔테이션에 대한 시각/청각 경험을 제공받는다. 그러나, 3DoF + 컨텐츠를 위한 VR 시스템은 서로 다른 시점 및 뷰잉포지션에서 서로 다른 방향을 기준으로 시각적/청각적 경험을 확장하는 것을 목표로 한다. 다시 말해, 3DoF + 컨텐츠 용 VR 시스템은 복수의 위치 (시점)에서 복수의 뷰잉 포지션에 렌더링된 360도 컨텐츠를 제공하는 시스템을 나타낼 수 있다.
3DoF + VR 시스템에서 추가로 정의되는 시점 및 뷰잉포지션의 개념은 다음 도면과 같이 설명할 수 있다. 뷰잉 포지션은 헤드 포지션이라고 부를 수 있다.
도 5는 3DoF + VR 시스템을 나타낸다.
구체적으로, 도 5(a)는 3DoF + VR 시스템에 360 비디오 컨텐츠가 제공되는 복수의 시점을 도시한다. 예를 들어, 도 5a에 도시된 바와 같이 특정 공간 (예를 들어, 극장, 경기장 등)의 특정 위치는 360 비디오 컨텐츠가 제공되는 시점으로 고려될 수 있다. 이 경우, 동일한 특정 공간에 존재하는 각각의 시점에 제공된 비디오/오디오는 동일한 시간 흐름을 갖는다고 가정할 수 있다.
한편, 다수의 뷰잉 포지션에 대해 360 컨텐츠로 특정 뷰잉 포지션을 렌더링할 수 있다. 따라서, 특정 시점에서 사용자의 헤드 모션에 따라 상이한 시각/청각 경험이 제공될 수 있다. 여기서, 360 컨텐츠는 3DoF + 컨텐츠로 불릴 수 있으며, 3DoF + 컨텐츠에는 3DoF + 비디오 및 3DoF + 오디오가 포함될 수 있다.
도 5(b)는 복수의 뷰잉 포지션의 3D 공간을 나타낸다. 여기서, 3D 공간은 구형일 수 있다. 특정 뷰잉 포지션에서 사용자의 헤드 모션에 따라 다양한 시각/청각 경험을 제공하여 각 뷰잉 포지션의 상대적 위치를 반영한 비디오/오디오/텍스트 정보를 제공할 수 있다.
또한, 특정 뷰잉 포지션에 있는 전 방향성 매체(omnidirectional media)에 대한 비디오/오디오 정보는 기존의 360 컨텐츠에 대한 방법과 같이 전송될 수 있다. 즉, 특정 뷰잉 포지션에 대한 360 컨텐츠는 특정 뷰잉 포지션에 대한 3D 공간에서 렌더링될 수 있다. 이 경우, 비디오/오디오/텍스트/등을 포함하는 주요 소스뿐만 아니라 다양한 추가 소스가 통합되어 전송될 수 있다. 또한, 다른 예로서, 추가 소스에 대한 정보는 사용자의 뷰잉 오리엔테이션과 관련하여 또는 독립적으로 전송될 수 있다.
도 5(c)는 뷰잉 포지션의 360 비디오가 렌더링되는 3D 공간을 도시한다. 도 5 (c)에 도시된 바와 같이, 구 표면의 각 점은 r (구의 반지름), 
(z 축에 기반한 회전 방향 및 각도) 및 φ (xy 평면의 z 축에 대한 회전 방향 및 각도)를 구 좌표계를 사용하여 계산한다. 일 실시 예에 따르면, 구 표면은 월드 좌표계와 일치할 수 있거나 또는 프론트 카메라의 주점(principal point)은 구 표면의 점 (r, 0, 0)으로 가정될 수 있다.
한편, 항공기 주축(aircraft principal axes)의 개념은 구 표면의 각 점의 위치를 나타내는 데 사용할 수 있다. 즉, 항공기 주축의 내용은 프로젝션 전 또는 리-프로젝션 전의 3 차원 공간을 기술하고 본 발명에서 그에 대한 시그널링을 수행하는데 사용될 수 있다. 일 실시 예에 따르면, X, Y 및 Z 축 또는 구 좌표의 개념을 사용하는 방법이 사용될 수 있다.
항공기는 자유롭게 3 차원으로 회전할 수 있다. 3 차원을 구성하는 축을 피치 축, 요 축 및 롤 축이라고 부른다. 이들은 명세서에서 피치, 요 및 롤 또는 피치 방향, 요 방향 및 롤 방향으로 지칭될 수 있다.
피치 축은 항공기의 프론트 엔드가 위 아래로 회전하는 방향의 베이스가 되는 축을 지칭할 수 있다. 항공기 주축의 개념에서 피치 축은 항공기의 날개를 연결하는 축을 나타낼 수 있다.
요 축은 항공기의 프론트 엔드가 좌우로 회전하는 방향의 베이스인 축을 지칭할 수 있다. 도시된 항공기 주축의 개념에서, 요 축은 항공기의 상부와 하부를 연결하는 축을 지칭할 수 있다. 롤 축은 항공기의 주축에 대한 예시된 개념에서 항공기의 프론트 엔드와 테일을 연결하는 축을 지칭할 수 있으며, 롤 방향의 회전은 롤 축을 기준으로 한 회전을 나타낼 수 있다. 상술한 바와 같이, 본 발명의 3D 공간은 피치, 요 및 롤의 개념을 이용하여 설명될 수 있다
도 6은 본 발명에 따른 3DoF + 비디오를 제공하기 위한 전체 아키텍처를 나타낸다.
도 6을 참조하면, 3DoF + 비디오 데이터 및/또는 3DoF + 오디오 데이터가 획득될 수 있다. 구체적으로, 3DoF + 컨텐츠를 캡처하기 위해 HDCA (고밀도 카메라 어레이), Lenslet (마이크로 렌즈) 카메라 등이 사용될 수 있거나, 3DoF + 비디오 캡처를 위해 설계된 새로운 디바이스를 통해 3DoF + 컨텐츠가 획득될 수 있다. 도 6에 도시된 획득된 이미지 (610)와 같이, 캡처를 위해 사용된 카메라의 위치에 따라 생성된 이미지/비디오 데이터 세트는 복수의 개수로 생성될 수 있다. 즉, 복수의 위치에서의 헤드 모션에 따른 복수의 비디오/오디오 정보를 얻을 수 있다. 이 경우에, 이미지 정보는 텍스처 정보뿐만 아니라 깊이 정보를 포함할 수 있다. 도 6에 도시된 획득된 이미지 (610)와 같이, 상이한 캡처 위치에 따라 상이한 뷰잉 포지션의 다수의 정보가 각각 획득될 수 있다. 또한 3DoF + 컨텐츠의 캡처 과정에서 카메라의 내부/외부 설정 값을 나타내는 메타 미터가 생성될 수 있다. 한편, 카메라 이외의 컴퓨터에 의해 생성된 이미지의 경우, 캡처 프로세스는 이미지 생성 프로세스로 대체될 수 있다.
이미지 획득 프로세스가 수행되면, 컴포지션 프로세스가 수행될 수 있다. 컴포지션 프로세스는 비디오/오디오 입력 장치를 통해 얻은 획득된 이미지(610)와, 외부 미디어, 음성(voice) (오디오/효과음 등) 및 텍스트 (자막 등)를 통해 얻은 이미지 (비디오/이미지 등)를 합성(compose)하여 사용자 경험을 포함시키는 프로세스이다.
획득된 이미지 (610)의 전처리 프로세스는 캡처된 이미지/비디오 및 캡처 프로세스로부터 전달된 메타데이터를 처리하는 프로세스일 수 있다. 전처리 프로세스는 스티칭 (stitching) 프로세스, 색 보정 프로세스, 프로젝션 프로세스, 뷰 세그멘테이션 프로세스 및 인코딩 프로세스와 같은 모든 타입의 전처리를 포함한다.
구체적으로, 스티치 프로세스는 캡처된 이미지/비디오를 연결하여 하나의 파노라마 이미지/비디오 또는 구형 이미지/비디오를 생성하는 과정이 될 수 있다. 이어서, 스티칭된 이미지/비디오는 프로젝션 처리될 수 있다. 프로젝션 프로세스에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 2D 이미지는 컨텍스트에 따라 2D 이미지 프레임이라고 부를 수 있다. 2D 이미지에 대한 프로젝션은 2D 이미지에 대한 매핑이라고 할 수 있다. 프로젝션된 이미지/비디오 데이터는 도 6의 2D 이미지 (620)의 모양을 가질 수 있다.
뷰 세그멘테이션 프로세스는 코딩 효율을 향상시키기 위해 프라이머리 뷰와 세컨더리 뷰로 분할하는 프로세스 일 수 있다. 예를 들어, 각 카메라 위치에 매핑된 이미지를 프라이머리 뷰와 세컨더리 뷰로 분리할 수 있으며, 서로 다른 해상도를 서로 다른 뷰에 적용하여 비디오 코딩 효율을 높일 수 있다. 또한, 맵핑 이미지의 배치 또는 해상도는 코딩 효율성을 향상시키기 위해 프라이머리 뷰 내에서 다르게 적용될 수 있다. 또한 세컨더리 뷰는 캡처 환경에 따라 존재하지 않을 수도 있다. 세컨더리 뷰는 사용자가 프라이머리 뷰에서 다른 프라이머리 뷰로 이동하는 경우 이동 프로세스에서 재생되는 이미지/비디오를 나타낼 수 있다. 세컨더리 뷰는 프라이머리 뷰보다 낮은 해상도를 가질 수 있지만 필요에 따라 동일한 해상도가 적용될 수 있다. 또한, 예를 들면, 360 비디오 수신 장치는 가상 정보를 기반으로 세컨더리 뷰를 새롭게 생성할 수 있다.
전처리 프로세스는 에디팅 프로세스를 더 포함할 수 있다. 에디팅 프로세스는 360 비디오 리전 사이의 경계를 제거하고 360 비디오의 리전 간의 색상/밝기 차이를 줄이거나 이미지의 시각 효과를 추가하는 프로세스를 나타낼 수 있다.
또한, 전처리 프로세스는 비디오의 리전을 재배치하는 패킹 (packing) 프로세스와 비디오 정보를 압축하는 인코딩 프로세스를 더 포함할 수 있다. 프로젝션된 픽처는 도 6의 프로젝션된 픽처 (620)과 같이 상이한 뷰잉 포지션의 복수의 프로젝션 픽처에 기반하여 생성될 수 있다.
또한, 전처리 프로세스에서, 프로젝션 전후의 이미지/비디오 데이터의 에디팅이 더 수행될 수 있고, 메타데이터가 생성될 수 있다. 예를 들어, 전처리 프로세스에서, 초기 뷰잉 오리엔테이션, 사용자의 초기 위치 및 관심 리전 (ROI)에 대한 메타데이터가 생성될 수 있다.
도 6에 도시된 전달 프로세스(delivery process)는 전처리 프로세스에서 획득된 이미지/비디오 데이터 및 메타데이터를 처리하고 전송하는 프로세스를 나타낼 수 있다. 임의의 전송 프로토콜에 따른 처리는 이미지/비디오 데이터 및 메타데이터의 전송을 위해 수행될 수 있다. 전송을 위해 처리된 데이터는 브로드 캐스트 네트워크 및/또는 광대역을 통해 전달될 수 있다. 이러한 데이터는 온-디맨드로 수신 측에 전달될 수 있다. 수신 측은 다양한 경로를 통해 데이터를 수신할 수 있다
프로세싱 프로세스는 수신된 이미지/비디오 데이터 및 메타데이터를 디코딩하는 디코딩 프로세스 및 디코딩된 프로젝션된 이미지의 이미지/비디오 데이터를 3D (3 차원) 모델로 맵핑/프로젝션하는 리-프로젝션 프로세스를 포함할 수 있고, 가상 시점의 생성 및 합성(compose)하는 프로세스를 포함할 수 있다. 여기서, 이미지/비디오 데이터가 매핑되는 3D 모델 또는 프로젝션 맵은 3D 모델에 따라 다른 모양을 가질 수 있다. 예를 들어, 3D 모델에는 구형, 큐브, 실린더 및 피라미드가 포함될 수 있다. 대안 적으로, 3D 모델 또는 프로젝션 맵은 구형, 큐브, 실린더 또는 피라미드의 변형된 형상 모델일 수 있거나 자유-형상 모델일 수 있다.
가상 시점을 생성하고 구성하는 프로세스는 사용자가 프라이머리 뷰에서 다른 프라이머리 뷰 또는 세컨더리 뷰로 이동하는 경우 이동 프로세스에서 재생되는 이미지/비디오 데이터를 생성하는 프로세스를 나타낼 수 있다. 가상 시점을 생성하기 위해 캡처 및 전처리 프로세스에서 전달된 메타데이터를 처리해야 할 수 있다. 어떤 경우에는 가상 시점에서 360 이미지/비디오의 일부만 생성/합성될 수 있다.
일 실시 예에 따르면, 프로세싱 프로세스는 추가로 에디팅 프로세스 및 업 스케일링 프로세스를 포함할 수 있다. 에디팅 프로세스에서, 리-프로젝션 전후의 이미지/비디오 데이터의 에디팅이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되면 업 스케일링 프로세스에서 샘플을 업 스케일링하여 이미지/비디오 데이터의 크기를 증가시킬 수 있다. 다운 스케일링을 통해 크기를 감소시키는 동작이 필요에 따라 수행될 수 있다.
렌더링 프로세스는 3D 공간 상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 프로세스를 지칭할 수 있다. 리-프로젝션 및 렌더링을 결합하여 3D 모델에서 렌더링으로 표현할 수 있다. 3D 모델 상에 리-프로젝션된 (또는 3D 모델 상에 렌더링된) 이미지/비디오는 도 6에 도시된 형상 (630)을 가질 수 있다. 도 6에 도시된 형상(630)은 이미지/비디오가 3D 구형 모델에 리-프로젝션되는 경우에 대응한다. 사용자는 VR 디스플레이를 통해 렌더링된 이미지/비디오의 리전을 볼 수 있다. 여기서, 사용자가 보는 리전은 도 6에 도시된 형상(640)을 가질 수 있다.
피드백 프로세스는 디스플레이 프로세스에서 획득될 수 있는 다양한 타입의 피드백 정보를 송신 측에 전달하는 프로세스를 지칭할 수 있다. 피드백 프로세스를 통해 360 비디오 소비의 인터랙티비티를 제공할 수 있다. 일 실시 예에 따르면, 피드백 프로세스에서 헤드 오리엔테이션 정보, 현재 사용자가 보고 있는 리전을 나타내는 뷰포트 정보 등을 송신 측으로 전달할 수 있다. 일 실시 예에 따르면, 사용자는 VR 환경에서 실현되는 객체와 인터랙션할 수 있다. 이 경우, 인터랙션에 관한 정보는 피드백 프로세스에서 송신 측 또는 서비스 제공자에게 전달될 수 있다. 일 실시 예에 따르면, 피드백 프로세스는 수행되지 않을 수 있다.
도 7은 360 비디오 전송 장치/360 비디오 수신 장치에 의해 수행되는 360도 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 7을 참조하면, 실제 오디오-비주얼 장면(audio-visual scene) (A)은 다수의 렌즈 및 센서를 갖는 카메라 장치 또는 카메라 세트뿐만 아니라 오디오 센서에 의해 캡처될 수 있다. 획들을 통해 일련의 디지털 이미지/비디오 (Bi) 및 오디오 (Ba) 신호가 발생할 수 있다. 카메라/렌즈는 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주변의 모든 방향을 포함할 수 있고, 따라서 360 비디오로 지칭될 수 있다.
동일한 시간 인스턴스의 이미지 (Bi)는 스티칭되고, 회전되고, 프로젝션되고, 패킹된 픽처 (D)에 매핑될 수 있다.
패킹된 픽처 (D)는 코딩된 이미지 (Ei) 또는 코딩된 비디오 비트 스트림 (Ev)으로 인코딩될 수 있다. 캡처된 오디오 (Ba)는 오디오 비트 스트림 (Ea)으로 인코딩될 수 있다. 코딩된 이미지, 비디오 및/또는 오디오는 특정 미디어 콘테이너 파일 포맷에 따라, 파일 재생 (F)을 위한 미디어 파일 또는 초기화 세그먼트의 시퀀스 및 스트리밍 (Fs)을 위한 미디어 세그먼트로 구성될 수 있다. 이 문서에서, 미디어 컨테이너 파일 형식은 ISO/IEC 14496-12에 지정된 ISO 기본 미디어 파일 형식일 수 있다. 파일 인캡슐레이터는 또한 디코딩된 압축된 픽처를 렌더링하는데 도움을 주는 프로젝션 및 리전 별 패킹 정보와 같은 메타데이터를 파일 또는 세그먼트에 포함할 수 있다.
세그먼트 Fs는 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.
파일 인캡슐레이터가 출력하는 파일 (F)은 파일 인캡슐레이터가 입력한 파일 (F')과 동일할 수 있다. 파일 디캡슐레이터는 파일 (F') 또는 수신된 세그먼트 (F's)를 처리하고 코딩된 비트 스트림 (E'a, E'v 및/또는 E'i)을 추출하고 메타데이터를 파싱할 수 있다. 오디오, 비디오 및/또는 이미지는 디코딩된 신호 (오디오에 대해서는 B'a, 이미지/비디오에 대해서는 D')로 디코딩될 수 있다. 디코딩된 패킹된 픽처 (D')는 현재 뷰잉 오리엔테이션 또는 뷰포트, 그리고 프로젝션, 구형 커버리지, 회전 및 파일로부터 파싱된 리전 별 패킹 메타데이터에 기반하여 헤드 장착 디스플레이 또는 임의의 다른 디스플레이 장치의 스크린 상에 프로젝션될 수 있다. 유사하게, 디코딩된 오디오 (B'a)는 예를 들어, 현재의 뷰잉 오리엔테이션에 따라 예컨대 헤드폰을 통해 렌더링될 수 있다. 현재의 뷰잉 오리엔테이션은 헤드 트래킹 및 가능하게는 아이 트랙킹 기능에 의해 결정될 수 있다. 디코딩된 비디오 및 오디오 신호의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에, 현재의 뷰잉 오리엔테이션은 디코딩 최적화를 위해 비디오 및 오디오 디코더에 의해 또한 사용될 수도 있다.
위에서 설명한 프로세스는 라이브 및 온-디맨드 유즈케이스 모두에 적용할 수 있다.
도 8은 본 발명이 적용 가능한 360 비디오 전송 장치의 구성을 개략적으로 나타낸다.
본 발명에 따른 360 비디오 전송 장치는 상술한 준비 프로세스 및 전송 프로세스와 관련된 동작을 수행할 수 있다. 360 비디오 전송 장치는 내/외부 엘리먼트로서 데이터 입력 유닛, 컴포지션 정보 프로세서, 스티처, 프로젝션 프로세서, (리전 별) 패킹 프로세서, 서브 픽처 프로세서, 데이터 인코더, 인캡슐레이션 프로세스, 파일 추출 유닛, 전송 프로세서, 송신기, 시점/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 메타데이터 프로세서 및/또는 (송신 측) 피드백 프로세서를 포함할 수 있다. 입력 데이터가 카메라 출력 비디오인 경우, 360 비디오 전송 장치는 스티칭을 수행하여 각 시점/뷰잉 포지션/뷰잉 오리엔테이션에 대한 구형 이미지 (즉, 3D 공간에서 렌더링된 360 비디오)을 생성할 수 있다. 시점/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 메타데이터 프로세서는 메타데이터 프로세서로 지칭될 수 있다.
데이터 입력 유닛은 각각의 시점에 대해 캡쳐된 이미지/비디오를 수신할 수 있다. 각각의 시점에 대한 이미지/비디오는 하나 이상의 카메라에 의해 캡쳐된 이미지/비디오 일 수 있다. 데이터 입력 유닛은 시점에 대해 수신된 이미지/비디오를 스티처에 포워드(forward)하고, 캡쳐 프로세스에서 생성된 메타데이터를 시그널링 프로세서로 포워드할 수 있다.
스티처는 시점에 대해 캡처된 이미지/비디오에 대한 스티칭 동작을 수행할 수 있다. 스티처는 스티칭된 360 비디오 데이터를 프로젝션 프로세서로 전송할 수 있다. 스티처는 메타데이터 프로세서로부터 필요한 메타데이터를 수신하고 필요한 경우 스티칭 동작에 메타데이터를 사용할 수 있다. 스티처는 스티칭 프로세스에서 생성된 메타데이터를 메타데이터 프로세서로 포워드할 수 있다. 스티칭 프로세스의 메타데이터는 스티칭이 수행되었는지의 여부를 나타내는 정보 및 스티칭 타입과 같은 정보를 포함할 수 있다.
프로젝션 프로세서는 스티칭된 360 비디오 데이터를 2D 이미지에 프로젝션할 수 있다. 프로젝션형 프로세서는 후술될 다양한 방식에 따라 프로젝션을 수행할 수 있다. 프로젝션 프로세서는 각 시점에 대한 360 비디오 데이터의 깊이를 고려하여 맵핑을 수행할 수 있다. 프로젝션 프로세서는 프로젝션에 필요한 메타데이터를 메타데이터 프로세서로부터 수신하고 필요에 따라 프로젝션 연산을 위해 메타데이터를 사용할 수 있다. 프로젝션 프로세서는 프로젝션 프로세스에서 생성된 메타데이터를 메타데이터 프로세서로 포워딩할 수 있다. 프로젝션 프로세서에서 생성된 메타데이터는 프로젝션 방식 타입 등을 포함할 수 있다.
(리전 별) 패킹 프로세서는 전술한 리전 별 패킹 프로세스를 수행할 수 있다. 즉, (리전 별) 패킹 프로세서는 프로젝션된 360 비디오 데이터를 리전으로 분할하고 리전을 회전 및 재 배치하거나 각 리전의 해상도를 변경하는 프로세스를 수행할 수 있다. 전술한 바와 같이, (리전 별) 패킹 프로세서는 선택적이며, 따라서 리전 별 패킹이 수행되지 않을 때 (리전 별) 패킹 프로세서가 생략될 수 있다. (리전 별) 패킹 프로세서는 메타데이터 프로세서로부터 리전 별 패킹에 필요한 메타데이터를 수신하고 필요에 따라 리전 별 패킹 작업에 메타데이터를 사용할 수 있다. (리전 별) 패킹 프로세서는 리전 별 패킹 프로세스에서 생성된 메타데이터를 메타데이터 프로세서에 전달할 수 있다. (리전 별) 패킹 프로세스에서 생성되는 메타데이터는 각 리전의 회전 정도, 크기 등을 포함할 수 있다.
전술한 스티처, 프로젝션 프로세서 및/또는 리전 별 패킹 프로세서는 일 실시 예에 따라 단일 하드웨어 구성 엘리먼트로 통합될 수 있다.
응용에 따르면, 서브 픽처 프로세서는 다수의 이미지를 통합 이미지로 만들기 위한 패킹을 수행하거나 전체 비디오를 세부 영역의 비디오로 분할하는 서브 픽처를 생성할 수 있다. 또한, 입력된 데이터가 비디오/오디오/텍스트 부가 정보를 포함하는 경우, 부가 정보를 중앙 이미지/비디오에 추가적으로 표시하는 방법에 대한 정보를 생성할 수 있으며, 부가 정보로 정보를 전송할 수 있다.
메타데이터 프로세서는 캡처 프로세스, 스티칭 프로세스, 프로젝션 프로세스, 리전 별 패킹 프로세스, 인코딩 프로세스, 인캡슐레이션 프로세스 및/또는 전송 프로세스에서 생성될 수 있는 메타데이터를 처리할 수 있다. 메타데이터 프로세서는 이러한 메타데이터를 사용하여 360 비디오 관련 메타데이터를 생성할 수 있다. 일 실시 예에 따르면, 메타데이터 프로세서는 시그널링 테이블의 형태로 360 비디오 관련 메타데이터를 생성할 수 있다. 360 비디오 관련 메타데이터는 시그널링 컨텍스트에 따라 메타데이터 또는 360 비디오 관련 시그널링 정보로 불릴 수도 있다. 메타데이터 프로세서는 필요에 따라 획득 또는 생성된 메타데이터를 360 비디오 전송 장치의 내부 엘리먼트들로 전달할 수 있다. 메타데이터 프로세서는 360 비디오 관련 메타데이터가 수신 측으로 전송될 수 있도록 360 비디오 관련 메타데이터를 데이터 인코더, 인캡슐레이션 프로세서 및/또는 전송 프로세서로 전달할 수 있다.
데이터 인코더는 2D 이미지 및/또는 리전 별로 압축된 360 비디오 데이터에 프로젝션된 360 비디오 데이터를 인코딩할 수 있다. 360 비디오 데이터는 다양한 형식으로 인코딩될 수 있다.
인캡슐레이션 프로세서는 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 파일 포맷으로 인캡슐레이션할 수 있다. 여기서, 360 비디오 관련 메타데이터는 메타데이터 프로세서로부터 수신될 수 있다. 인캡슐레이션 프로세서는 데이터를 ISOBMFF, CFF 등과 같은 파일 포맷으로 인캡슐레이션하거나 데이터를 DASH 세그먼트 등으로 처리할 수 있다. 인캡슐레이션 프로세서는 360 비디오 관련 메타데이터를 파일 포맷으로 포함할 수 있다. 360 비디오 관련 메타데이터는 SOBMFF에서 다양한 레벨을 갖는 박스에 포함될 수 있거나, 예를 들어 파일 내의 별도의 트랙의 데이터로서 포함될 수 있다. 일 실시 예에 따르면, 인캡슐레이션 프로세서는 360 비디오 관련 메타데이터를 파일로 인캡슐레이션할 수 있다. 전송 프로세서는 파일 포맷에 따라 인캡슐레이션된 360 비디오 데이터에 대한 전송을 위한 프로세싱을 수행할 수 있다. 전송 프로세서는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 전송을 위한 프로세싱은 브로드 캐스트 네트워크를 통한 전달 및 광대역을 통한 전달을 위한 프로세싱을 포함할 수 있다. 일 실시 예에 따르면, 전송 프로세서는 360 비디오 데이터뿐만 아니라 메타데이터 프로세서로부터 360 비디오 관련 메타데이터를 수신하고 360 비디오 관련 메타데이터에 대한 송신을 위한 프로세싱을 수행할 수 있다.
송신기는 방송 네트워크 및/또는 광대역을 통해 전송을 위해 처리된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 전송할 수 있다. 송신기는 브로드밴드 네트워크를 통한 송신을 위한 엘리먼트 및/또는 광대역을 통한 송신을 위한 엘리먼트를 포함할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 일 실시 예에 따르면, 360 비디오 전송 장치는 내부/외부 엘리먼트인 데이터 저장 유닛 (도시되지 않음)을 더 포함할 수 있다. 데이터 저장 유닛은 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터가 전송 프로세서에 전달되기 전에 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 저장할 수 있다. 이러한 데이터는 ISOBMFF와 같은 파일 형식으로 저장될 수 있다. 360 비디오가 실시간으로 전송될 때 데이터 저장 유닛이 필요하지 않을 수도 있지만, 인캡슐레이션된 360 데이터는 데이터 저장 유닛에 일정 기간 동안 저장되어 인캡슐레이션된 360 데이터가 광대역을 통해 전달(deliver)될 때 전송될 수 있다.
본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 360 비디오 전송 장치는 내부/외부 엘리먼트로서 (송신 측) 피드백 프로세서 및/또는 네트워크 인터페이스 (도시되지 않음)를 더 포함할 수 있다. 네트워크 인터페이스는 본 발명에 따른 360 비디오 수신 장치로부터 피드백 정보를 수신하여 피드백 정보를 송신 측 피드백 프로세서에 전송할 수 있다. 송신 측 피드백 프로세서는 피드백 정보를 스티처, 프로젝션 프로세서, 리전 별 패킹 프로세서, 데이터 인코더, 인캡슐레이션 프로세서, 메타데이터 프로세서 및/또는 전송 프로세서에 전달할 수 있다. 일 실시 예에 따르면, 피드백 정보는 메타데이터 프로세서에 전달되어 각각의 내부 엘리먼트에 전달될 수 있다. 피드백 정보를 수신한 내부 엘리먼트는 다음의 360 비디오 데이터 프로세서에서 피드백 정보를 반영할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 리전 별 패킹 프로세스는 리전을 회전시키고 회전된 리전을 2D 비디오 상에 매핑할 수 있다. 여기서, 리전들은 상이한 각도로 상이한 방향으로 회전되고 2D 이미지 상에 매핑될 수 있다. 360 비디오 데이터의 인접 부분과 스티칭된 부분을 고려하여 리전 회전을 수행할 수 있다. 리전 회전에 관한 정보, 즉 회전 방향, 각도 등은 360 비디오 관련 메타데이터를 통해 전달될 수 있다. 본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 데이터 인코더는 각 리전 별로 인코딩을 다르게 수행할 수 있다. 데이터 인코더는 특정 리전을 높은 품질로 인코딩하고 다른 리전을 낮은 품질로 인코딩할 수 있다. 송신 측 피드백 프로세서는 360 비디오 수신 장치로부터 수신한 피드백 정보를 데이터 인코더로 전달하여 데이터 인코더가 각 리전 별로 구분된 인코딩 방식을 사용할 수 있도록할 수 있다. 예를 들어, 송신 측 피드백 프로세서는 수신 측으로부터 수신된 뷰포트 정보를 데이터 인코더로 전송할 수 있다. 데이터 인코더는 다른 리전들보다 높은 품질 (UHD 등)의 뷰포트 정보가 나타내는 영역을 포함하는 리전들을 인코딩할 수 있다
본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 전송 프로세서는 리전 별로 전송 처리를 다르게 수행할 수 있다. 전송 프로세서는 각 리전에 전달된 데이터가 상이한 강인성(robustness)을 갖도록 각 리전에 상이한 송신 파라미터 (변조 차수, 코드 레이트 등)를 적용할 수 있다.
여기서, 송신 측 피드백 프로세서는 360 비디오 수신 장치로부터 수신한 피드백 정보를 전송 프로세서로 전달하여 전송 프로세서가 각 리전 별로 구별되는 전송 프로세서를 수행할 수 있도록할 수 있다. 예를 들어, 송신 측 피드백 프로세서는 수신 측으로부터 수신된 뷰포트 정보를 전송 프로세서로 전달할 수 있다. 전송 프로세서는 뷰포트 정보가 나타내는 리전을 포함하는 리전들에 대해 상기 리전들이 다른 리전들보다 강건하도록 전송 프로세서를 수행할 수 있다.
본 발명에 따른 360 비디오 전송 장치의 상술한 내/외부 엘리먼트는 하드웨어 엘리먼트일 수 있다. 일 실시 예에 따르면, 내부/외부 엘리먼트는 변경되거나, 생략되거나, 다른 엘리먼트에 의해 대체되거나 통합될 수 있다.
도 9는 본 발명이 적용 가능한 360 비디오 수신 장치의 구성을 개략적으로 나타낸다.
본 발명에 따른 360 비디오 수신 장치는 상술한 프로세싱 프로세스 및/또는 렌더링 프로세스와 관련된 동작을 수행할 수 있다. 360 비디오 수신 장치는 수신기, 수신 프로세서/파일 추출 유닛, 디캡슐레이션 프로세서, 데이터 디코더, 메타데이터 파서, 언 패킹/선택 프로세서, 렌더러, 합성 프로세서, (수신 측) 피드백 프로세서 및/또는 리-프로젝션 프로세서를 내부/외부 엘리먼트로서 포함할 수 있다. 시그널링 파서는 메타데이터 파서라고 부를 수 있다.
수신기는 본 발명에 따른 360 비디오 전송 장치로부터 전송된 360 비디오 데이터를 수신할 수 있다. 수신기는 360 비디오 데이터가 전송되는 채널에 따라 방송망 또는 광대역을 통해 360 비디오 데이터를 수신할 수 있다. 수신기는 송신기로부터 전송된 비트 스트림을 수신한 후 필요한 파일을 추출할 수 있다.
수신 프로세서는 수신된 360 비디오 데이터에 대한 전송 프로토콜에 따른 프로세싱을 수행할 수 있다. 수신 프로세서는 전송 프로세서에 대한 프로세스와는 역 프로세스를 수행하여, 역 프로세스가 전송 프로세스에 대한 프로세싱에 대응되도록 한다. 수신 프로세서는 획득된 360 비디오 데이터를 디캡슐레이션 프로세서로 전달하고, 획득된 360 비디오 관련 메타데이터를 메타데이터 파서로 전달할 수 있다. 수신 프로세서에 의해 획득된 360 비디오 관련 메타데이터는 시그널링 테이블의 형태를 가질 수 있다.
디캡슐레이션 프로세서는 수신 프로세서로부터 수신된 파일 포맷의 360 비디오 데이터를 디캡슐레이션 (decapsulate)할 수 있다. 디캡슐레이션 프로세서는 ISOBMFF 등의 파일을 디캡슐레이션함으로써 360 비디오 데이터 및 360 비디오 관련 메타데이터를 획득할 수 있다. 디캡슐레이션 프로세서는 피드백 프로세서로부터 전송된 시점/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 비디오 메타데이터를 이용하여 생성된 파일 포맷의 비디오 스트림을 선택하고, 선택된 비디오 스트림을 디코더를 통해 비디오 정보로 복원(reconstruct)할 수 있다. 디캡슐레이션 프로세서는 획득된 360 비디오 데이터를 데이터 디코더로 전송하고 획득된 360 비디오 관련 메타데이터를 메타데이터 파서로 전송할 수 있다. 디캡슐레이션 프로세서에 의해 획득된 360 비디오 관련 메타데이터는 파일 포맷의 박스 또는 트랙의 모양을 가질 수 있다. 디캡슐레이션 프로세서는 필요한 경우 메타데이터 파서로부터 디캡슐레이션에 필요한 메타데이터를 수신할 수 있다.
데이터 디코더는 360 비디오 데이터를 디코딩할 수 있다. 데이터 디코더는 메타데이터 파서로부터 디코딩하는데 필요한 메타데이터를 수신할 수 있다. 데이터 디코딩 프로세스에서 획득된 360 비디오 관련 메타데이터는 메타데이터 파서로 전달될 수 있다.
패킹된 이미지의 경우에, 언 패킹/선택 프로세서는 메타데이터를 통해 전송된 패킹 정보를 기반으로 패킹된 이미지의 언 패킹을 수행할 수 있다. 필요한 경우, 언 패킹/선택 프로세서는 피드백 프로세서로부터 전달되는 시점/뷰잉 포지션/뷰잉 오리엔테이션에 적합한 비디오 및 필요한 컴포넌트를 선택하는 과정을 수행할 수 있다.
메타데이터 파서는 360 비디오 관련 메타데이터를 파싱/디코딩할 수 있다. 메타데이터 파서는 획득된 메타데이터를 데이터 디캡슐레이션 프로세서, 데이터 디코더, 리-프로젝션 프로세서 및/또는 렌더러로 포워딩할 수 있다.
리-프로젝션 프로세서는 디코딩된 360 비디오 데이터에 대해 리-프로젝션을 수행할 수 있다. 리-프로젝션 프로세서는 3D 비디오 데이터를 3D 공간에 리-프로젝션할 수 있다. 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 리-프로젝션 프로세서는 메타데이터 파서로부터 리-프로젝션하는데 필요한 메타데이터를 수신할 수 있다. 예를 들어, 리-프로젝션 프로세서는 메타데이터 파서로부터 사용된 3D 모델의 타입 및 그 상세 정보에 대한 정보를 수신할 수 있다. 일 실시 예에 따르면, 리-프로젝션 프로세서는 리-프로젝션에 필요한 메타데이터를 사용하여 3D 공간상의 특정 리전에 해당하는 360 비디오 데이터만을 리-프로젝션할 수 있다.
렌더러는 리-프로젝션된 360 비디오 데이터를 렌더링할 수 있다. 상술한 바와 같이, 3D 공간상의 360 비디오 데이터의 리-프로젝션은 3D 공간상의 360 비디오 데이터의 렌더링으로서 표현될 수 있다. 이러한 방식으로 2 개의 프로세스가 동시에 발생하는 경우, 리-프로젝션 프로세서와 렌더러는 통합될 수 있고 렌더러는 상기 프로세스를 수행할 수 있다. 일 실시 예에 따르면, 렌더러는 사용자의 시점 정보에 따라 사용자가 보는 부분만을 렌더링할 수 있다.
또한, 렌더러는 비디오의 텍스처, 깊이 및 오버레이 정보를 디스플레이에 적합한 포맷으로 재구성하는 렌더링 프로세스를 수행할 수 있다. 최종 비디오를 생성하기 전에 서로 다른 계층의 정보를 통합하는 컴포지션 프로세스를 수행하고, 디스플레이 뷰포트에 적합한 이미지를 생성하여 표시할 수 있다.
사용자는 VR 디스플레이 등을 통해 렌더링된 360 비디오의 일부분을 볼 수 있다. VR 디스플레이는 360 비디오를 재생하는 장치이며, 360 비디오 수신 장치 (테더링됨)에 포함되거나 또는 별도 장치로 360 비디오 수신 장치 (테더링되지 않음)로 연결될 수 있다.
본 발명에 따른 360 비디오 수신 장치의 일 실시 예에 따르면, 360 비디오 수신 장치는 내부/외부 엘리먼트로서 (수신 측) 피드백 프로세서 및/또는 네트워크 인터페이스 (도시되지 않음)를 더 포함할 수 있다. 수신 측 피드백 프로세서는 렌더러, 리-프로젝션 프로세서, 데이터 디코더, 디캡슐레이션 프로세서 및/또는 VR 디스플레이로부터 피드백 정보를 획득하고 피드백 정보를 처리할 수 있다. 피드백 정보는 뷰포트 정보, 헤드 방향 정보, 시선 정보 등을 포함할 수 있다. 네트워크 인터페이스는 수신 측 피드백 프로세서로부터 피드백 정보를 수신하여 피드백 정보를 360 비디오 전송 장치로 전송할 수 있다.
전술한 바와 같이, 피드백 정보는 수신 측에서 소비 될뿐만 아니라 송신 측으로 송신될 수 도있다. 수신 측 피드백 프로세서는 획득된 피드백 정보를 360 비디오 수신 장치의 내부 엘리먼트로 전달하여 피드백 정보를 렌더링과 같은 프로세스에 반영할 수 있다. 수신 측 피드백 프로세서는 피드백 정보를 렌더러, 리-프로젝션 프로세서, 데이터 디코더 및/또는 디캡슐레이션 프로세서로 전송할 수 있다. 예를 들어, 렌더러는 피드백 정보를 사용하여 사용자가 보는 리전을 우선적으로 렌더링할 수 있다. 또한, 디캡슐레이션 프로세서 및 데이터 디코더는 사용자가 보거나 볼 수 있는 리전을 우선적으로 디캡슐레이션 및 디코딩할 수 있다.
본 발명에 따른 360 비디오 수신 장치의 상술된 내/외부 엘리먼트는 하드웨어 엘리먼트일 수 있다. 일 실시 예에 따르면, 내부/외부 엘리먼트는 변경되거나, 생략되거나, 다른 엘리먼트에 의해 대체되거나 통합될 수 있다. 일 실시 예에 따르면, 360 비디오 수신 장치에 부가적인 엘리먼트가 추가될 수 있다.
본 발명의 또 다른 양상은 360 비디오를 전송하는 방법 및 360 비디오 데이터를 수신하는 방법에 관한 것이다. 본 발명에 따른 360 비디오 송수신 방법은 상술한 360 비디오 전송/수신 장치 또는 그 실시 예에 의해 수행될 수 있다.
상술한 360 비디오 송수신 장치 및 송수신 방법의 실시 예 및 장치의 내부/외부 구성 엘리먼트의 실시 예는 결합될 수 있다. 예를 들어, 프로젝션 프로세서의 실시 예들 및 데이터 인코더의 실시 예들은 결합되어, 360 비디오 전송 장치의 많은 실시 예들을 다수의 케이스들로 생성할 수 있다. 이러한 방식으로 결합된 실시 예도 본 발명의 범위에 포함된다.
한편 3DoF의 프로젝션된 비디오를 사용하는 전 방향성 미디어 응용 프로그램의 일반적인 컨텐츠 흐름 프로세스에서 캡처된 이미지는 정적 시점으로 뷰포트를 제공하는 구형을 구성한다. 뷰잉 포지션은 변하지 않는 것으로 가정되므로 뷰어와 VR 환경 간의 인터랙티비티를 제공하기는 것이 쉽지 않다. VR 환경에서 시청자의 행동에 대한 다양한 시청 경험을 제공하기 위해서는 시청 경계를 제한하여 뷰잉 포지션을 변경해야 한다. 다른 뷰잉 포지션으로 인한 다른 뷰를 헤드 모션 시차라고 한다.
전술한 바와 같이, 헤드 모션 시차는 시청자에게 현실적인 시청 경험을 갖는 헤드 모션의 자유도를 제공할 수 있다. 이 기능을 지원하기 위해 이상적인 컨텐츠는 앵커 (또는 중심) 구에 인접한 여러 개의 구형으로 구성되는 반면 에, 3DoF의 현재 컨텐츠는 단일 구형만 고려한다. 추가적인 구형 정보가 보조(subsidiary) 뷰잉 포지션들에 대하여 고려될 수 있기 때문에, 이미지 캡처, 프로젝션, 패킹 형식, 파일 인캡슐레이션, 전달, 파일 디캡슐레이션, 렌더링과 같이, 단일 구형 컨텐츠를 기반으로 하는 3DoF 서비스의 기존 컨텐츠 작업 플로우는 변경되어야 한다.
따라서, 본 발명은 상이한 뷰잉 포지션의 시점을 나타내는 다수의 구형 비디오/이미지를 지원하는 다수의 실시 예를 제안한다. 일 실시 예는 디코딩된 픽처의 뷰잉 포지션 및 관련된 뷰잉 포지션 및 뷰잉 포지션 경계를 알려주는 추가의 SEI 메시지를 포함한다. 또한, 현재 이미지/비디오의 위치 정보 및 현재 이미지/비디오의 뷰잉 포지션 경계에 대한 모든 뷰잉 포지션 및 헤드 모션 정보를 ISOBMFF 및/또는 OMAF로 정의할 수 있다. 파일 포맷에 대한 정의에서, 트랙 그룹핑은 본 발명의 실시 예로서 제안된다. 또한, 제안된 신택스 및 시맨틱이 VPS (Video Parameter Set), SPS (Sequence Parameter Set) 및 PPS (Picture Parameter Set)와 같은 비디오 레벨의 파라미터 세트로 정의되어, 비디오 시퀀스들의 그룹의 뷰잉 포지션들 사이의 관계의 전체 분포를 설명할 수 있다. 다시 말해, 제안된 신택스 및 시맨틱은 HEVC (High efficiency video coding) 또는 VVC (Versatile Video Coding)와 같은 비디오 코덱 표준의 파라미터 세트로 전송될 수 있다. 또한, 제안된 신택스 및 시맨틱은 디지털 유무선 인터페이스, 시스템 레벨의 파일 포맷 등을 통해 전송될 수 있다.
예를 들어, 현재 이미지/비디오의 뷰잉 포지션 정보 및 관련된 모든 뷰잉 포지션은 다음 표와 같이 SEI 메시지에 정의될 수 있다.
표 1을 참조하면, viewing position info는 뷰잉 포지션 정보 SEI 메시지를 나타낼 수 있다. 뷰잉 포지션 정보 SEI 메시지는 시점에 대응하는 현재 이미지/비디오의 뷰잉 포지션의 정보 및/또는 현재 이미지/비디오의 뷰잉 포지션에 인접한 뷰잉 포지션의 정보를 제공한다.
표 1을 참조하면, 뷰잉 포지션 정보는 viewing_position_info_id 필드 및/또는 viewing_position_info_cancel_flag 필드를 포함할 수 있다.
viewing_position_info_id 필드는 뷰잉 포지션 정보의 목적을 식별하는데 사용될 수 있는 식별 번호를 나타낼 수 있다. 예를 들어, viewing_position_info_id 필드의 값은 이 SEI 메시지의 상이한 유즈케이스를 나타내거나, 상이한 수신기 성능을 지원하거나, SEI 메시지 또는 상이한 시점 등에 포함된 상이한 레벨의 정보를 나타내기 위해 사용될 수 있다.
구체적으로, 하나 이상의 뷰잉 포지션 정보 SEI 메시지가 viewing_posidion_info_id 필드의 동일한 값으로 존재할 때, 이들 뷰잉 포지션 정보 SEI 메시지의 내용은 동일할 수 있다. viewing_position_info_id 필드의 둘 이상의 값을 갖는 위치 정보 SEI 메시지가 존재하는 경우, 이는 viewing_posidion_info_id 필드의 상이한 값들에 의해 지시된 정보가 다른 목적을 위해 제공되는 대안들이거나 또는 순차적 순서로 적용되는 (응용 프로그램에 따라 순서가 지정될 수 있음) 일련의 수정 (a cascading of correction)이 되도록 지시할 수 있다. viewing_posidion_info_id 필드의 값은 0부터 212 - 1까지의 범위에 있어야 한다.
viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 뷰잉 포지션 정보 (SEI) 메시지의 지속성(persistence)을 취소하는지 여부를 나타낼 수 있다. 예를 들어, 1과 같은 viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 뷰잉 포지션 정보 (SEI) 메시지의 지속성을 취소함을 나타낸다. 0과 같은 viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보가 후속하는 것을 나타낸다.
표 1을 참조하면, 뷰잉 포지션 정보는 viewing_position_info_persistence_flag 필드, anchor_viewing_position_flag 필드, viewing_position_y 필드, viewing_position_y 필드, viewing_position_z 필드, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드, viewing_orientation_roll 필드, coverage_horizontal 필드 및/또는 coverage_vertical 필드를 포함할 수 있다.
viewing_position_info_persistence_flag 필드는 현재 레이어에 대한 뷰잉 포지션 정보 SEI 메시지의 지속성을 특정할 수 있다. 예를 들어, viewing_position_info_persistence_flag 필드가 0과 동일하면 뷰잉 포지션 정보가 현재의 디코딩된 픽처에만 적용됨을 지정한다. 여기서, 현재 디코딩된 픽처는 현재 픽처 또는 대응하는 디코딩된 픽처라고 불릴 수도 있다.
picA를 현재 픽처이라고 하자. viewing_position_info_persistence_flag 필드를 1로 설정하면, 다음의 조건들 중 하나가 참이 될 때까지 현재 레이어에 대한 뷰잉 포지션 정보 SEI 메시지가 출력 순서로 지속되도록 지정된다:
- 현재 레이어의 새 CLVS가 시작된다.
- 비트 스트림이 끝난다.
- PicOrderCnt (picB)가 PicOrderCnt (picA)보다 큰 현재 레이어에 적용 가능한 뷰잉 포지션 정보 SEI 메시지를 포함하는 액세스 유닛의 현재 레이어의 픽처 picB가 출력되고, 여기서 PicOrderCnt (picB) 및 PicOrderCnt (picA)는 picB의 픽처 순서 카운트에 대한 디코딩 프로세스의 호출 직후에 각각 picB 및 picA의 PicOrderCntVal 값이다.
anchor_viewing_position_flag 필드는 현재 디코딩된 비디오가 XYZ 좌표로 가정될 수 있거나 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 명시적으로 주어진 앵커 (또는 중심 또는 대표) 뷰잉 포지션인지 여부를 나타낼 수 있다. 다시 말해서, anchor_viewing_position_flag는 현재 디코딩된 픽처에 대한 현재 뷰잉 포지션이 현재 디코딩된 픽처가 앵커 (또는 중심 또는 대표) 뷰잉 포지션인지 여부를 나타낼 수 있는지 여부를 나타낸다.
예를 들어, 1과 같은 viewing_position_info_persistence_flag 필드는 현재의 디코딩된 픽처가 XYZ 좌표에서 (0,0,0)으로 가정될 수 있거나 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 명시적으로 주어진 앵커 (또는 중심 또는 대표) 뷰잉 포지션인 것을 나타낸다. 0과 같은 anchor_viewing_position_flag 필드는 현재 디코딩된 비디오가 주변 또는 측면 또는 비 앵커 뷰잉 포지션임을 나타내며, 앵커 뷰잉 포지션의 위치, 오리엔테이션 및 커버리지 정보는 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 제공된다.
viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드는 현재의 디코딩된 비디오에 대응하는 뷰잉 포지션의 (x, y, z) 위치를 각각 2-16 밀리미터 단위로 나타낼 수 있다. 여기서, 현재 디코딩된 픽처에 대응하는 뷰잉 포지션은 현재 뷰잉 포지션이라고 지칭될 수도있다. viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 범위는 -32768 * 216-1 (즉, -2147483647) 내지 32768 * 216 (즉, 2147483648)의 범위일 수 있다.
viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 값은 앵커 뷰잉 포지션의 위치에 대응하는 XYZ 좌표 또는 관련 위치의 절대 위치에 의해 표현될 수 있다.
viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 요, 피치 및 롤 오리엔테이션 각을 2-16 도 단위로 나타낼 수 있다. 즉, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 각각 현재 디코딩된 비디오에 대응하는 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요, 피치 및 롤 각도를 나타낼 수 있다. viewing_orientation_yaw 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 (즉, 11796479)의 범위에 있을 수 있으며, viewing_orientation_pitch 필드의 값은 -90 * 216 (즉, -5898240)에서 90 * 216 (즉, 5898240)의 범위에 있을 수 있고, viewing_orientation_roll 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 즉, 11796479)의 범위에 있을 수 있다.
또한, 응용에 따라, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 방위 각, 고도 각(elevation angle) 및 경사 각(tilt angle)을 각각 나타내는 데 사용될 수 있다. 또한, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 현재 디코딩된 픽처에 대응하는 헤드 포지션의 단위 구형에 적용된 회전을 나타내어 로컬 좌표축을 글로벌 좌표축으로 각각 변환할 수 있다.
coverage_horizontal 필드 및 coverage_vertical 필드는 현재의 디코딩된 픽처에 대응하는 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 각각 2-16 도의 단위로 지정할 수 있다.
표 1을 참조하면, 뷰잉 포지션 정보는 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드, anchor_viewing_position_z 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드 및/또는 anchor_coverage_vertical 필드를 포함할 수 있다.
anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드는 현재 디코딩된 비디오에 대응하여 뷰잉 포지션 세트의 앵커 뷰잉 포지션의 (x, y, z) 위치를 2-16 밀리미터 단위로 나타낼 수 있다. anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드의 범위는 -32768 * 216-1 (즉, -2147483647)에서 32768 * 216 (즉, 2147483648)의 범위일 수 있다.
또한, 예를 들어, anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드는 (0, 0, 0)으로 가정될 수 있으므로, 현재 디코딩된 비디오에 대응하여 설정된 뷰잉 포지션에서 다른 뷰잉 포지션의 위치는 앵커 뷰잉 포지션에 대한 상대적인 위치로서 표현된다. 여기서, 다른 뷰잉 포지션은 현재의 디코딩된 비디오에 대응하여 설정된 뷰잉 포지션에서의 앵커 뷰잉 포지션 이외의 뷰잉 포지션이다.
anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 앵커 뷰잉 포지션을 나타내는 구의 요, 피치 및 롤 오리엔테이션 각을 2-16 도 단위로 나타낼 수 있다. anchor_viewing_orientation_yaw 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 (즉, 11796479)의 범위에 있을 수 있으며, anchor_viewing_orientation_pitch 필드의 값은 -90 * 216 (즉, -5898240)에서 90 * 216 (즉 5898240)의 범위에 있을 수 있고 anchor_viewing_orientation_roll 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 즉, 11796479)의 범위에 있을 수 있다.
또한, 응용에 따라, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 방위 각, 고도 각 및 경사 각을 각각 나타내는 데 사용될 수 있다. 또한, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 로컬 좌표축을 글로벌 좌표축으로 각각 변환하기 위해 앵커 뷰잉 포지션의 단위 구형에 적용되는 회전을 나타낼 수 있다.
anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드는 앵커 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 각각 2-16 도의 단위로 지정할 수 있다.
표 1을 참조하면, 뷰잉 포지션 정보는 num_viewing_position 필드, set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation_roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.
num_viewing_positions 필드는 현재 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 특정할 수 있다. 즉, num_viewing_position 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 뷰잉 포지션의 수를 특정할 수 있다.
set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드는 현재 디코딩된 비디오에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 (x, y, z) 각각 2-16 밀리미터의 단위로 set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드의 범위는 -32768 * 216-1 (즉, -2147483647)에서 32768 * 216 (즉, 2147483648)의 범위에 있을 수 있다.
set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드의 값은 앵커 위치의 위치에 대응하는 XYZ 좌표 또는 관련 위치의 절대 위치에 의해 표현될 수 있으며, viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 레프리젠테이션과 정렬되어야 한다.
set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 각각에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 요, 피치 및 롤 오리엔테이션 각을 나타낼 수 있다. 현재 디코딩된 픽처를 2-16 도 단위로 표시한다. set_viewing_orientation_yaw[i] 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 (즉, 11796479)의 범위에 있을 수 있으며, set_viewing_orientation_pitch[i] 필드의 값은 -90 * 216 (즉, -5898240) 내지 90 * 216 (즉, 5898240) 범위에 있을 수 있고, set_viewing_orientation_roll[i] 필드의 값은 -180 * 216 (즉, - 11796480) 내지 180 * 216 - 1 (즉, 11796479)의 범위에 있을 수 있다.
또한, 응용에 따라 set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션 셔트의 i 번째 뷰잉 포지션에서의, 방위 각, 고도 각 및 경사 각을 나타내는데 사용될 수 있다. 또한, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 현재에 대응하여 설정된 뷰잉 포지션에서 i 번째 뷰잉 포지션의 단위 구형에 적용되는 회전을 나타낼 수 있고, 로컬 좌표축을 글로벌 좌표축으로 각각 변환한다.
set_coverage_horizontal[i] 필드 및 set_coverage_vertical[i] 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 2-16 도 단위로 각각 특정할 수 있다.
예를 들어, 시점에 해당하는 현재 이미지/비디오의 헤드 모션 정보는 다음 표와 같이 SEI 메시지에 정의될 수 있다.
표 2를 참조하면, 헤드 모션 정보는 헤드 모션 정보 (SEI) 메시지를 나타낼 수 있다. 헤드 모션 정보 SEI 메시지는 시점에 해당하는 현재 이미지/비디오의 헤드 모션 경계 정보를 제공한다.
표 2를 참조하면, 헤드 모션 정보는 head_motion_info_id 필드 및/또는 head_motion_info_cancel_flag 필드를 포함할 수 있다.
head_motion_info_id 필드는 헤드 모션 정보의 목적을 식별하는데 사용될 수 있는 식별 번호를 나타낼 수 있다. head_motion_info_id 필드의 값은 이 SEI 메시지의 상이한 유즈케이스를 나타내기 위해, 상이한 수신기 성능을 지원하기 위해, 또는 SEI 메시지 또는 상이한 시점 등에 포함된 상이한 레벨의 정보를 나타내기 위해 사용될 수 있다.
구체적으로, head_motion_info_id 필드의 값과 동일한 하나 이상의 헤드 모션 정보 SEI 메시지가 존재할 때, 이들 헤드 모션 정보 SEI 메시지의 내용은 동일할 수 있다. head_motion_info_id 필드의 값이 둘 이상인 헤드 포지션 정보 SEI 메시지가 존재할 때, 이는 head_motion_info_id 필드의 다른 값들에 의해 지시된 정보가 상이한 목적을 위해 제공되는 대안들이거나 순차적 순서로 적용되는 (응용 프로그램에 따라 순서가 지정될 수 있음) 일련의 수정이다. head_position_info_id 필드의 값은 0부터 212 - 1까지의 범위에 있어야 한다.
head_motion_info_cancel_flag 필드는 헤드 모션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 헤드 포지션 정보 (SEI) 메시지의 지속성을 취소하는지 여부를 나타낼 수 있다. 예를 들어, 1과 같은 head_motion_info_cancel_flag 필드는 헤드 모션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 헤드 포지션 정보 (SEI) 메시지의 지속성을 취소함을 나타낸다. 0과 같은 head_motion_info_cancel_flag 필드는 헤드 모션 정보가 후속하는 것을 나타낸다.
표 2를 참조하면, 헤드 모션 정보는 head_motion_info_persistence_flag 필드, head_motion_boundary_center_present_flag 필드, head_motion_boundary_rotation_flag 필드, head_motion_boundary_asymmetric_flag 필드, head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드 및/또는 head_motion_boundary_radius_max 필드를 포함할 수 있다.
head_motion_info_persistence_flag 필드는 현재 레이어에 대한 헤드 모션 정보 SEI 메시지의 지속성을 특정할 수 있다. 예를 들어, 0과 같은 head_motion_info_persistence_flag 필드는 헤드 모션 정보가 현재 디코딩된 픽처에만 적용됨을 지정한다.
picA를 현재 픽처라고 하자. head_motion_info_persistence_flag 필드를 1로 설정하면, 다음의 조건들 중 하나가 참이 될 때까지, 헤드 모션 정보 SEI 메시지가 현재 레이어에 대해 출력 순서대로 유지되도록 지정된다:
- 현재 레이어의 새 CLVS가 시작된다.
- 비트 스트림이 끝난다.
- 현재 레이어에 적용 가능한 헤드 모션 정보 SEI 메시지를 포함하는 액세스 유닛의 현재 레이어의 픽처 picB는 PicOrderCnt (picB)가 PicOrderCnt (picA)보다 큰 경우 출력되고, 여기서 PicOrderCnt (picB) 및 PicOrderCnt (picA)는 picB의 픽처 순서에 대한 디코딩 프로세스의 호출 이후에 즉시, 각각 picB 및 picA의 PicOrderCntVal 값들이다.
head_motion_boundary_center_present_flag 필드는 헤드 모션 정보의 SEI 메시지에 헤드 모션 경계의 중심 위치에 대한 정보가 존재하는지 여부를 나타낼 수 있다. 여기서, 헤드 모션 경계는 뷰잉 포지션 경계 또는 뷰잉 스페이스로 불릴 수 있다. 표 1과 같은 head_motion_boundary_center_present_flag 필드는 헤드 모션 정보 SEI 메시지에 헤드 모션 경계의 중심 위치 정보가 존재함을 나타낸다. 0과 같은 head_motion_boundary_center_present_flag 필드는 헤드 모션 정보 SEI 메시지에 헤드 모션 경계의 중심 위치에 대한 정보가 존재하지 않음을 나타낸다. 또한 응용 프로그램에 따라 0과 같은 head_motion_boundary_center_present_flag 필드는 헤드 모션 경계의 중심이 앵커 뷰잉 포지션의 중심과 같거나 XYZ 좌표의 (0,0,0)임을 나타낼 수 있다.
head_motion_boundary_rotation_flag 필드는 헤드 모션 정보 SEI 메시지에 헤드 모션 경계의 요, 피치 및 롤 회전에 관한 정보가 존재하는지 여부를 나타낼 수 있다. 1과 같은 head_motion_boundary_rotation_flag 필드는 헤드 모션 정보 SEI 메시지에 헤드 모션 경계의 요, 피치 및 롤 회전에 관한 정보가 존재함을 나타낸다. 0과 같은 head_motion_boundary_rotation_flag 필드는 헤드 모션 정보 SEI 메시지에 헤드 모션 경계의 요, 피치 및 롤 회전에 관한 정보가 존재하지 않음을 나타낸다. 또한, 응용에 따라서, head_motion_boundary_rotation_flag 필드는 0과 같아서, 헤드 모션 경계의 요, 피치 및 롤 회전이 (0, 0, 0) 또는 앵커 뷰잉 포지션의 회전과 동일함을 나타낼 수 있다.
head_motion_boundary_asymmetric_flag 필드는 헤드 모션 경계의 형상이 대칭이 아닌지 여부를 나타낼 수 있다. 1과 같은 head_motion_boundary_asymmetric_flag 필드는 헤드 모션 경계의 형상이 대칭이 아님을 나타낸다. 0과 같은 head_motion_boundary_asymmetric_flag 필드는 헤드 모션 경계의 형상이 대칭임을 나타낸다.
head_motion_boundary_type 필드는 헤드 모션 경계의 모양 타입을 특정할 수 있다. 예를 들어, head_motion_boundary_type 필드가 0이면 정의되지 않음을 나타낸다. 1과 같은 head_motion_boundary_type 필드는 구를 나타낸다. 2와 같은 head_motion_boundary_type 필드는 파라볼라선 모양을 나타낸다. 3과 같은 head_motion_boundary_type 필드는 큐브를 나타낸다. 4와 같은 head_motion_boundary_type 필드는 직사각형 프리즘을 나타낸다. 15와 같은 head_motion_boundary_type 필드는 정점(vertex)에 의해 정의된 모양을 나타낸다. 또한 head_motion_boundary_type 필드의 다른 값들은 향후 사용을 위해 예약된다.
head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드는 헤드 모션 경계의 중심으로부터 헤드 모션 경계의 최소 및 최대 반경을 나타낼 수 있다. head_motion_boundary_type 필드가 1과 같은 경우, head_motion_boundary_radius_min 필드와 head_motion_boundary_radius_max 필드는 동일할 수 있다. head_motion_boudnary_type 필드가 1이 아닌 경우, head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드는 근사화된 경계를 제공할 수 있다.
표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드 및/또는 head_motion_boundary_center_z 필드를 포함할 수 있다.
head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드 및 head_motion_boundary_center_z 필드는 각각 현재 2-16 밀리미터 단위로 현재 디코딩된 비디오에 대응하는 뷰잉 포지션의 헤드 모션 경계의 중심의 (x, y, z) 위치를 나타낼 수 있다. 여기서, 현재 디코딩된 비디오에 해당하는 뷰잉 포지션을 현재 뷰잉 포지션이라고 부를 수 있다. head_motion_boundary_x 필드, head_motion_boundary_y 필드 및 head_motion_boundary_z 필드는 -32768 * 216-1 (즉, -2147483647) 내지 32768 * 216 (즉, 2147483648)의 범위에 있을 수 있다.
표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및/또는 head_motion_boundary_rotation_roll 필드를 포함할 수 있다.
head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드, 및 head_motion_boundary_rotation_roll 필드는 헤드 운동 경계의 형상의 요, 피치 및 롤 회전 각을 2-16 도 단위로 나타낼 수 있다. head_motion_boundary_rotation_yaw 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 (즉, 11796479)의 범위에 있을 수 있으며, head_motion_boundary_rotation_pitch 필드의 값은 -90 * 216 (즉, -5898240)에서 90 * 216 (즉, 5898240)의 범위에 있을 수 있고, head_motion_boundary_rotation_roll 필드의 값은 -180 * 216 (즉, -11796480)에서 180 * 216-1 즉, 11796479)의 범위에 있을 수 있다.
또한, 응용에 따라, head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및 head_motion_boundary_rotation_roll 필드는 방위 각, 고도 각 및 경사 각을 각각 나타내는 데 사용될 수 있다. 또한, head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및 head_motion_boundary_rotation_roll 필드는 헤드 모션 경계의 오리엔테이션을 나타낼 수 있다.
표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_positive_x_axis 필드, head_motion_boundary_negative_x_axis 필드, head_motion_boundary_positive_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드 및/또는 head_motion_boundary_negative_z_axis 필드를 포함할 수 있다.
head_motion_boundary_native_x_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드 및 head_motion_boundary_negative_z_axis 필드는, 2 - 16 밀리미터 단위의 포지티브 및 네거티브 방향의 x, y 및 z 축 방향의 헤드 모션 경계의 범위를 각각 나타낼 수 있고, 여기서 XYZ 축은 각각 요, 피치 및 롤에 대하여 head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및 head_motion_boundary_rotation_roll 필드의 양으로 로컬 조정되어 회전된다. head_motion_boundary_positive_x_axis 필드, head_motion_boundary_negative_x_axis 필드, head_motion_boundary_positive_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드 및 head_motion_boundary_negative_z_axis 필드의 값은 0에서 65536 * 216-1 (즉, 4294967295) 범위에 있을 수 있다.
표 2를 참조하면, 상기 헤드 모션 정보는 num_boundary_vertex_minus4 필드, boundary_vertex_x 필드, boundary_vertex_y 필드 및/또는 boundary_vertex_z 필드를 포함할 수 있다.
num_boundary_vertex_minus4 필드는 헤드 모션 경계를 기술하는 정점들의 수를 특정할 수 있다. 구체적으로, num_boundary_vertex_minus4 필드에 4를 더한 값은 헤드 모션 경계를 설명하는 정점의 수를 지정할 수 있다.
boundary_vertex_x[i] 필드, boundary_vertex_y[i] 필드, 및 boundary_vertex_z[i] 필드는 각각 2-16 밀리미터 단위로 XYZ 좌표로 헤드 모션 경계를 기술하는 i 번째 정점의 위치를 특정할 수 있다. boundary_vertex_x[i] 필드, boundary_vertex_y[i] 필드 및 boundary_vertex_z[i] 필드는 -32768 * 216-1 (즉, -2147483647) 내지 32768 * 216 (즉, 2147483648)의 범위에 있을 수 있다. 또한, 몇몇 응용에서, 헤드 모션 경계의 정점은 현재 위치에 대한 시점에 속하는 뷰잉 포지션의 서브 세트일 수 있다.
도 10은 뷰잉 포지션 정보 및 헤드 모션 정보가 사용되는 3DoF 컨텐츠/3DoF + 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 10을 참조하면, 프로젝션 프로세스, 뷰잉 포지션 및 뷰 포인트별로 패킹 프로세스 및 인코딩 프로세스로 구성된 멀티 뷰 3DoF + 비디오의 엔드 - 투 - 엔드 플로우 차트가 기술되고, 이어서 선택된 뷰잉 포지션의 시점의 디코딩 프로세스, 언 패킹 프로세스 및 렌더링 프로세스가 설명된다.
구체적으로, 오디오-비주얼 장면 (A)은 오디오 센서뿐만 아니라 여러 렌즈 및 센서가 있는 카메라 세트 또는 카메라 장치로 캡처될 수 있다. 획득을 통해 일련의 디지털 이미지/비디오 (Bi) 및 오디오 (Ba) 신호가 발생할 수 있다. 카메라/렌즈는 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주변의 모든 방향을 포함할 수 있고, 즉 360 비디오로 지칭된다.
동일한 시간 인스턴스 및/또는 상이한 헤드 포지션 및/또는 상이한 시점에서 텍스처/깊이 카메라 렌즈에 의해 캡쳐된 이미지 (Bi)는 뷰 및/또는 시점 마다 스티칭될 수 있고, 회전되어 프로젝션될 수 있으며, 패킹된 픽처 (D)상에 매핑된다.
패킹된 픽처 (D)는 코딩된 이미지 (Ei) 또는 코딩된 비디오 비트 스트림 (Ev)으로 인코딩될 수 있다. 캡처된 오디오 (Ba)는 오디오 비트 스트림 (Ea)으로 인코딩될 수 있다. 코딩된 이미지, 비디오 및/또는 오디오는 특정 미디어 콘테이너 파일 포맷에 따라 파일 재생 (F)을 위한 미디어 파일 또는 초기화 세그먼트의 시퀀스 및 스트리밍 (Fs)을 위한 미디어 세그먼트로 구성될 수 있다. 미디어 컨테이너 파일 형식은 ISO 기본 미디어 파일 형식일 수 있다. 파일 인캡슐레이션 기는 또한 디코딩된 압축된 픽처를 렌더링하는데 도움이 되는 위치 정보 및 헤드 모션 경계 정보를 보는 것과 같은 메타데이터를 파일 또는 세그먼트에 포함할 수 있다.
예를 들어. 파일의 메타데이터에는 다음이 포함된다:
- 각 디코딩된 비디오의 뷰잉 포지션에 대한 메타데이터 및 앵커 뷰잉 포지션을 포함한 전체 뷰잉 포지션 분포,
- 헤드 모션 경계 정보의 시점, 시점 별 뷰잉 포지션 별 로컬 구 좌표의 위치 및 회전에 관한 메타데이터,
- 시점 별 뷰잉 포지션 별 프로젝션된 이미지의 프로젝션 형식에 대한 메타데이터,
- 시점 별 프로젝션된 비디오의 커버리지에 대한 메타데이터,
- 리전 별 패킹 정보에 대한 메타데이터 및
- 리전 별 품질 랭킹에 대한 메타데이터.
세그먼트 Fs는 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.
파일 인캡슐레이터가 출력하는 파일 (F)은 파일 디캡슐레이터가 입력한 파일 (F ')과 같거나 다를 수도 있다. 파일 디캡슐레이터는 파일 (F') 또는 수신된 세그먼트 (F's)를 처리하고 뷰 포트, 뷰잉 포지션 및 시점에 의해 선택된 코딩된 비트 스트림 (E'a, E'v 및/또는 E'i)을 추출하고 관련 메타데이터를 파싱할 수 있다. 오디오, 비디오 및/또는 이미지는 디코딩된 신호 (오디오에 대해서는 B'a, 이미지/비디오에 대해서는 D')로 디코딩될 수 있다. 디코딩되어 패킹된 픽처 (D')은 현재의 뷰잉 오리엔테이션 또는 뷰포트 및/또는 뷰 (헤드 포지션) 및/또는 시점 및 프로젝션, 구 커버리지, 회전, 리전 별 패킹, 뷰잉 포지션 및 파일로부터 파싱된 헤드 모션 경계 메타데이터에 기반하여 헤드 장착 디스플레이 또는 임의의 다른 디스플레이 장치의 스크린 상에 프로젝션될 수 있다. 유사하게, 디코딩된 오디오 (B'a)는 예를 들어, 현재의 뷰잉 오리엔테이션에 따라 헤드폰을 통해 렌더리링될 수 있다. 현재의 뷰잉 오리엔테이션은 헤드 트래킹 및 가능하게는 아이 트랙킹 기능에 의해 결정될 수 있다. 디코딩된 비디오 및 오디오 신호의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에, 현재의 뷰잉 오리엔테이션은 디코딩 최적화를 위해 비디오 및 오디오 디코더에 의해 사용될 수도있다.
한편, 예를 들어, 뷰잉 포지션 정보 및 헤드 모션 경계 정보의 신택스는 ISOBMFF, OMAF와 같은 파일 포맷 도메인에서 정의될 수 있다. 즉, 뷰잉 포지션 정보 및/또는 헤드 모션 경계 정보는 ISOBMFF, OMAF와 같은 파일 포맷 도메인의 박스 (box) 형태로 포함될 수 있다.
일 실시 예에 따르면, ViewingPositionInfoBox는 다음 표와 같이 정의될 수 있다.
ViewingPositionInfoBox는 시점에 대응하는 현재 이미지/비디오의 뷰잉 포지션의 정보 및/또는 현재 이미지/비디오의 뷰잉 포지션에 인접하여 대응하는 정보를 특정할 수 있다.
예를 들어, ViewingPositionInfoBox는 다음 표에 도시된 바와 같이 현재 이미지/비디오의 뷰잉 포지션 정보 및 관련된 모든 뷰잉 포지션을 포함할 수 있다.
HeadMotionBoundaryInfoBox의 신택스의 의미는 위에서 설명한 헤드 모션 정보 SEI 메시지의 신택스의 의미와 동일한다.
일 실시 예에 따르면, HeadMotionBoundaryInfoBox는 다음 표와 같이 정의될 수 있다.
HeadMotionBoundaryInfoBox는 시점에 대응하는 현재 이미지/비디오의 헤드 모션 경계의 정보를 지정할 수 있다.
예를 들어, HeadMotionBoundaryInfoBox는 다음 표와 같이 현재 이미지/비디오의 헤드 모션 정보를 포함할 수 있다.
HeadMotionBoundaryInfoBox의 신택스의 의미는 위에서 설명한 헤드 모션 정보 SEI 메시지의 신택스의 의미와 동일한다.
한편, 'vpgr'과 동일한 track_group_type을 갖는 TrackGroupTypeBox는이 트랙이 헤드 모션 시차와 같은 상이한 뷰를 제공하는 각각의 뷰잉 포지션을 나타내는 트랙 그룹에 속함을 나타낼 수 있다. 따라서 이 그룹에 매핑된 시각적 트랙 (즉, track_group_id가 'vpgr'과 동일한 TrackGroupTypeBox 내의 track_group_id와 동일한 값을 갖는 시각적 트랙)은 제시될 수 있는 시각적(visual) 컨텐츠를 집합적으로(collectively) 나타낸다. 이 그룹핑에 맵핑된 각각의 개별적인 시각적 트랙은 다른 시각적 트랙없이 단독으로 제시되는 것으로 의도되거나 또는 그렇지 않을 수 있는 반면에, 컴포지션 픽처들이 제시되기에 적합한다.
일 실시 예에 따르면, 'vpgr'과 동일한 track_group_type을 갖는 TrackGroupTypeBox는 다음 표에 도시된 바와 같이 정의될 수 있다.
한편, DASH 기반의 적응형 스트리밍 모델을 통해 3DoF + 컨텐츠를 위한 방송 서비스가 제공되거나 DASH 기반의 적응형 스트리밍 모델을 통해 3DoF + 컨텐츠의 비디오가 스트리밍되는 경우, 메타데이터와 관련된 필드 (뷰잉 포지션 정보 및 헤드 모션 경계 정보)는 DASH MPD에 포함된 DASH 기반 디스크립터 포맷으로 시그널링될 수 있다. 즉, 전술한 실시 예들은 DASH 기반 디스크립터 포맷으로 수정될 수 있다. DASH 기반 디스크립터 포맷은 EssentialProperty 디스크립터와 SupplementalProperty 디스크립터를 포함할 수 있다. 360 비디오 관련 메타데이터의 전술한 필드를 나타내는 디스크립터는 MPD의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.
예를 들어, DASH 기반 디스크립터는 @schemeIdUri 필드, @value 필드 및/또는 @id 필드를 포함할 수 있다.
@schemeIdUri 필드는 스키마 또는 해당 디스크립터를 식별하는 URI를 제공할 수 있다. @value 필드는 @schemeIdUri 필드가 가리키는 스키마에 의해 정의된 값을 가질 수 있다. 즉, @value 필드는 파라미터라고 할 수 있는 해당 체계에 따른 디스크립터 엘리먼트의 값을 가질 수 있다. 이것들은 ','에 의해 구별될 수 있다. @id 필드는 해당 디스크립터 의 ID를 나타낼 수 있다. 디스크립터가 동일한 ID를 가질 때, 디스크립터는 동일한 스킴 ID, 값 및 파라미터를 포함할 수 있다.
도 11은 뷰잉 포지션 세트의 시점을 포함하는 비디오의 프리-인코딩 프로세스의 일례를 나타내는 도면이다. 뷰잉 포지션 세트는 적어도 하나의 뷰잉 포지션의 시점을 포함할 수 있다.
도 11에서, 시점은 변경되지 않은 것으로 가정될 수 있으므로 다수의 입력이 상이한 뷰 및 상이한 구성 엘리먼트로부터 발생(originate)된다. 도 11을 참조하면, 각각의 뷰는 스티칭 (stitching), 회전, 프로젝션 및 리전 별 패킹 프로세스에 의해 각 뷰의 각 컴포넌트의 프로젝션된 이미지로 생성되는 상이한 컴포넌트, 예를 들어 텍스처 및 깊이 맵에 의해 구성될 수 있다. 또한, 앵커 뷰와 우측 헤드 모션 뷰와 같은 뷰들 사이의 리던던시 (redundancy)를 사용하여, 가능하면 텍스처의 레지듀얼(residual), 깊이 또는 다른 컴포넌트가 세컨더리 뷰를 위해 생성될 수 있다. 이는 뷰 간에 중복 정보를 제거함으로써 비트 효율성을 높일 수 있다. 텍스처 및 깊이를 포함하는 각각의 뷰의 프로젝션된 픽처가 생성될 수 있고, 각각의 픽처는 패킹될 수 있고 HEVC 또는 VVC와 같은 각각의 단일 층 비디오 인코더에 의해 인코딩될 수 있다.
도 12는 복수의 뷰잉 포지션의 시점을 포함하는 비디오 스트림에 대한 전달 프로세스의 예를 나타낸다. 도 12를 참조하면, 서로 다른 뷰잉 포지션들의 시점의 다수의 비디오 스트림이 수신 측으로 전달될 수 있다. 각 뷰잉 포지션의 시점의 비디오는 별도로 인코딩되어 SEI 메시지, 파라미터 세트 또는 파일 형식 시그널링 메커니즘으로 표시될 수 있다.
도 13은 뷰의 시점에 대한 텍스처, 레지듀얼 및 깊이 맵을 갖는 멀티 뷰 리전 패킹의 디코딩 프로세스의 일례를 도시한다.
도 13을 참조하면, 수신기의 입력은 시점의 각 뷰잉 포지션의 인코딩된 비디오 스트림 또는 다중 시점의 인코딩된 비디오 스트림일 수 있다. 첫 번째 단계는 사용자의 뷰잉 포지션 및 시점을 기준으로 스트림을 선택한 다음 선택한 스트림을 디코딩하는 것이다. 수신기의 다른 구현은 모든 스트림을 디코딩한 다음 사용자의 뷰잉 포지션 및 시점을 기반으로 선택할 수 있다. 다음 단계는 일반적인 전 방향성 비디오 응용 프로그램과 동일하고, 이는 디코딩된 픽처가 패킹된 픽처인 경우 리전 별로 언 패킹을 하고, 프로젝션 좌표에 프로젝션 이미지를 매핑한 다음 사용자의 뷰잉 포지션의 시점의 뷰잉 방향에 따라 뷰포트를 렌더링하고 생성하는 것을 의미한다.
구체적으로, 예를 들어, 각 단계에서, 상술한 신택스 엘리먼트는 다음과 같이 사용될 수 있다.
- 뷰잉 포지션 및 시점 선택
뷰잉 포지션이 시점에서 사용자의 뷰잉 포지션과 일치하는 비디오 스트림이 다수의 비디오 스트림 중에서 선택될 수 있다. 다수의 비디오 스트림 각각은 상이한 뷰잉 포지션의 시점을 나타낸다. 또한, 비디오 스트림의 뷰잉 스트림은 viewing_position_x 필드, viewing_position_y 필드 및 video_view_position_z 필드에 의해 표시된다.
또한, 앵커 뷰잉 포지션 (anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드로 표시됨)과 각 비디오 스트림의 뷰잉 포지션 (viewing_position_x 필드, viewing_position_y 필드, 및 viewing_position_z 필드로 표시됨), 또는 뷰잉 포지션 세트 내의 뷰잉 포지션 (set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드로 표시됨)을 비교하여, 선택이 프로세싱될 수 있다. 상술한 신택스 엘리먼트는 ViewingPositionInfoBox, ViewingPosionGroupBox 및/또는 Viewing position information SEI 메시지로 시그널링된다.
사용자의 뷰잉 포지션이 ViewingPosionGroupBox, HeadMotionBoundaryInfoBox 및/또는 Head 모션 경계 SEI 메시지에 기반하여 유도된 경계 내의 뷰잉 포지션의 후보와 일치하지 않으면, 수신기는 사용자의 뷰잉 포지션에 가장 인접한 뷰잉 포지션을 선택할 수 있다. 또한, 다른 예로서, 수신기는 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션의 주어진 비디오를 사용하여 보간 또는 뷰 합성(synthesis)에 의해 사용자의 뷰잉 포지션의 비디오를 생성할 수 있다.
또한, 헤드 모션 정보는 사용자의 헤드 포지션이 경계의 안쪽인지 바깥 쪽인지 여부를 결정하는데 사용될 수 있다. 상기 결정을 위해, 헤드 모션 경계는 head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드를 사용하여 묘사(depict)된다. 사용자의 뷰잉 포지션이 ViewingPosionGroupBox, HeadMotionBoundaryInfoBox 및/또는 Head motion boundary SEI 메시지에 기반하여 유도된 경계 외부에 있을 때, 정확하게 매칭된 뷰잉 포지션 대신에 사용자의 뷰잉 포지션의 가장 인접한 뷰잉 포지션이 선택될 수 있다.
- 디코딩
디코딩 프로세스에서, 선택된 비디오 비트 스트림이 디코딩되고, 디코딩 프로세스의 출력으로서 뷰잉 포지션의 시점의 프로젝션된 픽처 또는 패킹된 픽처가 생성된다. 또한, 출력된 디코딩된 픽처의 뷰잉 포지션을 나타내는 메타데이터 및 경계 디스크립션이 렌더러에게 전달된다: 뷰잉 포지션 정보 SEI 메시지 및 헤드 모션 경계 정보 SEI 메시지.
- 리전 별 패킹
출력 디코딩된 픽처가 패킹된 픽처이고 리전 별 패킹 SEI 메시지가 존재하면, 패킹된 리전과 프로젝션된 리전 사이의 리전 맵핑 정보로 패킹된 픽처로부터 프로젝션된 픽처가 생성된다.
- 구 좌표 변환
Equirectangular 프로젝션 SEI 메시지가 존재하면, 구 좌표 매핑에 대한 정사각형의 프로젝션된 픽처(equirectangular projected picture)에 관한 샘플 위치가 프로세싱된다.
그렇지 않고 큐브 매핑된 프로젝션(Cubemap projection) SEI 메시지가 존재하면, 큐브 좌표 매핑 또는 구 좌표 패핑에 대한 정사각형의 프로젝션된 픽처에 관한 샘플 위치가 프로세싱된다.
구형 회전 SEI 메시지가 존재하면, 구형 또는 큐브 비디오가 회전된다.
- 렌더링
이 단계에서, 직선 평면(rectilinear plane)에 프로젝션된 출력 이미지가 사용자의 뷰포트 정보를 기반으로 생성된다.
한편, 파일 포맷 레벨 또는 시스템 레벨 뷰잉 포지션 선택이 각각 송신기 및 수신기 측에서 고려될 수 있다.
도 14a 및 도 14b는 다수의 뷰잉 포지션들을 포함하는 비디오에 대한 코딩 프로세스의 예를 나타낸다. 도 14a는 뷰잉 포지션 선택이 송신기 측에서 수행되는 예를 도시한다. 도 14b는 뷰잉 포지션 선택이 수신기 측에서 수행되는 예를 도시한다.
도 14a 및 도 14b를 참조하면, 코딩된 비디오 비트 스트림이 모든 뷰잉 포지션에 대해 생성된 후에, 이들은 파일 포맷 또는 세그먼트 포맷으로 인캡슐레이션 된다. 이 단계에서 파일/세그먼트 캡슐 레이터는 ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에서 정의할 수 있는 뷰잉 포지션 및 뷰잉 경계 정보 ViewingPositionInfoBox 및/또는 HeadMotionBoundaryInfoBox를 생성할 수 있다
도 14a에 도시된 바와 같이 뷰잉 포지션 선택기가 송신 측에 있을 때, ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에 정의된 정보는 수신기로부터 감지되고 전달되는 사용자의 뷰잉 포지션 정보와 일치하는 파일 또는 트랙의 선택에 사용될 수 있다. 선택 프로세스 후에, 사용자의 뷰잉 포지션과 일치하는 단일 코딩된 비디오 스트림이 전달된다. 코딩된 비디오 비트 스트림이 OMAF v1과 호환 가능한 경우, OMAF v1 사양을 따르는 수신기는 구현 변경없이 헤드 모션 시차 효과를 제공할 수 있고, 즉, 솔루션은 레거시 수신기와 역 호환 가능(backward compatible)하다.
도 14b에 도시된 바와 같이 선택기가 수신기 측에 있을 때, ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에 정의된 정보는 수신기로부터 감지된 사용자의 뷰잉 포지션 정보와 일치하는 파일 또는 트랙의 선택에 사용될 수 있다. 전송된 비트 스트림이 다수의 뷰잉 포지션의 코딩된 비디오 비트 스트림 모두를 포함하므로, 뷰잉 포지션 선택기는 TrackGroupTypeBox 및/또는 ProjectedOmniVideoBox에 포함된 뷰잉 포지션 정보를 갖는 코딩된 비디오 스트림을 포함하는 트랙을 발견할 수 있다. 선택 이후, 선택된 트랙은 OMAF v1 및 상위 버전을 따르는 수신기에 의해 디코딩되고 렌더링될 수 있다.
본 발명의 실시 예에 따르면, 헤드 모션 시차가 3DoF+수신기를 지원하도록 제공될 수 있다. 또한, 이는 레거시 3DoF 수신기를 지원할 수도 있다. 예를 들어, 3DoF 수신기의 헤드 모션 센서를 사용할 수 없는 경우 3DoF 수신기는 앵커 뷰잉 포지션에 대한 비디오만 표시한다. 3DoF 수신기의 헤드 모션 센서를 사용할 수 있는 경우, 3DoF 수신기는 디코딩 프로세스 전에 헤드 포지션 선택기 모듈의 보조 하에 헤드 모션 시차 효과를 제공할 수 있다.
또한 3DoF + 응용 프로그램에 대하여 경계 헤드 모션 표시를 지원할 수도 있다. 예를 들어, 3DoF + 수신기는 사용자의 뷰잉 포지션이 비디오의 헤드 모션 경계 안팎에 있는지 여부를 결정한다. 사용자의 뷰잉 포지션이 헤드 모션 경계를 벗어나면, 3DoF + 수신기는 경계 정보를 기반으로 가장 관련 있는 뷰잉 포지션을 결정할 수 있다.
도 15a 및 도 15b는 다수의 뷰잉 포지션들 및 뷰잉 포지션들의 경계를 도시한다. 여기서, 뷰잉 포지션의 경계를 뷰잉 포지션 경계 또는 헤드 모션 경계라고 부를 수 있다. 도 15a 및 도 15b을 참조하면, 다수의 뷰잉 포지션은 3 가지 레벨의 하부, 중간, 상부를 갖는 구로 구성된다. 뷰잉 포지션의 경계는 구 (점선 경계)로 주어질 수 있다. 또 다른 예로서, 뷰잉 포지션의 경계는 다수의 뷰잉 포지션의 정점 (중간 레벨의 경우 F, FL, L, BL, B, BR, R, FR) 또는 모든 정점으로 주어질 수 있다.
도 15b는 사용자의 뷰잉 포지션이 헤드 모션 경계 밖에 있을 때의 뷰잉 포지션 선택 프로세스를 도시한다.
사용자의 뷰잉 포지션이 경계를 벗어난 경우, 3DoF + 수신기는 가장 인접한 뷰잉 포지션을 제공할 수 있지만 앵커 뷰잉 포지션과의 실제 거리를 기억할 수 있으므로 3DoF + 수신기는 실제 사용자의 뷰잉 포지션과 동기화된 관련 뷰잉 포지션의 픽처들을 제공할 수 있다.
도 16은 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한다. 도 16에 도시된 방법은 도 8에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 16의 S1600은, 360 비디오 전송 장치의 데이터 입력 유닛에 의해 수행될 수 있고, S1610은 360 비디오 전송 장치의 프로젝션 프로세서에 의해 수행될 수 있고, S1620은 360 비디오 전송 장치의 데이터 엔코더에 의해 수행될 수 있고, S1630은 360 비디오 전송 장치의 메타데이터 인코더에 의해 수행될 수 있고, S1640은 360 비디오 전송 장치의 전송 프로세서에 의해 수행될 수 있다.
360 비디오 전송 장치는 뷰잉 스페이스에서 복수의 뷰잉 포지션들에 대한 360 비디오를 획득한다 (S1600). 360 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡쳐된 뷰잉 포지션의 360 비디오를 획득할 수 있다. 여기서, 뷰잉 스페이스는 이미지 및 비디오의 렌더링이 가능하고 VR 경험이 유효한 뷰잉 포지션의 3D 공간일 수 있다.
360 비디오 전송 장치는 360 비디오를 처리하여 뷰잉 포지션들에 대한 비디오를 생성한다 (S1610). 360 비디오 전송 장치는 다양한 프로젝션 방식 중 각 뷰잉 포지션의 360 비디오 데이터에 대한 프로젝션 방식에 따라 프로젝션을 수행할 수 있다. 또한, 360 비디오 전송 장치는 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되는지 여부를 판단할 수 있다. 예를 들어, 360 비디오 전송 장치는 프로젝션 방식이 특정 방식에 해당하는 경우, 즉 360 비디오 데이터에 대한 프로젝션 방식 정보가 특정 방식을 나타내는 경우, 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되지 않았다고 판단할 수 있다. 또한, 다양한 프로젝션 방식은 정사각형 프로젝션법, 입방 프로젝션법, 실린더 프로젝션법, 타일 기반 프로젝션법, 피라미드 프로젝션법, 파노라마 프로젝션법 및 스티칭 없이 2D 이미지에 대하여 비디오 데이터를 직접 프로?Ъ피求? 특정 방식을 포함할 수 있다.
또한, 각 뷰잉 포지션의 360 비디오 데이터가 스티칭된 경우, 360 비디오 전송 장치는 각 뷰잉 포지션의 360 비디오 데이터를 스티칭하고, 스티칭된 360 비디오 데이터를 각 뷰잉 포지션의 2D 기반 비디오 상에 프로젝션할 수 있다. 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되지 않은 경우, 360 비디오 전송 장치는 스티칭없이 각 360 비디오 데이터를 각 뷰잉 포지션의 2D 기반 비디오 상에 프로젝션할 수 있다. 여기서, 2D 기반 비디오는 각 뷰잉 포지션의 2D 비디오 또는 프로젝션된 비디오라고 지칭할 수 있다. 또한, 360 비디오 전송 장치는 각 뷰잉 포지션의 프로젝션 비디오에 대해 리전 별 패킹 프로세스를 수행할 수 있다.
360 비디오 전송 장치는 비디오를 인코딩한다 (S1620). 360 비디오 전송 장치는 픽처를 인코딩할 수 있다.
360 비디오 전송 장치는 360 비디오에 대한 메타데이터를 생성한다 (S1630). 360 비디오 전송 장치는 뷰잉 포지션 및 뷰잉 스페이스에 대한 메타데이터를 생성할 수 있다. 예를 들어, 메타데이터는 뷰잉 포지션 각각에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함할 수 있다. 여기서, 메타데이터는 시그널링 정보로 지칭될 수 있다.
예를 들어, 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함한다.
뷰잉 포지션 정보는 viewing_position_info_id, viewing_position_info_persistence_flag, view_position_info_persistence_flag, view_position_x, view_position_y, view_position_y, view_orientation_yaw, anchor_viewing_position 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드, anchor_coverage_vertical 필드, num_viewing_position 필드, set_viewing_position_x[i] 필드, set_viewing_position_x[i] 필드, anchor_viewing_position 필드, anchor_viewing_position_x 필드,[i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation_roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.
구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 각각 포함할 수 있다. 특정 뷰잉 포지션 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드를 각각 나타낼 수 있다. 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 coverage_horizontal 필드 및 the coverage_vertical 필드를 각각 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션이 뷰잉 포지션 세트 중 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함할 수 있다. 여기서, 뷰잉 포지션 세트는 특정 뷰잉 포지션을 포함하는 뷰잉 포지션 세트일 수 있다. 앵커 뷰잉 포지션 플래그는 anchor_viewing_position_flag 필드를 나타낼 수 있다.
또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션의 뷰잉 포지션 정보는 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드를 나타낼 수 있다. 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드를 나타낼 수 있다. 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션은 뷰잉 포지션 세트의 뷰잉 포지션일 수 있다.
특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 set_viewing_orientation_yaw 필드, set_viewing_orientation_pitch 필드 및 set_viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 범위의 수평 범위 및 수직 범위를 나타내는 정보는 각각 set_coverage_horizontal 필드 및 set_coverage_vertical 필드를 나타낼 수 있다.
또한, 예를 들면, 뷰잉 스페이스 정보는 head_motion_info_id 필드, head_motion_info_cancel_flag 필드, head_motion_info_persistence_flag 필드, head_motion_boundary_center_present_flag 필드, head_motion_boundary_rotation_flag 필드, head_motion_boundary_asymmetric_flag 필드 head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드, head_motion_boundary_radius_max 필드, head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드, head_motion_boundary_center_z 필드, head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드, head_motion_boundary_rotation_roll 필드, head_motion_boundary_positive_x_axis 필드, head_motion_boundary_negative_x_axis 필드, head_motion_boundary_positive_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드, head_motion_boundary_negative_z_axis 필드, num_boundary_vertex_minus4 필드, 경계 _vertex_x 필드, boundary_vertex_y 필드 및/또는 boundary_vertex_z 필드를 포함할 수 있다.
구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양 타입을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 형상(paraboloid shape), 큐브(cube), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나일 수 있다.
뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보를 포함할 수 있다. 여기서, 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보는 각각 head_motion_boundary_negative_x_axis 필드, head_motion_boundary_negative_y_axis 필드 및 head_motion_boundary_negative_z_axis 필드를 나타낼 수 있다. 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보는 각각 head_motion_boundary_positive_x_axis 필드, head_motion_boundary_positive_y_axis 필드 및 head_motion_boundary_positive_z_axis 필드를 나타낼 수 있다.
또한, 뷰잉 스페이스의 모양 타입이 정점에 의해 정의된 모양인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 수를 나타내는 정보를 포함할 수 있다. 또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 뷰잉 공간의 정점의 수를 나타내는 정보는 num_boundary_vertex_minus4 필드를 나타낼 수 있다. 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 boundary_vertex_x 필드, boundary_vertex_y 필드 및 boundary_vertex_z 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_center_present_flag 필드를 나타낼 수 있다. 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드 및 head_motion_boundary_center_z 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전에 대한 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_rotation_flag 필드를 나타낼 수 있다. 시청각의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및 head_motion_boundary_rotation_roll 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양이 대칭이 아닌지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들면, 플래그의 값이 1과 같은 경우, 뷰잉 스페이스의 모양은 대칭이 아니다. 플래그의 값이 0과 같은 경우, 뷰잉 스페이스의 모양은 대칭이다.
360 비디오 전송 장치는 인코딩된 픽처와 메타데이터의 저장 또는 전송을 위한 프로세싱을 수행한다 (S1640). 360 비디오 전송 장치는 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 파일로 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 ISOBMFF 및 CFF와 같은 파일 형식으로 인캡슐레이션하거나 인코딩된 360 비디오 데이터 및/또는 메타데이터를 저장하거나 전송하기 위해 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 DASH 세그먼트와 같은 형태로 사용될 수 있다. 예를 들어 메타데이터는 ISOBMFF의 다양한 레벨에 있는 박스에 포함되거나 파일의 별도 트랙에 데이터로 포함될 수 있다. 또한, 360 비디오 전송 장치는 메타데이터를 파일로 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 파일 형식에 따라 인캡슐레이션된 360 비디오 데이터를 전송하기 위한 프로세싱을 수행할 수 있다. 360 비디오 전송 장치는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 송신을 위한 처리는 방송 네트워크를 통한 전달을 위한 처리 또는 광대역과 같은 통신 네트워크를 통한 전달을 위한 처리를 포함할 수 있다. 또한, 360 비디오 전송 장치는 메타데이터에 대한 전송 프로세싱을 수행할 수 있다. 360 비디오 전송 장치는 방송망 및/또는 광대역을 통해 처리된 360 비디오 데이터 및 메타데이터를 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 360 비디오 전송 장치는 메타데이터를 이용하여 뷰잉 포지션들과 사용자의 뷰잉 포지션을 비교하여 특정 뷰잉 포지션을 선택하고, 선택된 특정 정보에 대한 인코딩된 비디오 및 메타데이터에 대한 정보만을 저장 또는 전송할 수 있다. 여기서, 사용자의 뷰잉 포지션 정보는 피드백 정보에 포함되어 360 비디오 전송 장치로 전달될 수 있다.
예를 들어, 뷰잉 포지션들 중 사용자의 뷰잉 포지션과 일치하는 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들면 앵커 뷰잉 포지션과의 비교에 의해 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들면, 뷰잉 포지션 세트의 뷰잉 포지션과 비교함으로써 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 밖에 있을 때, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션에 대한 픽처를 사용하는 보간 또는 뷰 합성에 의해 사용자의 뷰잉 포지션의 픽처가 유도된다. 즉, 사용자의 뷰잉 포지션은 특정 뷰잉 포지션으로 유도된다.
도 17은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 나타낸다. 도 16에 도시된 방법은, 도 17에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 16의 360 비디오 전송 장치의 데이터 입력 유닛은, 도 16의 S1600을 수행할 수 있다. 도 17의 360 비디오 전송 장치의 프로젝션 프로세서는, 도 16의 S1610을 수행할 수 있고, 도 17의 360 비디오 전송 장치의 데이터 인코더는, 도 16의 S1620을 수행할 수 있다. 도 17의 360 비디오 전송 장치의 메타데이터 인코더는, 도 16의 S1630을 수행할 수 있고, 도 17의 360 비디오 전송 장치의 전송 프로세서는 도 16의 S1640을 수행할 수 있다.
본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.
또한, 본 발명에 따르면, 3DoF + 응용에 대한 한정된(bounded) 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자의 3DoF + 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.
도 18은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 도시한다. 도 18에 도시된 방법은, 도 9에 도시된 360 비디오 수신 장치에 의해 수행될 수 있다. 구체적으로, 도 18의 S1800은 비디오 수신 장치의 데이터 입력 유닛에 의해 수행될 수 있고, S1810은 360 비디오 수신 장치의 수신 프로세서/파일 추출 유닛에 의해 수행될 수 있고, S1820은 360 비디오 수신 장치의 데이터 디코더에 의해 수행될 수 있고, S1830은 360 비디오 수신 장치의 렌더러에 의해 수행될 수 있다.
360 비디오 수신 장치는 뷰잉 스페이스에서 복수의 뷰잉 포지션들에 대한 360 비디오 데이터를 수신한다 (S1800). 360 비디오 수신 장치는 뷰잉 스페이스에서 적어도 하나의 뷰잉 포지션의 시점에 대한 360 비디오 데이터를 전송할 수 있다. 여기서, 뷰잉 스페이스는 이미지 및 비디오의 렌더링이 가능하고 VR 경험이 유효한 뷰잉 포지션의 3D 공간일 수 있다. 360 비디오 데이터는 각 뷰잉 포지션에 대한 비디오 스트림을 포함할 수 있다. 뷰잉 포지션에 대한 비디오 스트림은 뷰잉 포지션에 대한 인코딩된 픽처에 대한 메타데이터 및 정보를 포함할 수 있다. 뷰잉 포지션은 적어도 하나의 뷰잉 포지션 세트를 포함할 수 있고, 뷰잉 포지션 세트는 앵커 뷰잉 포지션을 포함할 수 있다.
360 비디오 수신 장치는 방송망을 통해 360 비디오 전송 장치로부터 전달된 360 비디오 데이터를 수신할 수 있다. 또한, 360 비디오 수신 장치는 광대역 또는 저장 매체와 같은 통신망을 통해 360 비디오 데이터를 수신할 수 있다.
360 비디오 수신 장치는 특정 뷰잉 포지션에 대한 인코딩된 비디오에 대한 메타데이터 및 정보를 추출한다 (S1810). 360 비디오 수신 장치는 메타데이터를 이용하여 뷰잉 포지션과 사용자의 뷰잉 포지션을 비교하여 특정 뷰잉 포지션을 선택할 수 있다. 예를 들어, 뷰잉 포지션 중 사용자의 뷰잉 포지션과 일치하는 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들면 앵커 뷰잉 포지션과의 비교에 의해 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들면, 뷰잉 포지션 세트의 뷰잉 포지션과 비교함으로써 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 밖에 있을 때, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션에 대한 픽처를 사용하는 보간 또는 뷰 합성에 의해 사용자의 뷰잉 포지션의 픽처가 유도된다. 즉, 사용자의 뷰잉 포지션은 특정 뷰잉 포지션으로 유도된다.
메타데이터는 뷰잉 포지션 각각에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함할 수 있다. 여기서, 메타데이터는 시그널링 정보로 지칭될 수 있다. 한편, 메타데이터는 SEI 메시지를 통해 전송될 수 있다. 또한, 메타데이터는 MPD (Media Presentation Description)의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.
예를 들어, 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함한다.
뷰잉 포지션 정보는 viewing_position_info_id, viewing_position_info_persistence_flag, view_position_info_persistence_flag, view_position_x, view_position_y, view_position_y, view_orientation_yaw, anchor_viewing_position 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드, anchor_coverage_vertical 필드, num_viewing_position 필드, set_viewing_position_x[i] 필드, set_viewing_position_x[i] 필드, anchor_viewing_position 필드, anchor_viewing_position_x 필드, i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation _roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.
구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 coverage_horizontal 필드 및 coverage_vertical 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션이 뷰잉 포지션 세트 중 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함할 수 있다. 여기서, 뷰잉 포지션 세트는 특정 뷰잉 포지션을 포함하는 뷰잉 포지션 세트일 수 있다. 앵커 뷰잉 포지션 플래그는 anchor_viewing_position_flag 필드를 나타낼 수 있다.
또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다 뷰잉 포지션. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션의 뷰잉 포지션 정보는 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 상기 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드를 나타낼 수 있다. 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드를 나타낼 수 있다. 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션은 뷰잉 포지션 세트의 뷰잉 포지션일 수 있다.
특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 set_viewing_orientation_yaw 필드, set_viewing_orientation_pitch 필드 및 set_viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 범위의 수평 범위 및 수직 범위를 나타내는 정보는 각각 set_coverage_horizontal 필드 및 set_coverage_vertical 필드를 나타낼 수 있다.
또한, 예를 들면, 뷰잉 스페이스 정보는 head_motion_info_id 필드, head_motion_info_cancel_flag 필드, head_motion_info_persistence_flag 필드, head_motion_boundary_center_present_flag 필드, head_motion_boundary_rotation_flag 필드, head_motion_boundary_asymmetric_flag 필드 head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드, head_motion_boundary_radius_max 필드, head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드, head_motion_boundary_center_z 필드, head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드, head_motion_boundary_rotation_roll 필드, head_motion_boundary_positive_x_axis 필드, head_motion_boundary_negative_x_axis 필드, head_motion_boundary_positive_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드, head_motion_boundary_negative_z_axis 필드, num_boundary_vertex_minus4 필드, 경계 _vertex_x 필드, boundary_vertex_y 필드 및/또는 boundary_vertex_z 필드를 포함할 수 있다.
구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양 타입을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 형상(paraboloid shape), 큐브(cube), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나일 수 있다.
뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보를 포함할 수 있다. 여기서, 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보는 각각 head_motion_boundary_negative_x_axis 필드, head_motion_boundary_negative_y_axis 필드 및 head_motion_boundary_negative_z_axis 필드를 나타낼 수 있다. 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보는 각각 head_motion_boundary_positive_x_axis 필드, head_motion_boundary_positive_y_axis 필드 및 head_motion_boundary_positive_z_axis 필드를 나타낼 수 있다.
또한, 뷰잉 스페이스의 모양 타입이 정점에 의해 정의된 모양인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 수를 나타내는 정보를 포함할 수 있다. 또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 뷰잉 공간의 정점의 수를 나타내는 정보는 num_boundary_vertex_minus4 필드를 나타낼 수 있다. 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 boundary_vertex_x 필드, boundary_vertex_y 필드 및 boundary_vertex_z 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_center_present_flag 필드를 나타낼 수 있다. 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드 및 head_motion_boundary_center_z 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전에 대한 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_rotation_flag 필드를 나타낼 수 있다. 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드 및 head_motion_boundary_rotation_roll 필드를 나타낼 수 있다.
또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양이 대칭이 아닌지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들면, 플래그의 값이 1과 같은 경우, 뷰잉 스페이스의 모양은 대칭이 아니다. 플래그의 값이 0과 같은 경우, 뷰잉 스페이스의 모양은 대칭이다.
360 비디오 수신 장치는 인코딩된 비디오에 대한 정보를 기반으로 인코딩된 비디오를 디코딩한다 (S1820). 360 비디오 수신 장치는 인코딩된 픽처에 관한 정보를 기반으로 특정 뷰잉 포지션에 대한 인코딩된 픽처를 디코딩할 수 있다.
360 비디오 수신 장치는 메타데이터에 기반하여 디코딩된 비디오를 렌더링한다 (S1830). 예를 들어, 360 비디오 수신 장치는 디코딩된 비디오에 대해 리-프로젝션을 수행할 수 있다. 360 비디오 수신 장치는 메타데이터에 기반하여 3D 공간상에서 디코딩된 픽처를 리-프로젝션할 수 있다. 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 예를 들어, 메타데이터는 3D 모델의 타입 및 3D 모델의 상세 정보에 대한 정보를 포함할 수 있다. 일 실시 예에 따르면, 360 비디오 수신 장치는 메타데이터를 이용하여 3 차원 공간상의 특정 리전에 해당하는 디코딩된 비디오의 리전을 3 차원 공간 상에 리-프로젝션할 수 있다. 360 비디오 수신 장치는 리-프로젝션된 비디오를 렌더링할 수 있다. 일 실시 예에 따르면, 렌더러는 사용자의 뷰포트 정보에 따라 사용자가 보는 부분만을 렌더링할 수 있다.
도 19는 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 수신 장치를 개략적으로 나타낸다. 도 18에 도시된 방법은 도 19에 도시된 360 비디오 수신 장치에 의해 수행될 수 있다. 구체적으로, 도 19의 360 비디오 수신 장치의 데이터 입력 유닛은 도 18의 S1800을 수행할 수 있고, 도 19의 360 비디오 수신 장치의 수신 프로세서/파일 추출 유닛은 도 18의 S1810을 수행할 수 있고, 도 19의 360 비디오 수신 장치의 데이터 디코더는 도 18의 S1820을 수행할 수 있고, 도 19의 360 비디오 수신 장치의 렌더러는 도 18의 S1830을 수행할 수 있다.
본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.
또한, 본 발명에 따르면, 3DoF + 응용에 대한 한정된 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자의 3DoF + 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.
전술한 단계들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 단계에 의해 대체될 수 있다.
본 발명의 일 실시예에 따른 360 비디오 전송 장치는 전술한 데이터 입력유닛, 스티처, 시그널링 프로세서, 프로젝션 프로세서, 데이터 인코더, 전송 프로세서 및/또는 전송부를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360 비디오 전송 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360 비디오를 전송하는 방법의 실시예들을 수행할 수 있다.
본 발명의 일 실시예에 따른 360 비디오 수신 장치는 전술한 수신유닛, 수신 프로세서, 데이터 디코더, 시그널링 파서, 리-프로젝션 프로세서 및/또는 렌더러를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360 비디오 수신 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360 비디오 데이터를 수신하는 방법의 실시예들을 수행할 수 있다.
전술한 장치의 내부 컴포넌트들은 메모리에 저장된 연속된 수행과정들을 실행하는 프로세서들이거나, 그 외의 하드웨어로 구성된 하드웨어 컴포넌트들일 수 있다. 이 들은 장치 내/외부에 위치할 수 있다.
전술한 모듈들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 모듈에 의해 대체될 수 있다.
전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서이거나 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서 또는 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블록/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.
Claims (17)
- 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법에 있어서, 상기 방법은,
복수의 뷰잉 포지션들(viewing positions)에 대한 인코딩된 픽처들을 포함하는 360 비디오 데이터를 수신하는 단계;
메타데이터를 유도하는 단계;
상기 인코딩된 픽처들을 디코딩하는 단계; 및
상기 디코딩된 픽처들을 렌더링 하는 단계를 포함하고,
상기 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보를 포함하고,
상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하고,
상기 뷰잉 스페이스의 모양 타입이 큐브인 경우, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법. - 제1항에 있어서,
상기 뷰잉 스페이스는 상기 복수 개의 뷰잉 포지션들이 3D 공간으로 형성된 것을 특징으로 하는,
360 비디오 데이터 처리 방법. - 제1항에 있어서, 상기 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 형상(paraboloid shape), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나인 것을 특징으로 하는, 360 비디오 데이터 처리 방법.
- 제1항에 있어서, 상기 메타데이터는 상기 뷰잉 포지션들 각각에 대한 뷰잉 포지션 정보를 포함하고,
사용자의 뷰잉 포지션이 상기 뷰잉 스페이스 밖에 있을 때, 상기 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 상기 특정 뷰잉 포지션으로 선택되는 것을 특징으로 하는, 360 비디오 데이터 처리 방법. - 제1항에 있어서, 상기 뷰잉 포지션 정보는 상기 뷰잉 스페이스의 중심 위치 정보가 존재하는지 여부를 나타내는 플래그를 포함하는, 360 비디오 데이터 처리 방법.
- 제5항에 있어서, 상기 플래그의 값이 1과 같은 경우, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
- 제1항에 있어서, 상기 메타데이터는 상기 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보를 포함하고,
상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법. - 제7항에 있어서, 상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
- 제7항에 있어서, 상기 메타데이터는 상기 뷰잉 포지션들 각각에 대한 뷰잉 포지션 정보를 포함하고,
상기 뷰잉 포지션 중 사용자의 뷰잉 포지션과 일치하는 뷰잉 포지션이 상기 특정 뷰잉 포지션으로서 선택되는 것을 특징으로 하는, 360 비디오 데이터 처리 방법. - 제1항에 있어서, 상기 뷰잉 포지션은 상기 특정 뷰잉 포지션이 뷰잉 포지션 세트 중 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함하는, 360 비디오 데이터 처리 방법.
- 제10항에 있어서, 상기 앵커 뷰잉 포지션 플래그가 상기 특정 뷰잉 포지션이 상기 뷰잉 포지션 세트의 상기 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 상기 뷰잉 포지션 정보는 상기 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
- 제11항에 있어서, 상기 앵커 뷰잉 포지션 플래그가 상기 특정 뷰잉 포지션이 상기 뷰잉 포지션 세트의 상기 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
- 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법에 있어서, 상기 방법은,
복수의 뷰잉 포지션들에 대한 360 비디오를 획득하는 단계;
상기 뷰잉 포지션들에 대한 픽처들을 생성하는 단계; 상기 픽처들을 인코딩하는 단계;
메타데이터를 생성하는 단계; 및
상기 인코딩된 픽처들 및 상기 메타데이터를 저장 또는 전송하기 위한 프로세싱을 수행하는 단계를 포함하고,
상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하고,
상기 뷰잉 스페이스의 모양 타입이 큐브인 경우, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법. - 제13항에 있어서, 상기 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 형상(paraboloid shape), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나인 것을 특징으로 하는, 360 비디오 데이터 처리 방법.
- 제13항에 있어서,
상기 뷰잉 스페이스는 상기 복수 개의 뷰잉 포지션들이 3D 공간으로 형성된 것을 특징으로 하는, 360 비디오 데이터 처리 방법. - 360 비디오 수신 장치에 있어서, 상기 장치는
복수의 뷰잉 포지션들(viewing positions)에 대한 인코딩된 픽처들을 포함하는 360 비디오 데이터를 수신하는 수신기;
상기 인코딩된 픽처들을 디코딩하는 데이터 디코더; 및
도출된 메타데이터를 기초로 상기 디코딩된 픽처들을 렌더링하는 렌더러를 포함하고,
상기 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보를 포함하고,
상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하고,
상기 뷰잉 스페이스의 모양 타입이 큐브인 경우, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값을 나타내는 정보를 포함하는, 360 비디오 수신 장치. - 360 비디오 전송 장치에 있어서, 상기 장치는
복수의 뷰잉 포지션들에 대한 픽처들을 생성하는 프로젝션 프로세서;
상기 픽처들을 인코딩하는 데이터 인코더;
메타데이터를 생성하는 메타데이터 프로세서; 및
상기 메타데이터 및 상기 인코딩된 픽처들의 저장 또는 전송을 위한 처리를 수행하는 전송 프로세서를 포함하고,
상기 메타데이터는 뷰잉 스페이스 정보를 포함하고,
상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하고,
상기 뷰잉 스페이스의 모양 타입이 큐브인 경우, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값을 나타내는 정보를 포함하는, 360 비디오 전송 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862653523P | 2018-04-05 | 2018-04-05 | |
| US62/653,523 | 2018-04-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190116928A KR20190116928A (ko) | 2019-10-15 |
| KR102214079B1 true KR102214079B1 (ko) | 2021-02-09 |
Family
ID=68097539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190039161A KR102214079B1 (ko) | 2018-04-05 | 2019-04-03 | 360도 비디오를 송수신하는 방법 및 그 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20190313074A1 (ko) |
| KR (1) | KR102214079B1 (ko) |
| WO (1) | WO2019194571A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102157656B1 (ko) | 2018-06-22 | 2020-10-23 | 엘지전자 주식회사 | 360도 비디오를 송수신하는 방법 및 그 장치 |
| CN115225975A (zh) * | 2020-03-24 | 2022-10-21 | 腾讯科技（深圳）有限公司 | 多自由度场景下的沉浸式媒体获取方法、设备及存储介质 |
| US11677979B2 (en) * | 2020-08-24 | 2023-06-13 | Tencent America LLC | Freeview video coding |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101381601B1 (ko) * | 2007-05-14 | 2014-04-15 | 삼성전자주식회사 | 다시점 영상 부호화 및 복호화 장치 |
| KR101257386B1 (ko) * | 2007-10-08 | 2013-04-23 | 에스케이플래닛 주식회사 | 통합 멀티미디어 파일 구조를 이용한 3ｄ 멀티미디어콘텐츠 서비스 시스템 및 방법 |
| KR20170017606A (ko) * | 2015-08-07 | 2017-02-15 | 엘지전자 주식회사 | 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법 |
| US9986221B2 (en) * | 2016-04-08 | 2018-05-29 | Visbit Inc. | View-aware 360 degree video streaming |
| KR102208132B1 (ko) * | 2016-05-26 | 2021-01-27 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| KR101830786B1 (ko) * | 2016-07-29 | 2018-02-21 | 주식회사 미디어로그 | 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법 |
| KR102014240B1 (ko) * | 2016-09-08 | 2019-08-27 | 가온미디어 주식회사 | 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치 |
| KR102545195B1 (ko) * | 2016-09-12 | 2023-06-19 | 삼성전자주식회사 | 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치 |
| KR20180029315A (ko) * | 2016-09-12 | 2018-03-21 | 삼성전자주식회사 | 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치 |
| US20210067758A1 (en) * | 2016-10-12 | 2021-03-04 | Samsung Electronics Co., Ltd. | Method and apparatus for processing virtual reality image |
-
2019
- 2019-04-03 WO PCT/KR2019/003937 patent/WO2019194571A1/en active Application Filing
- 2019-04-03 KR KR1020190039161A patent/KR102214079B1/ko active IP Right Grant
- 2019-04-03 US US16/374,302 patent/US20190313074A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20190313074A1 (en) | 2019-10-10 |
| KR20190116928A (ko) | 2019-10-15 |
| WO2019194571A1 (en) | 2019-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102208129B1 (ko) | 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치 | |
| KR102241082B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| US11140373B2 (en) | Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video | |
| KR102157656B1 (ko) | 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102208132B1 (ko) | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 | |
| CN109076255B (zh) | 发送、接收360度视频的方法及设备 | |
| KR102202338B1 (ko) | 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102221301B1 (ko) | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102258448B1 (ko) | 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102305634B1 (ko) | 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 | |
| KR102278848B1 (ko) | 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치 | |
| KR102157658B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| KR102214085B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| KR102214079B1 (ko) | 360도 비디오를 송수신하는 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |