KR102157656B1 - 360도 비디오를 송수신하는 방법 및 그 장치 - Google Patents

Abstract

본 발명에 따른 360도 비디오 수신 장치에 의하여 수행되는 360도 영상 데이터 처리 방법은 360도 영상 데이터를 수신하는 단계, 상기 360도 영상 데이터를 기반으로 특정 뷰잉 스페이스 내 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 도출하는 단계, 상기 인코딩된 픽처에 대한 상기 정보를 기반으로 상기 인코딩된 픽처를 디코딩하는 단계, 및 상기 메타데이터를 기반으로 상기 디코딩된 픽처를 렌더링하는 단계를 포함하되, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하는 것을 특징으로 한다.

Description

360 비디오를 전송하기 위한 방법, 360 비디오를 수신하기 위한 방법, 360 비디오를 전송하기 위한 장치 및 360 비디오를 수신하기 위한 장치{METHOD FOR TRANSMITTING 360-DEGREE VIDEO, METHOD FOR RECEIVING 360-DEGREE VIDEO, APPARATUS FOR TRANSMITTING 360-DEGREE VIDEO, AND APPARATUS FOR RECEIVING 360-DEGREE VIDEO}

본 발명은 360 비디오에 대한 것으로, 보다 상세하게는 뷰잉 스페이스 정보를 포함하는 3DoF+ 컨텐츠에 대해 360 비디오를 전송 및 수신하는 방법 및 장치에 관한 것이다.

VR(Virtual Reality) 시스템은 사용자에게 전자적으로 프로젝션된 환경내에 있는 것 같은 감각을 제공한다. VR을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 시스템은 사용자가 인터랙티브하게 VR 컨텐츠들을 소비할 수 있도록 할 수 있다.

3DoF+ (three Degrees of Freedom plus) 컨텐츠는 다수의 뷰잉 포지션/뷰포인트에 대해 360 비디오를 통해 사용자의 위치 이동에 따라 새롭게 구성된 3DoF 또는 360 비디오를 제공한다. 3DoF+ 컨텐츠를 통해 사용자는 다양한 감각 경험을 사용할 수 있다.

본 발명의 기술적 과제는 VR 시스템을 제공하기 위한 VR 비디오 데이터 전송의 효율을 높이는 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 VR 비디오 데이터 및 VR 비디오 데이터에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 3DoF+ 시스템을 제공하기 위한 360 비디오 데이터 전송 효율을 향상시키는 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 뷰잉 포지션 정보 및 뷰잉 스페이스 정보에 대한 메타데이터를 전송하는 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 예에 따르면, 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법이 제공된다. 상기 방법은 특정 뷰잉 스페이스 내 복수의 뷰잉 포지션들에 대한 360 비디오를 획득하는 단계; 상기 360 비디오를 처리하여 상기 뷰잉 포지션들에 대한 픽처들을 생성하는 단계; 상기 픽처들을 인코딩하는 단계; 상기 360 비디오에 대한 메타데이터를 생성하는 단계; 및 상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하는 단계를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.

본 발명의 일 실시 예에 따르면, 360 비디오 데이터를 처리하기 위한 360 비디오 전송 장치가 제공된다. 상기 360 비디오 전송 장치는 특정 뷰잉 스페이스 내 복수의 뷰잉 포지션들에 대한 360 비디오를 획득하도록 구성된 데이터 입력부; 상기 360 비디오를 처리하여 상기 뷰잉 포지션들에 대한 픽처들을 생성하도록 구성된 프로젝션 프로세서; 상기 픽처들을 인코딩하도록 구성된 인코더; 상기 360 비디오에 대한 메타데이터를 생성하도록 구성된 메타데이터 프로세서; 및 상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하도록 구성된 전송 프로세서를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.

본 발명의 다른 실시 예에 따르면, 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법이 제공된다. 상기 방법은 360도 비디오 데이터를 수신하는 단계; 상기 360도 비디오 데이터를 기반으로 특정 뷰잉 스페이스 내 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 도출하는 단계; 상기 인코딩된 픽처에 대한 정보를 기반으로 상기 인코딩된 픽처를 디코딩하는 단계; 및 상기 메타데이터를 기반으로 상기 디코딩된 픽처를 렌더링 하는 단계를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.

본 발명의 다른 실시 예에 따르면, 360 비디오 데이터를 처리하기 위한 360 비디오 수신 장치가 제공된다. 상기 360 비디오 수신 장치는 360도 비디오 데이터를 수신하도록 구성된 수신기; 상기 360도 비디오 데이터를 기반으로 특정 뷰잉 스페이스 내 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 도출하도록 구성된 프로세서/파일 추출 유닛; 상기 인코딩된 픽처에 대한 정보를 기반으로 상기 인코딩된 픽처를 디코딩하도록 구성된 데이터 디코더; 및 상기 메타데이터를 기반으로 상기 디코딩된 픽처를 렌더링 하도록 구성된 렌더러를 포함하고, 상기 메타데이터는 뷰잉 스페이스 정보를 포함하고, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함한다.

본 발명에 따르면 지상파 방송망과 인터넷 망을 사용하는 차세대 하이브리드 방송을 지원하는 환경에서 3DoF+ 컨텐츠를 효율적으로 전송할 수 있다.

본 발명에 따르면 사용자의 3DoF+ 컨텐츠 소비에 있어서, 인터랙티브 경험(interactive experience)를 제공하기 위한 방안을 제안할 수 있다.

본 발명에 따르면 사용자의 360 컨텐츠 소비에 있어서, 3DoF+ 컨텐츠 제작자가 의도하는 바가 정확히 반영되도록 시그널링 하는 방안을 제안할 수 있다.

본 발명에 따르면 3DoF+ 컨텐츠 전달에 있어, 효율적으로 전송 캐패시티를 늘리고, 필요한 정보가 전달될 수 있도록 하는 방안을 제안할 수 있다.

본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF+ 컨텐트 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.

본 발명에 따르면, 3DoF+ 응용에 대한 한정된 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자들의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.

도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 나타낸다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 나타낸다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 3DoF+ VR 시스템을 나타낸다.
도 6은 본 발명에 따른 3DoF+ 비디오를 제공하기 위한 전체 아키텍처를 나타낸다.
도 7은 360 비디오 전송 장치/360 비디오 수신 장치에 의해 수행되는 360도 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 8은 본 발명이 적용 가능한 360 비디오 전송 장치의 구성을 개략적으로 나타낸다.
도 9는 본 발명이 적용 가능한 360 비디오 수신 장치의 구성을 개략적으로 나타낸다.
도 10은 head_motion_boundary의 다수의 모양 타입을 나타낸다.
도 11은 뷰잉 포지션 정보 및 헤드 모션 정보가 사용되는 3DoF 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.
도 12는 뷰잉 포지션 세트의 뷰포인트를 포함하는 비디오의 프리-인코딩 프로세스의 일례를 나타내는 도면이다.
도 13은 복수의 뷰잉 포지션의 뷰포인트를 포함하는 비디오 스트림에 대한 전달 프로세스의 예를 나타낸다..
도 14는 뷰의 뷰포인트에 대한 텍스처, 레지듀얼 및 깊이 맵을 갖는 멀티 뷰 리전 패킹의 디코딩 프로세스의 일례를 나타낸다.
도 15a 및 도 15b는 다수의 뷰잉 포지션들을 포함하는 비디오에 대한 코딩 프로세스의 예를 나타낸다.
도 16a 및 도 16b는 다수의 뷰잉 포지션들 및 뷰잉 포지션들의 경계를 나타낸다.
도 17a 내지 도 17c는 뷰잉 포지션의 예를 나타낸다.
도 18은 시간 변화하는 뷰잉 스페이스의 예 및 수신기에서의 뷰잉 스페이스 정보의 사용을 나타낸다.
도 19는 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 20은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 나타낸다.
도 21은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다.
도 22는 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 수신 장치를 개략적으로 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 컨텍스트상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 엘리먼트, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 엘리먼트, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 엘리먼트에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 엘리먼트에 대해서 중복된 설명은 생략한다.

도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 나타낸다.

본 발명은 사용자에게 가상현실 (Virtual Reality, VR)을 제공하기 위하여, 360 컨텐츠를 제공하는 방안을 제안한다. VR이란 실제 또는 가상의 환경을 복제(replicates) 하기 위한 기술 내지는 그 환경을 의미할 수 있다. VR은 인공적으로 사용자에게 감각적 경험을 제공하며, 이를 통해 사용자는 전자적으로 프로젝션된 환경에 있는 것과 같은 경험을 할 수 있다.

360 컨텐츠는 VR을 구현, 제공하기 위한 컨텐츠 전반을 의미하며, 360 비디오 및/또는 360 오디오를 포함할 수 있다. 360 비디오는 VR을 제공하기 위해 필요한, 동시에 모든 방향(360도)으로 캡처되거나 재생되는 비디오 내지 이미지 컨텐츠를 의미할 수 있다. 이하, 360 비디오라 함은 360 비디오를 의미할 수 있다. 360 비디오는 3D 모델에 따라 다양한 모양의 3D 공간 상에 나타내어지는 비디오 내지 이미지를 의미할 수 있으며, 예를 들어 360 비디오는 구형면(Speherical surface) 상에 나타내어질 수 있다. 360 오디오 역시 VR을 제공하기 위한 오디오 컨텐츠로서, 음향 발생지가 3차원의 특정 공간상에 위치하는 것으로 인지될 수 있는, 공간적(Spatial) 오디오 컨텐츠를 의미할 수 있다. 360 컨텐츠는 생성, 처리되어 사용자들로 전송될 수 있으며, 사용자들은 360 컨텐츠를 이용하여 VR 경험을 소비할 수 있다.

본 발명은 특히 360 비디오를 효과적으로 제공하는 방안을 제안한다. 360 비디오를 제공하기 위하여, 먼저 하나 이상의 카메라를 통해 360 비디오가 캡처될 수 있다. 캡처된 360 비디오는 일련의 과정을 거쳐 전송되고, 수신측에서는 수신된 데이터를 다시 원래의 360 비디오로 가공하여 렌더링할 수 있다. 이를 통해 360 비디오가 사용자에게 제공될 수 있다.

구체적으로 360 비디오 제공을 위한 전체의 과정은 캡처 과정(process), 준비 프로세스, 전송 프로세스, 프로세싱 과정, 렌더링 프로세스 및/또는 피드백 프로세스를 포함할 수 있다.

캡처 과정은 하나 이상의 카메라를 통하여 복수개의 뷰포인트 각각에 대한 이미지 또는 비디오를 캡처하는 과정을 의미할 수 있다. 캡처 과정에 의해 도시된 도 1의 (110)과 같은 이미지/비디오 데이터가 생성될 수 있다. 도시된 도 1의 (110)의 각 평면은 각 뷰포인트에 대한 이미지/비디오를 의미할 수 있다. 이 캡처된 복수개의 이미지/비디오를 로(raw) 데이터라 할 수도 있다. 캡처 과정에서 캡처와 관련된 메타데이터가 생성될 수 있다.

이 캡처를 위하여 VR을 위한 특수한 카메라가 사용될 수 있다. 실시예에 따라 컴퓨터로 생성된 가상의 공간에 대한 360 비디오를 제공하고자 하는 경우, 실제 카메라를 통한 캡처가 수행되지 않을 수 있다. 이 경우 단순히 관련 데이터가 생성되는 과정으로 해당 캡처 과정이 갈음될 수 있다.

준비 프로세스는 캡처된 이미지/비디오 및 캡처 과정에서 발생한 메타데이터를 처리하는 과정일 수 있다. 캡처된 이미지/비디오는 이 준비 프로세스에서, 스티칭 과정, 프로젝션 과정, 리전별 패킹 프로세스(Region-wise Packing) 및/또는 인코딩 프로세스 등을 거칠 수 있다.

먼저 각각의 이미지/비디오가 스티칭(Stitching) 과정을 거칠 수 있다. 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구형의 이미지/비디오를 만드는 과정일 수 있다.

이 후, 스티칭된 이미지/비디오는 프로젝션(Projection) 과정을 거칠 수 있다. 프로젝션 과정에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 이 2D 이미지는 컨텍스트에 따라 2D 이미지 프레임으로 지칭할 수도 있다. 2D 이미지로 프로젝션하는 것을 2D 이미지로 매핑한다고 표현할 수도 있다. 프로젝션된 이미지/비디오 데이터는 도시된 도 1의 (120)과 같은 2D 이미지의 모양이 될 수 있다.

2D 이미지 상에 프로젝션된 비디오 데이터는 비디오 코딩 효율 등을 높이기 위하여 리전별 패킹 프로세스(Region-wise Packing)을 거칠 수 있다. 리전별 패킹이란, 2D 이미지 상에 프로젝션된 비디오 데이터를 리전(Region) 별로 나누어 처리를 가하는 과정을 의미할 수 있다. 여기서 리전(Region)이란, 360 비디오 데이터가 프로젝션된 2D 이미지가 나누어진 리전을 의미할 수 있다. 이 리전들은, 실시예에 따라, 2D 이미지를 균등하게 나누어 구분되거나, 임의로 나누어져 구분될 수 있다. 또한 실시예에 따라 리전들은, 프로젝션 스킴에 따라 구분될 수도 있다. 리전별 패킹 프로세스는 선택적(optional) 과정으로써, 준비 프로세스에서 생략될 수 있다.

실시예에 따라 이 프로세싱 프로세스는, 비디오 코딩 효율을 높이기 위해, 각 리전을 회전한다거나 2D 이미지 상에서 재배열하는 과정을 포함할 수 있다. 예를 들어, 리전들을 회전하여 리전들의 특정 변들이 서로 근접하여 위치되도록 함으로써, 코딩 시의 효율이 높아지게 할 수 있다.

실시예에 따라 이 프로세싱 프로세스는, 360 비디오상의 리전 별로 레졸루션(resolution)을 차등화하기 위하여, 특정 리전에 대한 레졸루션을 높인다거나, 낮추는 과정을 포함할 수 있다. 예를 들어, 360 비디오 상에서 상대적으로 더 중요한 리전에 해당하는 리전들은, 다른 리전들보다 레졸루션을 높게할 수 있다. 2D 이미지 상에 프로젝션된 비디오 데이터 또는 리전별 패킹된 비디오 데이터는 비디오 코덱을 통한 인코딩 프로세스를 거칠 수 있다.

실시예에 따라 준비 프로세스는 부가적으로 에디팅(editing) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 프로젝션 전후의 이미지/비디오 데이터들에 대한 에디팅 등이 더 수행될 수 있다. 준비 프로세스에서도 마찬가지로, 스티칭/프로젝션/인코딩/에디팅 등에 대한 메타데이터가 생성될 수 있다. 또한 2D 이미지 상에 프로젝션된 비디오 데이터들의 초기 뷰포인트, 혹은 ROI (Region of Interest) 등에 관한 메타데이터가 생성될 수 있다.

전송 프로세스는 준비 프로세스를 거친 이미지/비디오 데이터 및 메타데이터들을 처리하여 전송하는 과정일 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 수신측에서는 다양한 경로를 통해 해당 데이터를 수신할 수 있다.

프로세싱 과정은 수신한 데이터를 디코딩하고, 프로젝션되어 있는 이미지/비디오 데이터를 3D 모델 상에 리-프로젝션(Re-projection) 하는 과정을 의미할 수 있다. 이 과정에서 2D 이미지들 상에 프로젝션되어 있는 이미지/비디오 데이터가 3D 공간 상으로 리-프로젝션될 수 있다. 이 과정을 컨텍스트에 따라 매핑, 프로젝션이라고 부를 수도 있다. 이 때 매핑되는 3D 공간은 3D 모델에 따라 다른 모양을 가질 수 있다. 예를 들어 3D 모델에는 구형(Sphere), 큐브(Cube), 실린더(Cylinder) 또는 피라미드(Pyramid) 가 있을 수 있다.

실시예에 따라 프로세싱 과정은 부가적으로 에디팅(editing) 과정, 업 스케일링(up scaling) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 리-프로젝션 전후의 이미지/비디오 데이터에 대한 에디팅 등이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되어 있는 경우 업 스케일링 과정에서 샘플들의 업 스케일링을 통해 그 크기를 확대할 수 있다. 필요한 경우, 다운 스케일링을 통해 사이즈를 축소하는 작업이 수행될 수도 있다.

렌더링 프로세스는 3D 공간상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 과정을 의미할 수 있다. 표현에 따라 리-프로젝션과 렌더링을 합쳐 3D 모델 상에 렌더링한다 라고 표현할 수도 있다. 3D 모델 상에 리-프로젝션된 (또는 3D 모델 상으로 렌더링된) 이미지/비디오는 도시된 도 1의 (130)과 같은 모양을 가질 수 있다. 도시된 도 1의 (130)은 구형(Sphere)의 3D 모델에 리-프로젝션된 경우이다. 사용자는 VR 디스플레이 등을 통하여 렌더링된 이미지/비디오의 일부 리전을 볼 수 있다. 이 때 사용자가 보게 되는 리전은 도시된 도 1의 (140)과 같은 모양일 수 있다.

피드백 프로세스는 디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하는 과정을 의미할 수 있다. 피드백 프로세스를 통해 360 비디오 소비에 있어 인터랙티비티(Interactivity) 가 제공될 수 있다. 실시예에 따라, 피드백 프로세스에서 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 리전을 나타내는 뷰포트(Viewport) 정보 등이 송신측으로 전달될 수 있다. 실시예에 따라, 사용자는 VR 환경 상에 구현된 것들과 상호작용할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 프로세스에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 프로세스는 수행되지 않을 수도 있다.

헤드 오리엔테이션 정보는 사용자의 헤드 포지션, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 360 비디오 내에서 보고 있는 리전에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.

뷰포트 정보는 현재 사용자가 360 비디오에서 보고 있는 리전에 대한 정보일 수 있다. 이를 통해 게이즈 분석(Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 360 비디오를 소비하는지, 360 비디오의 어느 리전을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR 디스플레이 등의 장치는 사용자의 헤드 포지션/방향, 장치가 지원하는 수직(vertical) 혹은 수평(horizontal) FOV(Field Of View) 정보 등에 근거하여 뷰포트 리전을 추출할 수 있다.

실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것 뿐아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 리-프로젝션, 렌더링 프로세스 등이 수행될 수 있다. 예를 들어, 헤드 오리엔테이션 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 리전에 대한 360 비디오만 우선적으로 디코딩 및 렌더링될 수도 있다.

여기서 뷰포트(viewport) 내지 뷰포트 리전이란, 사용자가 360 비디오에서 보고 있는 리전을 의미할 수 있다. 뷰포인트(viewpoint)은 사용자가 360 비디오에서 보고 있는 지점으로서, 뷰포트 리전의 정중앙 지점을 의미할 수 있다. 즉, 뷰포트는 뷰포인트를 중심으로 한 리전인데, 그 리전이 차지하는 크기 모양 등은 후술할 FOV(Field Of View)에 의해 결정될 수 있다.

전술한 360 비디오 제공을 위한 전체 아키텍처 내에서, 캡처/프로젝션/인코딩/전송/디코딩/리-프로젝션/렌더링의 일련의 과정을 거치게 되는 이미지/비디오 데이터들을 360 비디오 데이터라 부를 수 있다. 360 비디오 데이터라는 용어는 또한 이러한 이미지/비디오 데이터들과 관련되는 메타데이터 내지 시그널링 정보를 포함하는 개념으로 쓰일 수도 있다.

상술한 오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 미디어 파일은 ISO BMFF (ISO base media file format)를 기반으로 한 파일 포맷을 가질 수 있다.

도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 나타낸다.

본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블록 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 모양을 띄게될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.

본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.

ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 디코딩이기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.

moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.

mdat 박스(미디어 데이터 박스)는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.

실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.

mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.

trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. Trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.

trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.

mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야 할 수 있다.

본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(200). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.

moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.

mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.

실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.

mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number)를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.

traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 디코딩/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.

실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.

tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.

trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생뷰포인트 등과 같은 정보를 포함할 수 있다.

전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.

도시된 실시예(210)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.

도시된 실시예(220)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.

styp 박스(세그먼트 타입 박스)는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.

sidx 박스(세그먼트 인덱스 박스)는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.

실시예에 따라(230) ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.

미디어 파일 내의 박스들은, 도시된 실시예(250)와 같은 박스 내지 풀 박스(FullBox) 모양을 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. Type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.

한편, 본 발명의 360 비디오에 대한 필드(속성)들은 DASH 기반 적응형(Adaptive) 스트리밍 모델에 포함되어 전달될 수 있다.

도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다. 도시된 실시예(400)에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH(Dynamic Adaptive Streaming over HTTP)는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐트 재생이 끊김없이 제공될 수 있다.

먼저 DASH 클라이언트는 MPD를 획득할 수 있다. MPD는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. DASH 클라이언트는 MPD에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.

DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐트가 끊김없이 재생될 수 있다.

MPD (Media Presentation Description)는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 모양으로 표현될 수 있다.

DASH 클라이언트 컨트롤러(DASH Client Controller)는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블락에서 사용할 수 있도록 제어할 수 있다.

MPD 파서(Parser)는 획득한 MPD를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.

세그먼트 파서(Parser)는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블락들은 특정 동작을 수행할 수 있다.

HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.

미디어 엔진(Media Engine) 은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐트를 화면상에 표시할 수 있다. 이 때, MPD의 정보들이 활용될 수 있다.

DASH 데이터 모델은 계층적 구조(410)를 가질 수 있다. 미디어 프리젠테이션은 MPD에 의해 기술될 수 있다. MPD는 미디어 프리젠테이션를 만드는 복수개의 구간(Period)들의 시간적인 시퀀스를 기술할 수 있다. 피리오드는 미디어 컨텐트의 한 구간을 나타낼 수 있다.

한 구간에서, 데이터들은 어댑테이션 셋들에 포함될 수 있다. 어댑테이션 셋은 서로 교환될 수 있는 복수개의 미디어 컨텐트 컴포넌트들의 세트일 수 있다. 어댑테이션은 레프리젠테이션들의 세트를 포함할 수 있다. 레프리젠테이션은 미디어 컨텐트 컴포넌트에 해당할 수 있다. 한 레프리젠테이션 내에서, 컨텐트는 복수개의 세그먼트들로 시간적으로 나뉘어질 수 있다. 이는 적절한 접근성과 전달(delivery)를 위함일 수 있다. 각각의 세그먼트에 접근하기 위해서 각 세그먼트의 URL 이 제공될 수 있다.

MPD는 미디어 프리젠테이션에 관련된 정보들을 제공할 수 있고, 피리오드 엘레멘트, 어댑테이션 셋 엘레멘트, 레프리젠테이션 엘레멘트는 각각 해당 피리오드, 어댑테이션 셋, 레프리젠테이션에 대해서 기술할 수 있다. 레프리젠테이션은 서브 레프리젠테이션들로 나뉘어질 수 있는데, 서브 레프리젠테이션 엘레멘트는 해당 서브 레프리젠테이션에 대해서 기술할 수 있다.

여기서 공통(Common) 속성/엘레멘트들이 정의될 수 있는데, 이 들은 어댑테이션 셋, 레프리젠테이션, 서브 레프리젠테이션 등에 적용될 수 (포함될 수) 있다. 공통 속성/엘레멘트 중에는 에센셜 프로퍼티(EssentialProperty) 및/또는 서플멘탈 프로퍼티(SupplementalProperty) 가 있을 수 있다.

에센셜 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 필수적이라고 여겨지는 엘레멘트들을 포함하는 정보일 수 있다. 서플멘탈 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 사용될 수도 있는 엘레멘트들을 포함하는 정보일 수 있다. 실시예에 따라 후술할 디스크립터들은, MPD를 통해 전달되는 경우, 에센셜 프로퍼티 및/또는 서플멘탈 프로퍼티 내에 정의되어 전달될 수 있다.

한편, 본 발명은 사용자에게 몰입형 매체(immersive media)의 경험을 제공하기 위해 360 비디오 컨텐츠에 대한 전술한 방법 이외에 3DoF+ (3 자유도 플러스) 컨텐츠를 제공하는 방법을 제공한다.

전술한 3DoF (3 Degrees of Freedom) 기반 VR 시스템 (즉, 전술한 360 비디오 컨텐츠 시스템)에서, 사용자는 사용자의 고정된 위치에서 상이한 뷰잉 오리엔테이션에 대한 시각/청각 경험을 제공받는다. 그러나, 3DoF+ 컨텐츠를 위한 VR 시스템은 서로 다른 뷰포인트 및 뷰잉포지션에서 서로 다른 방향을 기준으로 시각적/청각적 경험을 확장하는 것을 목표로 한다. 다시 말해, 3DoF+ 컨텐츠 용 VR 시스템은 복수의 위치 (뷰포인트)에서 복수의 뷰잉 포지션에 렌더링된 360도 컨텐츠를 제공하는 시스템을 나타낼 수 있다.

3DoF+ VR 시스템에서 추가로 정의되는 뷰포인트 및 뷰잉포지션의 개념은 다음 도면과 같이 설명할 수 있다. 뷰잉 포지션은 헤드 포지션이라고 부를 수 있다.

도 5는 3DoF+ VR 시스템을 나타낸다.

구체적으로, 도 5(a)는 3DoF+ VR 시스템에 360 비디오 컨텐츠가 제공되는 복수의 뷰포인트를 나타낸다. 예를 들어, 도 5a에 도시된 바와 같이 특정 공간 (예컨대, 극장, 경기장 등)의 특정 위치는 360 비디오 컨텐츠가 제공되는 뷰포인트로 고려될 수 있다. 이 경우, 동일한 특정 공간에 존재하는 각각의 뷰포인트에 제공된 비디오/오디오는 동일한 시간 흐름을 갖는다고 가정할 수 있다.

한편, 다수의 뷰잉 포지션에 대해 360 컨텐츠로 특정 뷰잉 포지션을 렌더링할 수 있다. 따라서, 특정 뷰포인트에서 사용자의 헤드 모션에 따라 상이한 시각/청각 경험이 제공될 수 있다. 여기서, 360 컨텐츠는 3DoF+ 컨텐츠로 지칭할 수 있으며, 3DoF+ 컨텐츠에는 3DoF+ 비디오 및 3DoF+ 오디오가 포함될 수 있다.

도 5(b)는 복수의 뷰잉 포지션의 3D 공간을 나타낸다. 여기서, 3D 공간은 구형일 수 있다. 특정 뷰잉 포지션에서 사용자의 헤드 모션에 따라 다양한 시각/청각 경험을 제공하여 각 뷰잉 포지션의 상대적 위치를 반영한 비디오/오디오/텍스트 정보를 제공할 수 있다.

또한, 특정 뷰잉 포지션에 있는 전 방향성 매체(omnidirectional media)에 대한 비디오/오디오 정보는 기존의 360 컨텐츠에 대한 방법과 같이 전송될 수 있다. 즉, 특정 뷰잉 포지션에 대한 360 컨텐츠는 특정 뷰잉 포지션에 대한 3D 공간에서 렌더링될 수 있다. 이 경우, 비디오/오디오/텍스트/등을 포함하는 주요 소스뿐만 아니라 다양한 추가 소스가 통합되어 전송될 수 있다. 또한, 다른 예로서, 추가 소스에 대한 정보는 사용자의 뷰잉 오리엔테이션과 관련하여 또는 독립적으로 전송될 수 있다.

도 5(c)는 뷰잉 포지션의 360 비디오가 렌더링되는 3D 공간을 나타낸다. 도 5 (c)에 도시된 바와 같이, 구 표면의 각 점은 r (구의 반지름), θ (z 축에 기반한 회전 방향 및 각도) 및 φ (xy 평면의 z 축에 대한 회전 방향 및 각도)를 구 좌표계를 사용하여 계산한다. 일 실시 예에 따르면, 구 표면은 월드 좌표계와 일치할 수 있거나 또는 프론트 카메라의 주점(principal point)은 구 표면의 점 (r, 0, 0)으로 가정될 수 있다.

한편, 항공기 주축(aircraft principal axes)의 개념은 구 표면의 각 점의 위치를 나타내는 데 사용할 수 있다. 즉, 항공기 주축의 내용은 프로젝션 전 또는 리-프로젝션 전의 3 차원 공간을 기술하고 본 발명에서 그에 대한 시그널링을 수행하는데 사용될 수 있다. 일 실시 예에 따르면, X, Y 및 Z 축 또는 구 좌표의 개념을 사용하는 방법이 사용될 수 있다.

항공기는 자유롭게 3 차원으로 회전할 수 있다. 3 차원을 구성하는 축을 피치 축, 요 축 및 롤 축이라고 부른다. 이들은 명세서에서 피치, 요 및 롤 또는 피치 방향, 요 방향 및 롤 방향으로 지칭될 수 있다.

피치 축은 항공기의 프론트 엔드가 위 아래로 회전하는 방향의 베이스가 되는 축을 지칭할 수 있다. 항공기 주축의 개념에서 피치 축은 항공기의 날개를 연결하는 축을 나타낼 수 있다.

요 축은 항공기의 프론트 엔드가 좌우로 회전하는 방향의 베이스인 축을 지칭할 수 있다. 도시된 항공기 주축의 개념에서, 요 축은 항공기의 상부와 하부를 연결하는 축을 지칭할 수 있다. 롤 축은 항공기의 주축에 대한 예시된 개념에서 항공기의 프론트 엔드와 테일을 연결하는 축을 지칭할 수 있으며, 롤 방향의 회전은 롤 축을 기준으로 한 회전을 나타낼 수 있다. 상술한 바와 같이, 본 발명의 3D 공간은 피치, 요 및 롤의 개념을 이용하여 설명될 수 있다

도 6은 본 발명에 따른 3DoF+ 비디오를 제공하기 위한 전체 아키텍처를 나타낸다.

도 6을 참조하면, 3DoF+ 비디오 데이터 및/또는 3DoF+ 오디오 데이터가 획득될 수 있다. 구체적으로, 3DoF+ 컨텐츠를 캡처하기 위해 HDCA (고밀도 카메라 어레이), Lenslet (마이크로 렌즈) 카메라 등이 사용될 수 있거나, 3DoF+ 비디오 캡처를 위해 설계된 새로운 디바이스를 통해 3DoF+ 컨텐츠가 획득될 수 있다. 도 6에 도시된 획득된 이미지 (610)와 같이, 캡처를 위해 사용된 카메라의 위치에 따라 생성된 이미지/비디오 데이터 세트는 복수의 개수로 생성될 수 있다. 즉, 복수의 위치에서의 헤드 모션에 따른 복수의 비디오/오디오 정보를 얻을 수 있다. 이 경우에, 이미지 정보는 텍스처 정보뿐만 아니라 깊이 정보를 포함할 수 있다. 도 6에 도시된 획득된 이미지 (610)와 같이, 상이한 캡처 위치에 따라 상이한 뷰잉 포지션의 다수의 정보가 각각 획득될 수 있다. 또한 3DoF+ 컨텐츠의 캡처 과정에서 카메라의 내부/외부 설정 값을 나타내는 메타 미터가 생성될 수 있다. 한편, 카메라 이외의 컴퓨터에 의해 생성된 이미지의 경우, 캡처 프로세스는 이미지 생성 프로세스로 대체될 수 있다.

이미지 획득 프로세스가 수행되면, 컴포지션 프로세스가 수행될 수 있다. 컴포지션 프로세스는 비디오/오디오 입력 장치를 통해 얻은 획득된 이미지(610)와, 외부 미디어, 음성(voice) (오디오/효과음 등) 및 텍스트 (자막 등)를 통해 얻은 이미지 (비디오/이미지 등)를 합성(compose)하여 사용자 경험을 포함시키는 프로세스이다.

획득된 이미지 (610)의 전처리 프로세스는 캡처된 이미지/비디오 및 캡처 프로세스로부터 전달된 메타데이터를 처리하는 프로세스일 수 있다. 전처리 프로세스는 스티칭 (stitching) 프로세스, 색 보정 프로세스, 프로젝션 프로세스, 뷰 세그멘테이션 프로세스 및 인코딩 프로세스와 같은 모든 타입의 전처리를 포함한다.

구체적으로, 스티치 프로세스는 캡처된 이미지/비디오를 연결하여 하나의 파노라마 이미지/비디오 또는 구형 이미지/비디오를 생성하는 과정이 될 수 있다. 이어서, 스티칭된 이미지/비디오는 프로젝션 처리될 수 있다. 프로젝션 프로세스에서, 스티칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 2D 이미지는 컨텍스트에 따라 2D 이미지 프레임이라고 부를 수 있다. 2D 이미지에 대한 프로젝션은 2D 이미지에 대한 매핑이라고 할 수 있다. 프로젝션된 이미지/비디오 데이터는 도 6의 2D 이미지 (620)의 모양을 가질 수 있다.

뷰 세그멘테이션 프로세스는 코딩 효율을 향상시키기 위해 프라이헤드 뷰와 세컨더리 뷰로 분할하는 프로세스 일 수 있다. 예를 들어, 각 카메라 위치에 매핑된 이미지를 프라이헤드 뷰와 세컨더리 뷰로 분리할 수 있으며, 서로 다른 해상도를 서로 다른 뷰에 적용하여 비디오 코딩 효율을 높일 수 있다. 또한, 매핑 이미지의 배치 또는 해상도는 코딩 효율성을 향상시키기 위해 프라이헤드 뷰 내에서 다르게 적용될 수 있다. 또한 세컨더리 뷰는 캡처 환경에 따라 존재하지 않을 수도 있다. 세컨더리 뷰는 사용자가 프라이헤드 뷰에서 다른 프라이헤드 뷰로 이동하는 경우 이동 프로세스에서 재생되는 이미지/비디오를 나타낼 수 있다. 세컨더리 뷰는 프라이헤드 뷰보다 낮은 해상도를 가질 수 있지만 필요에 따라 동일한 해상도가 적용될 수 있다. 또한, 예를 들면, 360 비디오 수신 장치는 가상 정보를 기반으로 세컨더리 뷰를 새롭게 생성할 수 있다.

전처리 프로세스는 에디팅 프로세스를 더 포함할 수 있다. 에디팅 프로세스는 360 비디오 리전 사이의 경계를 제거하고 360 비디오의 리전 간의 색상/밝기 차이를 줄이거나 이미지의 시각 효과를 추가하는 프로세스를 나타낼 수 있다.

또한, 전처리 프로세스는 비디오의 리전을 재배치하는 패킹 (packing) 프로세스와 비디오 정보를 압축하는 인코딩 프로세스를 더 포함할 수 있다. 프로젝션된 픽처는 도 6의 프로젝션된 픽처 (620)과 같이 상이한 뷰잉 포지션의 복수의 프로젝션 픽처에 기반하여 생성될 수 있다.

또한, 전처리 프로세스에서, 프로젝션 전후의 이미지/비디오 데이터의 에디팅이 더 수행될 수 있고, 메타데이터가 생성될 수 있다. 예를 들어, 전처리 프로세스에서, 초기 뷰잉 오리엔테이션, 사용자의 초기 위치 및 관심 리전 (ROI)에 대한 메타데이터가 생성될 수 있다.

도 6에 도시된 전달 프로세스(delivery process)는 전처리 프로세스에서 획득된 이미지/비디오 데이터 및 메타데이터를 처리하고 전송하는 프로세스를 나타낼 수 있다. 임의의 전송 프로토콜에 따른 처리는 이미지/비디오 데이터 및 메타데이터의 전송을 위해 수행될 수 있다. 전송을 위해 처리된 데이터는 브로드 캐스트 네트워크 및/또는 광대역을 통해 전달될 수 있다. 이러한 데이터는 온-디맨드로 수신 측에 전달될 수 있다. 수신 측은 다양한 경로를 통해 데이터를 수신할 수 있다

프로세싱 프로세스는 수신된 이미지/비디오 데이터 및 메타데이터를 디코딩하는 디코딩 프로세스 및 디코딩된 프로젝션된 이미지의 이미지/비디오 데이터를 3D (3 차원) 모델로 매핑/프로젝션하는 리-프로젝션 프로세스를 포함할 수 있고, 가상 뷰포인트의 생성 및 합성(compose)하는 프로세스를 포함할 수 있다. 여기서, 이미지/비디오 데이터가 매핑되는 3D 모델 또는 프로젝션 맵은 3D 모델에 따라 다른 모양을 가질 수 있다. 예를 들어, 3D 모델에는 구형, 큐브, 실린더 및 피라미드가 포함될 수 있다. 대안 적으로, 3D 모델 또는 프로젝션 맵은 구형, 큐브, 실린더 또는 피라미드의 변형된 형상 모델일 수 있거나 자유-형상 모델일 수 있다.

가상 뷰포인트를 생성하고 구성하는 프로세스는 사용자가 프라이헤드 뷰에서 다른 프라이헤드 뷰 또는 세컨더리 뷰로 이동하는 경우 이동 프로세스에서 재생되는 이미지/비디오 데이터를 생성하는 프로세스를 나타낼 수 있다. 가상 뷰포인트를 생성하기 위해 캡처 및 전처리 프로세스에서 전달된 메타데이터를 처리해야 할 수 있다. 어떤 경우에는 가상 뷰포인트에서 360 이미지/비디오의 일부만 생성/합성될 수 있다.

일 실시 예에 따르면, 프로세싱 프로세스는 추가로 에디팅 프로세스 및 업 스케일링 프로세스를 포함할 수 있다. 에디팅 프로세스에서, 리-프로젝션 전후의 이미지/비디오 데이터의 에디팅이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되면 업 스케일링 프로세스에서 샘플을 업 스케일링하여 이미지/비디오 데이터의 크기를 증가시킬 수 있다. 다운 스케일링을 통해 크기를 감소시키는 동작이 필요에 따라 수행될 수 있다.

렌더링 프로세스는 3D 공간 상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 프로세스를 지칭할 수 있다. 리-프로젝션 및 렌더링을 결합하여 3D 모델에서 렌더링으로 표현할 수 있다. 3D 모델 상에 리-프로젝션된 (또는 3D 모델 상에 렌더링된) 이미지/비디오는 도 6에 도시된 형상 (630)을 가질 수 있다. 도 6에 도시된 형상(630)은 이미지/비디오가 3D 구형 모델에 리-프로젝션되는 경우에 대응한다. 사용자는 VR 디스플레이를 통해 렌더링된 이미지/비디오의 리전을 볼 수 있다. 여기서, 사용자가 보는 리전은 도 6에 도시된 형상(640)을 가질 수 있다.

피드백 프로세스는 디스플레이 프로세스에서 획득될 수 있는 다양한 타입의 피드백 정보를 송신 측에 전달하는 프로세스를 지칭할 수 있다. 피드백 프로세스를 통해 360 비디오 소비의 인터랙티비티를 제공할 수 있다. 일 실시 예에 따르면, 피드백 프로세스에서 헤드 오리엔테이션 정보, 현재 사용자가 보고 있는 리전을 나타내는 뷰포트 정보 등을 송신 측으로 전달할 수 있다. 일 실시 예에 따르면, 사용자는 VR 환경에서 실현되는 객체와 인터랙션할 수 있다. 이 경우, 인터랙션에 관한 정보는 피드백 프로세스에서 송신 측 또는 서비스 제공자에게 전달될 수 있다. 일 실시 예에 따르면, 피드백 프로세스는 수행되지 않을 수 있다.

도 7은 360 비디오 전송 장치/360 비디오 수신 장치에 의해 수행되는 360도 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.

도 7을 참조하면, 실제 오디오-비주얼 장면(audio-visual scene) (A)은 다수의 렌즈 및 센서를 갖는 카메라 장치 또는 카메라 세트뿐만 아니라 오디오 센서에 의해 캡처될 수 있다. 획들을 통해 일련의 디지털 이미지/비디오 (Bi) 및 오디오 (Ba) 신호가 발생할 수 있다. 카메라/렌즈는 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주변의 모든 방향을 포함할 수 있고, 따라서 360 비디오로 지칭될 수 있다.

동일한 시간 인스턴스의 이미지 (Bi)는 스티칭되고, 회전되고, 프로젝션되고, 패킹된 픽처 (D)에 매핑될 수 있다.

패킹된 픽처 (D)는 코딩된 이미지 (Ei) 또는 코딩된 비디오 비트 스트림 (Ev)으로 인코딩될 수 있다. 캡처된 오디오 (Ba)는 오디오 비트 스트림 (Ea)으로 인코딩될 수 있다. 코딩된 이미지, 비디오 및/또는 오디오는 특정 미디어 콘테이너 파일 포맷에 따라, 파일 재생 (F)을 위한 미디어 파일 또는 초기화 세그먼트의 시퀀스 및 스트리밍 (Fs)을 위한 미디어 세그먼트로 구성될 수 있다. 이 문서에서, 미디어 컨테이너 파일 형식은 ISO/IEC 14496-12에 지정된 ISO 기본 미디어 파일 형식일 수 있다. 파일 인캡슐레이터는 또한 디코딩된 압축된 픽처를 렌더링하는데 도움을 주는 프로젝션 및 리전 별 패킹 정보와 같은 메타데이터를 파일 또는 세그먼트에 포함할 수 있다.

세그먼트 Fs는 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.

파일 인캡슐레이터가 출력하는 파일 (F)은 파일 인캡슐레이터가 입력한 파일 (F')과 동일할 수 있다. 파일 디캡슐레이터는 파일 (F') 또는 수신된 세그먼트 (F's)를 처리하고 코딩된 비트 스트림 (E'a, E'v 및/또는 E'i)을 추출하고 메타데이터를 파싱할 수 있다. 오디오, 비디오 및/또는 이미지는 디코딩된 신호 (오디오에 대해서는 B'a, 이미지/비디오에 대해서는 D')로 디코딩될 수 있다. 디코딩된 패킹된 픽처 (D')는 현재 뷰잉 오리엔테이션 또는 뷰포트, 그리고 프로젝션, 구형 커버리지, 회전 및 파일로부터 파싱된 리전 별 패킹 메타데이터에 기반하여 헤드 장착 디스플레이 또는 임의의 다른 디스플레이 장치의 스크린 상에 프로젝션될 수 있다. 유사하게, 디코딩된 오디오 (B'a)는 예를 들어, 현재의 뷰잉 오리엔테이션에 따라 예컨대 헤드폰을 통해 렌더링될 수 있다. 현재의 뷰잉 오리엔테이션은 헤드 트래킹 및 가능하게는 아이 트랙킹 기능에 의해 결정될 수 있다. 디코딩된 픽처 및 오디오 신호의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에, 현재의 뷰잉 오리엔테이션은 디코딩 최적화를 위해 비디오 및 오디오 디코더에 의해 또한 사용될 수도 있다.

위에서 설명한 프로세스는 라이브 및 온-디맨드 유즈케이스 모두에 적용할 수 있다.

도 8은 본 발명이 적용 가능한 360 비디오 전송 장치의 구성을 개략적으로 나타낸다.

본 발명에 따른 360 비디오 전송 장치는 상술한 준비 프로세스 및 전송 프로세스와 관련된 동작을 수행할 수 있다. 360 비디오 전송 장치는 내/외부 엘리먼트로서 데이터 입력 유닛, 컴포지션 정보 프로세서, 스티처, 프로젝션 프로세서, (리전 별) 패킹 프로세서, 서브 픽처 프로세서, 데이터 인코더, 인캡슐레이션 프로세스, 파일 추출 유닛, 전송 프로세서, 송신기, 뷰포인트/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 메타데이터 프로세서 및/또는 (송신 측) 피드백 프로세서를 포함할 수 있다. 입력 데이터가 카메라 출력 비디오인 경우, 360 비디오 전송 장치는 스티칭을 수행하여 각 뷰포인트/뷰잉 포지션/뷰잉 오리엔테이션에 대한 구형 이미지 (즉, 3D 공간에서 렌더링된 360 비디오)을 생성할 수 있다. 뷰포인트/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 메타데이터 프로세서는 메타데이터 프로세서로 지칭될 수 있다.

데이터 입력 유닛은 각각의 뷰포인트에 대해 캡쳐된 이미지/비디오를 수신할 수 있다. 각각의 뷰포인트에 대한 이미지/비디오는 하나 이상의 카메라에 의해 캡쳐된 이미지/비디오 일 수 있다. 데이터 입력 유닛은 뷰포인트에 대해 수신된 이미지/비디오를 스티처에 포워드(forward)하고, 캡쳐 프로세스에서 생성된 메타데이터를 시그널링 프로세서로 포워드할 수 있다.

스티처는 뷰포인트에 대해 캡처된 이미지/비디오에 대한 스티칭 동작을 수행할 수 있다. 스티처는 스티칭된 360 비디오 데이터를 프로젝션 프로세서로 전송할 수 있다. 스티처는 메타데이터 프로세서로부터 필요한 메타데이터를 수신하고 필요한 경우 스티칭 동작에 메타데이터를 사용할 수 있다. 스티처는 스티칭 프로세스에서 생성된 메타데이터를 메타데이터 프로세서로 포워드할 수 있다. 스티칭 프로세스의 메타데이터는 스티칭이 수행되었는지의 여부를 나타내는 정보 및 스티칭 타입과 같은 정보를 포함할 수 있다.

프로젝션 프로세서는 스티칭된 360 비디오 데이터를 2D 이미지에 프로젝션할 수 있다. 프로젝션형 프로세서는 후술될 다양한 방식에 따라 프로젝션을 수행할 수 있다. 프로젝션 프로세서는 각 뷰포인트에 대한 360 비디오 데이터의 깊이를 고려하여 매핑을 수행할 수 있다. 프로젝션 프로세서는 프로젝션에 필요한 메타데이터를 메타데이터 프로세서로부터 수신하고 필요에 따라 프로젝션 연산을 위해 메타데이터를 사용할 수 있다. 프로젝션 프로세서는 프로젝션 프로세스에서 생성된 메타데이터를 메타데이터 프로세서로 포워딩할 수 있다. 프로젝션 프로세서에서 생성된 메타데이터는 프로젝션 방식 타입 등을 포함할 수 있다.

(리전 별) 패킹 프로세서는 전술한 리전 별 패킹 프로세스를 수행할 수 있다. 즉, (리전 별) 패킹 프로세서는 프로젝션된 360 비디오 데이터를 리전으로 분할하고 리전을 회전 및 재 배치하거나 각 리전의 해상도를 변경하는 프로세스를 수행할 수 있다. 전술한 바와 같이, (리전 별) 패킹 프로세서는 선택적이며, 따라서 리전 별 패킹이 수행되지 않을 때 (리전 별) 패킹 프로세서가 생략될 수 있다. (리전 별) 패킹 프로세서는 메타데이터 프로세서로부터 리전 별 패킹에 필요한 메타데이터를 수신하고 필요에 따라 리전 별 패킹 작업에 메타데이터를 사용할 수 있다. (리전 별) 패킹 프로세서는 리전 별 패킹 프로세스에서 생성된 메타데이터를 메타데이터 프로세서에 전달할 수 있다. (리전 별) 패킹 프로세스에서 생성되는 메타데이터는 각 리전의 회전 정도, 크기 등을 포함할 수 있다.

전술한 스티처, 프로젝션 프로세서 및/또는 리전 별 패킹 프로세서는 일 실시 예에 따라 단일 하드웨어 구성 엘리먼트로 통합될 수 있다.

응용에 따르면, 서브 픽처 프로세서는 다수의 이미지를 통합 이미지로 만들기 위한 패킹을 수행하거나 전체 비디오를 세부 영역의 비디오로 분할하는 서브 픽처를 생성할 수 있다. 또한, 입력된 데이터가 비디오/오디오/텍스트 부가 정보를 포함하는 경우, 부가 정보를 중앙 이미지/비디오에 추가적으로 표시하는 방법에 대한 정보를 생성할 수 있으며, 부가 정보로 정보를 전송할 수 있다.

메타데이터 프로세서는 캡처 프로세스, 스티칭 프로세스, 프로젝션 프로세스, 리전 별 패킹 프로세스, 인코딩 프로세스, 인캡슐레이션 프로세스 및/또는 전송 프로세스에서 생성될 수 있는 메타데이터를 처리할 수 있다. 메타데이터 프로세서는 이러한 메타데이터를 사용하여 360 비디오 관련 메타데이터를 생성할 수 있다. 일 실시 예에 따르면, 메타데이터 프로세서는 시그널링 테이블의 형태로 360 비디오 관련 메타데이터를 생성할 수 있다. 360 비디오 관련 메타데이터는 시그널링 컨텍스트에 따라 메타데이터 또는 360 비디오 관련 시그널링 정보로 지칭할 수도 있다. 메타데이터 프로세서는 필요에 따라 획득 또는 생성된 메타데이터를 360 비디오 전송 장치의 내부 엘리먼트들로 전달할 수 있다. 메타데이터 프로세서는 360 비디오 관련 메타데이터가 수신 측으로 전송될 수 있도록 360 비디오 관련 메타데이터를 데이터 인코더, 인캡슐레이션 프로세서 및/또는 전송 프로세서로 전달할 수 있다.

데이터 인코더는 2D 이미지 및/또는 리전 별로 압축된 360 비디오 데이터에 프로젝션된 360 비디오 데이터를 인코딩할 수 있다. 360 비디오 데이터는 다양한 형식으로 인코딩될 수 있다.

인캡슐레이션 프로세서는 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 파일 포맷으로 인캡슐레이션할 수 있다. 여기서, 360 비디오 관련 메타데이터는 메타데이터 프로세서로부터 수신될 수 있다. 인캡슐레이션 프로세서는 데이터를 ISOBMFF, CFF 등과 같은 파일 포맷으로 인캡슐레이션하거나 데이터를 DASH 세그먼트 등으로 처리할 수 있다. 인캡슐레이션 프로세서는 360 비디오 관련 메타데이터를 파일 포맷으로 포함할 수 있다. 360 비디오 관련 메타데이터는 SOBMFF에서 다양한 레벨을 갖는 박스에 포함될 수 있거나, 예를 들어 파일 내의 별도의 트랙의 데이터로서 포함될 수 있다. 일 실시 예에 따르면, 인캡슐레이션 프로세서는 360 비디오 관련 메타데이터를 파일로 인캡슐레이션할 수 있다. 전송 프로세서는 파일 포맷에 따라 인캡슐레이션된 360 비디오 데이터에 대한 전송을 위한 프로세싱을 수행할 수 있다. 전송 프로세서는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 전송을 위한 프로세싱은 브로드 캐스트 네트워크를 통한 전달 및 광대역을 통한 전달을 위한 프로세싱을 포함할 수 있다. 일 실시 예에 따르면, 전송 프로세서는 360 비디오 데이터뿐만 아니라 메타데이터 프로세서로부터 360 비디오 관련 메타데이터를 수신하고 360 비디오 관련 메타데이터에 대한 송신을 위한 프로세싱을 수행할 수 있다.

송신기는 방송 네트워크 및/또는 광대역을 통해 전송을 위해 처리된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 전송할 수 있다. 송신기는 브로드밴드 네트워크를 통한 송신을 위한 엘리먼트 및/또는 광대역을 통한 송신을 위한 엘리먼트를 포함할 수 있다.

본 발명에 따른 360 비디오 전송 장치의 일 실시 예에 따르면, 360 비디오 전송 장치는 내부/외부 엘리먼트인 데이터 저장 유닛 (도시되지 않음)을 더 포함할 수 있다. 데이터 저장 유닛은 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터가 전송 프로세서에 전달되기 전에 인코딩된 360 비디오 데이터 및/또는 360 비디오 관련 메타데이터를 저장할 수 있다. 이러한 데이터는 ISOBMFF와 같은 파일 형식으로 저장될 수 있다. 360 비디오가 실시간으로 전송될 때 데이터 저장 유닛이 필요하지 않을 수도 있지만, 인캡슐레이션된 360 데이터는 데이터 저장 유닛에 일정 기간 동안 저장되어 인캡슐레이션된 360 데이터가 광대역을 통해 전달(deliver)될 때 전송될 수 있다.

본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 360 비디오 전송 장치는 내부/외부 엘리먼트로서 (송신 측) 피드백 프로세서 및/또는 네트워크 인터페이스 (도시되지 않음)를 더 포함할 수 있다. 네트워크 인터페이스는 본 발명에 따른 360 비디오 수신 장치로부터 피드백 정보를 수신하여 피드백 정보를 송신 측 피드백 프로세서에 전송할 수 있다. 송신 측 피드백 프로세서는 피드백 정보를 스티처, 프로젝션 프로세서, 리전 별 패킹 프로세서, 데이터 인코더, 인캡슐레이션 프로세서, 메타데이터 프로세서 및/또는 전송 프로세서에 전달할 수 있다. 일 실시 예에 따르면, 피드백 정보는 메타데이터 프로세서에 전달되어 각각의 내부 엘리먼트에 전달될 수 있다. 피드백 정보를 수신한 내부 엘리먼트는 다음의 360 비디오 데이터 프로세서에서 피드백 정보를 반영할 수 있다.

본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 리전 별 패킹 프로세스는 리전을 회전시키고 회전된 리전을 2D 비디오 상에 매핑할 수 있다. 여기서, 리전들은 상이한 각도로 상이한 방향으로 회전되고 2D 이미지 상에 매핑될 수 있다. 360 비디오 데이터의 인접 부분과 스티칭된 부분을 고려하여 리전 회전을 수행할 수 있다. 리전 회전에 관한 정보, 즉 회전 방향, 각도 등은 360 비디오 관련 메타데이터를 통해 전달될 수 있다. 본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 데이터 인코더는 각 리전 별로 인코딩을 다르게 수행할 수 있다. 데이터 인코더는 특정 리전을 높은 품질로 인코딩하고 다른 리전을 낮은 품질로 인코딩할 수 있다. 송신 측 피드백 프로세서는 360 비디오 수신 장치로부터 수신한 피드백 정보를 데이터 인코더로 전달하여 데이터 인코더가 각 리전 별로 구분된 인코딩 방식을 사용할 수 있도록 할 수 있다. 예를 들어, 송신 측 피드백 프로세서는 수신 측으로부터 수신된 뷰포트 정보를 데이터 인코더로 전송할 수 있다. 데이터 인코더는 다른 리전들보다 높은 품질 (UHD 등)의 뷰포트 정보가 나타내는 영역을 포함하는 리전들을 인코딩할 수 있다

본 발명에 따른 360 비디오 전송 장치의 다른 실시 예에 따르면, 전송 프로세서는 리전 별로 전송 처리를 다르게 수행할 수 있다. 전송 프로세서는 각 리전에 전달된 데이터가 상이한 강인성(robustness)을 갖도록 각 리전에 상이한 송신 파라미터 (변조 차수, 코드 레이트 등)를 적용할 수 있다.

여기서, 송신 측 피드백 프로세서는 360 비디오 수신 장치로부터 수신한 피드백 정보를 전송 프로세서로 전달하여 전송 프로세서가 각 리전 별로 구별되는 전송 프로세서를 수행할 수 있도록 할 수 있다. 예를 들어, 송신 측 피드백 프로세서는 수신 측으로부터 수신된 뷰포트 정보를 전송 프로세서로 전달할 수 있다. 전송 프로세서는 뷰포트 정보가 나타내는 리전을 포함하는 리전들에 대해 상기 리전들이 다른 리전들보다 강건하도록 전송 프로세서를 수행할 수 있다.

본 발명에 따른 360 비디오 전송 장치의 상술한 내/외부 엘리먼트는 하드웨어 엘리먼트일 수 있다. 일 실시 예에 따르면, 내부/외부 엘리먼트는 변경되거나, 생략되거나, 다른 엘리먼트에 의해 대체되거나 통합될 수 있다.

도 9는 본 발명이 적용 가능한 360 비디오 수신 장치의 구성을 개략적으로 나타낸다.

본 발명에 따른 360 비디오 수신 장치는 상술한 프로세싱 프로세스 및/또는 렌더링 프로세스와 관련된 동작을 수행할 수 있다. 360 비디오 수신 장치는 수신기, 수신 프로세서/파일 추출 유닛, 디캡슐레이션 프로세서, 데이터 디코더, 메타데이터 파서, 언 패킹/선택 프로세서, 렌더러, 합성 프로세서, (수신 측) 피드백 프로세서 및/또는 리-프로젝션 프로세서를 내부/외부 엘리먼트로서 포함할 수 있다. 시그널링 파서는 메타데이터 파서라고 부를 수 있다.

수신기는 본 발명에 따른 360 비디오 전송 장치로부터 전송된 360 비디오 데이터를 수신할 수 있다. 수신기는 360 비디오 데이터가 전송되는 채널에 따라 방송망 또는 광대역을 통해 360 비디오 데이터를 수신할 수 있다. 수신기는 송신기로부터 전송된 비트 스트림을 수신한 후 필요한 파일을 추출할 수 있다.

수신 프로세서는 수신된 360 비디오 데이터에 대한 전송 프로토콜에 따른 프로세싱을 수행할 수 있다. 수신 프로세서는 전송 프로세서에 대한 프로세스와는 역 프로세스를 수행하여, 역 프로세스가 전송 프로세스에 대한 프로세싱에 대응되도록 한다. 수신 프로세서는 획득된 360 비디오 데이터를 디캡슐레이션 프로세서로 전달하고, 획득된 360 비디오 관련 메타데이터를 메타데이터 파서로 전달할 수 있다. 수신 프로세서에 의해 획득된 360 비디오 관련 메타데이터는 시그널링 테이블의 형태를 가질 수 있다.

디캡슐레이션 프로세서는 수신 프로세서로부터 수신된 파일 포맷의 360 비디오 데이터를 디캡슐레이션 (decapsulate)할 수 있다. 디캡슐레이션 프로세서는 ISOBMFF 등의 파일을 디캡슐레이션함으로써 360 비디오 데이터 및 360 비디오 관련 메타데이터를 획득할 수 있다. 디캡슐레이션 프로세서는 피드백 프로세서로부터 전송된 뷰포인트/뷰잉 포지션/뷰잉 오리엔테이션 정보 및 비디오 메타데이터를 이용하여 생성된 파일 포맷의 비디오 스트림을 선택하고, 선택된 비디오 스트림을 디코더를 통해 비디오 정보로 복원(reconstruct)할 수 있다. 디캡슐레이션 프로세서는 획득된 360 비디오 데이터를 데이터 디코더로 전송하고 획득된 360 비디오 관련 메타데이터를 메타데이터 파서로 전송할 수 있다. 디캡슐레이션 프로세서에 의해 획득된 360 비디오 관련 메타데이터는 파일 포맷의 박스 또는 트랙의 모양을 가질 수 있다. 디캡슐레이션 프로세서는 필요한 경우 메타데이터 파서로부터 디캡슐레이션에 필요한 메타데이터를 수신할 수 있다.

데이터 디코더는 360 비디오 데이터를 디코딩할 수 있다. 데이터 디코더는 메타데이터 파서로부터 디코딩하는데 필요한 메타데이터를 수신할 수 있다. 데이터 디코딩 프로세스에서 획득된 360 비디오 관련 메타데이터는 메타데이터 파서로 전달될 수 있다.

패킹된 이미지의 경우에, 언 패킹/선택 프로세서는 메타데이터를 통해 전송된 패킹 정보를 기반으로 패킹된 이미지의 언 패킹을 수행할 수 있다. 필요한 경우, 언 패킹/선택 프로세서는 피드백 프로세서로부터 전달되는 뷰포인트/뷰잉 포지션/뷰잉 오리엔테이션에 적합한 비디오 및 필요한 컴포넌트를 선택하는 과정을 수행할 수 있다.

메타데이터 파서는 360 비디오 관련 메타데이터를 파싱/디코딩할 수 있다. 메타데이터 파서는 획득된 메타데이터를 데이터 디캡슐레이션 프로세서, 데이터 디코더, 리-프로젝션 프로세서 및/또는 렌더러로 포워딩할 수 있다.

리-프로젝션 프로세서는 디코딩된 360 비디오 데이터에 대해 리-프로젝션을 수행할 수 있다. 리-프로젝션 프로세서는 3D 비디오 데이터를 3D 공간에 리-프로젝션할 수 있다. 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 리-프로젝션 프로세서는 메타데이터 파서로부터 리-프로젝션하는데 필요한 메타데이터를 수신할 수 있다. 예를 들어, 리-프로젝션 프로세서는 메타데이터 파서로부터 사용된 3D 모델의 타입 및 그 상세 정보에 대한 정보를 수신할 수 있다. 일 실시 예에 따르면, 리-프로젝션 프로세서는 리-프로젝션에 필요한 메타데이터를 사용하여 3D 공간상의 특정 리전에 해당하는 360 비디오 데이터만을 리-프로젝션할 수 있다.

렌더러는 리-프로젝션된 360 비디오 데이터를 렌더링할 수 있다. 상술한 바와 같이, 3D 공간상의 360 비디오 데이터의 리-프로젝션은 3D 공간상의 360 비디오 데이터의 렌더링으로서 표현될 수 있다. 이러한 방식으로 2 개의 프로세스가 동시에 발생하는 경우, 리-프로젝션 프로세서와 렌더러는 통합될 수 있고 렌더러는 상기 프로세스를 수행할 수 있다. 일 실시 예에 따르면, 렌더러는 사용자의 뷰포인트 정보에 따라 사용자가 보는 부분만을 렌더링할 수 있다.

또한, 렌더러는 비디오의 텍스처, 깊이 및 오버레이 정보를 디스플레이에 적합한 포맷으로 재구성하는 렌더링 프로세스를 수행할 수 있다. 최종 비디오를 생성하기 전에 서로 다른 계층의 정보를 통합하는 컴포지션 프로세스를 수행하고, 디스플레이 뷰포트에 적합한 이미지를 생성하여 표시할 수 있다.

사용자는 VR 디스플레이 등을 통해 렌더링된 360 비디오의 일부분을 볼 수 있다. VR 디스플레이는 360 비디오를 재생하는 장치이며, 360 비디오 수신 장치 (테더링됨)에 포함되거나 또는 별도 장치로 360 비디오 수신 장치 (테더링되지 않음)로 연결될 수 있다.

본 발명에 따른 360 비디오 수신 장치의 일 실시 예에 따르면, 360 비디오 수신 장치는 내부/외부 엘리먼트로서 (수신 측) 피드백 프로세서 및/또는 네트워크 인터페이스 (도시되지 않음)를 더 포함할 수 있다. 수신 측 피드백 프로세서는 렌더러, 리-프로젝션 프로세서, 데이터 디코더, 디캡슐레이션 프로세서 및/또는 VR 디스플레이로부터 피드백 정보를 획득하고 피드백 정보를 처리할 수 있다. 피드백 정보는 뷰포트 정보, 헤드 방향 정보, 시선 정보 등을 포함할 수 있다. 네트워크 인터페이스는 수신 측 피드백 프로세서로부터 피드백 정보를 수신하여 피드백 정보를 360 비디오 전송 장치로 전송할 수 있다.

전술한 바와 같이, 피드백 정보는 수신 측에서 소비 될뿐만 아니라 송신 측으로 송신될 수도 있다. 수신 측 피드백 프로세서는 획득된 피드백 정보를 360 비디오 수신 장치의 내부 엘리먼트로 전달하여 피드백 정보를 렌더링과 같은 프로세스에 반영할 수 있다. 수신 측 피드백 프로세서는 피드백 정보를 렌더러, 리-프로젝션 프로세서, 데이터 디코더 및/또는 디캡슐레이션 프로세서로 전송할 수 있다. 예를 들어, 렌더러는 피드백 정보를 사용하여 사용자가 보는 리전을 우선적으로 렌더링할 수 있다. 또한, 디캡슐레이션 프로세서 및 데이터 디코더는 사용자가 보거나 볼 수 있는 리전을 우선적으로 디캡슐레이션 및 디코딩할 수 있다.

본 발명에 따른 360 비디오 수신 장치의 상술된 내/외부 엘리먼트는 하드웨어 엘리먼트일 수 있다. 일 실시 예에 따르면, 내부/외부 엘리먼트는 변경되거나, 생략되거나, 다른 엘리먼트에 의해 대체되거나 통합될 수 있다. 일 실시 예에 따르면, 360 비디오 수신 장치에 부가적인 엘리먼트가 추가될 수 있다.

본 발명의 또 다른 양상은 360 비디오를 전송하는 방법 및 360 비디오 데이터를 수신하는 방법에 관한 것이다. 본 발명에 따른 360 비디오 송수신 방법은 상술한 360 비디오 전송/수신 장치 또는 그 실시 예에 의해 수행될 수 있다.

상술한 360 비디오 송수신 장치 및 송수신 방법의 실시 예 및 장치의 내부/외부 구성 엘리먼트의 실시 예는 결합될 수 있다. 예를 들어, 프로젝션 프로세서의 실시 예들 및 데이터 인코더의 실시 예들은 결합되어, 360 비디오 전송 장치의 많은 실시 예들을 다수의 케이스들로 생성할 수 있다. 이러한 방식으로 결합된 실시 예도 본 발명의 범위에 포함된다.

한편 3DoF의 프로젝션된 비디오를 사용하는 전 방향성 미디어 응용 프로그램의 일반적인 컨텐츠 흐름 프로세스에서 캡처된 이미지는 정적 뷰포인트로 뷰포트를 제공하는 구형을 구성한다. 뷰잉 포지션은 변하지 않는 것으로 가정되므로 뷰어와 VR 환경 간의 인터랙티비티를 제공하기는 것이 쉽지 않다. VR 환경에서 시청자의 행동에 대한 다양한 시청 경험을 제공하기 위해서는 시청 경계를 제한하여 뷰잉 포지션을 변경해야 한다. 다른 뷰잉 포지션으로 인한 다른 뷰를 헤드 모션 시차라고 한다.

전술한 바와 같이, 헤드 모션 시차는 시청자에게 현실적인 시청 경험을 갖는 헤드 모션의 자유도를 제공할 수 있다. 이 기능을 지원하기 위해 이상적인 컨텐츠는 앵커 (또는 중심) 구에 인접한 여러 개의 구형으로 구성되는 반면 에, 3DoF의 현재 컨텐츠는 단일 구형만 고려한다. 추가적인 구형 정보가 보조(subsidiary) 뷰잉 포지션들에 대하여 고려될 수 있기 때문에, 이미지 캡처, 프로젝션, 패킹 형식, 파일 인캡슐레이션, 전달, 파일 디캡슐레이션, 렌더링과 같이, 단일 구형 컨텐츠를 기반으로 하는 3DoF 서비스의 기존 컨텐츠 작업 플로우는 변경되어야 한다.

따라서, 본 발명은 상이한 뷰잉 포지션의 뷰포인트를 나타내는 다수의 구형 비디오/이미지를 지원하는 다수의 실시 예를 제안한다. 일 실시 예는 디코딩된 픽처의 뷰잉 포지션 및 관련된 뷰잉 포지션 및 뷰잉 포지션 경계를 알려주는 추가의 SEI 메시지를 포함한다. 또한, 현재 이미지/비디오의 위치 정보 및 현재 이미지/비디오의 뷰잉 포지션 경계에 대한 모든 뷰잉 포지션 및 헤드 모션 정보를 ISOBMFF 및/또는 OMAF로 정의할 수 있다. 파일 포맷에 대한 정의에서, 트랙 그룹핑은 본 발명의 실시 예로서 제안된다. 또한, 제안된 신택스 및 시맨틱이 VPS (Video Parameter Set), SPS (Sequence Parameter Set) 및 PPS (Picture Parameter Set)와 같은 비디오 레벨의 파라미터 세트로 정의되어, 비디오 시퀀스들의 그룹의 뷰잉 포지션들 사이의 관계의 전체 분포를 설명할 수 있다. 다시 말해, 제안된 신택스 및 시맨틱은 HEVC (High efficiency video coding) 또는 VVC (Versatile Video Coding)와 같은 비디오 코덱 표준의 파라미터 세트로 전송될 수 있다. 또한, 제안된 신택스 및 시맨틱은 디지털 유무선 인터페이스, 시스템 레벨의 파일 포맷 등을 통해 전송될 수 있다.

예를 들어, 현재 이미지/비디오의 뷰잉 포지션 정보 및 관련된 모든 뷰잉 포지션은 다음 표와 같이 SEI 메시지에 정의될 수 있다.

표 1을 참조하면, viewing position info는 뷰잉 포지션 정보 SEI 메시지를 나타낼 수 있다. 뷰잉 포지션 정보 SEI 메시지는 뷰포인트에 대응하는 현재 이미지/비디오의 뷰잉 포지션의 정보 및/또는 현재 이미지/비디오의 뷰잉 포지션에 인접한 뷰잉 포지션의 정보를 제공한다.

표 1을 참조하면, 뷰잉 포지션 정보는 viewing_position_info_id 필드 및/또는 viewing_position_info_cancel_flag 필드를 포함할 수 있다.

viewing_position_info_id 필드는 뷰잉 포지션 정보의 목적을 식별하는데 사용될 수 있는 식별 번호를 나타낼 수 있다. 예를 들어, viewing_position_info_id 필드의 값은 이 SEI 메시지의 상이한 유즈케이스를 나타내거나, 상이한 수신기 성능을 지원하거나, SEI 메시지 또는 상이한 뷰포인트 등에 포함된 상이한 레벨의 정보를 나타내기 위해 사용될 수 있다.

구체적으로, 하나 이상의 뷰잉 포지션 정보 SEI 메시지가 viewing_posidion_info_id 필드의 동일한 값으로 존재할 때, 이들 뷰잉 포지션 정보 SEI 메시지의 내용은 동일할 수 있다. viewing_position_info_id 필드의 둘 이상의 값을 갖는 위치 정보 SEI 메시지가 존재하는 경우, 이는 viewing_posidion_info_id 필드의 상이한 값들에 의해 지시된 정보가 다른 목적을 위해 제공되는 대안들이거나 또는 순차적 순서로 적용되는 (응용 프로그램에 따라 순서가 지정될 수 있음) 일련의 수정 (a cascading of correction)이 되도록 지시할 수 있다. viewing_posidion_info_id 필드의 값은 0부터 212 - 1까지의 범위에 있어야 한다.

viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 뷰잉 포지션 정보 (SEI) 메시지의 지속성(persistence)을 취소하는지 여부를 나타낼 수 있다. 예를 들어, 1과 같은 viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 뷰잉 포지션 정보 (SEI) 메시지의 지속성을 취소함을 나타낸다. 0과 같은 viewing_position_info_cancel_flag 필드는 뷰잉 포지션 정보가 후속하는 것을 나타낸다.

표 1을 참조하면, 뷰잉 포지션 정보는 viewing_position_info_persistence_flag 필드, anchor_viewing_position_flag 필드, viewing_position_y 필드, viewing_position_y 필드, viewing_position_z 필드, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드, viewing_orientation_roll 필드, coverage_horizontal 필드 및/또는 coverage_vertical 필드를 포함할 수 있다.

viewing_position_info_persistence_flag 필드는 현재 레이어에 대한 뷰잉 포지션 정보 SEI 메시지의 지속성을 특정할 수 있다. 예를 들어, viewing_position_info_persistence_flag 필드가 0과 동일하면 뷰잉 포지션 정보가 현재의 디코딩된 픽처에만 적용됨을 지정한다. 여기서, 현재 디코딩된 픽처는 현재 픽처 또는 대응하는 디코딩된 픽처라고 지칭할 수도 있다.

picA를 현재 픽처라고 하자. viewing_position_info_persistence_flag 필드를 1로 설정하면, 다음의 조건들 중 하나가 참이 될 때까지 현재 레이어에 대한 뷰잉 포지션 정보 SEI 메시지가 출력 순서로 지속되도록 지정된다:

- 현재 레이어의 새 CLVS가 시작된다.

- 비트 스트림이 끝난다.

- PicOrderCnt (picB)가 PicOrderCnt (picA)보다 큰 현재 레이어에 적용 가능한 뷰잉 포지션 정보 SEI 메시지를 포함하는 액세스 유닛의 현재 레이어의 픽처 picB가 출력되고, 여기서 PicOrderCnt (picB) 및 PicOrderCnt (picA)는 picB의 픽처 순서 카운트에 대한 디코딩 프로세스의 호출 직후에 각각 picB 및 picA의 PicOrderCntVal 값이다.

anchor_viewing_position_flag 필드는 현재 디코딩된 픽처가 XYZ 좌표로 가정될 수 있거나 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 명시적으로 주어진 앵커 (또는 중심 또는 대표) 뷰잉 포지션인지 여부를 나타낼 수 있다. 다시 말해서, anchor_viewing_position_flag는 현재 디코딩된 픽처에 대한 현재 뷰잉 포지션이 현재 디코딩된 픽처가 앵커 (또는 중심 또는 대표) 뷰잉 포지션인지 여부를 나타낼 수 있는지 여부를 나타낸다.

예를 들어, 1과 같은 viewing_position_info_persistence_flag 필드는 현재의 디코딩된 픽처가 XYZ 좌표에서 (0,0,0)으로 가정될 수 있거나 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 명시적으로 주어진 앵커 (또는 중심 또는 대표) 뷰잉 포지션인 것을 나타낸다. 0과 같은 anchor_viewing_position_flag 필드는 현재 디코딩된 픽처가 주변 또는 측면 또는 비 앵커 뷰잉 포지션임을 나타내며, 앵커 뷰잉 포지션의 위치, 오리엔테이션 및 커버리지 정보는 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드에 의해 제공된다.

viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드는 현재의 디코딩된 픽처에 대응하는 뷰잉 포지션의 (x, y, z) 위치를 각각 2^-16 밀리미터 단위로 나타낼 수 있다. 여기서, 현재 디코딩된 픽처에 대응하는 뷰잉 포지션은 현재 뷰잉 포지션이라고 지칭될 수도있다. viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 범위는 -32768 * 2¹⁶-1 (즉, -2147483647) 내지 32768 *　2¹⁶ (즉, 2147483648)의 범위 내에 있을 수 있다.

viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 값은 앵커 뷰잉 포지션의 위치에 대응하는 XYZ 좌표 또는 관련 위치의 절대 위치에 의해 표현될 수 있다.

viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 요, 피치 및 롤 오리엔테이션 각을 2^-16 도 단위로 나타낼 수 있다. 즉, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 각각 현재 디코딩된 픽처에 대응하는 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요, 피치 및 롤 각도를 나타낼 수 있다. viewing_orientation_yaw 필드의 값은 -180 * 2¹⁶ (즉, -11796480)에서 180 * 2¹⁶-1 (즉, 11796479)의 범위에 있을 수 있으며, viewing_orientation_pitch 필드의 값은 -90 * 2¹⁶ (즉, -5898240)에서 90 * 2¹⁶ (즉, 5898240)의 범위에 있을 수 있고, viewing_orientation_roll 필드의 값은 -180 * 2¹⁶ (즉, -11796480)에서 180 * 2¹⁶-1 즉, 11796479)의 범위에 있을 수 있다.

또한, 응용에 따라, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 방위 각, 고도 각(elevation angle) 및 경사 각(tilt angle)을 각각 나타내는 데 사용될 수 있다. 또한, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드는 현재 디코딩된 픽처에 대응하는 헤드 포지션의 단위 구형에 적용된 회전을 나타내어 로컬 좌표축을 글로벌 좌표축으로 각각 변환할 수 있다.

coverage_horizontal 필드 및 coverage_vertical 필드는 현재의 디코딩된 픽처에 대응하는 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 각각 2^-16 도의 단위로 지정할 수 있다.

표 1을 참조하면, 뷰잉 포지션 정보는 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드, anchor_viewing_position_z 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드 및/또는 anchor_coverage_vertical 필드를 포함할 수 있다.

anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드는 현재 디코딩된 픽처에 대응하여 뷰잉 포지션 세트의 앵커 뷰잉 포지션의 (x, y, z) 위치를 2^-16 밀리미터 단위로 나타낼 수 있다. anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드의 범위는 -32768 * 2¹⁶-1 (즉, -2147483647)에서 32768 * 2¹⁶ (즉, 2147483648)의 범위 내에 있을 수 있다.

또한, 예를 들어, anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드는 (0,0,0)으로 가정될 수 있으므로, 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서 다른 뷰잉 포지션의 위치는 앵커 뷰잉 포지션에 대한 상대적인 위치로서 표현된다. 여기서, 다른 뷰잉 포지션은 현재의 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 앵커 뷰잉 포지션 이외의 뷰잉 포지션이다.

또한, 예를 들어, 몇몇 어플리케이션에서, 상기 anchor_viewing_position_x 필드, 상기 anchor_viewing_position_y 필드 및 상기 anchor_viewing_position_z 필드는 뷰포인트를 나타내기 위하여 사용될 수 있다.

anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 앵커 뷰잉 포지션을 나타내는 구의 요, 피치 및 롤 오리엔테이션 각을 2^-16 도 단위로 나타낼 수 있다. anchor_viewing_orientation_yaw 필드의 값은 -180 * 2¹⁶ (즉, -11796480)에서 180 * 2¹⁶-1 (즉, 11796479)의 범위에 있을 수 있으며, anchor_viewing_orientation_pitch 필드의 값은 -90 * 2¹⁶ (즉, -5898240)에서 90 * 2¹⁶ (즉 5898240)의 범위에 있을 수 있고 anchor_viewing_orientation_roll 필드의 값은 -180 * 2¹⁶ (즉, -11796480)에서 180 * 2¹⁶-1 즉, 11796479)의 범위에 있을 수 있다.

또한, 응용에 따라, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 방위 각, 고도 각 및 경사 각을 각각 나타내는 데 사용될 수 있다. 또한, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드는 로컬 좌표축을 글로벌 좌표축으로 각각 변환하기 위해 앵커 뷰잉 포지션의 단위 구형에 적용되는 회전을 나타낼 수 있다.

anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드는 앵커 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 각각 2^-16 도의 단위로 지정할 수 있다.

표 1을 참조하면, 뷰잉 포지션 정보는 num_viewing_position 필드, set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation_roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.

num_viewing_positions 필드는 현재 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 특정할 수 있다. 즉, num_viewing_position 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 뷰잉 포지션의 수를 특정할 수 있다.

set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 (x, y, z) 각각 2^-16 밀리미터의 단위로 set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드의 범위는 -32768 * 2¹⁶-1 (즉, -2147483647)에서 32768 * 2¹⁶ (즉, 2147483648)의 범위에 있을 수 있다.

set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드 및 set_viewing_position_z[i] 필드의 값은 앵커 위치의 위치에 대응하는 XYZ 좌표 또는 관련 위치의 절대 위치에 의해 표현될 수 있으며, viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드의 레프리젠테이션과 정렬되어야 한다.

set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 각각에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 요, 피치 및 롤 오리엔테이션 각을 나타낼 수 있다. 현재 디코딩된 픽처를 2^-16 도 단위로 표시한다. set_viewing_orientation_yaw[i] 필드의 값은 -180 * 2¹⁶ (즉, -11796480)에서 180 * 2¹⁶-1 (즉, 11796479)의 범위에 있을 수 있으며, set_viewing_orientation_pitch[i] 필드의 값은 -90 * 2¹⁶ (즉, -5898240) 내지 90 * 2¹⁶ (즉, 5898240) 범위에 있을 수 있고, set_viewing_orientation_roll[i] 필드의 값은 -180 * 2¹⁶ (즉, - 11796480) 내지 180 * 2¹⁶ - 1 (즉, 11796479)의 범위에 있을 수 있다.

또한, 응용에 따라 set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션 셔트의 i 번째 뷰잉 포지션에서의, 방위 각, 고도 각 및 경사 각을 나타내는데 사용될 수 있다. 또한, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드 및 set_viewing_orientation_roll[i] 필드는 현재에 대응하여 설정된 뷰잉 포지션에서 i 번째 뷰잉 포지션의 단위 구형에 적용되는 회전을 나타낼 수 있고, 로컬 좌표축을 글로벌 좌표축으로 각각 변환한다.

set_coverage_horizontal[i] 필드 및 set_coverage_vertical[i] 필드는 현재 디코딩된 픽처에 대응하여 설정된 뷰잉 포지션에서의 i 번째 뷰잉 포지션의 커버리지의 수평 및 수직 범위를 2^-16 도 단위로 각각 특정할 수 있다.

예를 들어, 뷰포인트에 해당하는 현재 이미지/비디오의 헤드 모션 정보는 다음 표와 같이 SEI 메시지에 정의될 수 있다.

표 2를 참조하면, 헤드 모션 정보는 헤드 모션 정보 (SEI) 메시지를 나타낼 수 있다. 상기 헤드 모션 정보 SEI 메시지는 뷰포인트에 해당하는 현재 이미지/비디오의 헤드 모션 경계 정보를 제공한다. 여기서, 헤드 모션 경계 또는 뷰잉 스페이스는 이미지 및 비디오의 렌더링이 가능하고 VR 경험이 유효한 뷰잉 포지션의 3D 공간을 나타낸다. 또한, 수신기에서, 중간 뷰잉 포지션에 대한 뷰잉 포지션의 디코딩된 픽처 또는 합성/재구성된 픽처에 의해 뷰포트가 생성될 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_info_id 필드 및/또는 head_motion_info_cancel_flag 필드를 포함할 수 있다.

head_motion_info_id 필드는 헤드 모션 정보의 목적을 식별하는데 사용될 수 있는 식별 번호를 나타낼 수 있다. head_motion_info_id 필드의 값은 이 SEI 메시지의 상이한 유즈케이스를 나타내기 위해, 상이한 수신기 성능을 지원하기 위해, 또는 SEI 메시지 또는 상이한 뷰포인트 등에 포함된 상이한 레벨의 정보를 나타내기 위해 사용될 수 있다.

구체적으로, head_motion_info_id 필드의 값과 동일한 하나 이상의 헤드 모션 정보 SEI 메시지가 존재할 때, 이들 헤드 모션 정보 SEI 메시지의 내용은 동일할 수 있다. head_motion_info_id 필드의 값이 둘 이상인 헤드 포지션 정보 SEI 메시지가 존재할 때, 이는 head_motion_info_id 필드의 다른 값들에 의해 지시된 정보가 상이한 목적을 위해 제공되는 대안들이거나 순차적 순서로 적용되는 (응용 프로그램에 따라 순서가 지정될 수 있음) 일련의 수정이다. head_position_info_id 필드의 값은 0부터 2¹² - 1까지의 범위에 있어야 한다.

head_motion_info_cancel_flag 필드는 헤드 모션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 헤드 포지션 정보 (SEI) 메시지의 지속성을 취소하는지 여부를 나타낼 수 있다. 예를 들어, 1과 같은 head_motion_info_cancel_flag 필드는 헤드 모션 정보 (SEI) 메시지가 현재 레이어에 적용되는 출력 순서로 이전 헤드 포지션 정보 (SEI) 메시지의 지속성을 취소함을 나타낸다. 0과 같은 head_motion_info_cancel_flag 필드는 헤드 모션 정보가 후속하는 것을 나타낸다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_info_persistence_flag 필드, num_nested_boundaries_minus1 필드, head_motion_boundary_center_present_flag[i] 필드, head_motion_boundary_rotation_flag[i] 필드, head_motion_boundary_asymmetric_flag[i] field, head_motion_boundary_type[i] 필드, head_motion_boundary_radius_min 필드 및/또는 head_motion_boundary_radius_max 필드를 포함할 수 있다.

head_motion_info_persistence_flag field는 현재 레이어에 대한 헤드 모션 정보 SEI 메시지의 지속성(persistence)을 특정할 수 있다. 예를 들어, 0과 동일한 head_motion_info_persistence_flag 필드는 헤드 모션 정보가 현재 디코딩된 픽처에만 적용됨을 특정한다.

picA를 현재 픽처라고 하자. head_motion_info_persistence_flag 필드를 1로 설정하면, 다음의 조건들 중 하나가 참이 될 때까지, 헤드 모션 정보 SEI 메시지가 현재 레이어에 대해 출력 순서대로 유지되도록 지정된다:

- 현재 레이어의 새로운 CLVS가 시작된다.

- 비트 스트림이 끝난다.

- 현재 레이어에 적용 가능한 헤드 모션 정보 SEI 메시지를 포함하는 액세스 유닛의 현재 레이어의 픽처 picB는 PicOrderCnt (picB)가 PicOrderCnt (picA)보다 큰 경우 출력된다. 여기서 PicOrderCnt (picB) 및 PicOrderCnt (picB) picA)는 picB의 픽처 오더 카운트에 대한 디코딩 프로세스의 호출(invocation) 직후에 각각 picB 및 picA의 PicOrderCntVal 값이다.

num_nested_boundaries_minus1 필드는 헤드 모션 경계의 다수의 중첩 모양(nesting shapes)을 지정할 수 있다. 여기서, 헤드 모션 경계는 뷰잉 포지션 경계 또는 뷰잉 스페이스로 지칭할 수 있다. num_nested_boundaries_minus1 필드가 1보다 크면, 내림차순의 범위로, 즉 가장 바깥 쪽 경계로부터 가장 안쪽 경계까지 헤드 모션 경계가 통보될 수 있다.

상기 head_motion_boundary_center_present_flag[i] 필드는 i 번째의 헤드 모션 경계의 중심 위치 정보가 헤드 모션 정보 SEI 메시지에 존재하는지 여부를 나타낼 수 있다. 여기서, i 번째 헤드 모션 경계는 i 번째 뷰잉 포지션 경계 또는 i 번째 뷰잉 스페이스이라 지칭할 수 있다. 1과 동일한 head_motion_boundary_center_present_flag[i] 필드는 i 번째의 헤드 모션 경계의 중심 위치 정보가 헤드 모션 정보 SEI 메시지에 존재함을 나타낸다. 0과 동일한 head_motion_boundary_center_present_flag[i] 필드는 i 번째의 헤드 모션 경계의 중심 위치 정보가 헤드 모션 정보 SEI 메시지에 존재하지 않음을 나타낸다. 또한, 응용에 따라, head_motion_boundary_center_present_flag[i] 필드가 0 일 때, i 번째 헤드 모션 경계의 중심이 앵커 뷰잉의 중심과 동일하거나 또는 XYZ 좌표의 (0,0,0)에 있음을 나타낼 수 있다.

또한, num_nested_boundaries_minus1 필드가 1보다 큰 경우, 0과 동일한 head_motion_boundary_center_present_flag[i] 필드는 i 번째 헤드 모션 경계의 중심이 최 외곽 경계의 중심, 즉 0번째 헤드 모션 경계 중심과 동일하다는 것을 나타낼 수 있다.

head_motion_boundary_rotation_flag[i] 필드는 i 번째의 헤드 모션 경계의 요, 피치 및 롤 회전에 관한 정보가 상기 헤드 모션 정보 SEI 메시지에 존재하는지 여부를 나타낼 수 있다. 1과 동일한 head_motion_boundary_rotation_flag[i] 필드는 i 번째의 헤드 모션 경계의 요, 피치 및 롤 회전에 관한 정보가 헤드 모션 정보 SEI 메시지에 존재함을 나타낸다. 0과 동일한 head_motion_boundary_rotation_flag[i] 필드는 i 번째의 헤드 모션 경계의 요, 피치 및 롤 회전에 대한 정보가 헤드 모션 정보 SEI 메시지에 존재하지 않음을 나타낸다. 또한, 응용에 따라, 0과 동일한 head_motion_boundary_rotation_flag[i] 필드는 i 번째 헤드 모션 경계의 요, 피치 및 롤 회전이 (0,0,0)이거나 또는 앵커 뷰잉 포지션의 회전과 동일하다는 것을 나타낼 수 있다.

또한, num_nested_boundaries_minus1 필드가 1보다 클 때, 0과 동일한 head_motion_boundary_rotation_flag[i] 필드는 i 번째 헤드 모션 경계의 요, 피치 및 롤 회전이 최 외곽 경계의 요, 피치 및 롤, 즉 0번째 헤드 모션 경계의 요, 피치 및 롤과 동일할을 나타낼 수 있다.

head_motion_boundary_asymmetric_flag[i] 필드는 i 번째 헤드 모션 경계의 형상이 중심에 대해 대칭이 아닌지 여부를 나타낼 수 있다. 1과 동일한 head_motion_boundary_asymmetric_flag[i] 필드는 i 번째 헤드 모션 경계의 형상이 중심에 대해 대칭이 아닌 것을 나타낸다. 0과 동일한 head_motion_boundary_asymmetric_flag[i] 필드는 i 번째 헤드 모션 경계의 형상이 중심에 대해 대칭임을 나타낸다.

head_motion_boundary_type[i] 필드는 헤드 동작 경계의 모양 타입을 특정할 수 있다. 예를 들어, head_motion_boundary_type[i] 필드가 0이면 정의되지 않음을 나타낸다. 1과 같은 head_motion_boundary_type[i] 필드는 구를 나타낸다. 2와 같은 head_motion_boundary_type[i] 필드는 파라볼라 모양(paraboloid shape)을 나타낸다. 3과 같은 head_motion_boundary_type[i] 필드는 큐브(cube)를 나타낸다. 4와 동일한 head_motion_boundary_type[i] 필드는 직사각형 프리즘(rectangular prism)을 나타낸다. 5와 같은 head_motion_boundary_type[i] 필드는 회전 타원(spheroid)을 나타낸다. 6과 같은 head_motion_boundary_type[i] 필드는 3 축 타원(tri-axial ellipsoid)을 나타낸다. 15와 동일한 head_motion_boundary_type[i] 필드는 정점에 의해 정의된 모양(shape defined by vertexes)을 나타낸다. 또한, head_motion_boundary_type[i] 필드의 다른 값들은 향후 사용을 위해 보존된다.

도 10은 head_motion_boundary의 다수의 모양 타입을 나타낸다. 도 10을 참조하면, 헤드 모션 경계의 모양 타입은 구, 회전 타원, 3 축 타원, 큐브 및 직각 프리즘을 포함할 수 있다. 예를 들어, 도 10 (a)는 구를 도시하고, 도 10 (b)는 회전 타원을 도시하고, 도 10 (c)는 3 축 타원을 도시하고, 도 10 (d)는 큐브를 도시하고, 도 10의 (e)는 직사각형 프리즘을 나타낸다.

head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드는 헤드 모션 경계의 중심으로부터 헤드 모션 경계의 최소 및 최대 반경을 나타낼 수 있다. head_motion_boundary_type[i] 필드가 1인 경우, head_motion_boundary_radius_min 필드와 head_motion_boundary_radius_max 필드는 동일할 수 있다. head_motion_boudnary_type 필드가 1이 아닌 경우, head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드는 근사화된 경계를 제공할 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드 및/또는 head_motion_boundary_center_z[i] 필드를 포함할 수 있다.

여기서, head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드 및 head_motion_boundary_center_z[i] 필드는 현재 디코딩된 픽처에 대응하는 뷰잉 포지션의 i 번째 헤드 모션 경계의 중심의 (x, y, z) 위치를 각각 2-16 밀리미터 단위로 나타낸다. 여기서, 현재 디코딩된 픽처에 해당하는 뷰잉 포지션을 현재 뷰잉 포지션이라고 부를 수 있다. head_motion_boundary_x[i] 필드, head_motion_boundary_y[i] 필드 및 head_motion_boundary_z[i] 필드는 -32768 * 2¹⁶-1 (즉, -2147483647) 내지 32768 * 2¹⁶ (즉, 2147483648)의 범위 내에 있을 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및/또는 head_motion_boundary_rotation_roll[i] 필드를 포함할 수 있다.

head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드는 i 번째의 헤드 모션 경계의 형상의 요, 피치 및 롤 회전 각을 각각 2^-16도 단위로 나타낼 수 있다. head_motion_boundary_rotation_yaw[i] 필드의 값은 -180　*　2¹⁶ (즉,　-11796480) 내지 180　*　2¹⁶　-　1 (즉, 11796479)의 범위 내에 있을 수 있으며, head_motion_boundary_rotation_pitch[i] 필드의 값은 -90　*　2¹⁶ (즉,　-5898240) 내지 90　*　2¹⁶ (즉,　5898240) 의 범위 내에 있을 수 있으며, head_motion_boundary_rotation_roll[i] 필드의 값은 -180　*　2¹⁶ (즉, -11796480) 내지 180　*　2¹⁶　-　1 (즉, 11796479)의 범위 내에 있을 수 있다.

또한, 응용에 따라, head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드가 방위각, 고도 각 및 경사 각을 각각 나타내는 데 사용될 수 있다. 또한, head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드는 i 번째 헤드 모션 경계의 방향을 나타낼 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_radius[i] 필드, head_motion_boundary_param_alpha[i] 필드, head_motion_boundary_param_beta[i] 필드 및/또는 head_motion_boundary_z_max[i] 필드를 포함할 수 있다.

head_motion_boundary_radius[i] 필드는 i 번째 헤드 모션 경계의 반경을 나타낼 수 있다. 여기서, i 번째 헤드 모션 경계의 반경은 중심에서 가장 바깥 쪽 경계까지의 거리를 나타낼 수 있다. head_motion_boundary_radius[i] 필드의 범위는 0 내지 65536 * 2¹⁶ - 1 (즉, 4294967295)의 범위 내에 있을 수 있다.

head_motion_boundary_param_alpha[i] 필드, head_motion_boundary_param_beta[i] 필드 및 head_motion_boundary_z_max[i] 필드는 i 번째의 헤드 모션 경계의 파라볼라 모양의 파라미터 값을 특정할 수 있다. 여기서, head_motion_boundary_param_alpha[i] 필드는 head_motion_boundary_param_a[i] 필드라 지칭할 수 있고, head_motion_boundary_param_beta[i] 필드는 head_motion_boundary_param_b[i] 필드라 지칭할 수 있다. head_motion_boundary_param_alpha[i] 필드, head_motion_boundary_param_beta[i] 필드 및 head_motion_boundary_z_max[i] 필드의 범위는 0 내지 65536 * 2¹⁶-1 (즉, 4294967295)의 범위 내에 있을 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_positive_z_axis[i] 필드 및/또는 head_motion_boundary_negative_z_axis[i] 필드를 포함할 수 있다.

head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_positive_z_axis[i] 필드 및 head_motion_boundary_negative_z_axis[i] 필드는 x, y 및 z 축의 양의 방향과 음의 방향의 i 번째 헤드 모션 경계의 범위를 2^-16 밀리미터 단위로 나타낼 수 있고, XYZ 축들은 요(yaw), 피치(pitch) 및 롤(roll)에 대하여 각각 head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드의 양(amout)으로 로컬 좌표 회전된다. head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_positive_z_axis[i] 필드 및 head_motion_boundary_negative_z_axis[i] 필드의 값은 0 내지 65536 * 2¹⁶ - 1 (즉, 4294967295)의 범위 내에 있을 수 있다. 한편, 예를 들어, head_motion_boundary_type[i] 필드가 4와 동일하고, head_motion_boundary_asymmetric_flag[i] 필드가 1과 동일하면, 헤드 모션 정보는 head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_negative_z_axis[i] 필드를 포함할 수 있다. 또한, 예를 들어, head_motion_boundary_type[i] 필드가 4와 동일하지 않거나, head_motion_boundary_asymmetric_flag[i] 필드가 0과 동일하지 않은 경우, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_negative_z_axis[i] 필드를 포함하지 않을 수 있다.

표 2를 참조하면, 헤드 모션 정보는 head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드, head_motion_boundary_param_c[i] 필드 및/또는 head_motion_boundary_symmetry_axis[i] 필드를 포함할 수 있다.

head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드 및 head_motion_boundary_param_c[i] 필드는 회전 타원 또는 3 축 타원의 i 번째 헤드 모션 경계의 파라미터 값을 특정할 수 있다. 다시 말해, head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드 및 head_motion_boundary_param_c[i] 필드는 i 번째 헤드 모션 경계의 파라미터 값을 모양 타입이 회전 타원 또는 3축 타원 모양인 것으로 특정할 수 있다. head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드 및 head_motion_boundary_param_c[i] 필드의 범위는 0 내지 65536 * 2¹⁶-1 (즉, 4294967295)의 범위 내에 있을 수 있다.

head_motion_boundary_symmetry_axis[i] 필드는 중심이 (0,0,0)인 경우 회전 타원이 대칭인 축을 특정할 수 있다. 예를 들어, head_motion_boundary_symmetry_axis[i] 필드가 0인 경우, 중심이 (0,0,0)이면 대칭축이 x 축으로 표시된다. head_motion_boundary_symmetry_axis[i] 필드가 1인 경우, 중심이 (0,0,0)이면 대칭축이 y축으로 표시된다. head_motion_boundary_symmetry_axis[i] 필드가 2인 경우, 중심이 (0,0,0)이면 대칭축이 z 축으로 표시된다. head_motion_boundary_symmetry_axis[i] 필드의 다른 값들은 예약되어 있다.

표 2를 참조하면, 헤드 모션 정보는 num_boundary_vertex_minus4[i] 필드, boundary_vertex_x[i][j] 필드, boundary_vertex_y[i][j] 필드 및/또는 boundary_vertex_z[i][j] 필드를 포함할 수 있다.

num_boundary_vertex_minus4[i] 필드는 헤드 모션 경계를 설명하는 정점들의 수를 특정할 수 있다. 특히, num_boundary_vertex_minus4 필드와 4는 i 번째 헤드 모션 경계를 설명하는 정점의 수를 특정할 수 있다.

boundary_vertex_x[i][j] 필드, boundary_vertex_y[i][j] 필드 및 boundary_vertex_z[i][j] 필드는 i 번째의 헤드 모션 경계를 설명하는 j 번째의 정점의 위치를 XYZ 좌표는 각각 2¹⁶ 밀리미터 단위이다. boundary_vertex_x[i][j] 필드, boundary_vertex_y[i][j] 필드 및 boundary_vertex_z[i][j] 필드는 -32768 * 2¹⁶-1 (즉, -2147483647) 내지 32768 * 2¹⁶ (즉, 2147483648)의 범위 내에 있을 수 있다. 또한, 몇몇 응용에서, 헤드 모션 경계의 정점은 현재 픽처에 대한 뷰포인트에 속하는 뷰잉 포지션의 서브 세트일 수 있다.

또한, i 번째 헤드 모션 경계의 모양은 다음과 같이 주어진다.

예를 들어, 이 프로세스의 입력은 다음과 같다.

- 미터 단위의 뷰잉 포지션 (x, y),

- head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드 및 head_motion_boundary_center_z[i] 필드에서 각각 모두 2-16 루마 샘플 단위로 주어지는 헤드 모션 경계 (xc, yc, zc)의 중심점,

- head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드에서 각각 2^-16도 단위로 주어지는 회전 파라미터 (αc,

c, γc),

및 head_motion_boundary_type[i] 필드에 따른 입력들:

- head_motion_boundary_type[i] 필드 == 1인 경우, head_motion_boundary_radius[i] 필드에 의해 주어진 2^-16 루마 샘플 단위의 구의 반경 (r),

- head_motion_boundary_type[i] 필드 == 2인 경우, head_motion_boundary_param_a[i] 필드 및 head_motion_boundary_param_b[i] 필드에 의해 주어진 2^-16 단위의 파라볼라의 파라미터 (a, b),

- head_motion_boundary_type[i] 필드 == 3인 경우, head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드 및 head_motion_boundary_positive_z_axis[i] 필드에 의해 주어진 2^-16 미터의 단위의 XYZ 범위 (xp, yp, zp),

- head_motion_boundary_type[i] 필드 == 4인 경우, head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드, head_motion_boundary_positive_z_axis[i] 필드, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, 및 head_motion_boundary_negative_z_axis[i] 필드에 의해 주어진 XYZ 범위 (xp, yp, zp, xn, yn, zn) 필드는 각각 2^-16 미터 단위이고,

- head_motion_boundary_type[i] 필드 == 5인 경우, head_motion_boundary_param_a[i] 필드 및 head_motion_boundary_param_b[i] 필드에 의해 제공되는 회전 타원에 대한 파라미터 값 (a, b)은 각각 2^-16 단위이고,

- head_motion_boundary_type[i] 필드 == 6인 경우, head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드 및 head_motion_boundary_param_c[i] 필드에 의해 주어진 3 축 타원에 대한 파라미터 값 (a, b, c)은 각각 2^-16의 단위이고,

이 프로세스의 출력은 헤드 모션의 경계 모양이다:

if(the head_motion_boundary_type[i] field == 1)

r² = x₁ ² + y₁ ² + z₁ ^2]

else if(the head_motion_boundary_type[i] field == 2)

z₁ = x₁ ² χ a² + y₁ ² χ b² for z₁ < the head_motion_boundary_z_max[i] field

else if(the head_motion_boundary_type[i] field == 3)

| x₁ | <= x_p , | y₁ | <= y_p, | z₁ | <= z_p

else if(the head_motion_boundary_type[i] field == 4)

-x_n <= x₁ <= x_p, -y_n <= y₁ <= y_p, -z_n <= z₁ <= z_p

else if(the head_motion_boundary_type[i] field == 5 && the head_motion_boundary_symmetry_axis[i] field == 0)

1 = ( x₁ ² + y₁ ² ) χ a² + z₁ ² χ b²

else if(the head_motion_boundary_type[i] field == 5 && the head_motion_boundary_symmetry_axis[i] field == 1)

1 = ( x₁ ² + z₁ ² ) χ a² + y₁ ² χ b²

else if(the head_motion_boundary_type[i] field == 5 && the head_motion_boundary_symmetry_axis[i] field == 2)

1 = ( y₁ ² + z₁ ² ) χ a² + x₁ ² χ b²

else if(the head_motion_boundary_type[i] field == 6)

1 = x₁ ² χ a² + y₁ ² χ b² + z₁ ² χ c²

여기서,

x₂ = Cos(

_c) * Cos (γ_c) * x₁ Cos(

_c) * Sin(γ_c) * y₁ + Sin(

_c) * z₁

y₂ = ( Cos(α_c) * Sin(γ_c) + Sin(α_c) * Sin(

_c) * Cos(γ_c) ) * x₁ + ( Cos(α_c) * Cos(γ_c) Sin(α_c) * Sin(

_c) * Sin(γ_c) ) * y₁ - Sin(α_c) * Cos(

_c) * z₁

z₂ = ( Sin(α_c) * Sin(γ_c) Cos(α_c) * Sin(

_c) * Cos(γ_c) ) * x₁ + ( Sin(α_c) * Cos(γ_c) + Cos(α_c) * Sin(

_c) * Sin(γ_c) ) * y₁ + Cos(α_c) * Cos(

_c) * z₁

x = x₂ + x_c

y = y₂ + y_c

z = z₂ + z_c

도 11은 뷰잉 포지션 정보 및 헤드 모션 정보가 사용되는 3DoF 컨텐츠/3DoF+ 컨텐츠를 제공하기 위한 전체 아키텍처를 나타낸다.

도 11을 참조하면, 프로젝션 프로세스, 뷰잉 포지션 및 뷰 포인트별로 패킹 프로세스 및 인코딩 프로세스로 구성된 멀티 뷰 3DoF+ 비디오의 엔드 - 투 - 엔드 플로우 차트가 기술되고, 이어서 선택된 뷰잉 포지션의 뷰포인트의 디코딩 프로세스, 언 패킹 프로세스 및 렌더링 프로세스가 설명된다.

구체적으로, 오디오-비주얼 장면 (A)은 오디오 센서뿐만 아니라 여러 렌즈 및 센서가 있는 카메라 세트 또는 카메라 장치로 캡처될 수 있다. 획득을 통해 일련의 디지털 이미지/비디오 (Bi) 및 오디오 (Ba) 신호가 발생할 수 있다. 카메라/렌즈는 일반적으로 카메라 세트 또는 카메라 장치의 중심점 주변의 모든 방향을 포함할 수 있고, 즉 360 비디오로 지칭된다.

동일한 시간 인스턴스 및/또는 상이한 헤드 포지션 및/또는 상이한 뷰포인트에서 텍스처/깊이 카메라 렌즈에 의해 캡쳐된 이미지 (Bi)는 뷰 및/또는 뷰포인트 마다 스티칭될 수 있고, 회전되어 프로젝션될 수 있으며, 패킹된 픽처 (D)상에 매핑된다.

패킹된 픽처 (D)는 코딩된 이미지 (Ei) 또는 코딩된 비디오 비트 스트림 (Ev)으로 인코딩될 수 있다. 캡처된 오디오 (Ba)는 오디오 비트 스트림 (Ea)으로 인코딩될 수 있다. 코딩된 이미지, 비디오 및/또는 오디오는 특정 미디어 콘테이너 파일 포맷에 따라 파일 재생 (F)을 위한 미디어 파일 또는 초기화 세그먼트의 시퀀스 및 스트리밍 (Fs)을 위한 미디어 세그먼트로 구성될 수 있다. 미디어 컨테이너 파일 형식은 ISO 기본 미디어 파일 형식일 수 있다. 파일 인캡슐레이션 기는 또한 디코딩된 압축된 픽처를 렌더링하는데 도움이 되는 위치 정보 및 헤드 모션 경계 정보를 보는 것과 같은 메타데이터를 파일 또는 세그먼트에 포함할 수 있다.

예를 들어. 파일의 메타데이터에는 다음이 포함된다:

- 각 디코딩된 픽처의 뷰잉 포지션에 대한 메타데이터 및 앵커 뷰잉 포지션을 포함한 전체 뷰잉 포지션 분포,

- 헤드 모션 경계 정보의 뷰포인트, 뷰포인트 별 뷰잉 포지션 별 로컬 구 좌표의 위치 및 회전에 관한 메타데이터,

- 뷰포인트 별 뷰잉 포지션 별 프로젝션된 이미지의 프로젝션 형식에 대한 메타데이터,

- 뷰포인트 별 프로젝션된 비디오의 커버리지에 대한 메타데이터,

- 리전 별 패킹 정보에 대한 메타데이터 및

- 리전 별 품질 랭킹에 대한 메타데이터.

세그먼트 Fs는 전달 메커니즘을 사용하여 플레이어에게 전달될 수 있다.

파일 인캡슐레이터가 출력하는 파일 (F)은 파일 디캡슐레이터가 입력한 파일 (F ')과 같거나 다를 수도 있다. 파일 디캡슐레이터는 파일 (F') 또는 수신된 세그먼트 (F's)를 처리하고 뷰 포트, 뷰잉 포지션 및 뷰포인트에 의해 선택된 코딩된 비트 스트림 (E'a, E'v 및/또는 E'i)을 추출하고 관련 메타데이터를 파싱할 수 있다. 오디오, 비디오 및/또는 이미지는 디코딩된 신호 (오디오에 대해서는 B'a, 이미지/비디오에 대해서는 D')로 디코딩될 수 있다. 디코딩되어 패킹된 픽처 (D')은 현재의 뷰잉 오리엔테이션 또는 뷰포트 및/또는 뷰 (헤드 포지션) 및/또는 뷰포인트 및 프로젝션, 구 커버리지, 회전, 리전 별 패킹, 뷰잉 포지션 및 파일로부터 파싱된 헤드 모션 경계 메타데이터에 기반하여 헤드 장착 디스플레이 또는 임의의 다른 디스플레이 장치의 스크린 상에 프로젝션될 수 있다. 유사하게, 디코딩된 오디오 (B'a)는 예를 들어, 현재의 뷰잉 오리엔테이션에 따라 헤드폰을 통해 렌더리링될 수 있다. 현재의 뷰잉 오리엔테이션은 헤드 트래킹 및 가능하게는 아이 트랙킹 기능에 의해 결정될 수 있다. 디코딩된 픽처 및 오디오 신호의 적절한 부분을 렌더링하기 위해 렌더러에 의해 사용되는 것 외에, 현재의 뷰잉 오리엔테이션은 디코딩 최적화를 위해 비디오 및 오디오 디코더에 의해 사용될 수도 있다.

한편, 예를 들어, 뷰잉 포지션 정보 및 헤드 모션 경계 정보의 신택스는 ISOBMFF, OMAF와 같은 파일 포맷 도메인에서 정의될 수 있다. 즉, 뷰잉 포지션 정보 및/또는 헤드 모션 경계 정보는 ISOBMFF, OMAF와 같은 파일 포맷 도메인의 박스 (box) 형태로 포함될 수 있다.

일 실시 예에 따르면, ViewingPositionInfoBox는 다음 표와 같이 정의될 수 있다.

ViewingPositionInfoBox는 뷰포인트에 대응하는 현재 이미지/비디오의 뷰잉 포지션의 정보 및/또는 현재 이미지/비디오의 뷰잉 포지션에 인접하여 대응하는 정보를 특정할 수 있다.

예를 들어, ViewingPositionInfoBox는 다음 표에 도시된 바와 같이 현재 이미지/비디오의 뷰잉 포지션 정보 및 관련된 모든 뷰잉 포지션을 포함할 수 있다.

HeadMotionBoundaryInfoBox의 신택스의 의미는 위에서 설명한 헤드 모션 정보 SEI 메시지의 신택스의 의미와 동일한다.

일 실시 예에 따르면, HeadMotionBoundaryInfoBox는 다음 표와 같이 정의될 수 있다.

HeadMotionBoundaryInfoBox는 뷰포인트에 대응하는 현재 이미지/비디오의 헤드 모션 경계의 정보를 지정할 수 있다.

예를 들어, HeadMotionBoundaryInfoBox는 다음 표와 같이 현재 이미지/비디오의 헤드 모션 정보를 포함할 수 있다.

HeadMotionBoundaryInfoBox의 신택스(syntaxs)의 의미는 위에서 설명한 헤드 모션 정보 SEI 메시지의 신택스의 의미와 동일하다.

한편, 'vpgr'과 동일한 track_group_type을 갖는 TrackGroupTypeBox는이 트랙이 뷰 포인트에서 헤드 모션 시차와 같은 상이한 뷰를 제공하는 각각의 뷰잉 포지션을 나타내는 트랙 그룹에 속함을 나타낼 수 있다. 따라서, 이 그룹에 매핑 된 시각적 트랙 (track_group_id가 'vpgr'과 동일한 TrackGroupTypeBox 내의 track_group_id와 동일한 값을 갖는 시각적 트랙)은 제시(present)할 수 있는 시각적 콘텐츠를 집합적으로 나타낸다. 이 그룹핑에 매핑된 각각의 개별 시각적 트랙은 다른 시각적 트랙없이 단독으로 제시될 수도 있고 그렇지 않을 수도 있는 반면에, 컴포지션 픽처는 제시하기에 적합하다.

일 실시 예에 따르면, 'vpgr'과 동일한 track_group_type을 갖는 TrackGroupTypeBox는 다음 표에 도시된 바와 같이 정의될 수 있다.

한편, 동적 뷰잉 포지션 타이밍된 메타 데이터 트랙은 헤드 모션 경계 (뷰잉 스페이스) 파라미터, 현재 이미지/비디오의 뷰잉 포지션 정보 및 모든 관련된 뷰잉 포지션을 포함할 수 있다. 동적 뷰잉 포지션 메타 데이터 트랙은 시간에 따라 동적으로 변화하는 뷰잉 포지션 및/또는 헤드 모션 경계 (뷰잉 스페이스) 파라미터를 나타낼 수 있다. OMAF 플레이어는 시그널링된 정보를 사용할 수 있다.

예를 들어 트랙 샘플 항목 타입 'vpvs'를 사용할 수 있다. 이 샘플 항목의 샘플 항목 타입(sample entry type)은 다음 표와 같이 지정할 수 있다.

뷰잉 스페이스의 모양과 특성이 변경되지 않으면 ViewingPositionInfoStruct () 및 HeadMotionBoundaryInfoStruct () 또는 그 신택스 요소의 서브세트를 샘플 항목에 정의할 수 있다. ViewingPositionInfoStruct () 및 HeadMotionBoundaryInfoStruct ()의 시맨틱(semantics)은 위의 정의를 따른다. 다시 말해, ViewingPositionInfoStruct () 및 HeadMotionBoundaryInfoStruct ()의 시맨틱은 앞서 설명한 헤드 모션 정보 SEI 메시지의 신택스의 의미(meanings)와 동일하다.

예를 들어, 트랙 샘플 항목 타입 'vpvs'를 사용할 수 있다. 이 샘플 신택스의 샘플 항목 타입은 다음 표와 같이 지정될 수 있다.

ViewingPositionInfoStruct () 및 HeadMotionBoundaryInfoStruct ()의 의미는 위의 정의를 따른다. 다시 말해, ViewingPositionInfoStruct () 및 HeadMotionBoundaryInfoStruct ()의 시맨틱은 앞서 설명한 헤드 모션 정보 SEI 메시지의 신택스와 동일하다.

한편, DASH 기반의 적응형 스트리밍 모델을 통해 3DoF+ 컨텐츠를 위한 방송 서비스가 제공되거나 DASH 기반의 적응형 스트리밍 모델을 통해 3DoF+ 컨텐츠의 비디오가 스트리밍되는 경우, 메타데이터와 관련된 필드 (뷰잉 포지션 정보 및 헤드 모션 경계 정보)는 DASH MPD에 포함된 DASH 기반 디스크립터 포맷으로 시그널링될 수 있다. 즉, 전술한 실시 예들은 DASH 기반 디스크립터 포맷으로 수정될 수 있다. DASH 기반 디스크립터 포맷은 EssentialProperty 디스크립터와 SupplementalProperty 디스크립터를 포함할 수 있다. 360 비디오 관련 메타데이터의 전술한 필드를 나타내는 디스크립터는 MPD의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.

예를 들어, DASH 기반 디스크립터는 @schemeIdUri 필드, @value 필드 및/또는 @id 필드를 포함할 수 있다.

@schemeIdUri 필드는 스키마 또는 해당 디스크립터를 식별하는 URI를 제공할 수 있다. @value 필드는 @schemeIdUri 필드가 가리키는 스키마에 의해 정의된 값을 가질 수 있다. 즉, @value 필드는 파라미터라고 할 수 있는 해당 체계에 따른 디스크립터 엘리먼트의 값을 가질 수 있다. 이것들은 ','에 의해 구별될 수 있다. @id 필드는 해당 디스크립터 의 ID를 나타낼 수 있다. 디스크립터가 동일한 ID를 가질 때, 디스크립터는 동일한 스킴 ID, 값 및 파라미터를 포함할 수 있다.

도 12는 뷰잉 포지션 세트의 뷰포인트를 포함하는 비디오의 프리-인코딩 프로세스의 일례를 나타내는 도면이다. 뷰잉 포지션 세트는 적어도 하나의 뷰잉 포지션의 뷰포인트를 포함할 수 있다.

도 12에서, 뷰포인트는 변경되지 않은 것으로 가정될 수 있으므로 다수의 입력이 상이한 뷰 및 상이한 구성 엘리먼트로부터 발생(originate)된다. 도 12를 참조하면, 각각의 뷰는 스티칭 (stitching), 회전, 프로젝션 및 리전 별 패킹 프로세스에 의해 각 뷰의 각 컴포넌트의 프로젝션된 이미지로 생성되는 상이한 컴포넌트, 예를 들어 텍스처 및 깊이 맵에 의해 구성될 수 있다. 또한, 앵커 뷰와 우측 헤드 모션 뷰와 같은 뷰들 사이의 리던던시 (redundancy)를 사용하여, 가능하면 텍스처의 레지듀얼(residual), 깊이 또는 다른 컴포넌트가 세컨더리 뷰를 위해 생성될 수 있다. 이는 뷰 간에 중복 정보를 제거함으로써 비트 효율성을 높일 수 있다. 텍스처 및 깊이를 포함하는 각각의 뷰의 프로젝션된 픽처가 생성될 수 있고, 각각의 픽처는 패킹될 수 있고 HEVC 또는 VVC와 같은 각각의 단일 층 비디오 인코더에 의해 인코딩될 수 있다.

도 13은 복수의 뷰잉 포지션의 뷰포인트를 포함하는 비디오 스트림에 대한 전달 프로세스의 예를 나타낸다. 도 13을 참조하면, 서로 다른 뷰잉 포지션들의 뷰포인트의 다수의 비디오 스트림이 수신 측으로 전달될 수 있다. 각 뷰잉 포지션의 뷰포인트의 비디오는 별도로 인코딩되어 SEI 메시지, 파라미터 세트 또는 파일 형식 시그널링 메커니즘으로 표시될 수 있다.

도 14는 뷰의 뷰포인트에 대한 텍스처, 레지듀얼 및 깊이 맵을 갖는 멀티 뷰 리전 패킹의 디코딩 프로세스의 일례를 나타낸다.

도 14를 참조하면, 수신기의 입력은 뷰포인트의 각 뷰잉 포지션의 인코딩된 픽처 스트림 또는 다중 뷰포인트의 인코딩된 픽처 스트림일 수 있다. 첫 번째 단계는 사용자의 뷰잉 포지션 및 뷰포인트를 기준으로 스트림을 선택한 다음 선택한 스트림을 디코딩하는 것이다. 수신기의 다른 구현은 모든 스트림을 디코딩한 다음 사용자의 뷰잉 포지션 및 뷰포인트를 기반으로 선택할 수 있다. 다음 단계는 일반적인 전 방향성 비디오 응용 프로그램과 동일하고, 이는 디코딩된 픽처가 패킹된 픽처인 경우 리전 별로 언 패킹을 하고, 프로젝션 좌표에 프로젝션 이미지를 매핑한 다음 사용자의 뷰잉 포지션의 뷰포인트의 뷰잉 방향에 따라 뷰포트를 렌더링하고 생성하는 것을 의미한다.

구체적으로, 예를 들어, 각 단계에서, 상술한 신택스 엘리먼트는 다음과 같이 사용될 수 있다.

- 뷰잉 포지션 및 뷰포인트 선택

뷰잉 포지션이 뷰포인트에서 사용자의 뷰잉 포지션과 일치하는 비디오 스트림이 다수의 비디오 스트림 중에서 선택될 수 있다. 다수의 비디오 스트림 각각은 상이한 뷰잉 포지션의 뷰포인트를 나타낸다. 또한, 비디오 스트림의 뷰잉 스트림은 viewing_position_x 필드, viewing_position_y 필드 및 video_view_position_z 필드에 의해 표시된다.

또한, 앵커 뷰잉 포지션 (anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드로 표시됨)과 각 비디오 스트림의 뷰잉 포지션 (viewing_position_x 필드, viewing_position_y 필드, 및 viewing_position_z 필드로 표시됨), 또는 뷰잉 포지션 세트 내의 뷰잉 포지션 (set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드로 표시됨)을 비교하여, 선택이 프로세싱될 수 있다. 상술한 신택스 엘리먼트는 ViewingPositionInfoBox, ViewingPosionGroupBox 및/또는 Viewing position information SEI 메시지로 시그널링된다.

사용자의 뷰잉 포지션이 ViewingPosionGroupBox, HeadMotionBoundaryInfoBox 및/또는 Head 모션 경계 SEI 메시지에 기반하여 유도된 경계 내의 뷰잉 포지션의 후보와 일치하지 않으면, 수신기는 사용자의 뷰잉 포지션에 가장 인접한 뷰잉 포지션을 선택할 수 있다. 또한, 다른 예로서, 수신기는 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션의 주어진 비디오를 사용하여 보간 또는 뷰 합성(synthesis)에 의해 사용자의 뷰잉 포지션의 비디오를 생성할 수 있다.

또한, 헤드 모션 정보는 사용자의 헤드 포지션이 경계의 안쪽인지 바깥 쪽인지 여부를 결정하는데 사용될 수 있다. 상기 결정을 위해, 헤드 모션 경계는 head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드 및 head_motion_boundary_radius_max 필드를 사용하여 묘사(depict)된다. 사용자의 뷰잉 포지션이 ViewingPosionGroupBox, HeadMotionBoundaryInfoBox 및/또는 Head motion boundary SEI 메시지에 기반하여 유도된 경계 외부에 있을 때, 정확하게 매칭된 뷰잉 포지션 대신에 사용자의 뷰잉 포지션의 가장 인접한 뷰잉 포지션이 선택될 수 있다.

- 디코딩

디코딩 프로세스에서, 선택된 비디오 비트 스트림이 디코딩되고, 디코딩 프로세스의 출력으로서 뷰잉 포지션의 뷰포인트의 프로젝션된 픽처 또는 패킹된 픽처가 생성된다. 또한, 출력된 디코딩된 픽처의 뷰잉 포지션을 나타내는 메타데이터 및 경계 디스크립션이 렌더러에게 전달된다: 뷰잉 포지션 정보 SEI 메시지 및 헤드 모션 경계 정보 SEI 메시지.

- 리전 별 패킹

출력 디코딩된 픽처가 패킹된 픽처이고 리전 별 패킹 SEI 메시지가 존재하면, 패킹된 리전과 프로젝션된 리전 사이의 리전 매핑 정보로 패킹된 픽처로부터 프로젝션된 픽처가 생성된다.

- 구 좌표 변환

Equirectangular 프로젝션 SEI 메시지가 존재하면, 구 좌표 매핑에 대한 정사각형의 프로젝션된 픽처(equirectangular projected picture)에 관한 샘플 위치가 프로세싱된다.

그렇지 않고 큐브 매핑된 프로젝션(Cubemap projection) SEI 메시지가 존재하면, 큐브 좌표 매핑 또는 구 좌표 패핑에 대한 정사각형의 프로젝션된 픽처에 관한 샘플 위치가 프로세싱된다.

구형 회전 SEI 메시지가 존재하면, 구형 또는 큐브 비디오가 회전된다.

- 렌더링

이 단계에서, 직선 평면(rectilinear plane)에 프로젝션된 출력 이미지가 사용자의 뷰포트 정보를 기반으로 생성된다.

한편, 파일 포맷 레벨 또는 시스템 레벨 뷰잉 포지션 선택이 각각 송신기 및 수신기 측에서 고려될 수 있다.

도 15a 및 도 15b는 다수의 뷰잉 포지션들을 포함하는 비디오에 대한 코딩 프로세스의 예를 나타낸다. 도 15a는 뷰잉 포지션 선택이 송신기 측에서 수행되는 예를 나타낸다. 도 15b는 뷰잉 포지션 선택이 수신기 측에서 수행되는 예를 나타낸다.

도 15a 및 도 15b를 참조하면, 코딩된 비디오 비트 스트림이 모든 뷰잉 포지션에 대해 생성된 후에, 이들은 파일 포맷 또는 세그먼트 포맷으로 인캡슐레이션 된다. 이 단계에서 파일/세그먼트 캡슐 레이터는 ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에서 정의할 수 있는 뷰잉 포지션 및 뷰잉 경계 정보 ViewingPositionInfoBox 및/또는 HeadMotionBoundaryInfoBox를 생성할 수 있다

도 15a에 도시된 바와 같이 뷰잉 포지션 선택기가 송신 측에 있을 때, ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에 정의된 정보는 수신기로부터 감지되고 전달되는 사용자의 뷰잉 포지션 정보와 일치하는 파일 또는 트랙의 선택에 사용될 수 있다. 선택 프로세스 후에, 사용자의 뷰잉 포지션과 일치하는 단일 코딩된 비디오 스트림이 전달된다. 코딩된 비디오 비트 스트림이 OMAF v1과 호환 가능한 경우, OMAF v1 사양을 따르는 수신기는 구현 변경없이 헤드 모션 시차 효과를 제공할 수 있고, 즉, 솔루션은 레거시 수신기와 역 호환 가능(backward compatible)하다.

도 15b에 도시된 바와 같이 선택기가 수신기 측에 있을 때, ProjectedOmniVideoBox 및/또는 TrackGroupTypeBox에 정의된 정보는 수신기로부터 감지된 사용자의 뷰잉 포지션 정보와 일치하는 파일 또는 트랙의 선택에 사용될 수 있다. 전송된 비트 스트림이 다수의 뷰잉 포지션의 코딩된 비디오 비트 스트림 모두를 포함하므로, 뷰잉 포지션 선택기는 TrackGroupTypeBox 및/또는 ProjectedOmniVideoBox에 포함된 뷰잉 포지션 정보를 갖는 코딩된 비디오 스트림을 포함하는 트랙을 발견할 수 있다. 선택 이후, 선택된 트랙은 OMAF v1 및 상위 버전을 따르는 수신기에 의해 디코딩되고 렌더링될 수 있다.

본 발명의 실시 예에 따르면, 헤드 모션 시차가 3DoF+수신기를 지원하도록 제공될 수 있다. 또한, 이는 레거시 3DoF 수신기를 지원할 수도 있다. 예를 들어, 3DoF 수신기의 헤드 모션 센서를 사용할 수 없는 경우 3DoF 수신기는 앵커 뷰잉 포지션에 대한 비디오만 표시한다. 3DoF 수신기의 헤드 모션 센서를 사용할 수 있는 경우, 3DoF 수신기는 디코딩 프로세스 전에 헤드 포지션 선택기 모듈의 보조 하에 헤드 모션 시차 효과를 제공할 수 있다.

또한 3DoF+ 응용 프로그램에 대하여 경계 헤드 모션 표시를 지원할 수도 있다. 예를 들어, 3DoF+ 수신기는 사용자의 뷰잉 포지션이 비디오의 헤드 모션 경계 안팎에 있는지 여부를 결정한다. 사용자의 뷰잉 포지션이 헤드 모션 경계를 벗어나면, 3DoF+ 수신기는 경계 정보를 기반으로 가장 관련 있는 뷰잉 포지션을 결정할 수 있다.

도 16a 및 도 16b는 다수의 뷰잉 포지션들 및 뷰잉 포지션들의 경계를 나타낸다. 여기서, 뷰잉 포지션의 경계를 뷰잉 포지션 경계 또는 헤드 모션 경계라고 부를 수 있다. 도 16a 및 도 16b을 참조하면, 다수의 뷰잉 포지션은 3 가지 레벨의 하부, 중간, 상부를 갖는 구로 구성된다. 뷰잉 포지션의 경계는 구 (점선 경계)로 주어질 수 있다. 또 다른 예로서, 뷰잉 포지션의 경계는 다수의 뷰잉 포지션의 정점 (중간 레벨의 경우 F, FL, L, BL, B, BR, R, FR) 또는 모든 정점으로 주어질 수 있다.

도 16b는 사용자의 뷰잉 포지션이 헤드 모션 경계 밖에 있을 때의 뷰잉 포지션 선택 프로세스를 나타낸다.

사용자의 뷰잉 포지션이 경계를 벗어난 경우, 3DoF+ 수신기는 가장 인접한 뷰잉 포지션을 제공할 수 있지만 앵커 뷰잉 포지션과의 실제 거리를 기억할 수 있으므로 3DoF+ 수신기는 실제 사용자의 뷰잉 포지션과 동기화된 관련 뷰잉 포지션의 픽처들을 제공할 수 있다.

또한, 도 17a 내지 도 17c는 뷰잉 포지션의 예를 나타낸다. 도 17a 내지 도 17c을 참조하면, 뷰잉 스페이스 또는 헤드 모션 경계는 뷰잉 포지션의 분포 경계를 설명할 수 있다.

도 17a는 모양 타입이 회전 타원인 헤드 모션 경계의 뷰잉 포지션을 나타낸다. 예를 들어, 도 17a를 참조하면, 회전 타원은 적도 반경(equatorial radius) 104 mm 및 극좌표 거리(polar distance) 60 mm인 소스 뷰 v0 포지션에 중심을 두고 있다. 또한, 헤드 모션 경계에서의 뷰잉 포지션의 위치는 다음 수학식에 기초하여 도출될 수 있다.

또한, 도 17b 및 도 17c는 모양 타입이 구인 헤드 모션 경계의 뷰잉 포지션을 나타낸다. 예를 들어, 도 17b 및 도 17c 을 참조하면, 반경 30cm로 포지션 [0, 0, 1.65] 미터에 중심을 두고 있다. 또한, 헤드 모션 경계에서의 뷰잉 포지션의 위치는 다음 수학식에 기초하여 도출될 수 있다.

도 18은 시간 변화하는 뷰잉 스페이스의 예 및 수신기에서의 뷰잉 스페이스 정보의 사용을 나타낸다.

도 18을 참조하면, 프레임 0 내지 99의 3DoF 비디오는 헤드 모션 시차를 지원하지 않을 수 있다.

도 18을 참조하면, 프레임 100에서 299까지의 3DoF 비디오는 head_motion_boundary_type[i] = 5로 헤드 모션 시차를 지원할 수 있다. 여기서, 5와 같은 head_motion_boundary_type[i] 필드는 회전 타원을 나타낸다. 이 경우에, 수신기, 즉 360 비디오 수신 장치는 뷰어에게 뷰잉 스페이스의 형태에 따라 헤드 모션의 이용 가능한 범위를 표시하기 위해 헤드 모션 경계 정보를 사용할 수 있다. 또한, 수신기는 상세한 파라미터에 의해 주어진 헤드 동작의 이용 가능한 범위에 관해서 모션 센서의 유효 범위를 미리 설정할 수 있다. 상세한 파라미터는 head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드, head_motion_boundary_param_axis[i] 필드에 기초하여 도출될 수 있다.

도 18을 참조하면, 프레임 (300)에서의 3DoF 비디오는 head_motion_boundary_type[i] = 1로 헤드 모션 시차를 지원할 수 있다. 여기서, 1과 같은 head_motion_boundary_type[i] 필드는 구를 나타낸다. 이 경우, 헤드 모션 경계 정보를 이용하여 수신기, 즉 360도 영상 수신 장치가 뷰잉 스페이스 형태에 따라 변경 가능한 범위를 제공할 수 있다.

또한, 수신기는 반경에 의해 주어진 헤드 모션의 이용 가능한 범위와 관련하여 동작 센서의 유효 범위를 변경할 수 있다. head_motion_boundary_radius[i] 필드는 반경을 나타낼 수 있다.

도 19는 본 발명에 따른 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다. 도 19에 도시된 방법은 도 8에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 19의 S1900은, 360 비디오 전송 장치의 데이터 입력 유닛에 의해 수행될 수 있고, S1910은 360 비디오 전송 장치의 프로젝션 프로세서에 의해 수행될 수 있고, S1920은 360 비디오 전송 장치의 데이터 인코더에 의해 수행될 수 있고, S1930은 360 비디오 전송 장치의 메타데이터 인코더에 의해 수행될 수 있고, S1940은 360 비디오 전송 장치의 전송 프로세서에 의해 수행될 수 있다.

360 비디오 전송 장치는 뷰잉 스페이스에서 복수의 뷰잉 포지션들에 대한 360 비디오를 획득한다 (S1900). 360 비디오 전송 장치는 적어도 하나의 카메라에 의해 캡쳐된 뷰잉 포지션의 360 비디오를 획득할 수 있다. 다시 말해, 360 비디오 전송 장치는 적어도 하나의 뷰잉 스페이스 내의 뷰잉 포지션들의 360 비디오를 획득할 수 있다. 여기서, 뷰잉 스페이스는 이미지 및 비디오의 렌더링이 가능하고 VR 경험이 유효한 뷰잉 포지션의 3D 공간일 수 있다.

360 비디오 전송 장치는 360 비디오를 처리하여 뷰잉 포지션들에 대한 비디오를 생성한다 (S1910). 360 비디오 전송 장치는 다양한 프로젝션 방식 중 각 뷰잉 포지션의 360 비디오 데이터에 대한 프로젝션 방식에 따라 프로젝션을 수행할 수 있다. 또한, 360 비디오 전송 장치는 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되는지 여부를 판단할 수 있다. 예를 들어, 360 비디오 전송 장치는 프로젝션 방식이 특정 방식에 해당하는 경우, 즉 360 비디오 데이터에 대한 프로젝션 방식 정보가 특정 방식을 나타내는 경우, 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되지 않았다고 판단할 수 있다. 또한, 다양한 프로젝션 방식은 정사각형 프로젝션법, 입방 프로젝션법, 실린더 프로젝션법, 타일 기반 프로젝션법, 피라미드 프로젝션법, 파노라마 프로젝션법 및 스티칭 없이 2D 이미지에 대하여 비디오 데이터를 직접 프로젝션하는 특정 방식을 포함할 수 있다.

또한, 각 뷰잉 포지션의 360 비디오 데이터가 스티칭된 경우, 360 비디오 전송 장치는 각 뷰잉 포지션의 360 비디오 데이터를 스티칭하고, 스티칭된 360 비디오 데이터를 각 뷰잉 포지션의 2D 기반 비디오 상에 프로젝션할 수 있다. 각 뷰잉 포지션의 360 비디오 데이터가 스티칭되지 않은 경우, 360 비디오 전송 장치는 스티칭없이 각 360 비디오 데이터를 각 뷰잉 포지션의 2D 기반 비디오 상에 프로젝션할 수 있다. 여기서, 2D 기반 비디오는 각 뷰잉 포지션의 2D 비디오 또는 프로젝션된 비디오라고 지칭할 수 있다. 또한, 360 비디오 전송 장치는 각 뷰잉 포지션의 프로젝션 비디오에 대해 리전 별 패킹 프로세스를 수행할 수 있다.

360 비디오 전송 장치는 비디오를 인코딩한다 (S1920). 360 비디오 전송 장치는 픽처를 인코딩할 수 있다.

360 비디오 전송 장치는 360 비디오에 대한 메타데이터를 생성한다 (S1930). 360 비디오 전송 장치는 뷰잉 포지션 및 뷰잉 스페이스에 대한 메타데이터를 생성할 수 있다. 예를 들어, 메타데이터는 뷰잉 포지션 각각에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함할 수 있다. 여기서, 메타데이터는 시그널링 정보로 지칭될 수 있다.

예를 들어, 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함한다.

뷰잉 포지션 정보는 viewing_position_info_id 필드, viewing_position_info_cancel_flag 필드, viewing_position_info_persistence_flag 필드, anchor_viewing_position_flag 필드, viewing_position_x 필드, viewing_position_y 필드, viewing_position_z 필드, viewing_orientation_yaw 필드, viewing_orientation_pitch 필드, viewing_orientation_roll 필드, coverage_horizontal 필드, coverage_vertical 필드, anchor_viewing_position_x 필드, an anchor_viewing_position_y 필드, anchor_viewing_position_z 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드, anchor_coverage_vertical 필드, num_viewing_positions 필드, set_viewing_position_x[i] 필드, set_viewing_position_y[i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation_roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.

구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 각각 포함할 수 있다. 특정 뷰잉 포지션 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드를 각각 나타낼 수 있다. 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 coverage_horizontal field and the coverage_vertical field를 각각 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션이 뷰잉 포지션 세트 중 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함할 수 있다. 여기서, 뷰잉 포지션 세트는 특정 뷰잉 포지션을 포함하는 뷰잉 포지션 세트일 수 있다. 앵커 뷰잉 포지션 플래그는 anchor_viewing_position_flag 필드를 나타낼 수 있다.

또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션의 뷰잉 포지션 정보는 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드를 나타낼 수 있다. 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드를 나타낼 수 있다. 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션은 뷰잉 포지션 세트의 뷰잉 포지션일 수 있다.

특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 set_viewing_orientation_yaw 필드, set_viewing_orientation_pitch 필드 및 set_viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 범위의 수평 범위 및 수직 범위를 나타내는 정보는 각각 set_coverage_horizontal 필드 및 set_coverage_vertical 필드를 나타낼 수 있다.

또한, 예를 들면, 뷰잉 스페이스 정보는 head_motion_info_id 필드, head_motion_info_cancel_flag 필드, head_motion_info_persistence_flag 필드, head_motion_boundary_center_present_flag 필드, head_motion_boundary_rotation_flag 필드, head_motion_boundary_asymmetric_flag 필드 head_motion_boundary_type 필드, head_motion_boundary_radius_min 필드, head_motion_boundary_radius_max 필드, head_motion_boundary_center_x 필드, head_motion_boundary_center_y 필드, head_motion_boundary_center_z 필드, head_motion_boundary_rotation_yaw 필드, head_motion_boundary_rotation_pitch 필드, head_motion_boundary_rotation_roll 필드, head_motion_boundary_positive_x_axis 필드, head_motion_boundary_negative_x_axis 필드, head_motion_boundary_positive_y_axis 필드, head_motion_boundary_negative_y_axis 필드, head_motion_boundary_positive_z_axis 필드, head_motion_boundary_negative_z_axis 필드, num_boundary_vertex_minus4 필드, 경계 _vertex_x 필드, boundary_vertex_y 필드 및/또는 boundary_vertex_z 필드를 포함할 수 있다. 여기서, 특정 뷰잉 스페이스는 i번째 뷰잉 스페이스를 나타낸다.

구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양 타입을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 모양(paraboloid shape), 큐브(cube), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나일 수 있다.

특정 뷰잉 스페이스의 모양 타입이 구인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 반경을 나타내는 정보를 포함할 수 있다. 특정 뷰잉 스페이스의 반경을 나타내는 정보는 head_motion_boundary_radius[i] 필드로 표현될 수 있다.

또한, 특정 뷰잉 스페이스의 모양 타입이 파라볼라 모양인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터 값을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 파라볼라 모양인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 축의 반-축 길이를 나타내는 정보, y 축의 반-축 길이를 나타내는 정보, z 축의 최대 값을 나타내는 정보를 포함할 수 있다. x 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드로 표현되며, y 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드로 표현되며, z 축은 head_motion_boundary_z_max[i] 필드로 표현될 수 있다.

또한, 뷰잉 스페이스의 모양 타입이 큐브 또는 직사각형인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값을 나타내는 정보를 포함할 수 있다. 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보는 각각 head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드 및 head_motion_boundary_negative_z_axis[i] 필드로 표현될 수 있다. 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보는 각각 head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드 및 head_motion_boundary_positive_z_axis[i] 필드로 표현될 수 있다. 한편, 특정 뷰잉 스페이스의 모양 타입이 직각 프리즘이고, head_motion_boundary_asymmetric_flag[i] 필드가 1인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 사각형 프리즘이 아니거나 head_motion_boundary_asymmetric_flag[i] 필드가 0인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함하지 않을 수 있고, 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값은 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값에 기초하여 도출된다.

또한, 특정 뷰잉 스페이스의 모양 타입이 회전 타원(spheroid)인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터 값을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 구인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 축의 반-축 길이를 나타내는 정보, y 축의 반-축 길이를 나타내는 정보, 및 특정 뷰잉 스페이스가 대칭인 축을 나타내는 대칭축 표시 정보를 포함한다. 여기서, 특정 뷰잉 스페이스가 대칭인 축은 x 축, y 축 및 z 축 중 하나일 수 있다. 예를 들어, 대칭 축 표시 정보가 0이면 x 축, 대칭 축 표시 정보가 1이면 y 축, 대칭 축 표시 정보가 2이면 z 축을 나타낸다. x 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드를 나타내며, y 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드를 나타내며, 대칭축 지시 정보는 head_motion_boundary_symmetry_axis[i] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 스페이스의 모양 타입이 3 축 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터 값을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 3 축 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 축의 반-축 길이를 나타내는 정보, y 축의 반-축 길이를 나타내는 정보, z 축의 반-축 길이를 나타내는 정보를 포함할 수 있다. x 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드를 나타내며, y 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드를 나타낼 수 있고, z 축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_c[i] 필드를 나타낼 수 있다.

또한, 뷰잉 스페이스의 모양 타입이 정점에 의해 정의된 모양인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 수를 나타내는 정보를 포함할 수 있다. 또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 정점의 수를 나타내는 정보는 num_boundary_vertex_minus4[i] 필드를 나타낼 수 있다. 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 boundary_vertex_x[i][j] 필드, boundary_vertex_y[i][j] 필드 및 boundary_vertex_z[i][j] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_center_present_flag[i] 필드를 나타낼 수 있다. 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드 및 head_motion_boundary_center_z[i] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전에 대한 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_rotation_flag[i] 필드를 나타낼 수 있다. 특정 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양이 대칭이 아닌지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들면, 플래그의 값이 1인 경우, 뷰잉 스페이스의 모양은 대칭이 아니다. 플래그의 값이 0인 경우, 뷰잉 스페이스의 모양은 대칭이다. 플래그는 필드를 head_motion_boundary_asymmetric_flag[i]를 나타낸다.

또한, 뷰잉 스페이스 정보는 뷰잉 스페이스의 중첩 모양(nesting shapes)의 개수를 나타내는 정보를 포함할 수 있다. 다시 말해, 뷰잉 스페이스 정보는 360 비디오 데이터에 대한 뷰잉 스페이스의 개수를 나타내는 정보를 나타낼 수 있다. 360 비디오 데이터에 대한 뷰잉 스페이스의 개수를 나타내는 정보는 num_nested_boundaries_minus1 필드로 표현될 수 있다.

360 비디오 전송 장치는 인코딩된 픽처와 메타데이터의 저장 또는 전송을 위한 프로세싱을 수행한다 (S1940). 360 비디오 전송 장치는 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 파일로 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 ISOBMFF 및 CFF와 같은 파일 형식으로 인캡슐레이션하거나 인코딩된 360 비디오 데이터 및/또는 메타데이터를 저장하거나 전송하기 위해 360 비디오 및/또는 메타데이터에 대한 인코딩된 픽처를 DASH 세그먼트와 같은 형태로 사용될 수 있다. 예를 들어 메타데이터는 ISOBMFF의 다양한 레벨에 있는 박스에 포함되거나 파일의 별도 트랙에 데이터로 포함될 수 있다. 또한, 360 비디오 전송 장치는 메타데이터를 파일로 인캡슐레이션할 수 있다. 360 비디오 전송 장치는 파일 형식에 따라 인캡슐레이션된 360 비디오 데이터를 전송하기 위한 프로세싱을 수행할 수 있다. 360 비디오 전송 장치는 임의의 전송 프로토콜에 따라 360 비디오 데이터를 처리할 수 있다. 송신을 위한 처리는 방송 네트워크를 통한 전달을 위한 처리 또는 광대역과 같은 통신 네트워크를 통한 전달을 위한 처리를 포함할 수 있다. 또한, 360 비디오 전송 장치는 메타데이터에 대한 전송 프로세싱을 수행할 수 있다. 360 비디오 전송 장치는 방송망 및/또는 광대역을 통해 처리된 360 비디오 데이터 및 메타데이터를 전송할 수 있다.

또한, 본 발명의 일 실시 예에 따르면, 360 비디오 전송 장치는 메타데이터를 이용하여 뷰잉 포지션들과 사용자의 뷰잉 포지션을 비교하여 특정 뷰잉 포지션을 선택하고, 선택된 특정 정보에 대한 인코딩된 픽처 및 메타데이터에 대한 정보만을 저장 또는 전송할 수 있다. 여기서, 사용자의 뷰잉 포지션 정보는 피드백 정보에 포함되어 360 비디오 전송 장치로 전달될 수 있다.

예를 들어, 뷰잉 포지션들 중 사용자의 뷰잉 포지션과 일치하는 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들면 앵커 뷰잉 포지션과의 비교에 의해 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들면, 뷰잉 포지션 세트의 뷰잉 포지션과 비교함으로써 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 밖에 있을 때, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션에 대한 픽처를 사용하는 보간 또는 뷰 합성에 의해 사용자의 뷰잉 포지션의 픽처가 유도된다. 즉, 사용자의 뷰잉 포지션은 특정 뷰잉 포지션으로 유도된다.

도 20은 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 전송 장치를 개략적으로 나타낸다. 도 19에 도시된 방법은, 도 20에 도시된 360 비디오 전송 장치에 의해 수행될 수 있다. 구체적으로, 도 19의 360 비디오 전송 장치의 데이터 입력 유닛은, 도 16의 S1900을 수행할 수 있다. 도 20의 360 비디오 전송 장치의 프로젝션 프로세서는, 도 19의 S1910을 수행할 수 있고, 도 20의 360 비디오 전송 장치의 데이터 인코더는, 도 19의 S1920을 수행할 수 있다. 도 20의 360 비디오 전송 장치의 메타데이터 인코더는, 도 19의 S1930을 수행할 수 있고, 도 20의 360 비디오 전송 장치의 전송 프로세서는 도 19의 S1940을 수행할 수 있다.

본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.

또한, 본 발명에 따르면, 3DoF+ 응용에 대한 한정된(bounded) 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.

도 21은 본 발명에 따른 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법을 개략적으로 나타낸다. 도 21에 도시된 방법은, 도 9에 도시된 360 비디오 수신 장치에 의해 수행될 수 있다. 구체적으로, 도 21의 S2100은 비디오 수신 장치의 데이터 입력 유닛에 의해 수행될 수 있고, S2110은 360 비디오 수신 장치의 수신 프로세서/파일 추출 유닛에 의해 수행될 수 있고, S2120은 360 비디오 수신 장치의 데이터 디코더에 의해 수행될 수 있고, S2130은 360 비디오 수신 장치의 렌더러에 의해 수행될 수 있다.

360 비디오 수신 장치는 뷰잉 스페이스에서 복수의 뷰잉 포지션들에 대한 360 비디오 데이터를 수신한다 (S2100). 360 비디오 수신 장치는 뷰잉 스페이스에서 적어도 하나의 뷰잉 포지션의 뷰포인트에 대한 360 비디오 데이터를 전송할 수 있다. 여기서, 뷰잉 스페이스는 이미지 및 비디오의 렌더링이 가능하고 VR 경험이 유효한 뷰잉 포지션의 3D 공간일 수 있다. 360 비디오 데이터는 각 뷰잉 포지션에 대한 비디오 스트림을 포함할 수 있다. 뷰잉 포지션에 대한 비디오 스트림은 뷰잉 포지션에 대한 인코딩된 픽처에 대한 메타데이터 및 정보를 포함할 수 있다. 뷰잉 포지션은 적어도 하나의 뷰잉 포지션 세트를 포함할 수 있고, 뷰잉 포지션 세트는 앵커 뷰잉 포지션을 포함할 수 있다.

360 비디오 수신 장치는 방송망을 통해 360 비디오 전송 장치로부터 전달된 360 비디오 데이터를 수신할 수 있다. 또한, 360 비디오 수신 장치는 광대역 또는 저장 매체와 같은 통신망을 통해 360 비디오 데이터를 수신할 수 있다.

360 비디오 수신 장치는 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 메타데이터 및 정보를 추출한다 (S2110). 360 비디오 수신 장치는 메타데이터를 이용하여 뷰잉 포지션과 사용자의 뷰잉 포지션을 비교하여 특정 뷰잉 포지션을 선택할 수 있다. 예를 들어, 뷰잉 포지션 중 사용자의 뷰잉 포지션과 일치하는 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들면 앵커 뷰잉 포지션과의 비교에 의해 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들면, 뷰잉 포지션 세트의 뷰잉 포지션과 비교함으로써 특정한 뷰잉 포지션이 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로서 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 밖에 있을 때, 사용자의 뷰잉 포지션 중 가장 인접한 뷰잉 포지션이 특정 뷰잉 포지션으로 선택된다. 또한, 예를 들어, 사용자의 뷰잉 포지션이 뷰잉 스페이스 내의 뷰잉 포지션과 일치하지 않는 경우, 사용자의 뷰잉 포지션의 인접한 뷰잉 포지션에 대한 픽처를 사용하는 보간 또는 뷰 합성에 의해 사용자의 뷰잉 포지션의 픽처가 유도된다. 즉, 사용자의 뷰잉 포지션은 특정 뷰잉 포지션으로 유도된다.

메타데이터는 뷰잉 포지션 각각에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함할 수 있다. 여기서, 메타데이터는 시그널링 정보로 지칭될 수 있다. 한편, 메타데이터는 SEI 메시지를 통해 전송될 수 있다. 또한, 메타데이터는 MPD (Media Presentation Description)의 AdaptationSet, Representation 또는 SubRepresentation에 포함될 수 있다.

예를 들어, 메타데이터는 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보 및 뷰잉 스페이스 정보를 포함한다.

뷰잉 포지션 정보는 viewing_position_info_id, viewing_position_info_persistence_flag, view_position_info_persistence_flag, view_position_x, view_position_y, view_position_y, view_orientation_yaw, anchor_viewing_position 필드, anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드, anchor_viewing_orientation_roll 필드, anchor_coverage_horizontal 필드, anchor_coverage_vertical 필드, num_viewing_position 필드, set_viewing_position_x[i] 필드, set_viewing_position_x[i] 필드, anchor_viewing_position 필드, anchor_viewing_position_x 필드, i] 필드, set_viewing_position_z[i] 필드, set_viewing_orientation_yaw[i] 필드, set_viewing_orientation_pitch[i] 필드, set_viewing_orientation _roll[i] 필드, set_coverage_horizontal[i] 필드 및/또는 set_coverage_vertical[i] 필드를 포함할 수 있다.

구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 viewing_position_x 필드, viewing_position_y 필드 및 viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 viewing_orientation_yaw 필드, viewing_orientation_pitch 필드 및 viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 coverage_horizontal 필드 및 coverage_vertical 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션이 뷰잉 포지션 세트 중 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함할 수 있다. 여기서, 뷰잉 포지션 세트는 특정 뷰잉 포지션을 포함하는 뷰잉 포지션 세트일 수 있다. 앵커 뷰잉 포지션 플래그는 anchor_viewing_position_flag 필드를 나타낼 수 있다.

또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다 뷰잉 포지션. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 특정 뷰잉 포지션의 뷰잉 포지션 정보는 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 앵커 뷰잉 포지션 플래그가 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아니라는 것을 나타내는 경우, 상기 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 anchor_viewing_position_x 필드, anchor_viewing_position_y 필드 및 anchor_viewing_position_z 필드를 나타낼 수 있다. 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 anchor_viewing_orientation_yaw 필드, anchor_viewing_orientation_pitch 필드 및 anchor_viewing_orientation_roll 필드를 나타낼 수 있다. 앵커 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보는 각각 anchor_coverage_horizontal 필드 및 anchor_coverage_vertical 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 수를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션은 뷰잉 포지션 세트의 뷰잉 포지션일 수 있다.

특정 뷰잉 포지션에 대한 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 포지션 정보는 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 커버리지의 수평 범위 및 수직 범위를 나타내는 정보를 포함할 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 set_viewing_position_x 필드, set_viewing_position_y 필드 및 set_viewing_position_z 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 set_viewing_orientation_yaw 필드, set_viewing_orientation_pitch 필드 및 set_viewing_orientation_roll 필드를 나타낼 수 있다. 특정 뷰잉 포지션과 관련된 뷰잉 포지션의 범위의 수평 범위 및 수직 범위를 나타내는 정보는 각각 set_coverage_horizontal 필드 및 set_coverage_vertical 필드를 나타낼 수 있다.

또한, 예를 들면, 뷰잉 스페이스 정보는 head_motion_info_id, head_motion_info_cancel_flag 필드, head_motion_info_persistence_flag 필드, head_motion_boundary_radius_min 필드, head_motion_boundary_radius_max 필드, num_nested_boundaries_minus1 필드, head_motion_boundary_center_present_flag[i] 필드, head_motion_boundary_rotation_flag[i] 필드, head_motion_boundary_asymmetric_flag[i] 필드, head_motion_boundary_type[i] 필드, head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드, head_motion_boundary_center_z[i] 필드, head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드, head_motion_boundary_rotation_roll[i] 필드, head_motion_boundary_radius[i] 필드, head_motion_boundary_param_a[i] 필드, head_motion_boundary_param_b[i] 필드, head_motion_boundary_z_max[i] 필드, head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_negative_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드, head_motion_boundary_negative_y_axis[i] 필드, head_motion_boundary_positive_z_axis[i] 필드, head_motion_boundary_negative_z_axis[i] 필드, head_motion_boundary_symmetry_axis[i] 필드, head_motion_boundary_param_c[i] 필드, num_boundary_vertex_minus4[i] 필드, boundary_vertex_x[i] 필드, boundary_vertex_y[i] 필드, 및/또는 boundary_vertex_z[i] 필드를 포함할 수 있다. 여기서, 특정 뷰잉 스페이스는 i번째 뷰잉 스페이스를 나타낼 수 있다.

구체적으로, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양 타입을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 모양(paraboloid shape), 큐브(cube), 직각 프리즘(rectangular prism), 정점들(vertexes)에 의해 정의된 형상 중 하나일 수 있다.

특정 뷰잉 스페이스의 모양 정보가 구인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 반경을 나타내는 정보를 포함할 수 있다. 특정 뷰잉 스페이스의 반경을 나타내는 정보는 head_motion_boundary_radius[i] 필드로 표현될 수 있다.

또한, 특정 뷰잉 스페이스의 모양 타입이 파라볼라 모양(paraboloid shape)인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터들을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 파라볼라 모양인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보, 특정 뷰잉 스페이스의 z축의 최대값을 나타내는 정보를 포함할 수 있다. x축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드로 표현될 수 있고, y축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드로 표현될 수 있고, z축의 최대값을 나타내는 정보는 head_motion_boundary_z_max[i] 필드로 나타낼 수 있다.

또한, 뷰잉 스페이스의 모양 타입이 큐브 또는 직사각형 프리즘인 경우, 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 뷰잉 스페이스의 모양 타입이 큐브인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보를 포함할 수 있다. 여기서, 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보는 각각 head_motion_boundary_negative_x_axis 필드, head_motion_boundary_negative_y_axis 필드 및 head_motion_boundary_negative_z_axis 필드를 나타낼 수 있다. 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대 값을 나타내는 정보는 각각 head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드 및 head_motion_boundary_positive_z_axis[i] 필드를 나타낼 수 있다. 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분을 나타내는 정보는 head_motion_boundary_positive_x_axis[i] 필드, head_motion_boundary_positive_y_axis[i] 필드 및 head_motion_boundary_positive_z_axis[i] 필드로 각각 표현될 수 있다. 한편, 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 직사각형 프리즘이고, head_motion_boundary_asymmetric_flag[i] 필드가 1과 동일한 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값을 나타내는 정보를 포함할 수 있다. 또한, 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 직사각형 프리즘이 아니거나 또는 head_motion_boundary_asymmetric_flag[i] 필드가 0과 동일한 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최소값이 특정 뷰잉 스페이스의 x 성분, y 성분 및 z 성분의 최대값에 기초하여 도출된다.

또한, 특정 뷰잉 스페이스의 모양 타입이 회전 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터 값을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 회전 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, y축의 반-축 길이를 나타내는 정보, 및 특정 뷰잉 스페이스가 대칭인 축을 나타내는 대칭 축 지시 정보를 포함할 수 있다. 여기서, 특정 뷰잉 스페이스가 대칭인 축은 x축, y축 및 z축 중 하나일 수 있다. 예를 들어, 0과 동일한 대칭 축 지시 정보는 x축을 나타내고, 1과 동일한 대칭 축 지시 정보는 y축을 나타내고, 2와 동일한 대칭 축 지시 정보는 z축을 나타낸다. x축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드로 표현될 수 있고, y축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드로 표현될 수 있고, 대칭 축 지시 정보는 head_motion_boundary_symmetry_axis[i] 필드로 표현될 수 있다.

또한, 특정 뷰잉 스페이스의 모양 타입이 3축 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 파라미터 값을 나타내는 정보를 포함할 수 있다. 예를 들어, 특정 뷰잉 스페이스의 모양 타입이 3축 타원인 경우, 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, y축의 반-축 길이를 나타내는 정보, 및 z축의 반-축 길이를 나타내는 정보를 포함할 수 있다. x축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_a[i] 필드로 표현될 수 있고, y축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_b[i] 필드로 표현될 수 있고, z축의 반-축 길이를 나타내는 정보는 head_motion_boundary_param_c[i] 필드로 표현될 수 있다.

또한, 특정 뷰잉 스페이스의 모양 타입이 정점에 의해 정의된 모양인 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 수를 나타내는 정보를 포함할 수 있다. 또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 뷰잉 스페이스의 정점의 수를 나타내는 정보는 num_boundary_vertex_minus4[i] 필드를 나타낼 수 있다. 뷰잉 스페이스의 정점의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 boundary_vertex_x[i][j] 필드, boundary_vertex_y[i][j] 필드 및 boundary_vertex_z[i][j] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_center_present_flag[i] 필드를 나타낼 수 있다. 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보는 각각 head_motion_boundary_center_x[i] 필드, head_motion_boundary_center_y[i] 필드 및 head_motion_boundary_center_z[i] 필드로 표현될 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전에 대한 정보가 존재하는지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들어, 플래그의 값이 1과 같은 경우, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함할 수 있다. 플래그는 head_motion_boundary_rotation_flag[i] 필드를 나타낼 수 있다. 뷰잉 스페이스의 회전의 요 각, 피치 각 및 롤 각을 나타내는 정보는 각각 head_motion_boundary_rotation_yaw[i] 필드, head_motion_boundary_rotation_pitch[i] 필드 및 head_motion_boundary_rotation_roll[i] 필드를 나타낼 수 있다.

또한, 특정 뷰잉 포지션에 대한 뷰잉 스페이스 정보는 뷰잉 스페이스의 모양이 대칭이 아닌지 여부를 나타내는 플래그를 포함할 수 있다. 예를 들면, 플래그의 값이 1인 경우, 뷰잉 스페이스의 모양은 대칭이 아니다. 플래그의 값이 0인 경우, 뷰잉 스페이스의 모양은 대칭이다. 플래그는 head_motion_boundary_asymmetric_flag[i] 필드를 나타낼 수 있다.

또한, 뷰잉 스페이스 정보는 뷰잉 스페이스의 중첩 모양(nesting shapes)의 개수를 나타내는 정보를 포함할 수 있다. 다시 말해, 뷰잉 스페이스 정보는 360 비디오 데이터에 대한 뷰잉 스페이스의 개수를 나타내는 정보를 나타낼 수 있다. 360 비디오 데이터에 대한 뷰잉 스페이스의 개수를 나타내는 정보는 num_nested_boundaries_minus1 필드로 표현될 수 있다.

360 비디오 수신 장치는 인코딩된 픽처에 대한 정보를 기반으로 인코딩된 픽처를 디코딩한다 (S2120). 360 비디오 수신 장치는 인코딩된 픽처에 관한 정보를 기반으로 특정 뷰잉 포지션에 대한 인코딩된 픽처를 디코딩할 수 있다.

360 비디오 수신 장치는 메타데이터에 기반하여 디코딩된 픽처를 렌더링한다 (S2130). 예를 들어, 360 비디오 수신 장치는 디코딩된 픽처에 대해 리-프로젝션을 수행할 수 있다. 360 비디오 수신 장치는 메타데이터에 기반하여 3D 공간상에서 디코딩된 픽처를 리-프로젝션할 수 있다. 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 예를 들어, 메타데이터는 3D 모델의 타입 및 3D 모델의 상세 정보에 대한 정보를 포함할 수 있다. 일 실시 예에 따르면, 360 비디오 수신 장치는 메타데이터를 이용하여 3 차원 공간상의 특정 리전에 해당하는 디코딩된 픽처의 리전을 3 차원 공간 상에 리-프로젝션할 수 있다. 360 비디오 수신 장치는 리-프로젝션된 비디오를 렌더링할 수 있다. 일 실시 예에 따르면, 렌더러는 사용자의 뷰포트 정보에 따라 사용자가 보는 부분만을 렌더링할 수 있다.

도 22는 본 발명에 따른 360 비디오 데이터 처리 방법을 수행하기 위한 360 비디오 수신 장치를 개략적으로 나타낸다. 도 21에 도시된 방법은 도 22에 도시된 360 비디오 수신 장치에 의해 수행될 수 있다. 구체적으로, 도 22의 360 비디오 수신 장치의 데이터 입력 유닛은 도 21의 S2100을 수행할 수 있고, 도 22의 360 비디오 수신 장치의 수신 프로세서/파일 추출 유닛은 도 21의 S2110을 수행할 수 있고, 도 22의 360 비디오 수신 장치의 데이터 디코더는 도 21의 S2120을 수행할 수 있고, 도 22의 360 비디오 수신 장치의 렌더러는 도 21의 S2130을 수행할 수 있다.

본 발명에 따르면, 헤드 모션 시차를 지원함으로써 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안할 수 있다.

또한, 본 발명에 따르면, 3DoF+ 응용에 대한 한정된 헤드 모션 지시를 지원하는 것이 가능하다. 따라서, 사용자의 3DoF+ 컨텐츠 소비에 인터랙티브 경험을 제공하는 방법을 제안하는 것이 가능하다.

전술한 단계들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 단계에 의해 대체될 수 있다.

본 발명의 일 실시예에 따른 360 비디오 전송 장치는 전술한 데이터 입력유닛, 스티처, 시그널링 프로세서, 프로젝션 프로세서, 데이터 인코더, 전송 프로세서 및/또는 전송부를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360 비디오 전송 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360 비디오를 전송하는 방법의 실시예들을 수행할 수 있다.

본 발명의 일 실시예에 따른 360 비디오 수신 장치는 전술한 수신유닛, 수신 프로세서, 데이터 디코더, 시그널링 파서, 리-프로젝션 프로세서 및/또는 렌더러를 포함할 수 있다. 각각의 내부 컴포넌트들은 전술한 바와 같다. 본 발명의 일 실시예에 따른 360 비디오 수신 장치 및 그 내부 컴포넌트들은, 전술한 본 발명의 360 비디오 데이터를 수신하는 방법의 실시예들을 수행할 수 있다.

전술한 장치의 내부 컴포넌트들은 메모리에 저장된 연속된 수행과정들을 실행하는 프로세서들이거나, 그 외의 하드웨어로 구성된 하드웨어 컴포넌트들일 수 있다. 이 들은 장치 내/외부에 위치할 수 있다.

전술한 모듈들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 모듈에 의해 대체될 수 있다.

전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서이거나 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서 또는 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블록/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.

본 발명에 따른 기술적 특징은 VR/AR과 같은 다양한 서비스에 적용될 수 있다. 또한, 전술한 본 발명에 따른 기술적 특징은 5G 또는 차세대 통신 등을 통해 수행될 수 있다. 예를 들어, 전송 장치 (예컨대, 360 비디오 전송 장치)로부터 출력되는 데이터 (예컨대, 비디오/이미지 비트 스트림, 메타 데이터 등)이 5G를 통해 수신 장치롤 전송된다. 또한, (VR/AR) 이미지/비디오 획득 기기는 외부에 별도로 제공되어 5G 통신을 통해 얻은 이미지/비디오를 전송 장치로 전송할 수 있다. 또한, 본 발명에 따른 전송 장치 및/또는 수신 장치는 5G 통신을 통해 다양한 서비스 시나리오를 지원할 수 있다.

5G의 3 가지 주요 요구 사항 영역은 (1) eMB (enhanced mobile broadband) 도메인, (2) mMTC (massive machine type communication) 도메인, (3) URLLC (ultra-reliable and low latency communications) 도메인을 포함한다. 일부 유스 케이스에서는 최적화를 위해 여러 도메인이 필요할 수 있으며 다른 유스 케이스는 하나의 KPI (Key Performance Indicator)에 대해서만 집중할 수 있다. 5G는 이러한 다양한 유스 케이스를 유연하고 신뢰할 수 있는 방법으로 지원한다.

eMBB는 모바일 광대역 연결의 데이터 전송률, 레이턴시, 사용자 밀도, 용량 및 커버리지의 전반적인 향상에 집중한다. eMBB는 약 10Gbps의 처리량(throughput)을 목표로 한다. eMBB는 기본적인 모바일 인터넷 액세스를 훨씬 능가하며 풍부한 인터랙티브 동작, 클라우드 또는 증강 현실에서 미디어 및 엔터테인먼트 응용 프로그램을 포괄한다. 데이터는 5G의 핵심 동인 중 하나이며 처음으로 5G 시대에서 전용 음성 서비스를 보지 못할 수 있다.

mMTC는 배터리로 구동되는 많은 양의 저비용 기기들 간 통신을 가능하게 하기 위해 설계되었으며 스마트 계측, 물류, 필드 및 바디 센서와 같은 애플리케이션을 지원하기 위한 것이다. mMTC는 약 10년 동안의 배터리를 목표로 하고 평방 킬로미터 당 백만 개의 장치를 목표로 한다.

URLLC는 기기 및 기계가 매우 안정적이고 매우 낮은 레이턴시 및 높은 가용성으로 통신할 수 있도록 함으로써 자동차 통신, 산업 제어, 공장 자동화, 원격 수술, 스마트 그리드 및 공공 안전 애플리케이션에 이상적이다. URLLC는 약 1ms의 지연(delay)을 목표로 한다.

또한, 본 발명에 따른 실시 예는 확장된 현실 (XR: eXtended Reality)을 지원하도록 수행될 수 있다. XR은 가상 현실 (VR), 증강 현실 (AR) 및 혼합 현실 (MR)로 통칭된다. VR 기술은 실제 객체(real-world objects)와 배경을 CG 이미지로만 제공하고 AR 기술은 실제 객체 이미지에 가상으로 생성된 CG 이미지를 제공하며 MR 기술은 가상 객체를 실제 세계(real-world)에 혼합하고 결합하는 컴퓨터 그래픽 기술이다. MR 기술은 실제 및 가상 객체를 함께 표시한다는 점에서 AR 기술과 유사한다. 그러나, AR 기술에서, 가상 객체는 실제 객체에 대한 대체물(complement)로서 사용되는 반면, MR 기술에서는 가상 객체와 실제 객체가 동일한 방식으로 사용된다. XR 기술은 헤드 장착 디스플레이 (HMD), 헤드 업 디스플레이 (HUD), 휴대 전화, 태블릿 PC, 랩톱, 데스크톱, TV, 디지털 신호계, XR 기술이 적용되는 것은 XR 장치로 지칭될 수 있다. XR 장치는 5G 통신을 기반으로 한 통신 네트워크를 통해 다양한 서비스에 연결할 수 있다.

XR 장치는 네트워크를 통해 AI 서버, 로봇, 자율 주행 차량, 스마트 폰 또는 가전 제품 중 적어도 하나에 연결될 수 있다. 여기서 AI 기술이 적용된 로봇, 자율 주행 차량, XR 기, 스마트 폰 또는 가전 제품을 AI 기기라고 할 수 있다. XR 장치는 차량, 텔레비젼, 이동 전화, 스마트 폰, 컴퓨터, 웨어러블 장치, 가전 기기 (예컨대, 가전 제품, 컴퓨터 등)에 제공되는 HMD, 헤드 업 디스플레이, 디지털 사이니지 또는 이동 로봇으로 구현될 수 있다.

자율 주행 차량(autonomous vehicle)은 이동 로봇, 차량, 기차, 유인/무인 항공기, 선박 등을 포함할 수 있다. 자율 주행 차량은 자율 주행 기능을 제어하는 자율 주행 제어 모듈을 포함할 수 있으며, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 소프트웨어 모듈을 구현하는 칩을 나타낼 수 있다. 자율 제어 모듈은 자율 주행 차량의 구성으로서 자율 주행 차량에 포함되거나, 별도의 하드웨어로서 자율 주행 차량의 외부에 연결될 수 있다.

자율 주행 차량은 각종 센서로부터 취득한 센서 정보를 이용하여 자율 주행 차량의 상태 정보를 획득하고, 주위의 환경이나 객체를 검출 (인식)하고, 지도 데이터를 생성하고, 주행 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.

여기서, 자율 주행 차량은 레이더 및 카메라와 같은 적어도 하나의 센서에 의해 획득된 센서 정보를 이용하여 주행 경로 및 주행 계획을 결정할 수 있다. 특히, 자율 주행 차량은 외부 장치로부터 센서 정보를 수신함으로써 소정 거리 범위의 영역 또는 시야 범위에서 모호한 영역(area obscured in the visual field)에 대한 환경 또는 물체를 인식할 수 있다. 또는 자율 차량은 외부 기기로부터 인식된 정보를 직접 수신할 수 있다.

XR 기술이 적용되는 자율 주행 차량은 XR 비디오/이미지를 제공하는 수단을 갖는 자율 주행 차량 또는 XR 비디오/이미지로 제어/상호 작용의 대상이 되는 자율 주행 차량을 의미할 수 있다. 특히, XR 이미지/비디오에서 제어/상호 작용할 수 있는 자율 주행 차량을 XR 기기와 구별하여 서로 연동(interlock)시킬 수 있다.

XR 영상/이미지를 제공하는 수단을 갖는 자율 주행 차량은 카메라를 포함하는 센서로부터 센서 정보를 획득하고, 획득된 센서 정보에 기초하여 생성된 XR 영상/이미지를 출력할 수 있다. 예를 들어, 자율 주행 차량은 XR 비디오/이미지를 출력하기 위한 HUD를 포함할 수 있으며, 이로써 탑승자에게 실제의 객체 또는 스크린 내의 객체에 대응하는 XR 객체를 제공할 수 있다.

XR 기기는 엔터테인먼트, 운동, 교육, 교통, 의료, 전자 상거래, 제조 및 방위 등과 같은 다양한 서비스에 사용될 수 있다. 예를 들어, 영화, 테마 파크, 스포츠 등을 XR 기기를 통해 경험하거나 또는 볼 수 있다. 또한, XR 기기는 의료 행위, 화재 현장 등과 같은 위험한 환경에서의 훈련을 지원할 수 있다. 또한 XR 기기를 통해 위치 인식 및 지도 생성 (SLAM) 기술을 활용한 AR 방식 등과 같은 경로 검색 서비스를 제공할 수 있다. XR 기기를 통해 가상 쇼핑몰에 연결하여 물건을 쇼핑하고 구매할 수도 있다.

Claims (17)

1. 360 비디오 수신 장치에 의해 수행되는 360 비디오 데이터 처리 방법에 있어서, 상기 방법은,
   특정 뷰잉 포지션에 대한 인코딩된 픽처들을 포함하는 360도 비디오 데이터를 수신하는 단계;
   상기 360도 비디오 데이터를 기반으로 특정 뷰잉 스페이스 내 특정 뷰잉 포지션에 대한 인코딩된 픽처에 대한 정보 및 메타데이터를 도출하는 단계;
   상기 인코딩된 픽처에 대한 정보를 기반으로 상기 인코딩된 픽처들을를 디코딩하는 단계; 및
   상기 메타데이터를 기반으로 상기 디코딩된 픽처들을를 렌더링 하는 단계를 포함하고,
   상기 메타데이터는 뷰잉 스페이스 정보를 포함하고,
   상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하되, 상기 특정 뷰잉 스페이스의 모양 타입이 타원체(ellipsoid)인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보 및 상기 특정 뷰잉 스페이스의 z축의 반-축 길이를 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
2. 제1항에 있어서, 상기 특정 뷰잉 스페이스의 모양 타입은 구(sphere), 파라볼라 모양(paraboloid shape), 큐브(cube), 직사각형 프리즘(rectangular prism), 회전 타원체(spheroid), 3축 타원체(tri-axial ellipsoid), 정점에 의해 정의된 모양(shape defined by vertexes) 중 하나인 것을 특징으로 하는, 360 비디오 데이터 처리 방법.
3. 제1항에 있어서, 상기 특정 뷰잉 스페이스의 모양 타입이 구인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 반경을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
4. 제2항에 있어서, 상기 특정 뷰잉 스페이스의 모양 타입이 상기 회전 타원체인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스가 대칭인 축을 나타내는 대칭 축 지시 정보를 포함하는, 360 비디오 데이터 처리 방법.
5. 삭제
6. 제3항에 있어서, 상기 특정 뷰잉 스페이스는 복수의 뷰잉 포지션들을 포함하고,
   상기 메타데이터는 상기 뷰잉 포지션들의 각각에 대한 뷰잉 포지션 정보를 포함하고,
   상기 뷰잉 스페이스의 외부에 사용자의 뷰잉 포지션이 있고, 상기 사용자의 뷰잉 포지션의 가장 인접한 뷰잉 포지션이 상기 특정 뷰잉 스페이스로 선택되는, 360 비디오 데이터 처리 방법.
7. 제3항에 있어서, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 중심 위치에 대한 정보가 존재하는 지 여부를 나타내는 플래그를 포함하는, 360 비디오 데이터 처리 방법.
8. 제7항에 있어서, 상기 플래그의 값이 1인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 중심 위치의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
9. 제7항에 있어서, 상기 메타데이터는 상기 특정 뷰잉 포지션에 대한 뷰잉 포지션 정보를 포함하고,
   상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
10. 제9항에 있어서, 상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
11. 제9항에 있어서, 상기 특정 뷰잉 스페이스는 복수의 뷰잉 포지션을 포함하고,
    상기 메타데이터는 상기 뷰잉 포지션들의 각각에 대한 뷰잉 포지션 정보를 포함하고,
    상기 뷰잉 스페이스들 중 사용자의 뷰잉 포지션과 매칭되는 뷰잉 포지션이상기 특정 뷰잉 스페이스로 선택되는, 360 비디오 데이터 처리 방법.
12. 제9항에 있어서, 상기 특정 뷰잉 포지션에 대한 상기 뷰잉 포지션 정보는 상기 특정 뷰잉 포지션이 뷰잉 포지션 세트의 앵커 뷰잉 포지션인지 여부를 나타내는 앵커 뷰잉 포지션 플래그를 포함하는, 360 비디오 데이터 처리 방법.
13. 제12항에 있어서, 상기 앵커 뷰잉 포지션 플래그가 상기 특정 뷰잉 포지션이 상기 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아님을 나타내는 경우, 상기 뷰잉 포지션 정보는 상기 앵커 뷰잉 포지션의 x 성분, y 성분 및 z 성분을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
14. 제13항에 있어서, 상기 앵커 뷰잉 포지션 플래그가 상기 특정 뷰잉 포지션이 상기 뷰잉 포지션 세트의 앵커 뷰잉 포지션이 아님을 나타내는 경우, 상기 뷰잉 포지션 정보는 상기 앵커 뷰잉 포지션에 대한 뷰잉 오리엔테이션의 요 각, 피치 각 및 롤 각을 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
15. 360 비디오 전송 장치에 의해 수행되는 360 비디오 데이터 처리 방법에 있어서, 상기 방법은,
    특정 뷰잉 스페이스 내 복수의 뷰잉 포지션들에 대한 360 비디오를 획득하는 단계;
    상기 360 비디오를 처리하여 상기 뷰잉 포지션들에 대한 픽처들을 생성하는 단계;
    상기 픽처들을 인코딩하는 단계;
    상기 360 비디오에 대한 메타데이터를 생성하는 단계; 및
    상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하는 단계를 포함하고,
    상기 메타데이터는 뷰잉 스페이스 정보를 포함하고,
    상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하되, 상기 특정 뷰잉 스페이스의 모양 타입이 타원체(ellipsoid)인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보 및 상기 특정 뷰잉 스페이스의 z축의 반-축 길이를 나타내는 정보를 포함하는, 360 비디오 데이터 처리 방법.
16. 360 비디오 수신 장치에 있어서, 상기 장치는,
    특정 뷰잉 포지션에 대한 인코딩된 픽처들을 포함하는 360도 비디오 데이터를 수신하는 수신기;
    상기 인코딩된 픽처들을 디코딩하는 데이터 디코더; 및
    도출된 메타데이터를 기반으로 상기 디코딩된 픽처들을 렌더링하는 렌더러를 포함하고,
    상기 메타데이터는 뷰잉 스페이스 정보를 포함하고,
    상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하되, 상기 특정 뷰잉 스페이스의 모양 타입이 타원체(ellipsoid)인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보 및 상기 특정 뷰잉 스페이스의 z축의 반-축 길이를 나타내는 정보를 포함하는, 360 비디오 수신 장치.
17. 360 비디오 전송 장치에 있어서, 상기 장치는,
    상기 360 비디오의 픽처들을 생성하는 프로젝션 프로세서;
    상기 픽처들을 인코딩하는 인코더;
    메타데이터를 생성하는 메타데이터 프로세서; 및
    상기 인코딩된 픽처 및 상기 메타데이터의 저장 또는 전송을 위한 처리를 수행하는 전송 프로세서를 포함하고,
    상기 메타데이터는 뷰잉 스페이스 정보를 포함하고,
    상기 뷰잉 스페이스 정보는 특정 뷰잉 스페이스의 모양 타입(shape type)을 나타내는 정보를 포함하되, 상기 특정 뷰잉 스페이스의 모양 타입이 타원체(ellipsoid)인 경우, 상기 뷰잉 스페이스 정보는 상기 특정 뷰잉 스페이스의 x축의 반-축 길이를 나타내는 정보, 상기 특정 뷰잉 스페이스의 y축의 반-축 길이를 나타내는 정보 및 상기 특정 뷰잉 스페이스의 z축의 반-축 길이를 나타내는 정보를 포함하는, 360 비디오 전송 장치.

Images