KR20220109433A - 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치 - Google Patents

Abstract

3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠를 인코딩하기 위한 방법이 개시되어 있다. 방법은 3D 장면 내에 정의된 기준 뷰잉 박스 및 중간 뷰잉 박스를 획득하는 단계를 포함한다. 기준 뷰잉 경계 박스의 경우, 볼류메트릭 비디오 기준 서브-콘텐츠가 시차를 위한 주변 패치들 및 중심 이미지로서 인코딩된다. 중간 뷰잉 경계 박스의 경우, 볼류메트릭 비디오 중간 서브-콘텐츠가 중간 중심 이미지와 기준 중심 이미지 사이의 차이들인 중간 중심 패치들로서 인코딩된다.

Description

다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치

본 발명의 원리들은 대체적으로 3차원(3D) 장면 및 볼류메트릭 비디오 콘텐츠(volumetric video content)의 분야에 관한 것이다. 본 문서는 또한, 모바일 디바이스들 또는 헤드 마운트 디스플레이(Head-Mounted Display, HMD)들과 같은 최종 사용자 디바이스들 상에서의 볼류메트릭 비디오 콘텐츠의 렌더링(rendering)을 위해 3D 장면의 텍스처 및 기하구조를 나타내는 데이터의 인코딩, 포맷팅(formatting), 및 디코딩의 맥락에서 이해된다.

본 섹션은 독자에게 하기에서 기술되고/되거나 청구되는 본 발명의 원리들의 다양한 태양들과 관련될 수 있는 기술의 다양한 태양들을 소개하도록 의도된다. 이러한 논의는 본 발명의 원리들의 다양한 태양들의 더 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는 것에 도움이 되는 것으로 여겨진다. 따라서, 이들 진술들은 이러한 관점에서 읽혀야 하고, 선행 기술의 인정들로서 읽혀서는 안 된다는 것이 이해되어야 한다.

최근, 이용가능한 넓은 시야 콘텐츠(최대 360°)가 성장해 왔다. 그러한 콘텐츠는 헤드 마운트 디스플레이, 스마트글래스(smart glasses), PC 스크린, 태블릿, 스마트폰 등과 같은 몰입형 디스플레이 디바이스들 상의 콘텐츠를 주시하는 사용자에게 완전히 가시적이지 않을 수 있다. 이는, 주어진 순간에, 사용자가 콘텐츠의 일부만을 보는 중일 수 있음을 의미한다. 그러나, 사용자는 전형적으로, 머리 움직임, 마우스 움직임, 터치 스크린, 음성 등과 같은 다양한 수단에 의해 콘텐츠 내에서 내비게이팅할 수 있다. 전형적으로, 이러한 콘텐츠를 인코딩하고 디코딩하는 것이 바람직하다.

360° 플랫 비디오로도 불리는 몰입형 비디오는 사용자가 정지 시점을 중심으로 하는 자신의 머리의 회전을 통해 그 자신 주변의 전부를 주시할 수 있게 한다. 회전은 3 자유도(3 Degrees of Freedom, 3DoF) 경험만을 허용한다. 3DoF 비디오가, 예를 들어 헤드 마운트 디스플레이 디바이스(HMD)를 사용한, 전방향 비디오의 첫 경험에 충분하더라도, 3DoF 비디오는, 예를 들어 시차(parallax)를 경험함으로써, 더 큰 자유도를 예상하는 뷰어(viewer)에게 빠르게 실망감을 주게 될 수 있다. 덧붙여, 3DoF는 또한, 사용자가 자신의 머리를 회전시킬 뿐만 아니라 그의 머리를 3개 방향들로도 변환하기 때문에 어지러움을 유발할 수 있는데, 이러한 변환들은 3DoF 비디오 경험들에서 재현되지 않는다.

넓은 시야 콘텐츠는, 특히, 3차원 컴퓨터 그래픽 이미지 장면(3D CGI 장면), 포인트 클라우드(point cloud) 또는 몰입형 비디오일 수 있다. 그러한 몰입형 비디오들을 설계하기 위해 많은 용어들이 사용될 수 있다: 예를 들어, 가상 현실(Virtual Reality, VR), 360, 파노라마, 4π 스테라디안(steradian), 몰입형, 전방향 또는 넓은 시야.

볼류메트릭 비디오(6 자유도(6DoF) 비디오로도 알려짐)는 3DoF 비디오에 대한 대안이다. 6DoF 비디오를 주시할 때, 회전들에 더하여, 사용자는 또한, 주시된 콘텐츠 내에서 자신의 머리, 및 심지어 자신의 신체를 변환할 수 있고, 시차 및 심지어 볼륨들을 경험할 수 있다. 그러한 비디오들은 몰입감 및 장면 깊이의 인지를 현저히 증가시키고, 머리 변환들 동안 일관된 시각적 피드백을 제공함으로써 어지러움을 방지한다. 콘텐츠는 관심 장면의 색상 및 깊이의 동시 기록을 허용하는 전용 센서들의 수단에 의해 생성된다. 사진측량 기법들과 조합된 컬러 카메라의 리그(rig)의 사용은, 기술적 어려움들이 남아 있더라도, 그러한 기록을 수행하는 방식이다.

3DoF 비디오들이 텍스처 이미지들(예컨대, 위도/경도 투영 맵핑 또는 등장방형 투영 맵핑에 따라 인코딩된 구형 이미지들)의 비-맵핑으로부터 기인하는 이미지들의 시퀀스를 포함하지만, 6DoF 비디오 프레임들은 여러 시점들로부터의 정보를 임베드(embedding)한다. 그들은 3차원 캡처로부터 기인한 일시적인 일련의 포인트 클라우드들로서 보일 수 있다. 뷰잉 조건들에 따라 2개 종류들의 볼류메트릭 비디오들이 고려될 수 있다. 첫 번째 것(즉, 완전 6DoF)은 비디오 콘텐츠 내에서의 완전히 자유로운 내비게이션을 허용하는 반면, 두 번째 것(3DoF+로 알려짐)은 사용자가 보고 있는 공간을 뷰잉 경계 박스(viewing bounding box)로 불리는 제한된 볼륨으로 제한하여, 머리 및 시차 경험의 제한된 변환을 허용한다. 이러한 두 번째 것의 맥락은 자리에 앉은 청중 구성원의 자유 내비게이션 조건과 수동 뷰잉 조건 사이의 유용한 절충안이다.

볼류메트릭 비디오 콘텐츠의 데이터의 양은 중요하고 큰 저장 용량들을 요구하며, 높은 비트 레이트가 그러한 데이터를 전송하는 데 필요로 된다. 저장, 전송, 또는 디코딩 목적들을 위한, 그러한 볼류메트릭 비디오들에 대응하는 데이터의 양을 감소시키는 솔루션들은 조사할 광범위한 연구 대상을 나타낸다.

하기는 본 발명의 원리들의 일부 태양들에 대한 기본적인 이해를 제공하기 위해 본 발명의 원리들의 단순화된 요약을 제시한다. 이러한 발명의 내용은 본 발명의 원리들의 광범위한 개요가 아니다. 그것은 본 발명의 원리들의 핵심 또는 중요한 요소들을 식별하려고 의도되지 않는다. 하기의 발명의 내용은, 본 발명의 원리들의 일부 태양들을 하기에 제공되는 더 상세한 설명에 대한 서두로서 단순화된 형태로 제시할 뿐이다.

제1 태양에 따르면, 데이터 스트림에 3D 장면을 인코딩하기 위한 방법이 제공된다. 본 방법은,

- 3D 장면 내에 정의된 기준 뷰잉 박스(reference viewing box) 및 중간 뷰잉 박스를 획득하는 단계;

- 데이터 스트림에, 기준 뷰잉 박스의 중심에서의 시점으로부터 캡처된 기준 중심 뷰 및 기준 뷰잉 박스 내의 상이한 시점들로부터 캡처된 이미지들을 인코딩하는 기준 주변 패치들을 인코딩하는 단계;

- 데이터 스트림에, 중간 뷰잉 박스의 중심으로부터 캡처된 뷰와 기준 중심 뷰 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치를 인코딩하는 단계; 및

- 데이터 스트림에, 기준 뷰잉 박스 및 중간 뷰잉 박스를 설명하는 메타데이터 및 상이한 시점들을 인코딩하는 단계를 포함한다.

하나 이상의 실시예들에서, 기준 뷰잉 박스는 3D 장면 내에, 예를 들어, 3D 장면 내의 내비게이션 공간 내에 정의된 기준 뷰잉 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 박스이다. 기준 주변 패치는 주변 이미지와 기준 중심 뷰 사이의 차이들을 인코딩할 수 있다.

일 실시예에서, 중간 뷰잉 경계 박스는 기준 뷰잉 경계 박스와 중첩된다. 다른 실시예에서, 3D 장면을 인코딩하는 데이터 스트림이, 예를 들어, 네트워크를 통해 클라이언트 디바이스로 송신된다.

데이터 스트림에 3D 장면을 인코딩하기 위한 디바이스가 또한 제공된다. 디바이스는 제1 태양에 따른 방법을 수행하기 위한 수단(예를 들어, 메모리와 연관된 프로세서)을 포함한다.

제2 태양에 따르면, 데이터 스트림으로부터 3D 장면을 취출(retrieving)하기 위한 방법이 추가로 제공된다. 본 방법은,

- 데이터 스트림으로부터,

3D 장면 내의 기준 뷰잉 박스 및 중간 뷰잉 박스를 설명하는 메타데이터;

기준 뷰잉 박스의 중심에서의 시점으로부터 캡처된 기준 중심 뷰; 및

중간 뷰잉 박스의 중심으로부터 캡처된 뷰와 기준 중심 뷰 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치를 디코딩하는 단계; 및

- 기준 중심 뷰의 픽셀들 및 적어도 하나의 중간 중심 패치의 픽셀들을 비-투영(un-project)함으로써 3D 장면을 취출하는 단계를 포함한다.

일 실시예에서, 본 방법은,

- 데이터 스트림으로부터, 기준 뷰잉 박스 내의 상이한 시점들로부터 캡처된 이미지들을 인코딩하는 기준 주변 패치들을 디코딩하는 단계; 및

- 기준 주변 패치들의 서브-세트의 픽셀들을 비-투영함으로써 3D 장면을 취출하는 단계를 포함한다.

기준 주변 패치들의 서브-세트는 중간 뷰잉 박스 내에 위치된 시점에 따라 선택될 수 있다. 기준 뷰잉 박스는 3D 장면 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 박스일 수 있다.

일부 실시예들에서, 본 방법은 중간 뷰잉 박스 내에 위치된 시점에 대한 뷰포트 이미지를 렌더링하는 단계를 추가로 포함한다.

제2 태양에 따른 방법을 수행하기 위한 수단(예를 들어, 메모리와 연관된 프로세서)을 포함하는 디바이스가 또한 제공된다.

또한, 적어도 하나의 프로세서가 적어도 각각 제1 또는 제2 태양에 따른 방법의 단계들을 수행하게 하기 위한 명령어들이 저장된 비일시적 프로세서 판독가능 매체가 제공된다.

첨부 도면을 참조하는 하기의 설명을 읽을 시에, 본 발명이 더 잘 이해될 것이고, 다른 특정 특징들 및 이점들이 드러날 것이다.
- 도 1은 본 발명의 원리들의 비제한적인 실시예에 따른, 객체의 3차원(3D) 모델 및 3D 모델에 대응하는 포인트 클라우드의 포인트들을 도시한다.
- 도 2는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면들의 시퀀스를 표현하는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다.
- 도 3은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 12 내지 도 15와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
- 도 4는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 데이터 스트림의 신택스(syntax)의 일 실시예의 일례를 도시한다.
- 도 5는 본 발명의 원리들의 비제한적인 실시예에 따른, 중심 시점으로부터의 구형 투영을 예시한다.
- 도 6은 3D 장면의 포인트들의 텍스처 정보를 포함하는 아틀라스(atlas)의 일례를 도시한다.
- 도 7은 도 6의 텍스처 정보를 포함하는 아틀라스 내에 인코딩된 3D 장면과 동일한 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 8은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 저장 및 스트리밍의 태양들을 예시한다.
- 도 9는 본 발명의 원리들의 비제한적인 실시예에 따른, 중간 볼류메트릭 비디오 서브-콘텐츠들을 인코딩하기 위한 단계들의 태양들을 예시한다.
- 도 10은 본 발명의 원리들의 비제한적인 실시예에 따른, 볼류메트릭 비디오 기준 서브-콘텐츠 및 볼류메트릭 비디오 중간 서브-콘텐츠와 연관된 아틀라스들을 나타낸다.
- 도 11은 본 발명의 원리들의 비제한적인 실시예에 따른, 중간 중심 패치들을 나타낸다.
- 도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 인코딩하기 위한 방법의 흐름도를 도시한다.
- 도 13은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 송신하기 위한 방법의 흐름도를 도시한다.
- 도 14는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 디코딩하기 위한 방법의 흐름도를 도시한다.
- 도 15는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 렌더딩하기 위한 방법의 흐름도를 도시한다.
- 도 16은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 저장 및 스트리밍의 태양들을 예시한다.

본 발명의 원리들은 첨부 도면들을 참조하여 이하에서 더욱 완전히 기술될 것이며, 도면들에는 본 발명의 원리들의 예들이 도시되어 있다. 그러나, 본 발명의 원리들은 많은 대안적인 형태들로 구현될 수 있고, 본 명세서에 제시된 예들로 제한되는 것으로 해석되어서는 안 된다. 따라서, 본 발명의 원리들이 다양한 수정들 및 대안적인 형태들을 허용하지만, 이들의 특정 예들은 도면에서 예들로서 도시되어 있고, 본 명세서에서 상세히 기술될 것이다. 그러나, 본 발명의 원리들을 개시된 특정 형태들로 제한하려는 의도는 없지만, 반대로, 본 발명은 청구범위에 의해 정의된 바와 같은 본 발명의 원리들의 사상 및 범주 내에 속하는 모든 수정들, 등가물들 및 대안들을 포괄할 것이라는 것이 이해되어야 한다.

본 명세서에 사용된 용어는 단지 특정 예들을 설명하는 목적을 위한 것이고, 본 발명의 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은, 문맥상 명백히 달리 나타내지 않는 한, 복수의 형태들도 또한 포함하도록 의도된다. 본 명세서에서 사용될 때, 용어들 "포함하다(comprises)", "포함하는(comprising)", "포함하다(includes)" 및/또는 "포함하는(including)"은 언급된 특징부, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징부, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다. 게다가, 한 요소가 다른 요소에 "응답"하거나 "접속"되는 것으로 언급될 때, 그것은 또 다른 요소에 직접 응답하거나 접속될 수 있거나, 또는 개재 요소들이 존재할 수 있다. 대조적으로, 한 요소가 다른 요소에 "직접 응답"하거나 "직접 접속"되는 것으로 언급될 때, 어떠한 개재 요소들도 존재하지 않는다. 본 명세서에 사용된 바와 같이, 용어 "및/또는"은 연관된 열거된 항목들 중 하나 이상의 항목들 중 임의의 것 및 그의 모든 조합들을 포함하고, "/"로 약칭될 수 있다.

다양한 요소들을 기술하기 위해 용어들 "제1", "제2" 등이 본 명세서에 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 본 발명의 원리들의 교시로부터 벗어나지 않고서, 제1 요소는 제2 요소로 칭해질 수 있고, 유사하게, 제2 요소는 제1 요소로 칭해질 수 있다.

주요 통신 방향을 보여주기 위해 도면들 중 일부가 통신 경로들 상에 화살표들을 포함하지만, 통신은 묘사된 화살표들과는 반대 방향으로 발생할 수 있다는 것이 이해되어야 한다.

일부 예들은, 각각의 블록이 회로 요소, 모듈, 또는 특정 로직 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 코드의 일부분을 표현하는 블록도들 및 동작 흐름도들과 관련하여 기술된다. 또한, 다른 구현예들에서, 블록들에서 언급된 기능(들)은 언급된 순서를 벗어나 발생할 수 있다는 것에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록들은 실제로, 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로, 관여된 기능에 따라 역순으로 실행될 수 있다.

본 명세서에서 "일례에 따른" 또는 "일례에서"라는 언급은, 그 예와 관련하여 기술되는 특정 특징부, 구조물, 또는 특성이 본 발명의 원리들의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 본 명세서 내의 다양한 곳들에서 문구 "일례에 따른" 또는 "일례에서"의 출현은 반드시 모두 동일한 예를 지칭하는 것은 아니며, 또는 다른 예들과 반드시 상호 배타적인 별개의 또는 대안적인 예들을 지칭하는 것도 아니다.

청구범위에 나타나는 참조 번호들은 단지 예시를 위한 것이고, 청구범위의 범주에 대해 제한하는 효과를 갖지 않을 것이다. 명시적으로 기술되어 있지 않지만, 본 예들 및 변형예들은 임의의 조합 또는 하위조합에서 채용될 수 있다.

본 발명의 원리들은, 데이터 스트림에 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 인코딩하기 위한 방법, 데이터 스트림으로부터 그러한 볼류메트릭 비디오 콘텐츠를 디코딩하기 위한 방법, 및 언급된 디코딩 방법에 따라 디코딩된 볼류메트릭 비디오 콘텐츠의 볼류메트릭 렌더링을 위한 방법의 특정 실시예들을 참조하여 설명될 것이다.

본 발명의 원리들에 따르면, 복수의 객체들을 포함하는 3D 장면으로부터 시작하여, 구현되는 인코딩 방법은 3D 장면을 나타내는 데이터를 전달하는 인코딩된 볼류메트릭 비디오 콘텐츠, 예를 들어, 데이터 스트림을 생성하는 데 사용된다. 인코딩 방법은 3D 장면에 포함된 볼류메트릭 정보를 생성한다. 기준 3DoF+ 뷰잉 경계 박스 및 중간 3DoF+ 뷰잉 경계 박스가 3D 장면 내의 내비게이션 공간 내에 정의된다.

기준 3DoF+ 뷰잉 경계 박스의 경우, 3D 장면의 일부를 나타내는 볼류메트릭 비디오 기준 서브-콘텐츠가 기준 중심 뷰 및 하나 이상의 기준 주변 패치들에 의해 인코딩된다. 기준 중심 뷰는 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 인코딩하는 반면, 하나 이상의 기준 주변 패치들은 볼류메트릭 비디오 기준 서브-콘텐츠의 하나 이상의 주변 이미지들을 인코딩한다.

볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지라는 것은, 기준 3DoF+ 뷰잉 경계 박스의 중심에 포지셔닝(positioning)되고 기준 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트에 따라 배향된 카메라에 의해 캡처된 이미지로 이해될 수 있다. 또한, 기준 3DoF+ 뷰잉 경계 박스의 중심에 포지셔닝되고 기준 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트에 따라 배향된 가상 카메라에 의해 보여지는 이미지와 같은, 2개의 다른 이미지들의 보간에 의해 획득된 이미지로 이해될 수 있다.

주변 이미지들이라는 것은, 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 캡처하는 카메라와는 상이한 포즈를 갖고 기준 3DoF+ 뷰잉 경계 박스에 포함된 뷰포인트들에 대응하는 카메라들에 의해 캡처된 이미지들로 이해될 수 있다. 또한, 특정 포즈를 갖는 가상 카메라에 의해 보여지는 이미지와 같은, 2개의 다른 이미지들의 보간에 의해 획득된 이미지로 이해될 수 있다.

용어 "패치"는 2개의 이미지들 사이의 차이로부터 기인할 수 있는 잔상(residual image)을 의미한다.

본 발명의 원리들에 따르면, 중간 3DoF+ 뷰잉 경계 박스에 대응하는 중간 볼류메트릭 비디오 서브-콘텐츠의 인코딩은 중간 3DoF+ 뷰잉 경계 박스의 중심 이미지의 차동 코딩(differential coding)에 기초한다. 인코딩은 기준 볼류메트릭 비디오 서브-콘텐츠에 대한 중간 볼류메트릭 비디오 서브-콘텐츠의 상대적인 인코딩이다. 이러한 기준 볼류메트릭 비디오 서브-콘텐츠는 3D 장면 내의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 경계 박스에 대응할 수 있다. 차동 중간 중심 이미지는, 예를 들어, 기준 중심 뷰 또는 기준 중심 이미지를 반-투영(de-project) 및 재-투영함으로써, 고려되는 기준 3DoF+ 뷰잉 경계 박스에 대응하는 기준 중심 뷰 또는 기준 중심 이미지로부터 생성될 수 있다.

중간 볼류메트릭 비디오 서브-콘텐츠는, 본 명세서에서 하나 이상의 중간 중심 패치들로도 또한 지칭되는, 하나 이상의 잔여 패치들에 의해 인코딩된다. 중간 3DoF+ 뷰잉 경계 박스의 경우, 3D 장면의 일부를 나타내는 볼류메트릭 비디오 중간 서브-콘텐츠는, 볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지와 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지 사이의 차이들, 또는 보다 정확하게는, 볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지와 볼류메트릭 비디오 기준 서브-콘텐츠의 중간 중심 이미지 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치에 의해 인코딩된다.

볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지는 중간 3DoF+ 뷰잉 경계 박스의 중심에 포지셔닝되고 중간 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트에 따라 배향된 카메라에 의해 캡처된 이미지일 수 있다. 그것은 중간 3DoF+ 뷰잉 경계 박스의 중심에 포지셔닝되고 중간 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트에 따라 배향된 가상 카메라에 의해 보여지는 이미지와 같은, 2개의 다른 이미지들의 보간에 의해 획득된 이미지일 수 있다.

본 발명의 원리들은 6DoF 경험을 가능하게 하도록 공간적으로 배열된 다수의 3DoF+ 콘텐츠로 만들어진 볼류메트릭 비디오를 저장 및/또는 송신 및/또는 디코딩하기 위한 데이터의 양을 상당히 감소시킬 수 있게 한다.

게다가, 3DoF+ 콘텐츠의 독립적인 인코딩과 비교하여, 인코딩 및 디코딩 복잡도가 증가되지 않는데: 중심 이미지가 종래의 반-투영 및 투영을 사용하여, 예를 들어, 그래픽 렌더링 파이프라인을 사용하여 생성되고, 잔여 패치들을 추출하기 위한 차이 함수는 기본 픽셀별 비교들만을 수반한다.

본 발명의 원리들에 따라, 스트리밍 디바이스에서 구현되는 송신 방법이 개시된다. 위에서 제시된 인코딩 방법에 따라 인코딩된 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠는 소스, 예를 들어, 메모리로부터 획득된다. 내비게이션 공간 내의 뷰포인트에 대응하는 포지션뿐만 아니라, 이러한 포지션을 포함하는 대응하는 3DoF+ 뷰잉 경계 박스가 고려된다. 대응하는 3DoF+ 뷰잉 경계 박스가 중간 뷰잉 경계 박스인 경우, 본 방법에 따르면, 3D 장면 내의 내비게이션 공간 내의 주어진 기준 뷰잉 경계 박스의 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 인코딩하는 기준 중심 뷰와 함께, 중간 뷰잉 경계 박스와 연관된 볼류메트릭 비디오 중간 서브-콘텐츠를 인코딩하는 적어도 하나의 중간 중심 패치가 송신된다.

본 발명의 원리들에 따라, 디코더에서 구현되는 디코딩 방법이 개시된다. 디코더는, 한편으로는, 3D 장면을 나타내고 3D 장면의 내비게이션 공간 내의 중간 뷰잉 경계 박스와 연관되는 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지와, 다른 한편으로는, 주어진 기준 뷰잉 경계 박스에 대해 인코딩된 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치를 획득한다. 디코더는 또한, 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 인코딩하는 기준 중심 뷰를 획득한다. 적어도 하나의 중간 중심 패치 및 기준 중심 뷰를 사용하여, 디코더는 포인트 클라우드의 형태로, 디코딩된 볼류메트릭 비디오 서브-콘텐츠를 생성한다.

주어진 기준 뷰잉 경계 박스는 3D 장면 내의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 경계 박스일 수 있다.

포인트 클라우드의 형태로의 디코딩된 볼류메트릭 비디오 서브-콘텐츠의 생성은 하기와 같이 수행될 수 있다. 기준 중심 뷰는 투영 파라미터들에 기초하여 2D-3D 비-투영(2D to 3D un-projection)을 겪고, 임시 포인트 클라우드에 비-투영된다. 이어서, 임시 포인트 클라우드는 대응하는 볼류메트릭 평면 상에서, 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트 방향으로 투영 파라미터들에 기초하여 3D-2D 투영(3D to 2D projection)을 겪는다. 뷰잉 경계 박스 내의 뷰포인트는 볼류메트릭 평면과 연관된다. 볼류메트릭 평면은, 볼류메트릭 평면과 연관된 뷰포인트에 대응하는 가상 카메라 포즈에 대한, 3D 장면에 관련된 볼류메트릭 정보의 2D 투영이다. 임시 포인트 클라우드의 3D-2D 투영으로부터, 중간 중심 이미지가 획득된다. 이어서, 디코더에 의해 획득된 적어도 하나의 중간 중심 패치가 중간 중심 이미지 내의 대응하는 픽셀들을 대체하여 재구성된 중간 중심 이미지를 획득하는 데 사용된다. 이어서, 재구성된 중간 중심 이미지는 투영 파라미터들에 기초하여 2D-3D 비-투영을 겪고, 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트로부터 보이는 바와 같이 포인트 클라우드로 비-투영된다. 본 명세서에서 고려되는 투영들은, 예를 들어, 그래픽 렌더링 분야에 알려진, 임의의 유형의 투영들 또는 비-투영들이다. 그들은 3D 데이터에서 2D 데이터(맵 투영)로의 또는 그 반대로의 파라미터화(parameterization)를 전달한다.

디코더는 또한, 볼류메트릭 비디오 기준 서브-콘텐츠의 하나 이상의 주변 이미지들을 인코딩하는 하나 이상의 기준 주변 패치들을 획득할 수 있다. 이러한 경우, 디코더는, 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트와는 상이한 3DoF+ 중간 뷰잉 경계 박스에 포함된 뷰포인트로부터 보이는 포인트 클라우드의 형태로, 디코딩된 볼류메트릭 비디오 서브-콘텐츠를 생성할 수 있다. 대응하는 디코딩된 볼류메트릭 비디오 서브-콘텐츠의 생성은 적어도 하나의 중간 중심 패치, 기준 중심 뷰 및 하나 이상의 기준 주변 패치들 중 적어도 하나의 기준 주변 패치를 사용함으로써 수행된다.

대응하는 디코딩된 볼류메트릭 비디오 서브-콘텐츠의 생성은 하기와 같이 수행될 수 있다. 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트로부터 보이는 바와 같은 포인트 클라우드가 앞서 설명된 바와 같이 재구성된 중간 중심 이미지로부터 획득된다. 3DoF+ 중간 뷰잉 경계 박스에 포함되고 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트와는 상이한 현재 뷰포인트로부터 보이는 다른 포인트 클라우드를 생성하는 것이 고려되고, 하나 이상의 기준 주변 패치들 중 적어도 하나가 사용되며, 이는 현재 뷰포인트와 관련된다. 3DoF+ 중간 뷰잉 경계 박스의 주요 뷰포인트로부터 보이는 바와 같은 포인트 클라우드는 현재 중심 이미지를 재구성하기 위해, 현재 뷰포인트의 방향으로, 투영 파라미터들에 기초하여 3D-2D 투영을 겪는다. 이어서, 현재 중심 이미지가 하나 이상의 기준 주변 패치들 중 적어도 하나로부터의 픽셀들에 의해 완성된다. 후속하여, 현재 중심 이미지는 현재 뷰포인트로부터 보이는 바와 같은 포인트 클라우드를 획득하기 위해 투영 파라미터들에 기초하여 2D-3D 비-투영을 겪는다.

본 발명의 원리들에 따르면, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠를 렌더링하기 위한 방법이 개시된다. 최종 사용자는 렌더링 3D 공간 내의 뷰포인트를 선택한다. 렌더링 3D 공간 내의 뷰포인트에 대응하는 포지션뿐만 아니라, 이러한 포지션에 중심이 맞춰진 대응하는 3DoF+ 뷰잉 경계 박스가 고려된다. 대응하는 3DoF+ 뷰잉 경계 박스가 중간 뷰잉 경계 박스인 경우, 본 방법에 따르면, 3D 장면을 나타내고 중간 뷰잉 경계 박스와 연관된 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 중간 서브-콘텐츠가 위에서 제시된 방법에 따라 디코딩된다. 이어서, 디코딩된 볼류메트릭 비디오 중간 서브-콘텐츠가 렌더링 디바이스 상에 렌더링된다.

도 1은 객체의 3차원(3D) 모델(10) 및 3D 모델(10)에 대응하는 포인트 클라우드(11)의 포인트들을 도시한다. 3D 모델(10) 및 포인트 클라우드(11)는, 예를 들어, 다른 객체들을 포함하는 3D 장면의 객체의 가능한 3D 표현에 대응할 수 있다. 모델(10)은 3D 메시 표현일 수 있고, 포인트 클라우드(11)의 포인트들은 메시의 정점들일 수 있다. 포인트 클라우드(11)의 포인트들은 또한, 메시의 면들의 표면 상에 펼쳐진 포인트들일 수 있다. 모델(10)은 또한, 포인트 클라우드(11)의 스플랫 버전(splatted version)으로서 표현될 수 있으며, 모델(10)의 표면은 포인트 클라우드(11)의 포인트들을 스플랫함으로써 생성된다. 모델(10)은 복셀(voxel)들 또는 스플라인(spline)들과 같은 많은 상이한 표현들에 의해 표현될 수 있다. 도 1은, 포인트 클라우드가 3D 객체의 표면 표현으로 정의될 수 있고 3D 객체의 표면 표현이 클라우드의 포인트로부터 생성될 수 있다는 사실을 도시한다. 본 명세서에 사용된 바와 같이, 이미지 상에 (3D 장면의 확장 포인트들에 의한) 3D 객체의 포인트들을 투영하는 것은 이러한 3D 객체의 임의의 표현, 예를 들어 포인트 클라우드, 메시, 스플라인 모델 또는 복셀 모델을 투영하는 것과 동등하다.

포인트 클라우드는 메모리에, 예를 들어 벡터 기반 구조로서 표현될 수 있으며, 여기서 각각의 포인트는 뷰포인트의 기준의 프레임 내의 그 자신의 좌표들(예컨대, 3차원 좌표들 XYZ, 또는 뷰포인트로부터의/으로의 입체각(solid angle) 및 거리(깊이로도 불림)) 및 구성요소로도 불리는 하나 이상의 속성들을 갖는다. 구성요소의 일례는 다양한 색 공간들에서 표현될 수 있는 색상 구성요소, 예를 들어 RGB(적색, 녹색, 청색) 또는 YUV(Y는 루마 구성요소이고 UV는 2개의 색차 구성요소들임)이다. 포인트 클라우드는 객체들을 포함하는 3D 장면의 표현이다. 3D 장면은 주어진 뷰포인트 또는 뷰포인트들의 범위로부터 보일 수 있다. 포인트 클라우드는 다수의 방식들에 의해, 예컨대:

깊이 활성 감지 디바이스에 의해 선택적으로 보완되는, 카메라들의 리그에 의한 실제 객체 샷의 캡처로부터;

모델링 툴에서 가상 카메라들의 리그에 의한 가상/합성 객체 샷의 캡처로부터;

실제 객체 및 가상 객체 둘 모두의 혼합으로부터 획득될 수 있다.

도 2는 3D 장면들의 시퀀스를 나타내는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다. 인코딩 포맷은, 예를 들어 그리고 동시에, 3DoF, 3DoF+ 및 6DoF 디코딩에 호환가능할 수 있다.

3D 장면들(20)의 시퀀스가 획득된다. 픽처들의 시퀀스가 2D 비디오이므로, 3D 장면들의 시퀀스는 3D(볼류메트릭으로도 불림) 비디오이다. 3D 장면들의 시퀀스는 3DoF, 3DoF+ 또는 6DoF 렌더링 및 디스플레이를 위한 볼류메트릭 비디오 렌더링 디바이스에 제공될 수 있다.

3D 장면들(20)의 시퀀스가 인코더(21)에 제공된다. 인코더(21)는 입력으로서 하나의 3D 장면들 또는 3D 장면들의 시퀀스를 취하고, 입력을 나타내는 데이터 스트림(22)을 제공한다. 데이터 스트림(22)은 메모리 내에 그리고/또는 전자 데이터 매체 상에 저장될 수 있고, 네트워크를 통해 송신될 수 있다. 데이터 스트림(22)은 데이터 스트림(22)을 디코더(23)에 송신하도록 구성된 스트리밍 디바이스(26)에 의해 수신되고 저장될 수 있다. 3D 장면들의 시퀀스를 나타내는 데이터 스트림(22)은 메모리로부터 그리고/또는 전자 데이터 매체 상에서 판독될 수 있고/있거나 디코더(23)에 의해 네트워크를 통해 수신될 수 있다. 디코더(23)는 상기 데이터 스트림(22)에 의해 입력을 받고, 예를 들어 포인트 클라우드 포맷으로, 3D 장면들의 시퀀스를 제공한다. 3D 장면들의 시퀀스는 렌더링 디바이스(28)에 의해 렌더링될 수 있다.

인코더(21)는 여러 단계들을 구현하는 여러 회로들을 포함할 수 있다. 제1 단계에서, 인코더(21)는 각각의 3D 장면을 적어도 하나의 2D 픽처 상에 투영한다. 3D 투영은 3차원 포인트들을 2차원 평면에 맵핑하는 임의의 방법이다. 그래픽 데이터를 디스플레이하기 위한 대부분의 현재 방법들은 평면(여러 비트 평면들로부터의 픽셀 정보) 2차원 매체들에 기초하므로, 이러한 유형의 투영의 사용은, 특히 컴퓨터 그래픽, 엔지니어링 및 드래프팅에서 광범위하다. 투영 회로(211)는 시퀀스(20)의 3D 장면에 대한 적어도 하나의 2차원 프레임(2111)을 제공한다. 프레임(2111)은 프레임(2111) 상에 투영된 3D 장면을 나타내는 색상 정보 및 깊이 정보를 포함한다. 변형예에서, 색상 정보 및 깊이 정보는 2개의 별개의 프레임들(2111, 2112)에 인코딩된다.

메타데이터(212)는 투영 회로(211)에 의해 사용되고 업데이트된다. 메타데이터(212)는 투영 동작에 관한, 그리고 도 5 내지 도 7과 관련하여 기술된 바와 같이 색상 및 깊이 정보가 프레임들(2111, 2112) 내에 조직되는 방식에 관한 정보(예컨대, 투영 파라미터들)를 포함한다.

비디오 인코딩 회로(213)는 프레임들(2111, 2112)의 시퀀스를 비디오로서 인코딩한다. 3D 장면(2111, 2112)의 픽처들(또는 3D 장면의 픽처들의 시퀀스)은 비디오 인코더(213)에 의해 데이터 스트림에 인코딩된다. 이어서, 비디오 데이터 및 메타데이터(212)는 데이터 캡슐화 회로(214)에 의해 데이터 스트림에 캡슐화된다.

인코더(213)는, 예를 들어, 하기와 같은 인코더와 호환된다:

- JPEG, 규격 ISO/CEI 10918-1 UIT-T Recommendation T.81, https://www.itu.int/rec/T-REC-T.81/en;

- MPEG-4 AVC 또는 h264로도 명명된 AVC. UIT-T H.264 및 ISO/CEI MPEG-4 Part 10 (ISO/CEI 14496-10) 둘 모두에 명시되어 있음, http://www.itu.int/rec/T-REC-H.264/en, HEVC(그것의 규격은 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en에 있음);

- 3D-HEVC(규격이 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and I에 있는 HEVC의 확장판);

- Google에 의해 개발된 VP9; 또는

- Alliance for Open Media에 의해 개발된 AV1(AOMedia Video 1).

데이터 스트림(22)은 디코더(23)에 의해, 예를 들어 네트워크를 통해 액세스가능한 메모리에 저장된다. 디코더(23)는 디코딩의 상이한 단계들을 구현하는 상이한 회로들을 포함한다. 디코더(23)는 입력으로서 인코더(21)에 의해 생성된 데이터 스트림을 취하고, 헤드 마운트 디바이스(HMD)와 같은 볼류메트릭 비디오 디스플레이 디바이스에 의해 렌더링되고 디스플레이될 3D 장면들(24)의 시퀀스를 제공한다. 디코더(23)는 소스(22)로부터 데이터 스트림을 획득한다. 예를 들어, 소스(22)는 하기를 포함하는 세트에 속한다:

- 로컬 메모리, 예컨대, 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 판독 전용 메모리), 하드 디스크;

- 저장소 인터페이스, 예컨대, 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지체를 갖는 인터페이스;

- 통신 인터페이스, 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 통신망 인터페이스) 또는 무선 인터페이스(예컨대, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및

- 사용자가 데이터를 입력할 수 있게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스.

디코더(23)는 데이터 스트림에 인코딩된 데이터를 추출하기 위한 회로(234)를 포함한다. 회로(234)는 입력으로서 데이터 스트림을 취하고, 데이터 스트림에 인코딩된 메타데이터(212)에 대응하는 메타데이터(232) 및 2차원 비디오를 제공한다. 비디오는 프레임들의 시퀀스를 제공하는 비디오 디코더(233)에 의해 디코딩된다. 디코딩된 프레임들은 색상 및 깊이 정보를 포함한다. 변형예에서, 비디오 디코더(233)는 프레임들의 2개의 시퀀스들을 제공하는데, 하나의 시퀀스는 색상 정보를 포함하고, 다른 시퀀스는 깊이 정보를 포함한다. 회로(231)는 메타데이터(232)를 사용하여, 3D 장면들(24)의 시퀀스를 제공하기 위해 디코딩된 프레임들로부터의 색상 및 깊이 정보를 투영하지 않도록 한다. 3D 장면들(24)의 시퀀스는 3D 장면들(20)의 시퀀스에 대응하며, 이때 정밀도의 가능한 손실은 2D 비디오로서의 인코딩 및 비디오 압축과 관련된다.

본 명세서에 개시된 본 발명의 원리들은 비디오 인코딩 방법(213), 3D-2D 투영 단계(211)에 대해 생성되고 그것을 위해 필요로 되는 메타데이터(212), 및 인코더(21)에 관한 것이다.

그들은 또한 비디오 디코딩 방법(233), 2D-3D 비-투영 단계(231)를 위해 수신되고 그에 대해 사용되는 메타데이터(232), 및 디코더(23)에 관한 것이다.

도 3은 도 12 내지 도 15 중 임의의 것을 참조하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(30)의 예시적인 아키텍처를 도시한다. 도 2의 인코더(21) 및/또는 디코더(23)는 이러한 아키텍처를 구현할 수 있다. 대안적으로, 인코더(21) 및/또는 디코더(23) 및/또는 스트리밍 디바이스(26) 및/또는 렌더링 디바이스(28)의 각각의 회로는, 예를 들어, 그들의 버스(31)를 통해 그리고/또는 I/O 인터페이스(36)를 통해 함께 연결된, 도 3의 아키텍처에 따른 디바이스일 수 있다.

디바이스(30)는 데이터 및 어드레스 버스(31)에 의해 함께 연결되는 하기의 요소들을 포함한다:

- 예를 들어, DSP(또는 디지털 신호 프로세서)인 마이크로프로세서(32)(또는 CPU);

- ROM(또는 판독 전용 메모리)(33);

- RAM(또는 랜덤 액세스 메모리)(34);

- 저장소 인터페이스(35);

- 애플리케이션으로부터의, 송신할 데이터의 수신을 위한 I/O 인터페이스(36); 및

- 전력 공급부, 예컨대 배터리.

일례에 따르면, 전력 공급부는 디바이스의 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 ≪레지스터≫는 작은 용량(약간의 비트들)의 영역 또는 매우 큰 영역(예컨대, 전체 프로그램 또는 다량의 수신되거나 디코딩된 데이터)에 대응할 수 있다. ROM(33)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(33)은 본 발명의 원리들에 따른 기법들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 스위치-온될 때, CPU(32)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.

RAM(34)은, 레지스터 내의, CPU(32)에 의해 실행되고 디바이스(30)의 스위치-온 후에 업로드된 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.

본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀룰러폰, 휴대용/개인 휴대 정보 단말기("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.

예들에 따르면, 디바이스(30)는 도 12 내지 도 15 각각을 참조하여 기술된 방법을 구현하도록 구성되고, 하기를 포함하는 세트에 속할 수 있다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 픽처 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 서버(예컨대, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버).

도 4는 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 데이터 스트림의 신택스의 일 실시예의 일례를 도시한다. 도 4는 볼류메트릭 비디오 데이터 스트림의 예시적인 구조물(4)을 도시한다. 구조물은 신택스의 독립적인 요소들로 데이터 스트림을 조직하는 컨테이너(container)에 있다. 구조물은 데이터 스트림의 모든 신택스 요소들에 공통인 데이터의 세트인 헤더 부분(41)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 요소들에 관한 메타데이터의 일부를 포함하며, 이는 그들 각각의 특성 및 역할을 설명한다. 헤더 부분은 또한, 도 2의 메타데이터(212)의 일부, 예를 들어, 프레임들(2111, 2112) 상으로 3D 장면의 포인트들을 투영하기 위해 사용되는 중심 시점의 좌표들을 포함할 수 있다.

본 발명의 원리들에서, 도 2의 메타데이터(212)는 인코딩, 송신, 디코딩 및 렌더링될 3D 장면의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스들 및 중간 뷰잉 경계 박스들의 포지션들 및 크기들을 포함할 수 있다. 그들은 또한, 3D-2D 투영 파라미터들 또는 2D-3D 비-투영 파라미터들과 같은 투영 파라미터들을 포함할 수 있다. 기준 뷰잉 경계 박스를 참조할 때, 투영 파라미터들은 기준 투영 파라미터들로 지칭될 수 있다. 중간 뷰잉 경계 박스를 참조할 때, 투영 파라미터들은 중간 투영 파라미터들로 지칭될 수 있다. 본 명세서에서 고려되는 투영들은, 예를 들어, 그래픽 렌더링 분야에 알려진, 임의의 유형의 투영들 또는 비-투영들이다. 그들은 3D 데이터에서 2D 데이터(맵 투영)로의 또는 그 반대로의 파라미터화를 전달한다.

구조물은 신택스의 요소(42) 및 신택스의 적어도 하나의 요소(43)를 포함하는 페이로드를 포함한다. 신택스 요소(42)는 색상 및 깊이 프레임들을 나타내는 데이터를 포함한다. 이미지들은 비디오 압축 방법에 따라 압축되었을 수 있다.

신택스의 요소(43)는 데이터 스트림의 페이로드의 일부이고, 신택스의 요소(42)의 프레임들이 어떻게 인코딩되는지에 관한 메타데이터, 예를 들어 프레임들 상에 3D 장면의 포인트들을 투영하고 패킹하기 위해 사용되는 파라미터들을 포함할 수 있다. 그러한 메타데이터는 비디오의 각각의 프레임과 또는 프레임들의 그룹(비디오 압축 표준에서 픽처들의 그룹(Group of Pictures, GoP)으로도 알려짐)에 연관될 수 있다.

도 5는 패치 아틀라스 접근법을 예시하며, 이에 의해 3DoF+ 뷰잉 경계 박스와 연관된, 3D 장면에 관련된 3DoF+ 볼류메트릭 비디오 콘텐츠가 인코딩될 수 있다. 패치 아틀라스는 패치들, 즉, 2개의 이미지들 사이의 차이들에 기인할 수 있는 잔상들을 포함한다. 패치들은 3DoF+ 볼류메트릭 비디오 콘텐츠로 표현되는 3D 장면의 부분의 상이한 영역들로부터의 3DoF+ 볼류메트릭 비디오 콘텐츠의 볼류메트릭 정보를 인코딩한다. 패치들은 투영 중심들 상에서의 3D-2D 투영들에 의해 획득된다. 3D-2D 투영들은, 예를 들어, 그래픽 렌더링 분야에 알려진, 임의의 유형의 것일 수 있다. 중심 뷰가, 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트의 방향으로의 3D-2D 투영에 대응하여, 아틀라스에 포함될 수 있고, 주요 뷰포인트는 3DoF+ 뷰잉 경계 박스의 중심과 일치할 수 있다. 그러한 중심 뷰는 주요 뷰포인트로부터 가시적인 3D 장면의 부분들을 포함할 수 있다. 작은 주변 패치들이, 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트와는 상이한 뷰포인트들의 방향으로의 3D-2D 투영들에 대응하여, 아틀라스에 포함될 수 있다. 작은 주변 패치들은 주요 뷰포인트로부터 가시적이지 않은 부분들을 포함할 수 있다.

중심 뷰는 3DoF+ 뷰잉 경계 박스의 주요 뷰포인트로부터 보이는 3D 장면의 중심 이미지(예를 들어, 잔상이 아님)를 인코딩한다.

도 5에서, 4개의 투영 중심들의 예가 도시되어 있다. 3D 장면(50)은 캐릭터를 포함한다. 예를 들어, 투영의 중심(51)은 투시 카메라(perspective camera)이고, 카메라(53)는 정사영 카메라(orthographic camera)이다. 카메라는 또한, 예를 들어, 구형 맵핑(예컨대, 정방형 맵핑) 또는 큐브 맵핑을 갖는 전방향 카메라일 수 있다. 3D 장면의 3D 포인트들은 메타데이터의 투영 데이터에 설명된 투영 동작에 따라, 투영 중심들에 위치된 가상 카메라들과 연관된 2D 평면들 상에 투영된다. 도 5의 예에서, 카메라(51)에 의해 캡처된 포인트들의 투영은 원근 맵핑(perspective mapping)에 따라 패치(52) 상에 맵핑되고, 카메라(53)에 의해 캡처된 포인트들의 투영은 정사영 맵핑에 따라 패치(54) 상에 맵핑된다.

투영된 픽셀들의 클러스터링(clustering)은 직사각형 아틀라스(55)에 패킹된 다수의 2D 패치들을 산출한다. 아틀라스 내의 패치들의 조직은 아틀라스 레이아웃을 정의한다. 일 실시예에서, 동일한 레이아웃을 갖는 2개의 아틀라스들: 텍스처(즉, 색상) 정보에 대한 하나의 아틀라스 및 깊이 정보에 대한 하나의 아틀라스. 동일한 카메라에 의해 또는 2개의 별개의 카메라들에 의해 캡처된 2개의 패치들은, 예를 들어 패치들(54, 56)과 같은 3D 장면의 동일한 부분을 나타내는 정보를 포함할 수 있다.

패킹 동작은 각각의 생성된 패치에 대한 패치 데이터를 생성한다. 패치 데이터는 투영 데이터에 대한 참조(예를 들어, 투영 데이터에 대한 포인터(즉, 데이터 스트림 내의 또는 메모리 내의 어드레스) 또는 투영 데이터의 테이블 내의 인덱스) 및 아틀라스 내의 패치의 크기 및 위치를 설명하는 정보(예컨대, 상단 좌측 코너 좌표들, 픽셀들의 크기 및 폭)를 포함한다. 하나 또는 2개의 아틀라스들의 압축 데이터와 연관되어 데이터 스트림에 캡슐화될 메타데이터에 패치 데이터 항목들이 추가된다.

도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보(예컨대, RGB 데이터 또는 YUV 데이터)를 포함하는 아틀라스(60)의 일례를 도시한다. 도 5와 관련하여 설명된 바와 같이, 아틀라스는 중심 뷰를 갖거나 또는 갖지 않는 집합된 이미지 패킹 패치들이다. 아틀라스 내에서, 중심 뷰는 또한, 중심 뷰가 대체적으로 잔상이 아니라 3D 장면의 전체 이미지임에도 불구하고, 중심 패치로 지칭될 수 있다.

도 6의 예에서, 아틀라스(60)는 시점에서 가시적인 3D 장면의 포인트들의 텍스처 정보를 포함하는 제1 부분(61) 및 하나 이상의 제2 부분들(62)을 포함한다. 제1 부분(61)의 텍스처 정보는, 예를 들어, 등장방형 투영 맵핑에 따라 획득될 수 있고, 등장방형 투영 맵핑은 구형 투영 맵핑의 일례이다. 도 6의 예에서, 제2 부분들(62)은 제1 부분(61)의 좌측 및 우측 경계들에 배열되지만, 제2 부분들은 상이하게 배열될 수 있다. 제2 부분들(62)은 시점에서 가시적인 부분에 상보적인 3D 장면의 부분들의 텍스처 정보를 포함한다. 제2 부분들은 3D 장면으로부터 제1 뷰포인트에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 동일한 시점에 따라 나머지 포인트들을 투영함으로써 획득될 수 있다. 후자의 프로세스는 3D 장면의 은닉 부분들을 매번 획득하기 위해 반복적으로 반복될 수 있다. 일 변형예에 따르면, 제2 부분들은 3D 장면으로부터 시점, 예를 들어 중심 시점에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 제1 시점과는 상이한 시점에 따라, 예를 들어 중심 시점 상에 중심을 둔 뷰 공간(예컨대, 3DoF 렌더링의 뷰잉 공간)의 하나 이상의 제2 시점으로부터 나머지 포인트들을 투영함으로써 획득될 수 있다.

제1 부분(61)은 제1 대형 텍스처 패치(3D 장면의 제1 부분에 대응함)로 보일 수 있고, 제2 부분들(62)은 더 작은 텍스처 패치들(제1 부분에 상보적인 3D 장면의 제2 부분들에 대응함)을 포함한다. 그러한 아틀라스는 (제1 부분(61)만을 렌더링할 때) 3DoF 렌더링과 동시에 그리고 3DoF+ / 6DoF 렌더링과 동시에 호환가능하다는 이점을 갖는다.

도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스(70)의 일례를 도시한다. 아틀라스(70)는 도 6의 텍스처 이미지(60)에 대응하는 깊이 이미지로 보일 수 있다.

아틀라스(70)는 중심 시점에서 가시적인 3D 장면의 포인트들의 깊이 정보를 포함하는 제1 부분(71) 및 하나 이상의 제2 부분들(72)을 포함한다. 아틀라스(70)는 아틀라스(60)와 동일한 방식으로 획득될 수 있지만, 텍스처 정보 대신에 3D 장면의 포인트들과 연관된 깊이 정보를 포함한다.

6DoF 볼류메트릭 비디오 콘텐츠는 별개의 뷰잉 포지션들에서의 다수의 3DoF+ 볼류메트릭 비디오 콘텐츠의 세트에 의해 표현될 수 있다.

도 8은 앞서 나타낸 바에 따른 볼류메트릭 비디오 콘텐츠의 6DoF 렌더링을 위한 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 저장 및 스트리밍을 예시한다. 도 8의 상단에 도시된 바와 같이, 복수의 3DoF+ 뷰잉 경계 박스들(81)이 3D 장면의 내비게이션 공간(804) 내의 별개의 뷰잉 포지션들에서 정의되고, 볼류메트릭 비디오 서브-콘텐츠는 3DoF+ 뷰잉 경계 박스들 각각에 대해 인코딩된다. 이러한 예에서, 3DoF+ 뷰잉 경계 박스들은 중첩되지 않는다. 최종 사용자(80)는 3D 장면의 내비게이션 공간 내에서 이동할 수 있다. 최종 사용자(80)가 3DoF+ 뷰잉 경계 박스(811)에 들어갈 때, 뷰잉 포지션이 업데이트되고(801), 새롭게 들어간 3DoF+ 뷰잉 경계 박스(811)와 연관된 인코딩된 볼류메트릭 비디오 서브-콘텐츠가 디코더에 의해 획득된다. 이어서, 3DoF+ 뷰잉 경계 박스(81)와 연관된 인코딩된 볼류메트릭 비디오 콘텐츠가 단계(802)에서 디코딩되어, 최종 사용자에 의해 사용되는 렌더링 디바이스 상에 렌더링되는 뷰를 단계(803)에서 합성한다.

3DoF+ 렌더링에서, 사용자는 3DoF+ 뷰잉 경계 박스 내에서 시점을 이동시킬 수 있다. 이는 시차를 경험할 수 있게 한다. 3DoF+ 뷰잉 경계 박스의 임의의 뷰포인트로부터 가시적인 3D 장면의 부분을 나타내는 데이터는, 앞서 언급된 주요 뷰포인트로부터 가시적인 3D 장면을 나타내는 데이터를 포함하여, 3DoF+ 뷰잉 경계 박스에 연관되고 전체 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 서브-콘텐츠에 포함된다.

대체적으로, 3DoF+ 뷰잉 경계 박스에 연관된 볼류메트릭 비디오 서브-콘텐츠는 중심 뷰 및 주변 패치들을 갖는 아틀라스의 형태로 인코딩된다. 중심 뷰는 3DoF+ 뷰잉 경계 박스의 중심에 포지셔닝되고 3DoF+ 뷰잉 경계 박스의 소위 주요 뷰포인트에 따라 배향된 카메라에 의해 캡처된 중심 이미지를 인코딩한다. 주변 패치들은, 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 캡처하는 카메라와는 상이한 포즈를 갖고 3DoF+ 뷰잉 경계 박스에 포함된 뷰포인트들에 대응하는 카메라들에 의해 캡처된 주변 이미지들을 인코딩한다.

용어 "패치"는 2개의 이미지들 사이의 차이로부터 기인할 수 있는 잔상을 의미한다. 실제로, 각각의 뷰잉 경계 박스에 대하여, 주변 패치들 각각은 주변 이미지와 중심 이미지 사이의 차이들을 인코딩한다. 특히, 주변 패치들은, 예를 들어, 주요 뷰포인트로부터의 사용자 변위로 인해, 현재 뷰포인트가 변경될 때 사용되는 반-엄폐(de-occultation) 데이터 또는 시차 정보를 포함한다. 중심 뷰 및 주변 패치들은 아틀라스(또는 동일한 레이아웃을 갖는 2개의 아틀라스들, 하나는 텍스처(또는 색상) 데이터를 포함하고, 다른 하나는 깊이 데이터를 포함함)로 패킹될 수 있다.

3DoF+ 뷰잉 경계 박스 안에 남아 있을 때, 최종 사용자는 렌더링된 3D 장면을 나타내는 모든 액세스가능한 볼류메트릭 정보에 액세스할 것이다. 3DoF+ 뷰잉 경계 박스 밖으로 나올 때, 추가적인 정보가 획득되지 않은 경우, 3D 장면에 대한 볼류메트릭 정보가 누락될 것이고, 특히, 빠져나온 3DoF+ 뷰잉 경계 박스의 중심 뷰는 더 이상 적절하지 않을 것이다. 최종 사용자는 볼류메트릭 렌더링을 재개하기 위해서 다른 3DoF+ 뷰잉 경계 박스에 들어갈 필요가 있을 것이다. 따라서, 2개의 중첩되지 않은 3DoF+ 뷰잉 경계 박스들 사이의 데이터를 보간하는 것에 관심이 있을 것이다.

3D 장면의 내비게이션 공간 또는 3D 렌더링 공간 내에 정의된 중첩되지 않은 3DoF+ 뷰잉 경계 박스들의 초기 세트의 3DoF+ 뷰잉 경계 박스들은 기준 뷰잉 경계 박스들로 지칭될 수 있다. 그러한 기준 뷰잉 경계 박스들 사이에, 소위 중간 뷰잉 경계 박스들이 정의될 수 있다. 기준 뷰잉 경계 박스 또는 중간 뷰잉 경계 박스인 뷰잉 경계 박스에, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 서브-콘텐츠가 연관될 수 있다. 기준 뷰잉 경계 박스와 연관된 볼류메트릭 비디오 서브-콘텐츠는 볼류메트릭 비디오 기준 서브-콘텐츠로 지칭될 것이다. 중간 뷰잉 경계 박스와 연관된 볼류메트릭 비디오 서브-콘텐츠는 볼류메트릭 비디오 중간 서브-콘텐츠로 지칭될 것이다.

본 발명의 원리들에 따른 인코딩 방법(각각 송신 방법 및 디코딩 방법)의 목적은 하나 이상의 중간 뷰잉 경계 박스들 각각과 연관된 볼류메트릭 비디오 서브-콘텐츠를 인코딩하는 데 사용되는 데이터의 양을 감소시킴으로써, 인코딩(각각 송신 및 디코딩)될 데이터의 양을 감소시키는 것이다.

3D 장면과 관련된 볼류메트릭 비디오 기준 서브-콘텐츠들이 인코딩되는 동안, 전술한 바와 같이, 중심 뷰 및 주변 패치들에 의해, 3D 장면과 관련된 볼류메트릭 비디오 중간 서브-콘텐츠들이 본 발명의 원리들에 따라 상이하게 인코딩된다.

도 9는 중간 뷰잉 경계 박스의 중간 볼류메트릭 비디오 서브-콘텐츠를 인코딩하기 위해 수행되는 단계들의 태양들을 예시한다.

중간 볼류메트릭 비디오 서브-콘텐츠의 인코딩은, 본 명세서에서 또한 중간 중심 이미지로도 지칭되는, 중간 볼류메트릭 비디오 서브-콘텐츠의 중심 이미지의 코딩에 기초한다. 인코딩은, 기준 볼류메트릭 비디오 서브-콘텐츠, 예를 들어, 고려되는 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 경계 박스에 대응하는 기준 볼류메트릭 비디오 서브-콘텐츠에 대한 중간 볼류메트릭 비디오 서브-콘텐츠의 상대적인 인코딩이다. 기준 볼류메트릭 비디오 서브-콘텐츠로부터의 것일 수 없는 중간 볼류메트릭 비디오 서브-콘텐츠는 잔여 패치들에 의해 인코딩된다.

보다 정확하게는, 도 9에 예시된 바와 같이, 적어도 하나의 중간 중심 이미지(색상 이미지(930) 및/또는 깊이 이미지(931))는 2D-3D 반-투영 및 3D-2D 재-투영을 사용하여 적어도 하나의 중간 중심 이미지(색상 이미지(920) 및/또는 깊이 이미지(921))를 생성함으로써 적어도 하나의 기준 중심 이미지(색상 이미지(910) 및/또는 깊이 이미지(911))로부터 획득된다: 따라서, 기준 볼류메트릭 비디오 서브-콘텐츠의 기준 중심 이미지는 중간 뷰잉 경계 박스의 주요 뷰포인트로부터 보이는 바와 같이 왜곡(warp)된다.

기준 중심 이미지는, 포즈가 기준 뷰잉 경계 박스의 주요 뷰포인트에 대응하고 기준 뷰잉 경계 박스의 주요 중심에 배치되는 실제 카메라에 의해 캡처된 이미지일 수 있다. 기준 중심 이미지는 또한, 2개의 이미지들의 보간일 수 있다. 기준 중심 이미지는 또한, 고려되는 기준 뷰잉 경계 박스에 대한, 데이터 스트림에 인코딩된 기준 중심 뷰일 수 있다.

기준 중심 이미지의 투영 및 반-투영은, 예를 들어, 그래픽 렌더링 파이프라인에 의해 수행될 수 있다. 중간 중심 이미지에는, 기준 뷰잉 경계 박스의 주요 뷰포인트로부터가 아니라, 중간 뷰잉 경계 박스의 주요 뷰포인트로부터 가시적인 포인트들이 누락되어 있다.

중간 중심 이미지(색상 이미지(921) 및/또는 깊이 이미지(922))는 중간 뷰잉 경계 박스의 주요 뷰포인트의 방향으로의 3D 장면의 투영에 의해 생성된다. 예를 들어, 이러한 중간 중심 이미지는 포즈가 중간 뷰잉 경계 박스의 주요 뷰포인트에 대응하고 중간 뷰잉 경계 박스의 중심에 배치되는 실제 카메라에 의해 캡처된 이미지일 수 있다. 중간 중심 이미지는 또한, 2개의 이미지들의 보간일 수 있다.

중간 중심 이미지(색상 이미지(910), 깊이 이미지(911))의 픽셀들과 매칭되지 않는 중간 중심 이미지의 픽셀들만이 유지되고 잔여 패치들(940, 941)에 의해 인코딩된다.

도 9에 예시된 바와 같이, 좌측으로부터 우측으로, 기준 중심 이미지의, 기준 뷰잉 경계 박스의 기준 주요 뷰포인트(900)(여기서는, 기준 중심 뷰포인트)의 방향으로의 2D-3D 비-투영에 뒤이어 중간 뷰잉 경계 박스의 중간 주요 뷰포인트(901)(여기서는, 중간 중심 뷰포인트(901))의 방향으로의 3D-2D 투영이 이어짐으로써, 중간 중심 이미지(920, 921)가 생성된다.

이어서, 차이 이미지가 중간 중심 이미지와 중간 중심 이미지 사이의 차이로서 계산된다. 오른쪽에서, 차이 이미지로부터, 단지 하나 이상의 잔여 패치들만이 중간 볼류메트릭 비디오 서브-콘텐츠를 인코딩하기 위해 유지된다. 데이터의 양은 기준 볼류메트릭 비디오 서브-콘텐츠에 대해 전술한 바와 같은 패치 아틀라스에 의한 중간 볼류메트릭 비디오 서브-콘텐츠들의 인코딩과 비교하여 감소된다.

중간 중심 이미지와 중간 중심 이미지 사이의 차이는 픽셀별 차이 함수를 사용함으로써 수행될 수 있다. 제1 실시예에서, 깊이 값들 사이의 절대 차이만이 고려된다. 제2 실시예에서, 깊이 값들 사이의 차이에 더하여, 색상 값들 사이의 절대 차이가 또한 고려된다.

하나 이상의 실시예들에서, 임계치가 결정되고, 단지 차이 이미지의 픽셀 값이 정의된 임계치를 초과할 때에만, 차이 이미지의 대응하는 깊이 및 색상 값들이 유지되고 잔여 패치들로 인코딩된다. 차이 이미지의 이러한 부분들은, 경면 반사(specular reflection)들 및/또는 방향성 조명의 경우, 기준 볼류메트릭 비디오 서브-콘텐츠에서 보이지 않거나 또는 상이한 색상으로 보이는 3D 장면의 (보통 작은) 부분들에 대응한다. 차이 이미지의 이러한 유지되는 픽셀들은 (작은 치수들의) 잔여 아틀라스로 추가로 패킹되는 잔여 패치들로 클러스터링된다. 중간 중심 패치 내의 잔여 패치들의 위치들이 기억된다.

(시차를 가능하게 하기 위해) 중심 뷰포인트로부터 폐색되는 장면 부분들을, 시프트(shift)된 포지션들로부터 캡처하는 3D 장면 필링 프로세스(peeling process)의 추가적인 반복들이 행해지고, 추가적인 잔여 패치들이 산출될 수 있다.

고려되는 기준 뷰잉 경계 박스는 3D 장면 내의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 경계 박스일 수 있다. 고려되는 기준 뷰잉 경계 박스와 중간 뷰잉 경계 박스는 중첩될 수 있다.

도 10은, 그것의 좌측 부분에, 기준 뷰잉 경계 박스에 대한 볼류메트릭 비디오 기준 서브-콘텐츠를 인코딩하는 색상 패치 아틀라스(1000)의 예를 도시하는 반면, 그것의 우측 부분에는, 중간 뷰잉 경계 박스에 대응하는 우측으로 10cm 시프트된 뷰포인트로부터 보여지는 중심 이미지(1010)가 도시되어 있다.

도 11은, 좌측에, 중간 중심 이미지와 대응하는 중간 중심 이미지 사이의 픽셀별 차이(1100)의 결과를 도시한다. 이러한 차이 이미지로부터, 도 11의 우측 부분에 예시된 바와 같은, 중간 중심 패치들(1110)이 추출될 수 있다. 그러한 중간 중심 패치들은, 또한 본 명세서에서 잔여 아틀라스로도 지칭되는, 더 작은 치수들의 아틀라스에 패킹될 수 있는 잔여 패치들이다. 이러한 잔여 아틀라스는, 어떠한 중심 뷰도 포함하지 않고, 단지 잔여 패치들만을 포함한다.

도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 인코딩하기 위한 방법을 예시한다. 방법의 단계들은 도 3을 참조하여 설명된 디바이스(30) 및/또는 도 2를 참조하여 설명된 인코더(21)에 의해 수행될 수 있다.

단계(1200)에서, 디바이스(30)의 상이한 파라미터들이 업데이트된다. 특히, 소스로부터 3D 장면이 획득된다.

단계(1201)에서, 3D 장면 내의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스 및 중간 뷰잉 경계 박스가 획득된다.

단계(1202)에서, 2개의 서브-단계들(1202A, 1202B)이 수행된다:

- 단계(1202A)에서, 볼류메트릭 비디오 기준 서브-콘텐츠가 기준 중심 뷰 및 하나 이상의 기준 주변 패치들에 의해 인코딩된다. 기준 중심 뷰는 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 인코딩하고, 하나 이상의 기준 주변 패치들은 볼류메트릭 비디오 기준 서브-콘텐츠의 하나 이상의 주변 이미지들을 인코딩한다.

- 단계(1202B)에서, 볼류메트릭 비디오 중간 서브-콘텐츠가 볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지와 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치에 의해 인코딩된다.

도 13은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠를 송신하기 위한 방법을 예시한다. 방법의 단계들은 도 3을 참조하여 설명된 디바이스(30) 및/또는 도 2를 참조하여 설명된 스트리밍 디바이스(26)에 의해 수행될 수 있다.

단계(1300)에서, 디바이스(30)의 상이한 파라미터들이 업데이트된다. 특히, 본 명세서에서 제시된 인코딩 방법에 따라 인코딩된 3D 장면에 관련된 볼류메트릭 비디오 콘텐츠는 소스, 예를 들어, 메모리로부터 획득된다.

단계(1301)에서, 뷰포인트에 대응하는 3D 장면 내의 포지션이 획득된다.

단계(1302)에서, 단계(1301)에서 획득된 포지션을 포함하는 중간 뷰잉 경계 박스에 대응하는 현재 뷰잉 경계 박스가 획득된다.

단계(1303)에서, 중간 뷰잉 경계 박스와 연관된 볼류메트릭 비디오 중간 서브-콘텐츠를 인코딩하는 적어도 하나의 중간 중심 패치 및 기준 뷰잉 경계 박스에 대한 볼류메트릭 비디오 기준 서브-콘텐츠를 인코딩하는 기준 중심 뷰가 송신된다.

도 14는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 중간 서브-콘텐츠를 디코딩하기 위한 방법을 예시한다. 방법의 단계들은 도 3을 참조하여 설명된 디바이스(30) 및/또는 도 2를 참조하여 설명된 디코더(23)에 의해 수행될 수 있다.

단계(1400)에서, 디바이스(30)의 상이한 파라미터들이 업데이트된다. 특히, 3D 장면 내의 중간 뷰잉 경계 박스의 경우, 볼류메트릭 비디오 중간 서브-콘텐츠의 중심 이미지와 기준 뷰잉 경계 박스에 대해 인코딩된 볼류메트릭 비디오 콘텐츠의 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치가 획득된다. 기준 뷰잉 경계 박스는 3D 장면의 내비게이션 공간 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 경계 박스일 수 있다.

단계(1401)에서, 볼류메트릭 비디오 기준 서브-콘텐츠의 중심 이미지를 인코딩하는 기준 중심 뷰가 획득된다.

단계(1402)에서, 적어도 하나의 중간 중심 패치 및 기준 중심 뷰로부터의 포인트 클라우드의 형태로, 디코딩된 볼류메트릭 비디오 서브-콘텐츠가 생성된다.

단계(1402)는 하기의 서브-단계들(1402A, 1402B, 1402C, 1402D)을 포함할 수 있다:

- 서브-단계(1402A)에서, 기준 중심 뷰가 2D-3D 비-투영을 겪고, 임시 포인트 클라우드 상에 비-투영되고;

- 서브-단계(1402B)에서, 임시 포인트 클라우드가 중간 중심 이미지를 획득하기 위해 3D-2D 투영을 겪고;

- 서브-단계(1402C)에서, 중간 중심 이미지 내의 대응하는 픽셀들이 적어도 하나의 중간 중심 패치로 대체되어, 재구성된 중간 중심 이미지를 획득하고;

- 서브-단계(1402D)에서, 재구성된 중간 중심 이미지가 중간 뷰잉 경계 박스 내의 중심 이미지에 대응하는 포인트 클라우드를 획득하기 위해 2D-3D 비-투영을 겪는다.

중간 볼류메트릭 비디오 서브-콘텐츠와 관련된 메타데이터를 획득하는 추가적인 단계(1402')가 단계(1402)를 뒤따를 수 있다. 메타데이터는 기준 뷰잉 경계 박스의 중심과 중간 뷰잉 경계 박스의 중심의 포지션들, 기준 투영 파라미터들 및 중간 투영 파라미터들을 포함할 수 있다. 기준 뷰잉 경계 박스의 중심 및 기준 투영 파라미터들은 서브-단계(1402A)에서 사용된다. 중간 뷰잉 경계 박스의 중심 및 중간 투영 파라미터들은 서브-단계들(1402B, 1402D)에서 사용된다.

디코딩 방법은 하기의 추가적인 단계들(1403, 1404)을 추가로 포함할 수 있다.

단계(1403)에서, 볼류메트릭 비디오 기준 서브-콘텐츠의 하나 이상의 주변 이미지들을 인코딩하는 하나 이상의 기준 주변 패치들이 획득된다.

단계(1404)에서, 디코딩된 볼류메트릭 비디오 서브-콘텐츠가, 적어도 하나의 중간 중심 패치, 기준 중심 뷰 및 중간 뷰잉 경계 박스 내의 주변 이미지에 대한, 하나 이상의 기준 주변 패치들 중 적어도 하나의 기준 주변 패치로부터의 포인트 클라우드의 형태로 생성된다.

단계(1404)는 하기의 서브-단계들을 포함할 수 있다:

- 임시 포인트 클라우드를 획득하기 위한, 서브-단계(1402A)에 대응하는 서브-단계(1404A);

- 중간 중심 이미지를 획득하기 위한, 서브-단계(1402B)에 대응하는 서브-단계(1404B);

- 재구성된 중간 중심 이미지를 획득하기 위한, 서브-단계(1402C)에 대응하는 서브-단계(1404C);

- 하나 이상의 기준 주변 패치들 및 재구성된 중간 중심 이미지를 사용하여 중간 뷰잉 경계 박스 내의 현재 중심 이미지를 재구성하는, 서브-단계(1404D);

- 중간 뷰잉 경계 박스 내의 주변 이미지에 대응하는 포인트 클라우드를 획득하기 위해 현재 중심 이미지가 2D-3D 비-투영을 겪는, 서브-단계(1404E).

도 15는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠를 렌더링하기 위한 방법을 예시한다. 방법의 단계들은 도 3을 참조하여 설명된 디바이스(30) 및/또는 도 2를 참조하여 설명된 렌더링 디바이스(28)에 의해 수행될 수 있다.

단계(1500)에서, 디바이스(30)의 상이한 파라미터들이 업데이트된다. 특히, 렌더링 3D 공간 내의 제1 뷰포인트가 획득된다.

단계(1501)에서, 볼류메트릭 비디오 콘텐츠의 중간 볼류메트릭 비디오 서브-콘텐츠가 위에서 제시된 디코딩 방법에 따라 디코딩된다.

단계(1502)에서, 디코딩된 중간 볼류메트릭 비디오 서브-콘텐츠가 렌더링된다.

도 16은 3D 장면을 나타내는 볼류메트릭 비디오 콘텐츠의 저장 및 스트리밍을 예시한다. 3DoF+ 뷰잉 경계 박스들(160, 161, 162, 163)이 표현된다. 3DoF+ 뷰잉 경계 박스들(160, 163)은 3DoF+ 기준 뷰잉 경계 박스들일 수 있는 반면, 3DoF+ 뷰잉 경계 박스들(161, 162)은 3DoF+ 중간 뷰잉 경계 박스들일 수 있다. 3DoF+ 뷰잉 경계 박스들(160, 161, 162, 163)은 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들(1600, 1601, 1602, 1603)과 연관된다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들(1600, 1603)은 기준 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들일 수 있는 반면, 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들(1601, 1602)은 중간 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들일 수 있다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들(1600, 1603)은, 앞서 설명된 바와 같이, 기준 중심 뷰들 및 주변 패치들에 의해 인코딩될 수 있다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠들(1601, 1602)은, 앞서 제시된 원리들에 따라, 적어도 하나의 중간 중심 패치에 의해 인코딩될 수 있다.

최종 사용자가, 3D 렌더링 공간 내에서, 도 16에 예시된 바와 같은 3D 경로를 따라, 0, 1, 2 및 3과 동일한 포지션들 X를 연속적으로 통과할 때, 그는 6DoF 렌더링을 경험할 수 있다. 0과 동일한 포지션 X에서 시작하여, 최종 사용자는 3DoF+ 뷰잉 경계 박스(160) 내에 포지셔닝된다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠(1600)가 최종 사용자에 의해 사용되는 렌더링 디바이스로 송신되고, 디코딩되고 렌더링될 수 있다. 이어서, 1과 동일한 포지션 X로 이동할 때, 최종 사용자는 3DoF+ 뷰잉 경계 박스(161)로 들어간다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠(1601)가 상기 개시된 송신 방법에 따라 최종 사용자의 렌더링 디바이스로 송신되고, 이어서, 각각 상기 제시된 원리들에 따른 디코딩 방법 및 렌더링 방법에 따라 디코딩되고 렌더링될 수 있다. 이어서, 2와 동일한 포지션 X로 이동할 때, 최종 사용자는 3DoF+ 뷰잉 경계 박스(162)로 들어간다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠(1602)가 위에서 개시된 송신 방법에 따라 최종 사용자의 렌더링 디바이스로 송신되고, 이어서, 위에서 제시된 원리들에 따른 디코딩 방법 및 렌더링 방법에 따라 디코딩되고 렌더링될 수 있다. 다음으로, 3과 동일한 포지션 X로 이동할 때, 최종 사용자는 3DoF+ 뷰잉 경계 박스(163)로 들어간다. 3DoF+ 볼류메트릭 비디오 서브-콘텐츠(1603)가 최종 사용자의 렌더링 디바이스로 송신되고, 이어서 디코딩되고 렌더링될 수 있다.

설명된 원리들에 의해 야기되는 일부 이점들은 볼류메트릭 비디오 콘텐츠 인코딩의 효율과 관련되며, 저장 또는 송신하기 위한 데이터의 양을 감소시킬 수 있게 한다. 그들은 특히, 주요한 큰 중심 뷰를 포함하는 (3DoF+ 콘텐츠에 대한) 패치 아틀라스 레이아웃들에 적용되어, 주요 뷰포인트로부터 가시적인 장면 부분들을 임베드할 수 있다.

본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 스마트폰, 태블릿, 컴퓨터, 모바일 폰, 휴대용/개인 디지털 어시스턴트("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.

본 명세서에 기술된 다양한 프로세스들 및 특징들의 구현예들은 여러 가지 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 그러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리-프로세서, 인코더에 입력을 제공하는 전처리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 휴대폰, PDA, 및 다른 통신 디바이스를 포함한다. 분명히 알 수 있는 바와 같이, 장비는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은, 예를 들어 집적 회로, 소프트웨어 캐리어, 또는 예를 들어, 하드 디스크, 컴팩트 디스켓("CD"), (예를 들어, 종종 디지털 범용 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독가능 매체 상에 유형적으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 있을 수 있다. 명령어들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 그 둘의 조합에서 찾을 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독가능 매체(예컨대, 저장 디바이스)를 포함하는 디바이스 둘 모두로서 특징지어질 수 있다. 또한, 프로세서 판독가능 매체는 구현에 의해 생성된 데이터 값들을, 명령어들에 더하여 또는 이들 대신에, 저장할 수 있다.

당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 신택스를 기록하거나 판독하기 위한 규칙들을 데이터로서 전달하기 위해, 또는 기술된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 전달하기 위해 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 다른 구현예들을 생성하기 위해 상이한 구현예들의 요소들이 조합되거나, 보충되거나, 수정되거나, 또는 제거될 수 있다. 추가적으로, 당업자는, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고, 생성된 구현예들이, 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해, 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현예들이 본 출원에 의해 고려된다.

Claims (13)

1. 데이터 스트림에 3D 장면을 인코딩하기 위한 방법으로서,
   - 상기 3D 장면 내에 정의된 기준 뷰잉 박스(reference viewing box) 및 중간 뷰잉 박스를 획득하는 단계;
   - 상기 데이터 스트림에, 상기 기준 뷰잉 박스의 중심에서의 시점으로부터 캡처된 기준 중심 뷰 및 상기 기준 뷰잉 박스 내의 상이한 시점들로부터 캡처된 이미지들을 인코딩하는 기준 주변 패치들을 인코딩하는 단계;
   - 상기 데이터 스트림에, 상기 중간 뷰잉 박스의 중심으로부터 캡처된 뷰와 상기 기준 중심 뷰 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치를 인코딩하는 단계; 및
   - 상기 데이터 스트림에, 상기 기준 뷰잉 박스 및 상기 중간 뷰잉 박스를 설명하는 메타데이터 및 상기 상이한 시점들을 인코딩하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 기준 뷰잉 박스는 상기 3D 장면 내에 정의된 기준 뷰잉 박스들의 세트 중에서 상기 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 박스인, 방법.
3. 제1항 또는 제2항에 있어서, 기준 주변 패치는 주변 이미지와 상기 기준 중심 뷰 사이의 차이들을 인코딩하는, 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 중간 뷰잉 박스는 상기 기준 뷰잉 박스와 중첩하는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 3D 장면을 인코딩하는 상기 데이터 스트림을 송신하는 단계를 추가로 포함하는, 방법.
6. 데이터 스트림으로부터 3D 장면을 취출(retrieving)하기 위한 방법으로서,
   - 상기 데이터 스트림으로부터,
   

   

   상기 3D 장면 내의 기준 뷰잉 박스 및 중간 뷰잉 박스를 설명하는 메타데이터;
   

   

   상기 기준 뷰잉 박스의 중심에서의 시점으로부터 캡처된 기준 중심 뷰; 및
   

   

   상기 중간 뷰잉 박스의 중심으로부터 캡처된 뷰와 상기 기준 중심 뷰 사이의 차이들을 인코딩하는 적어도 하나의 중간 중심 패치를 디코딩하는 단계; 및
   - 상기 기준 중심 뷰의 픽셀들 및 상기 적어도 하나의 중간 중심 패치의 픽셀들을 비-투영(un-project)함으로써 상기 3D 장면을 취출하는 단계를 포함하는, 방법.
7. 제6항에 있어서,
   - 상기 데이터 스트림으로부터, 상기 기준 뷰잉 박스 내의 상이한 시점들로부터 캡처된 이미지들을 인코딩하는 기준 주변 패치들을 디코딩하는 단계; 및
   - 상기 기준 주변 패치들의 서브-세트의 픽셀들을 비-투영함으로써 상기 3D 장면을 취출하는 단계를 포함하는, 방법.
8. 제7항에 있어서, 상기 기준 주변 패치들의 서브-세트는 상기 중간 뷰잉 박스 내에 위치된 시점에 따라 선택되는, 방법.
9. 제6항 내지 제8항 중 어느 한 항에 있어서, 상기 기준 뷰잉 박스는 상기 3D 장면 내에 정의된 기준 뷰잉 경계 박스들의 세트 중에서 상기 중간 뷰잉 경계 박스로부터 가장 가까운 기준 뷰잉 박스인, 방법.
10. 제6항 내지 제9항 중 어느 한 항에 있어서, 상기 중간 뷰잉 박스 내에 위치된 시점에 대한 뷰포트 이미지를 렌더링하는 단계를 추가로 포함하는, 방법.
11. 적어도 하나의 프로세서가 적어도 제1항 내지 제5항 중 어느 한 항에 따른 또는 제6항 내지 제10항 중 어느 한 항에 따른 방법의 단계들을 수행하게 하기 위한 명령어들이 내부에 저장된 비일시적 프로세서 판독가능 매체.
12. 데이터 스트림에 3D 장면을 인코딩하기 위한 디바이스로서, 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하기 위한 수단을 포함하는, 디바이스.
13. 3D 장면을 취출하기 위한 디바이스로서, 제6항 내지 제10항 중 어느 한 항에 따른 방법을 수행하기 위한 수단을 포함하는, 디바이스.

Images