KR20220066328A - 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 - Google Patents

Abstract

멀티뷰 프레임을 인코딩, 디코딩 및 송신하기 위한 방법들, 디바이스들 및 스트림이 개시된다. 비-프루닝된 MVD 프레임이 획득되고, 뷰들 사이의 프루닝 우선순위 관계들을 표현하는 비순환 그래프가 결정된다. MVD는 이들 우선순위 관계들을 사용하여 프루닝된다. 프루닝된 MVD, 및 그래프를 표현하는 데이터는 데이터 스트림에 인코딩된다. 디코딩 시에, 뷰포트 프레임의 픽셀이 생성할 각각의 뷰의 기여는 디코딩된 프루닝 그래프의 함수로서 결정된다.

Description

볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치

본 발명의 원리들은 대체적으로 3차원(3D) 장면 및 볼류메트릭 비디오 콘텐츠의 분야에 관한 것이다. 본 문서는 또한, 모바일 디바이스들 또는 헤드 마운트 디스플레이(Head-Mounted Display, HMD)들과 같은 최종 사용자 디바이스들 상의 볼류메트릭 콘텐츠의 렌더링을 위해 3D 장면의 텍스처 및 기하구조를 표현하는 데이터의 인코딩, 포맷팅, 및 디코딩의 맥락에서 이해된다. 그들 중에서, 본 원리들은 최적의 비트스트림 및 렌더링 품질을 보장하기 위해 멀티뷰 이미지의 픽셀들을 프루닝(pruning)하는 것에 관한 것이다.

본 섹션은 독자에게 하기에서 기술되고/되거나 청구되는 본 발명의 원리들의 다양한 태양들과 관련될 수 있는 기술의 다양한 태양들을 소개하도록 의도된다. 이러한 논의는 본 발명의 원리들의 다양한 태양들의 더 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는 것에 도움이 되는 것으로 여겨진다. 따라서, 이들 진술들은 이러한 관점에서 읽혀야 하고, 선행 기술의 인정들로서 읽혀서는 안 된다는 것이 이해되어야 한다.

최근, 이용가능한 넓은 시야 콘텐츠(최대 360°)가 성장해 왔다. 그러한 콘텐츠는, 헤드 마운트 디스플레이, 스마트글래스, PC 스크린, 태블릿, 스마트폰 등과 같은 몰입형 디스플레이 디바이스들 상의 콘텐츠를 주시하는 사용자에게 완전히 가시적이지 않을 수 있다. 이는, 주어진 순간에, 사용자가 콘텐츠의 일부만을 보는 중일 수 있음을 의미한다. 그러나, 사용자는 전형적으로, 머리 움직임, 마우스 움직임, 터치 스크린, 음성 등과 같은 다양한 수단에 의해 콘텐츠 내에서 내비게이팅할 수 있다. 전형적으로, 이러한 콘텐츠를 인코딩하고 디코딩하는 것이 바람직하다.

360° 플랫 비디오로도 불리는 몰입형 비디오는 사용자가 정지 시점을 중심으로 하는 자신의 머리의 회전을 통해 그 자신 주변의 전부를 주시할 수 있게 한다. 회전은 3 자유도(3 Degrees of Freedom, 3DoF) 경험만을 허용한다. 3DoF 비디오가, 예를 들어 헤드 마운트 디스플레이 디바이스(HMD)를 사용한, 전방향 비디오의 첫 경험에 충분하더라도, 3DoF 비디오는, 예를 들어 시차를 경험함으로써, 더 큰 자유도를 예상하는 뷰어에게 빠르게 실망감을 주게 될 수 있다. 덧붙여, 3DoF는 또한, 사용자가 자신의 머리를 회전시킬 뿐만 아니라 그의 머리를 3개 방향들로도 변환하기 때문에 어지러움을 유발할 수 있는데, 이러한 변환들은 3DoF 비디오 경험들에서 재현되지 않는다.

넓은 시야 콘텐츠는, 특히, 3차원 컴퓨터 그래픽 이미지 장면(3D CGI 장면), 포인트 클라우드 또는 몰입형 비디오일 수 있다. 그러한 몰입형 비디오들을 설계하기 위해 많은 용어들이 사용될 수 있다: 예를 들어, 가상 현실(Virtual Reality, VR), 360, 파노라마, 4π 스테라디안, 몰입형, 전방향 또는 넓은 시야.

볼류메트릭 비디오(6 자유도(6DoF) 비디오로도 알려짐)는 3DoF 비디오에 대한 대안이다. 6DoF 비디오를 주시할 때, 회전들에 더하여, 사용자는 또한, 주시된 콘텐츠 내에서 자신의 머리, 및 심지어 자신의 신체를 변환할 수 있고, 시차 및 심지어 볼륨들을 경험할 수 있다. 그러한 비디오들은 몰입감 및 장면 깊이의 인지를 현저히 증가시키고, 머리 변환들 동안 일관된 시각적 피드백을 제공함으로써 어지러움을 방지한다. 콘텐츠는 관심 장면의 색상 및 깊이의 동시 기록을 허용하는 전용 센서들의 수단에 의해 생성된다. 사진측량 기법들과 조합된 컬러 카메라의 리그(rig)의 사용은, 기술적 어려움들이 남아 있더라도, 그러한 기록을 수행하는 방식이다.

3DoF 비디오들이 텍스처 이미지들(예컨대, 위도/경도 투영 맵핑 또는 정방형 투영 맵핑에 따라 인코딩된 구형 이미지들)의 비-맵핑으로부터 기인하는 이미지들의 시퀀스를 포함하지만, 6DoF 비디오 프레임들은 여러 시점들로부터의 정보를 임베드한다. 그들은 3차원 캡처로부터 기인한 일시적인 일련의 포인트 클라우드들로서 보일 수 있다. 뷰잉 조건들에 따라 2개 종류들의 볼류메트릭 비디오들이 고려될 수 있다. 제1 종류(즉, 완전한 6DoF)는 비디오 콘텐츠 내에서 완전한 자유 내비게이션을 허용하는 반면, 제2 종류(3DoF+로도 알려짐)는 사용자 뷰잉 공간을 뷰잉 구속 상자(viewing bounding box)로 불리는 제한적 볼륨으로 한정하여, 머리 및 시차 경험의 제한적 변환을 허용한다. 이러한 제2 맥락은 자리에 앉은 청중 구성원의 자유 내비게이션 조건과 수동 뷰잉 조건 사이의 유용한 절충안이다.

3DoF+ 콘텐츠들은 멀티뷰+ 깊이(Multi-View + Depth, MVD) 프레임들의 세트로서 제공될 수 있다. 그러한 콘텐츠들은 전용 카메라들에 의해 캡처되었을 수 있거나, 또는 전용 (가능하게는 사실적) 렌더링에 의해 기존 컴퓨터 그래픽(computer graphics, CG) 콘텐츠들로부터 생성될 수 있다. 볼류메트릭 정보는 대응하는 색상 및 깊이 아틀라스들에 저장된 색상 및 깊이 패치들의 조합으로서 전달되는데, 그들은 규칙적 코덱들(예컨대, HEVC)을 이용하여 비디오 인코딩된다. 색상 및 깊이 패치들의 각각의 조합은 MVD 입력 뷰들의 하부부분을 표현하고, 모든 패치들의 세트는 인코딩 스테이지에서, 가능한 한 덜 중복된 동안 전체 장면을 커버하도록 설계된다. 디코딩 스테이지에서, 아틀라스들은 먼저 비디오 디코딩되고, 패치들은 원하는 뷰잉 포지션에 연관된 뷰포트를 복구하는 뷰 합성 프로세스에서 렌더링된다. 그러한 솔루션의 문제는 패치들이 충분히 비중복적이고 상보적인 것으로 생성되는 방식에 관한 것이다.

하기는 본 발명의 원리들의 일부 태양들에 대한 기본적인 이해를 제공하기 위해 본 발명의 원리들의 단순화된 요약을 제시한다. 이러한 발명의 내용은 본 발명의 원리들의 광범위한 개요가 아니다. 그것은 본 발명의 원리들의 핵심 또는 중요한 요소들을 식별하려고 의도되지 않는다. 하기의 발명의 내용은, 본 발명의 원리들의 일부 태양들을 하기에 제공되는 더 상세한 설명에 대한 서두로서 단순화된 형태로 제시할 뿐이다.

본 발명의 원리들은 프루닝된 멀티뷰 프레임을 데이터 스트림에 인코딩하기 위한 방법에 관한 것이다. 본 방법은,

- 비-프루닝된 멀티뷰 프레임의 뷰들을 링킹(linking)하는 비순환 그래프를 획득하는 단계 - 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -;

- 제1 뷰가, 뷰들이 프루닝 우선순위 링크에 의해 상기 제1 뷰에 링킹된 후에 프루닝되도록 결정된 순서로 상기 멀티뷰 이미지들의 뷰들의 픽셀들을 프루닝하는 단계; 및

- 그래프 및 프루닝된 뷰들을 데이터 스트림에 인코딩하는 단계를 포함한다.

본 발명의 원리들은 또한, 본 방법을 구현하도록 구성된 프로세서를 포함하는 디바이스에 관한 것이다.

본 발명의 원리들은 또한, 프루닝된 멀티뷰 프레임을 데이터 스트림으로부터 디코딩하는 방법에 관한 것이다. 본 방법은,

- 상기 데이터 스트림으로부터 상기 프루닝된 멀티뷰 프레임을 획득하는 단계;

- 데이터 스트림으로부터 비순환 그래프를 획득하는 단계 - 그래프는 상기 멀티뷰 이미지의 뷰들을 링킹하고, 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -; 및

- 상기 그래프의 상기 프루닝 우선순위의 함수로서 상기 프루닝된 멀티뷰 프레임의 각각의 뷰의 기여를 결정함으로써 뷰잉 포즈에 따라 뷰포트 프레임을 생성하는 단계를 포함한다.

본 발명의 원리들은 또한, 본 방법을 구현하도록 구성된 프로세서를 포함하는 디바이스에 관한 것이다.

본 발명의 원리들은 또한, 하기를 포함하는 데이터 스트림에 관한 것이다:

- 프루닝된 멀티뷰 프레임을 표현하는 데이터; 및

- 비순환 그래프를 표현하는 데이터 - 그래프는 상기 멀티뷰 이미지의 뷰들을 링킹하고, 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -.

첨부 도면을 참조하는 하기의 설명을 읽을 시에, 본 발명이 더 잘 이해될 것이고, 다른 특정 특징들 및 이점들이 드러날 것이다.
- 도 1은 본 발명의 원리들의 비제한적인 실시예에 따른, 객체의 3차원(3D) 모델 및 3D 모델에 대응하는 포인트 클라우드의 포인트들을 도시한다.
- 도 2는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면들의 시퀀스를 표현하는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다.
- 도 3은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 11 및 도 12와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
- 도 4는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 스트림의 신택스(syntax)의 일 실시예의 일례를 도시한다.
- 도 5는 본 발명의 원리들의 비제한적인 실시예에 따른, 4개의 투영 중심들의 일례를 갖는 패치 아틀라스 접근법을 도시한다.
- 도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 8은 본 발명의 원리들의 비제한적인 실시예에 따른, 비-프루닝된 MVD 프레임으로부터 주어진 뷰포트에 대한 이미지를 생성할 때 뷰 합성기에 의해 사용된 프로세스를 도시한다.
- 도 9는 본 발명의 원리들의 비제한적인 실시예에 따른, 프루닝된 MVD 프레임으로부터 도 8에서와 동일한 뷰 합성을 도시한다.
- 도 10은 본 발명의 원리들의 비제한적인 실시예에 따른, 4x4 멀티뷰 프레임 및 그러한 MVD 프레임에 대한 예시적인 프루닝 그래프를 도시한다.
- 도 11은 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터 스트림에 멀티뷰 프레임을 인코딩하기 위한 방법을 도시한다.
- 도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터 스트림으로부터 프루닝된 멀티뷰 프레임을 디코딩하기 위한 방법을 도시한다.

본 발명의 원리들은 첨부 도면들을 참조하여 이하에서 더욱 완전히 기술될 것이며, 도면들에는 본 발명의 원리들의 예들이 도시되어 있다. 그러나, 본 발명의 원리들은 많은 대안적인 형태들로 구현될 수 있고, 본 명세서에 제시된 예들로 제한되는 것으로 해석되어서는 안 된다. 따라서, 본 발명의 원리들이 다양한 수정들 및 대안적인 형태들을 허용하지만, 이들의 특정 예들은 도면에서 예들로서 도시되어 있고, 본 명세서에서 상세히 기술될 것이다. 그러나, 본 발명의 원리들을 개시된 특정 형태들로 제한하려는 의도는 없지만, 반대로, 본 발명은 청구범위에 의해 정의된 바와 같은 본 발명의 원리들의 사상 및 범주 내에 속하는 모든 수정들, 등가물들 및 대안들을 포괄할 것이라는 것이 이해되어야 한다.

본 명세서에 사용된 용어는 단지 특정 예들을 설명하는 목적을 위한 것이고, 본 발명의 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은, 문맥상 명백히 달리 나타내지 않는 한, 복수의 형태들도 또한 포함하도록 의도된다. 본 명세서에서 사용될 때, 용어들 "포함하다(comprises)", "포함하는(comprising)", "포함하다(includes)" 및/또는 "포함하는(including)"은 언급된 특징부, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징부, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다. 게다가, 한 요소가 다른 요소에 "응답"하거나 "접속"되는 것으로 언급될 때, 그것은 또 다른 요소에 직접 응답하거나 접속될 수 있거나, 또는 개재 요소들이 존재할 수 있다. 대조적으로, 한 요소가 다른 요소에 "직접 응답"하거나 "직접 접속"되는 것으로 언급될 때, 어떠한 개재 요소들도 존재하지 않는다. 본 명세서에 사용된 바와 같이, 용어 "및/또는"은 연관된 열거된 항목들 중 하나 이상의 항목들 중 임의의 것 및 그의 모든 조합들을 포함하고, "/"로 약칭될 수 있다.

다양한 요소들을 기술하기 위해 용어들 "제1", "제2" 등이 본 명세서에 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 본 발명의 원리들의 교시로부터 벗어나지 않고서, 제1 요소는 제2 요소로 칭해질 수 있고, 유사하게, 제2 요소는 제1 요소로 칭해질 수 있다.

주요 통신 방향을 보여주기 위해 도면들 중 일부가 통신 경로들 상에 화살표들을 포함하지만, 통신은 묘사된 화살표들과는 반대 방향으로 발생할 수 있다는 것이 이해되어야 한다.

일부 예들은, 각각의 블록이 회로 요소, 모듈, 또는 특정 로직 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 코드의 일부분을 표현하는 블록도들 및 동작 흐름도들과 관련하여 기술된다. 또한, 다른 구현예들에서, 블록들에서 언급된 기능(들)은 언급된 순서를 벗어나 발생할 수 있다는 것에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록들은 실제로, 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로, 관여된 기능에 따라 역순으로 실행될 수 있다.

본 명세서에서 "일례에 따른" 또는 "일례에서"라는 언급은, 그 예와 관련하여 기술되는 특정 특징부, 구조물, 또는 특성이 본 발명의 원리들의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 본 명세서 내의 다양한 곳들에서 문구 일례에 따른" 또는 "일례에서"의 출현은 반드시 모두 동일한 예를 지칭하는 것은 아니며, 또는 다른 예들과 반드시 상호 배타적인 별개의 또는 대안적인 예들을 지칭하는 것도 아니다.

청구범위에 나타나는 참조 번호들은 단지 예시를 위한 것이고, 청구범위의 범주에 대해 제한하는 효과를 갖지 않을 것이다. 명시적으로 기술되어 있지 않지만, 본 예들 및 변형예들은 임의의 조합 또는 하위조합에서 채용될 수 있다.

도 1은 객체의 3차원(3D) 모델(10) 및 3D 모델(10)에 대응하는 포인트 클라우드(11)의 포인트들을 도시한다. 3D 모델(10) 및 포인트 클라우드(11)는, 예를 들어, 다른 객체들을 포함하는 3D 장면의 객체의 가능한 3D 표현에 대응할 수 있다. 모델(10)은 3D 메시 표현일 수 있고, 포인트 클라우드(11)의 포인트들은 메시의 정점들일 수 있다. 포인트 클라우드(11)의 포인트들은 또한, 메시의 면들의 표면 상에 펼쳐진 포인트들일 수 있다. 모델(10)은 또한, 포인트 클라우드(11)의 스플랫 버전(splatted version)으로서 표현될 수 있으며, 모델(10)의 표면은 포인트 클라우드(11)의 포인트들을 스플랫함으로써 생성된다. 모델(10)은 복셀(voxel)들 또는 스플라인(spline)들과 같은 많은 상이한 표현들에 의해 표현될 수 있다. 도 1은, 포인트 클라우드가 3D 객체의 표면 표현으로 정의될 수 있고 3D 객체의 표면 표현이 클라우드의 포인트로부터 생성될 수 있다는 사실을 도시한다. 본 명세서에 사용된 바와 같이, 이미지 상에 (3D 장면의 확장 포인트들에 의한) 3D 객체의 포인트들을 투영하는 것은 이러한 3D 객체의 임의의 표현, 예를 들어 포인트 클라우드, 메시, 스플라인 모델 또는 복셀 모델을 투영하는 것과 동등하다.

포인트 클라우드는 메모리에, 예를 들어 벡터 기반 구조로서 표현될 수 있으며, 여기서 각각의 포인트는 뷰포인트의 기준의 프레임 내의 그 자신의 좌표들(예컨대, 3차원 좌표들 XYZ, 또는 뷰포인트로부터의/으로의 입체각(solid angle) 및 거리(깊이로도 불림)) 및 구성요소로도 불리는 하나 이상의 속성들을 갖는다. 구성요소의 일례는 다양한 색 공간들에서 표현될 수 있는 색상 구성요소, 예를 들어 RGB(적색, 녹색, 청색) 또는 YUV(Y는 루마 구성요소이고 UV는 2개의 색차 구성요소들임)이다. 포인트 클라우드는 객체들을 포함하는 3D 장면의 표현이다. 3D 장면은 주어진 뷰포인트 또는 뷰포인트들의 범위로부터 보일 수 있다. 포인트 클라우드는 다수의 방식들에 의해, 예컨대:

깊이 활성 감지 디바이스에 의해 선택적으로 보완되는, 카메라들의 리그에 의한 실제 객체 샷의 캡처로부터;

모델링 툴에서 가상 카메라들의 리그에 의한 가상/합성 객체 샷의 캡처로부터;

실제 객체 및 가상 객체 둘 모두의 혼합으로부터 획득될 수 있다.

3D 장면은, 특히 3DoF+ 렌더링을 위해 준비될 때, 멀티뷰 + 깊이(MVD) 프레임에 의해 표현될 수 있다. 이어서, 볼류메트릭 비디오가 MVD 프레임들의 시퀀스이다. 이러한 접근법에서, 볼류메트릭 정보는 대응하는 색상 및 깊이 아틀라스들에 저장된 색상 및 깊이 패치들의 조합으로서 전달되는데, 그들은 이어서, 규칙적 코덱들(전형적으로, HEVC)을 이용하여 비디오 인코딩된다. 색상 및 깊이 패치들의 각각의 조합은 전형적으로, MVD 입력 뷰들의 하부부분을 표현하고, 모든 패치들의 세트는 인코딩 스테이지에서, 가능한 한 덜 중복된 동안 전체 장면을 커버하도록 설계된다. 디코딩 스테이지에서, 아틀라스들은 먼저 비디오 디코딩되고, 패치들은 원하는 뷰잉 포지션에 연관된 뷰포트를 복구하는 뷰 합성 프로세스에서 렌더링된다.

도 2는 3D 장면들의 시퀀스를 표현하는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다. 인코딩 포맷은, 예를 들어 그리고 동시에, 3DoF, 3DoF+ 및 6DoF 디코딩에 호환가능할 수 있다.

3D 장면들(20)의 시퀀스가 획득된다. 픽처들의 시퀀스가 2D 비디오이므로, 3D 장면들의 시퀀스는 3D(볼류메트릭으로도 불림) 비디오이다. 3D 장면들의 시퀀스는 3DoF, 3DoF+ 또는 6DoF 렌더링 및 디스플레이를 위한 볼류메트릭 비디오 렌더링 디바이스에 제공될 수 있다.

3D 장면들(20)의 시퀀스가 인코더(21)에 제공된다. 인코더(21)는 입력으로서 하나의 3D 장면들 또는 3D 장면들의 시퀀스를 취하고, 입력을 표현하는 비트 스트림을 제공한다. 비트 스트림은 메모리(22) 내에 그리고/또는 전자 데이터 매체 상에 저장될 수 있고, 네트워크(22)를 통해 송신될 수 있다. 3D 장면들의 시퀀스를 표현하는 비트 스트림은 메모리(22)로부터 판독될 수 있고/있거나 디코더(23)에 의해 네트워크(22)로부터 수신될 수 있다. 디코더(23)는 상기 비트 스트림에 의해 입력되고, 예를 들어 포인트 클라우드 포맷으로, 3D 장면들의 시퀀스를 제공한다.

인코더(21)는 여러 단계들을 구현하는 여러 회로들을 포함할 수 있다. 제1 단계에서, 인코더(21)는 각각의 3D 장면을 적어도 하나의 2D 픽처 상에 투영한다. 3D 투영은 3차원 포인트들을 2차원 평면에 맵핑하는 임의의 방법이다. 그래픽 데이터를 디스플레이하기 위한 대부분의 현재 방법들은 평면(여러 비트 평면들로부터의 픽셀 정보) 2차원 매체들에 기초하므로, 이러한 유형의 투영의 사용은, 특히 컴퓨터 그래픽, 엔지니어링 및 드래프팅에서 광범위하다. 투영 회로(211)는 시퀀스(20)의 3D 장면에 대한 적어도 하나의 2차원 프레임(2111)을 제공한다. 프레임(2111)은 프레임(2111) 상에 투영된 3D 장면을 표현하는 색상 정보 및 깊이 정보를 포함한다. 변형예에서, 색상 정보 및 깊이 정보는 2개의 별개의 프레임들(2111, 2112)에 인코딩된다.

메타데이터(212)는 투영 회로(211)에 의해 사용되고 업데이트된다. 메타데이터(212)는 투영 동작에 관한, 그리고 도 5 내지 도 7과 관련하여 기술된 바와 같이 색상 및 깊이 정보가 프레임들(2111, 2112) 내에 조직되는 방식에 관한 정보(예컨대, 투영 파라미터들)를 포함한다.

비디오 인코딩 회로(213)는 프레임들(2111, 2112)의 시퀀스를 비디오로서 인코딩한다. 3D 장면(2111, 2112)의 픽처들(또는 3D 장면의 픽처들의 시퀀스)은 비디오 인코더(213)에 의해 스트림에 인코딩된다. 이어서, 비디오 데이터 및 메타데이터(212)는 데이터 캡슐화 회로(214)에 의해 데이터 스트림에 캡슐화된다.

인코더(213)는, 예를 들어, 하기와 같은 인코더와 호환된다:

- JPEG, 규격 ISO/CEI 10918-1 UIT-T Recommendation T.81, https://www.itu.int/rec/T-REC-T.81/en;

- MPEG-4 AVC 또는 h264로도 명명된 AVC. UIT-T H.264 및 ISO/CEI MPEG-4 파트 10(ISO/CEI 14496-10) 둘 모두에 명시됨, http://www.itu.int/rec/T-REC-H.264/en, HEVC(그의 규격은 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en에 기반함);

- 3D-HEVC(규격이 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and I에 기반하는 HEVC의 확장판);

- Google에 의해 개발된 VP9;

- Alliance for Open Media에 의해 개발된 AV1(AOMedia Video 1); 또는

- 범용 비디오 코더 또는 MPEG-I 또는 MPEG-V 향후 버전들과 같은 향후 표준들.

데이터 스트림은 디코더(23)에 의해, 예를 들어 네트워크(22)를 통해 액세스가능한 메모리에 저장된다. 디코더(23)는 디코딩의 상이한 단계들을 구현하는 상이한 회로들을 포함한다. 디코더(23)는 입력으로서 인코더(21)에 의해 생성된 데이터 스트림을 취하고, 헤드 마운트 디바이스(HMD)와 같은 볼류메트릭 비디오 디스플레이 디바이스에 의해 렌더링되고 디스플레이될 3D 장면들(24)의 시퀀스를 제공한다. 디코더(23)는 소스(22)로부터 스트림을 획득한다. 예를 들어, 소스(22)는 하기를 포함하는 세트에 속한다:

- 로컬 메모리, 예컨대, 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 판독 전용 메모리), 하드 디스크;

- 저장소 인터페이스, 예컨대, 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지체를 갖는 인터페이스;

- 통신 인터페이스, 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 통신망 인터페이스) 또는 무선 인터페이스(예컨대, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및

- 사용자가 데이터를 입력할 수 있게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스.

디코더(23)는 데이터 스트림에 인코딩된 데이터를 추출하기 위한 회로(234)를 포함한다. 회로(234)는 입력으로서 데이터 스트림을 취하고, 2차원 비디오 및 스트림에 인코딩된 메타데이터(212)에 대응하는 메타데이터(232)를 제공한다. 비디오는 프레임들의 시퀀스를 제공하는 비디오 디코더(233)에 의해 디코딩된다. 디코딩된 프레임들은 색상 및 깊이 정보를 포함한다. 변형예에서, 비디오 디코더(233)는 프레임들의 2개의 시퀀스들을 제공하는데, 하나의 시퀀스는 색상 정보를 포함하고, 다른 시퀀스는 깊이 정보를 포함한다. 회로(231)는 메타데이터(232)를 사용하여, 3D 장면들(24)의 시퀀스를 제공하기 위해 디코딩된 프레임들로부터의 색상 및 깊이 정보를 투영하지 않도록 한다. 3D 장면들(24)의 시퀀스는 3D 장면들(20)의 시퀀스에 대응하며, 이때 정밀도의 가능한 손실은 2D 비디오로서의 인코딩 및 비디오 압축과 관련된다.

도 3은 도 11 및 도 12와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(30)의 예시적인 아키텍처를 도시한다. 도 2의 인코더(21) 및/또는 디코더(23)는 이러한 아키텍처를 구현할 수 있다. 대안적으로, 인코더(21) 및/또는 디코더(23)의 각각의 회로는, 예를 들어, 그들의 버스(31)를 통해 그리고/또는 I/O 인터페이스(36)를 통해 함께 연결된, 도 3의 아키텍처에 따른 디바이스일 수 있다.

디바이스(30)는 데이터 및 어드레스 버스(31)에 의해 함께 연결되는 하기의 요소들을 포함한다:

- 예를 들어, DSP(또는 디지털 신호 프로세서)인 마이크로프로세서(32)(또는 CPU);

- ROM(또는 판독 전용 메모리)(33);

- RAM(또는 랜덤 액세스 메모리)(34);

- 저장소 인터페이스(35);

- 애플리케이션으로부터의, 송신할 데이터의 수신을 위한 I/O 인터페이스(36); 및

- 전력 공급부, 예컨대 배터리.

일례에 따르면, 전력 공급부는 디바이스의 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 ≪레지스터≫는 작은 용량(약간의 비트들)의 영역 또는 매우 큰 영역(예컨대, 전체 프로그램 또는 다량의 수신되거나 디코딩된 데이터)에 대응할 수 있다. ROM(33)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(33)은 본 발명의 원리들에 따른 기법들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 스위치-온될 때, CPU(32)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.

RAM(34)은, 레지스터 내의, CPU(32)에 의해 실행되고 디바이스(30)의 스위치-온 후에 업로드된 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.

본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀룰러폰, 휴대용/개인 디지털 어시스턴트("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.

예들에 따르면, 디바이스(30)는 도 11 및 도 12와 관련하여 기술된 방법을 구현하도록 구성되고, 하기를 포함하는 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 픽처 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 서버(예컨대, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버).

도 4는 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 스트림의 신택스의 일 실시예의 일례를 도시한다. 도 4는 볼류메트릭 비디오 스트림의 예시적인 구조물(4)을 도시한다. 구조물은 신택스의 독립적인 요소들로 스트림을 조직하는 컨테이너에 있다. 구조물은 스트림의 모든 신택스 요소들에 공통인 데이터의 세트인 헤더 부분(41)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 요소들에 관한 메타데이터의 일부를 포함하며, 이는 그들 각각의 특성 및 역할을 설명한다. 헤더 부분은 또한, 도 2의 메타데이터(212)의 일부, 예를 들어, 프레임들(2111, 2112) 상으로 3D 장면의 포인트들을 투영하기 위해 사용되는 중심 시점의 좌표들을 포함할 수 있다. 구조물은 신택스의 요소(42) 및 신택스의 적어도 하나의 요소(43)를 포함하는 페이로드를 포함한다. 신택스 요소(42)는 색상 및 깊이 프레임들을 표현하는 데이터를 포함한다. 이미지들은 비디오 압축 방법에 따라 압축되었을 수 있다.

신택스의 요소(43)는 데이터 스트림의 페이로드의 일부이고, 신택스의 요소(42)의 프레임들이 어떻게 인코딩되는지에 관한 메타데이터, 예를 들어 프레임들 상에 3D 장면의 포인트들을 투영하고 패킹하기 위해 사용되는 파라미터들을 포함할 수 있다. 그러한 메타데이터는 비디오의 각각의 프레임과 또는 프레임들의 그룹(비디오 압축 표준들에서 픽처들의 그룹(Group of Pictures, GoP)으로도 알려짐)에 연관될 수 있다.

도 5는 4개의 투영 중심들의 일례를 갖는 패치 아틀라스 접근법을 도시한다. 3D 장면(50)은 캐릭터를 포함한다. 예를 들어, 투영의 중심(51)은 투시 카메라(perspective camera)이고, 카메라(53)는 정사영 카메라(orthographic camera)이다. 카메라는 또한, 예를 들어, 구형 맵핑(예컨대, 정방형 맵핑) 또는 큐브 맵핑을 갖는 전방향 카메라일 수 있다. 3D 장면의 3D 포인트들은 메타데이터의 투영 데이터에 설명된 투영 동작에 따라, 투영 중심들에 위치된 가상 카메라들과 연관된 2D 평면들 상에 투영된다. 도 5의 예에서, 카메라(51)에 의해 캡처된 포인트들의 투영은 원근 맵핑(perspective mapping)에 따라 패치(52) 상에 맵핑되고, 카메라(53)에 의해 캡처된 포인트들의 투영은 정사영 맵핑에 따라 패치(54) 상에 맵핑된다.

투영된 픽셀들의 클러스터링은 직사각형 아틀라스(55)에 패킹된 다수의 2D 패치들을 산출한다. 아틀라스 내의 패치들의 조직은 아틀라스 레이아웃을 정의한다. 일 실시예에서, 동일한 레이아웃을 갖는 2개의 아틀라스들: 텍스처(즉, 색상) 정보에 대한 하나의 아틀라스 및 깊이 정보에 대한 하나의 아틀라스. 동일한 카메라에 의해 또는 2개의 별개의 카메라들에 의해 캡처된 2개의 패치들은, 예를 들어 패치들(54, 56)과 같은 3D 장면의 동일한 부분을 표현하는 정보를 포함할 수 있다.

패킹 동작은 각각의 생성된 패치에 대한 패치 데이터를 생성한다. 패치 데이터는 투영 데이터에 대한 참조(예를 들어, 투영 데이터에 대한 포인터(즉, 데이터 스트림 내의 또는 메모리 내의 어드레스) 또는 투영 데이터의 테이블 내의 인덱스) 및 아틀라스 내의 패치의 크기 및 위치를 설명하는 정보(예컨대, 상단 좌측 코너 좌표들, 픽셀들의 크기 및 폭)를 포함한다. 하나 또는 2개의 아틀라스들의 압축 데이터와 연관되어 데이터 스트림에 캡슐화될 메타데이터에 패치 데이터 항목들이 추가된다.

도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보(예컨대, RGB 데이터 또는 YUV 데이터)를 포함하는 아틀라스(60)의 일례를 도시한다. 도 5와 관련하여 설명된 바와 같이, 아틀라스는 이미지 패킹 패치들이고, 패치는 3D 장면의 포인트들의 일부를 투영함으로써 획득된 픽처이다.

도 6의 예에서, 아틀라스(60)는 시점에서 가시적인 3D 장면의 포인트들의 텍스처 정보를 포함하는 제1 부분(61) 및 하나 이상의 제2 부분들(62)을 포함한다. 제1 부분(61)의 텍스처 정보는, 예를 들어, 등장방형 투영 맵핑에 따라 획득될 수 있고, 등장방형 투영 맵핑은 구형 투영 맵핑의 일례이다. 도 6의 예에서, 제2 부분들(62)은 제1 부분(61)의 좌측 및 우측 경계들에 배열되지만, 제2 부분들은 상이하게 배열될 수 있다. 제2 부분들(62)은 시점에서 가시적인 부분에 상보적인 3D 장면의 부분들의 텍스처 정보를 포함한다. 제2 부분들은 3D 장면으로부터 제1 뷰포인트에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 동일한 시점에 따라 나머지 포인트들을 투영함으로써 획득될 수 있다. 후자의 프로세스는 3D 장면의 은닉 부분들을 매번 획득하기 위해 반복적으로 반복될 수 있다. 일 변형예에 따르면, 제2 부분들은 3D 장면으로부터 시점, 예를 들어 중심 시점에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 제1 시점과는 상이한 시점에 따라, 예를 들어 중심 시점 상에 중심을 둔 뷰 공간(예컨대, 3DoF 렌더링의 뷰잉 공간)의 하나 이상의 제2 시점으로부터 나머지 포인트들을 투영함으로써 획득될 수 있다.

제1 부분(61)은 제1 대형 텍스처 패치(3D 장면의 제1 부분에 대응함)로 보일 수 있고, 제2 부분들(62)은 더 작은 텍스처 패치들(제1 부분에 상보적인 3D 장면의 제2 부분들에 대응함)을 포함한다. 그러한 아틀라스는 (제1 부분(61)만을 렌더링할 때) 3DoF 렌더링과 동시에 그리고 3DoF+ / 6DoF 렌더링과 동시에 호환가능하다는 이점을 갖는다.

도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스(70)의 일례를 도시한다. 아틀라스(70)는 도 6의 텍스처 이미지(60)에 대응하는 깊이 이미지로 보일 수 있다.

아틀라스(70)는 중심 시점에서 가시적인 3D 장면의 포인트들의 깊이 정보를 포함하는 제1 부분(71) 및 하나 이상의 제2 부분들(72)을 포함한다. 아틀라스(70)는 아틀라스(60)와 동일한 방식으로 획득될 수 있지만, 텍스처 정보 대신에 3D 장면의 포인트들과 연관된 깊이 정보를 포함한다.

3D 장면의 3DoF 렌더링을 위해, 하나의 시점만이, 전형적으로는 중심 시점이 고려된다. 사용자는 3D 장면의 다양한 부분들을 주시하기 위해 제1 시점을 중심으로 그의 머리를 3개의 자유도로 회전시킬 수 있지만, 사용자는 이러한 고유 시점을 이동시킬 수 없다. 인코딩될 장면의 포인트들은 이러한 고유 시점에서 가시적인 포인트들이고, 텍스처 정보만이 3DoF 렌더링을 위해 인코딩/디코딩될 필요가 있다. 3DoF 렌더링을 위해 이러한 고유 시점에서 가시적이지 않은 장면의 포인트들을 인코딩할 필요가 없는데, 이는 사용자가 그들에 액세스할 수 없기 때문이다.

6DoF 렌더링과 관련하여, 사용자는 장면 내의 모든 곳에서 뷰포인트를 이동시킬 수 있다. 이러한 경우, 비트스트림 내의 장면의 모든 포인트(깊이 및 텍스처)를 인코딩하는 것이 요구되는데, 이는 모든 포인트가 자신의 시점을 이동시킬 수 있는 사용자에 의해 잠재적으로 액세스가능하기 때문이다. 인코딩 스테이지에서, 사용자가 어느 시점으로부터 3D 장면을 관찰할 것인지를 선험적으로 알기 위한 어떠한 수단도 없다.

3DoF+ 렌더링과 관련하여, 사용자는 중심 시점을 중심으로 하는 제한적 공간 내에서 시점을 이동시킬 수 있다. 이는 시차를 경험할 수 있게 한다. 중심 시점(즉, 제1 부분들(61, 71))에 따라 가시적인 3D 장면을 표현하는 데이터를 포함한, 뷰의 공간의 임의의 포인트에서 가시적인 장면의 부분을 표현하는 데이터가 스트림 내에 인코딩될 것이다. 뷰의 공간의 크기 및 형상은, 예를 들어, 인코딩 단계에서 결정 및 판정될 수 있고, 비트스트림에 인코딩될 수 있다. 디코더는 비트스트림으로부터 이러한 정보를 획득할 수 있고, 렌더러(renderer)는 뷰의 공간을 획득된 정보에 의해 결정된 공간으로 제한한다. 다른 예에 따르면, 렌더러는, 예를 들어 사용자의 움직임들을 검출하는 센서(들)의 능력들과 관련하여, 하드웨어 제약들에 따라 뷰의 공간을 결정한다. 그러한 경우, 인코딩 페이즈에서, 렌더러의 뷰의 공간 내의 포인트에서 가시적인 포인트가 비트스트림에 인코딩되지 않은 경우, 이러한 포인트는 렌더링되지 않을 것이다. 추가 예에 따르면, 3D 장면의 모든 포인트를 표현하는 데이터(예컨대, 텍스처 및/또는 기하구조)는 뷰의 렌더링 공간을 고려하지 않고서 스트림에 인코딩된다. 스트림의 크기를 최적화하기 위해, 장면의 포인트들의 서브세트, 예를 들어, 뷰의 렌더링 공간에 따라 보일 수 있는 포인트들의 서브세트만이 인코딩될 수 있다.

패치들은 충분히 비중복적이고 상보적인 것으로 생성된다. 3D 장면의 멀티뷰 + 깊이(MVD) 표현으로부터 패치들을 생성하는 프로세스는 임의의 중복 정보를 제거하기 위해 입력 소스 뷰들을 "프루닝"하는 것에 있다. 그렇게 하기 위해, 각각의 입력 뷰(색상 + 깊이)는 번갈아 반복적으로 프루닝된다. 기본 뷰들로 불리는 비-프루닝된 뷰들의 세트가 먼저, 소스 뷰들 중에서 선택되고, 완전히 송신된다. 이어서, 추가적인 뷰들로 불리는 나머지 뷰들의 세트는 (색상 및 깊이 유사도의 관점에서) 기본 뷰들 및 이미 프루닝된 추가적인 뷰와 중복되는 정보를 제거하도록 반복적으로 프로세싱된다. 프루닝된 픽셀들의 색상 또는 깊이 값들은 미리결정된 값, 예를 들어 0 또는 255로 대체된다.

도 8은 비-프루닝된 MVD 프레임으로부터 주어진 뷰포트에 대한 이미지를 생성할 때, 도 2의 뷰 합성기(231)에 의해 사용된 프로세스를 도시한다. 볼류메트릭 비디오를 전달하기 위해, 핵심 단계는 기본 뷰와 추가적인 뷰들 사이에서 중복 정보를 제거하는 데 있다. 그러나, 송신할 정보의 양을 상당히 감소시키더라도, 임의의 다른 시그널링 없이 단순히 중복 정보를 제거하는 것은 디코딩 스테이지에서 뷰 합성 프로세스를 상당히 변경시킬 수 있고, 최종 사용자 경험을 강하게 감소시킬 수 있다. 합성할 뷰포트(80)에 대한 픽셀(81)을 합성하려고 시도할 때, 합성기(예컨대, 도 2의 회로(231))는 이러한 주어진 픽셀을 지나치는 광선(예컨대, 광선들(82, 83))을 투영시키지 않고, 이러한 광선을 따라 각각의 소스 카메라(84 내지 87)의 기여를 확인한다. 도 8에 도시된 바와 같이, 장면 내의 일부 객체들이 하나의 카메라로부터 다른 카메라까지 폐색(occlusion)들을 생성할 때, 또는 카메라 셋업으로 인해 가시성이 보장될 수 없을 때, 합성할 픽셀의 특성들에 관한 모든 소스 카메라들(84 내지 87) 사이의 일치(consensus)가 발견되지 않을 수 있다. 도 8의 예에서, 제1 그룹의 3개의 카메라들(84 내지 86)은 픽셀(81)을 합성하기 위해 전경 객체(88)의 색상을 사용할 것을 "투표"하는데, 이는 그들 모두가 합성할 광선을 따라 이러한 객체를 "보기" 때문이다. 제2 그룹의 1개의 단일 카메라(87)는 이러한 객체를 볼 수 없는데, 그 이유는 그것이 그의 뷰포트 외부에 있기 때문이다. 따라서, 카메라(87)는 픽셀(81)을 합성하기 위해 배경 객체(89)에 "투표"한다. 그러한 상황을 명확히 보여주기 위한 전략은 각각의 카메라 기여를, 합성할 뷰포트까지의 그들의 거리에 따라 가중치와 블렌딩하고/하거나 병합하는 것이다. 도 8의 예에서, 제1 그룹의 카메라들(84 내지 86)은 가장 큰 기여를 가져오는데, 이는 그들이 더 많기 때문이고, 그들이 합성할 뷰포트로부터 더 가깝기 때문이다. 결국, 픽셀(81)은 예상된 바와 같이, 전경 객체(88)의 특성들을 이용하여 합성될 것이다.

도 9는 프루닝된 MVD 프레임으로부터 도 8에서와 동일한 뷰 합성을 도시한다. 프루닝된 MVD 프레임에서, 동일한 정보를 공유하는 카메라들의 픽셀들은 클리어(clear)되고, 더 이상 송신되거나 고려되지 않는다. 도 9의 예에서, 이전 그룹의 3개의 카메라들은 이제, 전경 객체(88)의 정보를 전달하는 1개의 단일 카메라(96)로 감소된다. 카메라들(84, 85)로부터의 뷰들 내의 대응하는 픽셀 정보(92)가 프루닝되었다. 배경 객체(89)와 관련된 제2 그룹의 카메라들은 변경되지 않고, 카메라(87)의 뷰만을 포함한다. 그 경우에, 픽셀(91)을 합성하는 배경의 기여는 전경의 기여에 관하여 더 이상 무시할 수 없는데, 이는 "반대(opposition)"가 이제 1 대 1로 내려오기 때문이다. 객체(88)의 가중치가 배경(89)의 가중치보다 여전히 약간 더 높더라도, 2개의 기여들의 블렌딩은, 사용자가 예상하고 있는 것에 대응하지 않고 시각적 아티팩트들로 이어지는 배경으로부터 나오는 상당한 양을 포함할 것이다. 따라서, 프루닝 스테이지 이후 일부 카메라들의 기여의 정보를 손실한 것은 아틀라스로부터의 새로운 뷰를 합성하려고 시도할 때 디코딩 스테이지에서 중요할 수 있다.

본 발명의 원리들에 따르면, 이들 단점들을 극복하기 위한 방법이 개시된다. 인코딩 스테이지에서, 프루닝 그래프가 획득된다. 프루닝 그래프는 주어진 하위그룹의 다른 카메라들에 대해 행해질 각각의 카메라의 프루닝을 제한한다. 프루닝 그래프를 표현하는 데이터는 데이터 스트림에 인코딩되고, 콤팩트한 방식으로 디코더에 제공된다. 디코딩 스테이지에서, 프루닝 그래프는 이들 메타데이터를 이용하여 복구될 수 있고, 모든 프루닝된 카메라의 기여의 정보를 복원하는 데 사용된다.

도 10은 4x4 멀티뷰 프레임 및 그러한 MVD 프레임에 대한 예시적인 프루닝 그래프를 도시한다. 본 발명의 원리들에 따르면, 각각의 카메라(즉, 뷰(111 내지 144))에 대해, 다른 카메라들의 세트가 결정된다. 각각의 카메라는 비순환 방식으로 0개, 1개 또는 여러 개의 다른 카메라들과 프루닝 우선순위 관계에 의해 연관된다(즉, 프루닝 우선순위 관계로부터 획득된 프루닝 그래프는 어떠한 사이클도 포함하지 않음). 효율적인 프루닝을 갖기 위해, 2개의 연결된 뷰들이 높은 잠재적인 양의 중복들을 갖도록 우선순위 관계들이 선택된다. 이러한 잠재성은, 예를 들어, 2개의 관심 카메라들의 광학 중심 사이의 거리, 그들의 중첩 비 또는 그들의 광학 축 사이의 각도/거리에 기초하여 결정될 수 있다. 비순환 그래프를 획득하기 위해, 첫째, 우선순위에 대한 선택된 기준에 따라 카메라들 모두를 조밀한 방식으로 연결하고, 둘째, 획득된 그래프를 그리디(greedy) 방식으로 프루닝하여 비순환 특징을 보증하는 최소량의 연결들을 유지시킴으로써, 2-단계 전략이 구상될 수 있다. 기본 뷰(도 10의 예에서 뷰(133))는 어떠한 다른 카메라도 가리키지 않는데, 이는 기본 뷰가 프루닝되지 않기 때문이다. 일부 뷰들(도 10의 예에서, 111, 114, 141, 144)은 그래프에 어떠한 선임자(predecessor)도 갖지 않는다.

프루닝 절차 동안, 프루닝 순서가 결정되고, 따라서, 카메라는 프루닝 절차의 관점에서 모든 그의 부모들 이후에 항상 프루닝될 것이다. 도 10의 예에서, 프루닝 순서는 (133, 123, 132, 134, 143, 113, 122, 124, 131, 142, 144, 112, 114, 121, 141)일 수 있다. 모든 카메라들의 프루닝 절차는 이러한 순서에 따라 수행된다. 프루닝할 카메라의 픽셀은, 그것이 지칭하는 세트의 모든 카메라에 대해 그것이 프루닝될 수 있는 경우(즉, 동일한 정보가 모든 기준 카메라들에 의해 전달됨) 그리고 그러한 경우에만, 그것이 관련된 카메라들에 대해 프루닝된다. 부모 카메라 세트의 하나의 부분이 프로세스 동안 이미 프루닝되어 임의의 드리프팅(drifting) 효과를 회피시킨 경우, 프루닝은, 비-프루닝된 영역이 발견될 때까지 그의 고유한 또는 다수의 부모들에 대해 재귀적으로 시도된다. 일치가 발견되지 않는 경우, 프루닝할 고려된 픽셀은 프루닝되지 않고 그의 값은 변경되지 않는다. 그렇지 않으면, 픽셀(및 그의 값)은 폐기된다. 프루닝 트리(pruning tree)의 경로 상에서 일어나는 각각의 2x2 비교 시, 깊이 면에서 작은 정렬 에러가 있다. 에러가 2개의 근접한 카메라들(즉, 위상수학적 이웃 뷰들) 사이의 비교에 대한 임계치보다 더 낮지만, 그것은 프루닝 트리의 경로를 통해 간접적으로 비교되는 2개의 원격 카메라들에 대한 경우가 아니다. 드리프팅 효과는 프루닝 트리의 경로를 따라 카메라들 사이의 깊이 면에서의 작은 정렬 에러들의 축적이다.

디코딩 스테이지에서 사용되기 위해, 프루닝 그래프는 본 발명의 원리들의 비제한적인 실시예에 따라 데이터 스트림에 인코딩된다.

제1 실시예에서, 프루닝 그래프의 모든 우선순위 관계를 표현하는 데이터가, 표 2에 묘사된 바와 같은 신택스 포맷에 따라, 각각의 카메라에 대해, 그것이 관련된 카메라들의 목록을 포함하는 목록으로서 인코딩되며, 각각의 카메라는 표 1에 제안된 바와 같은 신택스 포맷을 따라, 카메라 파라미터 목록 내의 그의 포지션에 의해 식별된다. 카메라들의 개수가 작은 경우(예를 들어, 64개 미만), 마스크/비트 어레이는, 프루닝 우선순위를 설명하기 위해 대안적으로 사용될 수 있으며, 각각의 i번째 비트는, 예를 들어 표 3에 설명된 바와 같은 신택스 포맷에 따라, i번째 카메라와의 선행 관계가 일어나는 경우에 1로 설정된다.

[표 1]

[표 2]

[표 3]

다른 실시예에서, 프루닝 관계는, 예를 들어 표 4 및 표 5에 제안된 바와 같은 신택스 포맷에 따라, 각각의 카메라에 대한 새로운 파라미터로서 (어레이 또는 마스크 중 어느 하나로서) 카메라 파라미터 목록 내에 통합된다.

[표 4]

[표 5]

디코딩 스테이지에서, 프루닝 그래프는 메타데이터로부터 복구되고, 렌더러의 가중화 전략을 정확하게 핸들링하는 데 사용된다. 일 실시예에서, 합성할 각각의 픽셀에 대해, 모든 카메라들의 기여는 반복적으로 고려된다. 유효한 기여를 제공하는 각각의 카메라에 대해, 이러한 카메라에 대해 모든 카메라가 프루닝된 것은 (부모로부터 그의 자식을 향하는) 프루닝 순서로 프루닝 그래프를 브라우징함으로써 반복적으로 고려된다. 브라우징된 카메라가 고려된 픽셀에 대한 관심 카메라에 대해 프루닝되었다면, 그의 가중치는 현재 카메라의 가중치에 조합(예컨대, 추가)되고, 그의 자식들은 이어서 유사하게 프로세싱된다. 브라우징된 카메라가, 그것이 상이한 유효 정보를 보유하기 때문에, 고려된 픽셀에 대한 이러한 카메라에 대해 프루닝되지 않은 경우, 브라우징은 그래프의 연관된 분기를 따라 중지되고, 관심 카메라의 가중치는 변경되지 않는 상태로 유지된다.

본 발명의 원리들에 따르면, 프루닝된 카메라 기여는 프루닝 이후 디코더 스테이지에서 정확하게 복구되어, 도 9와 관련하여 기술된 바와 같은 시각적 아티팩트들을 방지한다.

도 11은 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터 스트림에 멀티뷰 프레임을 인코딩하기 위한 방법(110)을 도시한다. 단계(111)에서, MVD 프레임이 소스로부터 획득된다. 이러한 단계에서, MVD 프레임들은 다량의 데이터가 인코딩될 것을 요구한다. 단계(112)에서, 프루닝 우선순위 관계에 따라 MVD의 뷰들을 링킹하는 그래프가 결정된다. 그래프는 비순환이도록 구축되는데, 즉, 어떠한 뷰도 그것이 자체를 선행하는 뷰에 의해 프루닝 프로세스에서 선행될 수 없다. 일부 뷰들은 어떠한 선임자도 갖지 않으며, 프루닝되는 것으로 의도되지 않는 뷰들(기본 뷰들로도 불림)은 그래프에서 어떠한 후임자(successor)도 갖지 않는다. 단계(113)에서, 뷰들은 도 10과 관련하여 기술된 바와 같은 그래프의 우선순위 관계들에 따라 프루닝된다. 이러한 스테이지에서, 단계(111)에서 획득된 초기 MVD의 중복 정보(색상 및 깊이)는 제거되었고, 결과는 더 적은 데이터가 인코딩될 것을 요구한다. 나머지 유용한 정보는 도 5 내지 도 7과 관련하여 기술된 바와 같이, 아틀라스로 불리는 고유한 프레임에 조직될 수 있다. 단계(114)에서, 프루닝된 MVD 또는 대응하는 아틀라스는 전용 메타데이터와 연관하여 스트림에 인코딩된다. 본 발명의 원리들에 따르면, 프루닝 그래프의 우선순위 관계들은 또한, 예를 들어, 제안된 신택스 포맷들 중 하나에 따라 스트림에 인코딩된다. 추가 단계에서, 데이터 스트림은 메모리 또는 비일시적 저장 매체에 저장될 수 있거나, 또는 네트워크 또는 데이터 버스를 통해 원격 또는 로컬 디바이스로 송신될 수 있다.

도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터 스트림으로부터 프루닝된 멀티뷰 프레임을 디코딩하기 위한 방법(120)을 도시한다. 단계(121)에서, 데이터 스트림이 획득되고, 예를 들어, 아틀라스의 포맷의, 프루닝된 MVD를 표현하는 데이터가 데이터 스트림으로부터 획득된다. 예를 들어, 프루닝된 MVD는 비디오 코덱을 사용함으로써 데이터로부터 디코딩된다. 단계(122)에서, MVD의 뷰들을 링킹하는 프루닝 그래프가 데이터 스트림으로부터 획득된다. 단계들(121, 122)은 임의의 순서로 또는 병렬로 수행될 수 있다. 프루닝 그래프는 본 출원에서 상세히 기술된 바와 같이, MVD의 뷰들 사이의 프루닝 우선순위 관계들의 비순환 구조이다. 단계(123)에서, 뷰포트 프레임이 뷰잉 포즈(즉, 렌더러의 3D 공간에서의 위치 및 배향)에 대해 생성된다. 뷰포트 프레임들의 픽셀들에 대해, 각각의 뷰(본 출원에서 '카메라'로도 불림)의 기여의 가중치는 획득된 프루닝 그래프의 뷰들 사이의 프루닝 우선순위 관계들에 따라 결정된다. 유효한 기여를 제공하는 각각의 카메라에 대해, 이러한 카메라에 대해 모든 카메라가 프루닝된 것은 (부모로부터 그의 자식을 향하는) 프루닝 순서로 프루닝 그래프를 브라우징함으로써 반복적으로 고려된다. 브라우징된 카메라가 고려된 픽셀에 대한 관심 카메라에 대해 프루닝되었다면, 그의 가중치는 현재 카메라의 가중치에 조합(예컨대, 추가)되고, 그의 자식들은 이어서 유사하게 프로세싱된다. 브라우징된 카메라가, 그것이 상이한 유효 정보를 보유하기 때문에, 고려된 픽셀에 대한 이러한 카메라에 대해 프루닝되지 않은 경우, 브라우징은 그래프의 연관된 분기를 따라 중지되고, 관심 카메라의 가중치는 변경되지 않는 상태로 유지된다.

일 실시예에서, 디코딩 스테이지에서, 프루닝 그래프는 프루닝된 입력 뷰들을 프루닝하지 않는 데 사용될 수 있다. 본 발명의 원리들에 따르면, 수신된 프루닝된 MVD의 모든 소스 뷰는 프루닝 프로세스에 의해 억제된 누락된 중복 부분들을 복구함으로써 재구성된다. 그렇게 하기 위해, 역방향 절차가 적용된다. 루트 노드로부터 시작하여 리프들까지, 노드 N에 연관된 뷰의 유효(비-프루닝된) 픽셀 p가 고려된다. 이어서,

1) 픽셀 p는 그의 뷰의 자식들과 연관된 (아직 "비-프루닝된" 것이 아닌) 뷰들 상에 역투영(de-project)되며, 그것이 그들의 뷰포트에 기여하는 경우, 연관된 역투영 픽셀 상태가 페칭된다.

2) 역투영된 픽셀이 프루닝된 것으로 식별되는 경우(그리고 아직 어떠한 유효 값도 갖지 않음), 그의 색상 및 깊이 값들은 픽셀 p의 것들(색상 및/또는 깊이)로 설정되고, 프로세스는 후자의 뷰의 자식들로 반복적으로 반복된다.

3) 역투영된 픽셀이 비-프루닝된 것으로 식별되는 경우(그리고 유효 값을 가짐), 그의 색상 및 깊이 값들은 변경되지 않는 상태로 남겨지고, 이러한 후자의 뷰의 자식들을 향해 그래프의 더 이상의 검사가 수행되지 않는다.

4) 픽셀 p가 그의 자식들 중 하나의 자식의 뷰포트 내에 속하지 않았다면, 프로세스는 손자까지 재귀적으로 반복된다.

그렇게 하면, 프루닝된 콘텐츠를 감소된 비트 레이트로 송신하면서, MVD 콘텐츠의 모든 뷰들을 항시 디스플레이할 것을 (그리고 HMD에서와 같이 하나의 합성된 시각적 뷰만을 디스플레이하지는 않을 것을) 요구하는 멀티뷰 디스플레이를 피딩하는 것이 가능해진다.

본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 스마트폰, 태블릿, 컴퓨터, 모바일 폰, 휴대용/개인 디지털 어시스턴트("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.

본 명세서에 기술된 다양한 프로세스들 및 특징들의 구현예들은 여러 가지 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 그러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리-프로세서, 인코더에 입력을 제공하는 전처리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 휴대폰, PDA, 및 다른 통신 디바이스를 포함한다. 분명히 알 수 있는 바와 같이, 장비는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은, 예를 들어 집적 회로, 소프트웨어 캐리어, 또는 예를 들어, 하드 디스크, 콤팩트 디스켓("CD"), (예를 들어, 종종 디지털 범용 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독가능 매체 상에 유형적으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 있을 수 있다. 명령어들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 그 둘의 조합에서 찾을 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독가능 매체(예컨대, 저장 디바이스)를 포함하는 디바이스 둘 모두로서 특징지어질 수 있다. 또한, 프로세서 판독가능 매체는 구현에 의해 생성된 데이터 값들을, 명령어들에 더하여 또는 이들 대신에, 저장할 수 있다.

당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 신택스를 기록하거나 판독하기 위한 규칙들을 데이터로서 전달하기 위해, 또는 기술된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 전달하기 위해 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 다른 구현예들을 생성하기 위해 상이한 구현예들의 요소들이 조합되거나, 보충되거나, 수정되거나, 또는 제거될 수 있다. 추가적으로, 당업자는, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고, 생성된 구현예들이, 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해, 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현예들이 본 출원에 의해 고려된다.

Claims (15)

1. 프루닝된 멀티뷰(pruned multi-view) 프레임을 데이터 스트림에 인코딩하기 위한 방법으로서,
   - 비-프루닝된 멀티뷰 프레임의 뷰들을 링킹(linking)하는 비순환 그래프를 획득하는 단계 - 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -;
   - 제1 뷰가, 뷰들이 프루닝 우선순위 링크에 의해 상기 제1 뷰에 링킹된 후에 프루닝되도록 결정된 순서로 상기 멀티뷰 이미지들의 뷰들의 픽셀들을 프루닝하는 단계; 및
   - 상기 그래프 및 프루닝된 뷰들을 데이터 스트림에 인코딩하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 뷰의 픽셀들을 프루닝하는 단계는, 결정된 값에 의해 상기 프루닝 우선순위 링크에 따라 상기 멀티뷰 프레임의 비-프루닝된 뷰의 픽셀에서 공유되는 바와 같은 정보 중복을 저장하는 뷰의 픽셀의 값을 대체하는 단계를 포함하는, 방법.
3. 제1항 또는 제2항에 있어서, 상기 그래프는 상기 멀티뷰 프레임의 각각의 뷰에 대해, 상기 뷰가 관련된 뷰의 목록을 포함하는 목록으로서 상기 데이터 스트림에서 시그널링되는, 방법.
4. 프루닝된 멀티뷰 프레임을 데이터 스트림에 인코딩하기 위한 디바이스로서, 디바이스는 프로세서를 포함하고, 프로세서는,
   - 비-프루닝된 멀티뷰 프레임의 뷰들을 링킹하는 비순환 그래프를 획득하기 위해 - 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -;
   - 제1 뷰가, 뷰들이 프루닝 우선순위 링크에 의해 상기 제1 뷰에 링킹된 후에 프루닝되도록 결정된 순서로 상기 멀티뷰 이미지들의 뷰들의 픽셀들을 프루닝하기 위해; 그리고
   - 상기 그래프 및 프루닝된 뷰들을 데이터 스트림에 인코딩하기 위해 구성되는, 디바이스.
5. 제4항에 있어서, 뷰의 픽셀들을 프루닝하는 것은, 결정된 값에 의해 상기 프루닝 우선순위 링크에 따라 상기 멀티뷰 프레임의 비-프루닝된 뷰의 픽셀에서 공유되는 바와 같은 정보 중복을 저장하는 뷰의 픽셀의 값을 대체하는 것을 포함하는, 디바이스.
6. 제4항 또는 제5항에 있어서, 상기 그래프는 상기 멀티뷰 프레임의 각각의 뷰에 대해, 상기 뷰가 관련된 뷰의 목록을 포함하는 목록으로서 상기 데이터 스트림에서 시그널링되는, 디바이스.
7. 프루닝된 멀티뷰 프레임을 데이터 스트림으로부터 디코딩하는 방법으로서,
   - 상기 데이터 스트림으로부터 상기 프루닝된 멀티뷰 프레임을 획득하는 단계;
   - 데이터 스트림으로부터 비순환 그래프를 획득하는 단계 - 그래프는 상기 멀티뷰 이미지의 뷰들을 링킹하고, 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -; 및
   - 상기 그래프의 상기 프루닝 우선순위의 함수로서 상기 프루닝된 멀티뷰 프레임의 각각의 뷰의 기여를 결정함으로써 뷰잉 포즈에 따라 뷰포트 프레임을 생성하는 단계를 포함하는, 방법.
8. 제7항에 있어서, 뷰의 프루닝된 픽셀의 값은 미리결정된 값을 갖는, 방법.
9. 제7항 또는 제8항에 있어서, 상기 그래프는 상기 멀티뷰 프레임의 각각의 뷰에 대해, 상기 뷰가 관련된 뷰의 목록을 포함하는 목록으로서 상기 데이터 스트림에서 시그널링되는, 방법.
10. 프루닝된 멀티뷰 프레임을 데이터 스트림으로부터 디코딩하기 위한 디바이스로서, 디바이스는 프로세서를 포함하고, 프로세서는,
    - 상기 데이터 스트림으로부터 상기 프루닝된 멀티뷰 프레임을 획득하기 위해;
    - 데이터 스트림으로부터 비순환 그래프를 획득하기 위해 - 그래프는 상기 멀티뷰 이미지의 뷰들을 링킹하고, 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 -; 그리고
    - 상기 그래프의 상기 프루닝 우선순위의 함수로서 상기 프루닝된 멀티뷰 프레임의 각각의 뷰의 기여를 결정함으로써 뷰잉 포즈에 따라 뷰포트 프레임을 생성하기 위해 구성되는, 디바이스.
11. 제10항에 있어서, 뷰의 프루닝된 픽셀의 값은 미리결정된 값을 갖는, 디바이스.
12. 제10항 또는 제11항에 있어서, 상기 그래프는 상기 멀티뷰 프레임의 각각의 뷰에 대해, 상기 뷰가 관련된 뷰의 목록을 포함하는 목록으로서 상기 데이터 스트림에서 시그널링되는, 디바이스.
13. 데이터 스트림으로서,
    - 프루닝된 멀티뷰 프레임을 표현하는 데이터; 및
    - 비순환 그래프를 표현하는 데이터 - 그래프는 상기 멀티뷰 이미지의 뷰들을 링킹하고, 상기 그래프의 링크들은 뷰 프루닝 우선순위를 표현함 - 를 포함하는, 데이터 스트림.
14. 제13항에 있어서, 뷰의 프루닝된 픽셀의 값은 미리결정된 값을 갖는, 데이터 스트림.
15. 제13항 또는 제14항에 있어서, 상기 비순환 그래프는 상기 멀티뷰 프레임의 각각의 뷰에 대해, 상기 뷰가 관련된 뷰의 목록을 포함하는 목록으로서 상기 데이터 스트림에서 시그널링되는, 데이터 스트림.

Images