KR102468178B1

KR102468178B1 - 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림

Info

Publication number: KR102468178B1
Application number: KR1020197020484A
Authority: KR
Inventors: 르노 도르; 프랑끄 갈팽; 제라르 브리앙; 줄리앙 플뢰로
Original assignee: 인터디지털 브이씨 홀딩스 인코포레이티드
Priority date: 2017-01-13
Filing date: 2018-01-08
Publication date: 2022-11-16
Also published as: EP3349182A1; CN110383342A; CN110383342B; KR20190105011A; US20190371051A1; JP2020515937A; EP3568834A1; EP3568834B1; US10891784B2; JP7241018B2; WO2018130491A1

Abstract

3D 포인트 클라우드를 나타내는 데이터의 스트림을 생성하는 방법 및 디바이스. 3D 포인트 클라우드는 복수의 3D 기본 부분들로 파티셔닝된다. 2차원 (2D) 파라미터화들의 세트가 결정되고, 각각의 2D 파라미터화는 파라미터들의 세트를 갖는 포인트 클라우드의 하나의 3D 부분을 표현한다. 각각의 3D 부분은 2D 픽셀 이미지로서 표현된다. 깊이 맵 및 컬러 맵은 제 1 패치 아틀라스 및 제 2 패치 아틀라스로서 결정된다. 데이터 스트림은 2D 파라미터화의 파라미터들, 제 1 패치 아틀라스, 제 2 패치 아틀라스 및 각각의 2D 파라미터화를 각각 제 1 및 제 2 패치 아틀라스 내의 그의 연관된 깊이 맵 및 컬러 맵과 링크하는 맵핑 정보를 결합 및/또는 코딩함으로써 생성된다.

Description

몰입형 비디오 포맷을 위한 방법, 장치 및 스트림

본 개시는 몰입형 비디오 컨텐츠의 영역에 관한 것이다. 본 개시는 또한 예를 들어 모바일 디바이스 또는 헤드 장착 디스플레이와 같은 엔드-유저 디바이스에서의 렌더링을 위한 몰입형 컨텐츠를 나타내는 데이터의 포맷팅의 콘텍스트에서 이해된다.

본 섹션은 본 기술의 다양한 양태들을 독자에게 소개하기 위한 것이고, 이는 하기에서 설명되고 및/또는 청구되는 본 개시의 다양한 양태들에 관련될 수도 있다. 이 논의는, 본 발명의 다양한 양태들의 더 우수한 이해를 촉진하기 위한 배경 정보를 독자에게 제공함에 있어서 도움이 될 것으로 생각된다. 이에 따라, 이들 진술들은 종래 기술의 시인으로서가 아니라 이러한 관점에서 판독되어야 함이 이해되어야 한다.

헤드 장착 디스플레이 (HMD) 또는 CAVE 와 같은 디스플레이 시스템은 사용자가 몰입형 비디오 컨텐츠를 브라우징하는 것을 가능하게 한다. 몰입형 비디오 컨텐츠는 CGI (Computer-generated imagery) 기법들로 획득될 수도 있다. 이러한 몰입형 비디오 컨텐츠를 사용하면, 그것을 시청하는 사용자의 관점에 따라, 그러나 비현실적인 그래픽 품질로 컨텐츠를 컴퓨팅할 수 있다. 몰입형 비디오 컨텐츠는 구체 (sphere) 또는 큐브 (cube)와 같은 표면 상에 비디오 (예를 들어, 여러 카메라에 의해 획득 된 비디오) 의 매핑으로 획득될 수도 있다. 그러한 몰입형 비디오 컨텐츠는 양호한 이미지 품질을 제공하지만, 특히 전경의, 즉 카메라에서 가까운 장면의 오브젝트들에 대한 시차와 관련된 문제들이 나타난다.

몰입형 비디오 컨텐츠의 컨텍스트에서, 자유 시점 비디오 (FVV) 는 멀티뷰 비디오의 표현 및 코딩과 임의의 관점에서의 후속 재렌더링을 위한 기법이다. 몰입형 컨텍스트에서 사용자 경험을 증가시키는 동안, 렌더러로 전송되는 데이터의 양은 매우 중요하며 문제가 될 수도 있다.

"일 실시형태", "실시형태", "예시적인 실시형태", “특정의 실시형태” 에 대한 명세서에서의 참조들은, 설명된 실시형태가 특정한 피처, 구조, 또는 특징을 포함할 수도 있지만, 모든 실시형태가 반드시 그 특정한 피처, 구조, 또는 특징을 포함하지 않을 수도 있는 것을 나타낸다. 또한, 이러한 문구들은 반드시 동일한 실시형태를 지칭하는 것은 아니다. 또한, 특정한 피처, 구조 또는 특징이 실시형태와 관련하여 설명될 때, 명시적으로 설명되는지 여부에 따라, 다른 실시형태들과 관련하여 그러한 피처, 구조 또는 특징에 영향을 미치도록 당업자의 지식 내에 있다는 것이 제시된다.

본 개시는 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하는 방법에 관한 것이며, 그 방법은,

- 3 차원 포인트 클라우드 (point cloud) 의 적어도 하나의 포인트를 각각 포함하는 복수의 3 차원 부분에 3 차원 포인트 클라우드를 파티셔닝하는 단계로서, 상기 3 차원 포인트 클라우드는 관점들의 범위에서 본 오브젝트를 나타내는, 상기 3 차원 포인트 클라우드를 파티셔닝하는 단계;

- 복수의 3 차원 부분의 적어도 일부의 각 3 차원 부분에 대해 :

· 3 차원 부분과 연관된 2 차원 파라미터화를 나타내는 파라미터들 및 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 데이터에 따라 3 차원 부분과 연관된 깊이 맵을 결정하는 단계로서, 2 차원 파라미터화는 상기 적어도 하나의 포인트와 연관된 기하학적 정보에 및 관점들의 범위와 연관된 포즈 정보에 응답하는, 상기 깊이 맵을 결정하는 단계; 및

· 파라미터들 및 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 데이터에 따라 3 차원 부분과 연관된 컬러 맵을 결정하는 단계;

복수의 결정된 깊이 맵들은 제 1 패치 아틀라스 (atlas) 에 표현되고, 각각의 깊이 맵은 제 1 패치 아틀라스의 하나의 패치에 대응하며, 복수의 결정된 컬러 맵들은 제 2 패치 아틀라스에 표현되고, 각각의 컬러 맵은 제 2 패치 아틀라스의 하나의 패치에 대응하며;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스를 나타내는 데이터, 제 2 패치 아틀라스를 나타내는 데이터, 및 2 차원 파라미터화들과 제 1 패치 아틀라스에서의 대응하는 깊이 맵들 및 제 2 패치 아틀라스에서의 대응하는 컬러 맵들 사이의 맵핑을 나타내는 제 1 맵핑 정보를 포함하는 스트림을 생성하는 단계를 포함한다.

본 개시는 또한 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하도록 구성된 디바이스에 관한 것이며, 그 디바이스는 적어도 하나의 프로세서와 연관된 메모리를 포함하고, 그 적어도 하나의 프로세서는:

- 3 차원 포인트 클라우드 (point cloud) 의 적어도 하나의 포인트를 각각 포함하는 복수의 3 차원 부분에 3 차원 포인트 클라우드를 파티셔닝하는 것으로서, 상기 3 차원 포인트 클라우드는 관점들의 범위에서 본 오브젝트를 나타내는, 상기 3 차원 포인트 클라우드를 파티셔닝하고;

· 3 차원 부분과 연관된 2 차원 파라미터화를 나타내는 파라미터들 및 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 데이터에 따라 3 차원 부분과 연관된 깊이 맵을 결정하는 것으로서, 2 차원 파라미터화는 상기 적어도 하나의 포인트와 연관된 기하학적 정보에 및 관점들의 범위와 연관된 포즈 정보에 응답하는, 상기 깊이 맵을 결정하며; 및

· 파라미터들 및 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 데이터에 따라 3 차원 부분과 연관된 컬러 맵을 결정하고;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스를 나타내는 데이터, 제 2 패치 아틀라스를 나타내는 데이터, 및 2 차원 파라미터화들과 제 1 패치 아틀라스에서의 대응하는 깊이 맵들 및 제 2 패치 아틀라스에서의 대응하는 컬러 맵들 사이의 맵핑을 나타내는 제 1 맵핑 정보를 포함하는 스트림을 생성하도록 구성된다.

본 개시는 또한 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하도록 구성된 디바이스에 관한 것이며, 그 디바이스는,

- 3 차원 포인트 클라우드 (point cloud) 의 적어도 하나의 포인트를 각각 포함하는 복수의 3 차원 부분에 3 차원 포인트 클라우드를 파티셔닝하는 수단으로서, 상기 3 차원 포인트 클라우드는 관점들의 범위에서 본 오브젝트를 나타내는, 상기 3 차원 포인트 클라우드를 파티셔닝하는 수단;

· 3 차원 부분과 연관된 2 차원 파라미터화를 나타내는 파라 미터들 및 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 데이터에 따라 3 차원 부분과 연관된 깊이 맵으로서, 2 차원 파라미터화는 상기 적어도 하나의 포인트와 연관된 기하학적 정보에 및 관점들의 범위와 연관된 포즈 정보에 응답하는, 상기 깊이 맵; 및

· 3 차원 부분에 포함된 적어도 하나의 포인트와 연관된 파라미터들 및 데이터에 따라 3 차원 부분과 연관된 컬러 맵을 결정하는 수단;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스를 나타내는 데이터, 제 2 패치 아틀라스를 나타내는 데이터, 및 2 차원 파라미터화들과 제 1 패치 아틀라스에서의 대응하는 깊이 맵들 및 제 2 패치 아틀라스에서의 대응하는 컬러 맵들 사이의 맵핑을 나타내는 제 1 맵핑 정보를 포함하는 스트림을 생성하는 수단을 포함한다.

특정 특성에 따르면, 복수의 2 차원 파라미터화들은 복수의 3 차원 부분의 적어도 일부의 각각의 3 차원 부분과 연관된다.

특정한 특성에 따르면, 스트림은 3 차원 패치들을 식별하는 정보와 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스를 나타내는 제 1 및 제 2 이미지의 픽셀들 간의 매핑을 나타내는 제 2 매핑 정보를 더 포함한다.

특정 특성에 따르면, 상기 포인트 클라우드의 파티셔닝은 시간에 따라 변한다.

본 개시는 또한 장면의 오브젝트를 나타내는 데이터를 운반하는 스트림에 관한 것이며, 그 데이터는:

- 관점들의 범위에서 본 오브젝트를 나타내는 포인트 클라우드의 3차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들로서, 상기 파라미터들은 3 차원 부분들에 포함된 포인트 클라우드의 포인트들과 연관된 기하학적 정보에 따라 및 관점들의 범위와 연관된 포즈 정보에 따라 획득되는, 상기 파라미터들;

- 3 차원 부분들 중 하나와 각각 연관되고 파라미터들 및 3 차원 부분들에 포함된 포인트 클라우드의 포인트들과 연관된 데이터로부터 결정되는 복수의 깊이 맵을 포함하는 제 1 패치 아틀라스를 나타내는 데이터;

- 3 차원 부분들 중 하나와 각각 연관되고 파라미터들 및 3 차원 부분들에 포함된 포인트 클라우드의 포인트들과 연관된 데이터로부터 결정되는 복수의 컬러 맵을 포함하는 제 2 패치 아틀라스를 나타내는 데이터; 및

- 2 차원 파라미터화들, 제 1 패치 아틀라스의 깊이 맵들 및 제 2 패치 아틀라스의 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보를 포함한다.

본 개시는 또한 오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 획득하는 방법에 관한 것이며, 그 방법은:

- 스트림으로부터, 관점들의 범위에서 본 오브젝트를 나타내는 포인트 클라우드의 3 차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들을 획득하는 단계;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 깊이 맵들을 포함하는 제 1 패치 아틀라스를 나타내는 데이터를 획득하는 단계;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 컬러 맵들을 포함하는 제 2 패치 아틀라스를 나타내는 데이터를 획득하는 단계;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스 내의 연관된 깊이 맵들의 데이터, 제 2 패치 아틀라스 내의 연관된 컬러 맵들의 데이터 및 스트림으로부터 획득되고 2 차원 파라미터화들과 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스 내의 대응하는 깊이 맵들 및 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보로부터 오브젝트를 나타내는 포인트 클라우드의 포인트들과 연관된 데이터를 획득하는 단계를 포함한다.

본 개시는 또한 오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 획득하도록 구성된 디바이스에 관한 것이며, 그 디바이스는 적어도 하나의 프로세서와 연관된 메모리를 포함하고, 그 적어도 하나의 프로세서는:

- 스트림으로부터, 관점들의 범위에서 본 오브젝트를 나타내는 포인트 클라우드의 3 차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들을 획득하고;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 깊이 맵들을 포함하는 제 1 패치 아틀라스를 나타내는 데이터를 획득하며;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 컬러 맵들을 포함하는 제 2 패치 아틀라스를 나타내는 데이터를 획득하고;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스 내의 연관된 깊이 맵들의 데이터, 제 2 패치 아틀라스 내의 연관된 컬러 맵들의 데이터 및 스트림으로부터 획득되고 2 차원 파라미터화들과 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스 내의 대응하는 깊이 맵들 및 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보로부터 오브젝트를 나타내는 포인트 클라우드의 포인트들과 연관된 데이터를 획득하도록 구성된다.

본 개시는 또한 오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 획득하도록 구성된 디바이스에 관한 것이며, 그 디바이스는:

- 스트림으로부터, 관점들의 범위에서 본 오브젝트를 나타내는 포인트 클라우드의 3 차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들을 획득하는 수단;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 깊이 맵들을 포함하는 제 1 패치 아틀라스를 나타내는 데이터를 획득하는 수단;

- 스트림으로부터, 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 컬러 맵들을 포함하는 제 2 패치 아틀라스를 나타내는 데이터를 획득하는 수단;

- 2 차원 파라미터화들을 나타내는 파라미터들, 제 1 패치 아틀라스 내의 연관된 깊이 맵들의 데이터, 제 2 패치 아틀라스 내의 연관된 컬러 맵들의 데이터 및 스트림으로부터 획득되고 2 차원 파라미터화들과 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스 내의 대응하는 깊이 맵들 및 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보로부터 오브젝트를 나타내는 포인트 클라우드의 포인트들과 연관된 데이터를 획득하는 수단을 포함한다.

특정 특성에 따르면, 포인트 클라우드를 나타내는 획득된 데이터에 따라 오브젝트를 나타내는 이미지가 렌더링된다.

본 개시는 또한 프로그램이 컴퓨터에서 실행될 때, 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하는 방법의 단계들을 실행하는 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 개시는 또한 프로그램이 컴퓨터에서 실행될 때, 오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 획득하는 방법의 단계들을 실행하는 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.

본 개시는 또한 프로그램이 컴퓨터에서 실행될 때, 프로세서로 하여금 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하는 상술된 방법을 적어도 수행하게 하기 위한 명령들을 저장한 (비일시적) 프로세서 판독가능 매체에 관한 것이다.

본 개시는 또한 프로그램이 컴퓨터에서 실행될 때, 프로세서로 하여금 오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 획득하는 상술된 방법을 적어도 수행하게 하기 위한 명령들을 저장한 (비일시적) 프로세서 판독가능 매체에 관한 것이다.

첨부된 도면을 참조하는 이하의 설명을 읽을 때 본 개시는 보다 잘 이해될 것이고, 다른 특정 피쳐들 및 장점들이 나타날 것이다.
- 도 1 은 본 원리들의 특정 실시 예에 따른 몰입형 컨텐츠를 도시한다.
- 도 2a 및 도 2b 는 본 원리들의 특정 실시형태에 따라, 도 1 의 몰입형 컨텐츠의 적어도 일부를 얻기 위해 장면의 [또는 장면의 일부의] 이미지들을 획득하도록 구성된 라이트필드 (lightfield) 획득 디바이스를 도시한다.
- 도 3 은 본 원리들의 특정 실시형태에 따라 도 2a 및 도 2b 의 획득 디바이스로 획득된 장면의 오브젝트의 일부의 표현을 도시한다.
- 도 4 는 본 원리들의 특정 실시형태에 따른, 도 3 의 오브젝트의 표현의 3D 부분들과 연관된 2D 파라미터화들을 도시한다.
- 도 5 및 도 6 은 본 원리들의 특정 실시형태들에 따른, 도 4 의 3D 부분들과 연관된 패치 아틀라스를 도시한다.
- 도 7 은 본 원리들의 비제한적인 실시형태에 따른 도 5 및 도 6 의 패치 아틀라스의 생성을 도시한다.
- 도 8a, 도 8b, 도 8c 및 도 8d 는 각각 도 3 의 오브젝트의 3D 표현을 파티셔닝하는 비제한적인 예를 도시한다.
- 도 9 는 본 원리들의 일례에 따라, 도 12 및/또는 도 13 의 방법(들)을 구현하도록 구성된 디바이스의 아키텍처의 예를 도시한다.
- 도 10 은 본 원리들의 일례에 따라, 통신 네트워크를 통해 통신하는 도 9 의 2 개의 원격 디바이스들을 도시한다.
- 도 11 은 본 원리들의 일례에 따라, 도 3 의 오브젝트의 설명을 운반하는 신호의 신택스를 도시한다.
- 도 12 는 본 원리들의 일례에 따라, 도 3 의 오브젝트를 설명하는 데이터의 스트림을 생성하는 방법을 도시한다.
- 도 13 은 본 원리들의 일례에 따라, 도 3 의 오브젝트의 이미지를 렌더링하는 방법을 도시한다.

본 요지를 이제 도면을 참조하여 설명하고, 여기서 전체적으로 동일 참조 부호는 동일 엘리먼트를 지칭하도록 사용되었다. 이하의 상세한 설명에서, 설명의 목적을 위해, 많은 특정 세부 사항들이 본 요지의 철저한 이해를 제공하기 위하여 제시되어 있다. 그러나, 본 요지의 실시 형태들은 이러한 특정 세부 사항 없이도 실시될 수 있음이 분명할 수 있다.

본 설명은 본 개시의 원리들을 나타낸다.　따라서, 당업자는, 비록 본 명세서에서 명시적으로 기술되거나 나타나지 않더라도, 본 개시의 원리들을 구현하는 다양한 배열들을 발명할 수 있을 것임이 이해될 것이다.

본 원리들은 장면의 하나 이상의 오브젝트들을 나타내는 데이터의 스트림을 생성하는 방법 및/또는 생성된 데이터 스트림으로부터 이러한/이들 오브젝트(들)의 하나 이상의 이미지를 렌더링하는 방법의 특정 실시형태를 참조하여 설명될 것이다. 장면의 오브젝트(들)는 관점들의 결정된 범위에 따라 3 차원 (3D) 포인트 클라우드로 표현된다. 포인트 클라우드는 예를 들어 장면의 이미지들로부터 얻어지며, 각각의 이미지는 관점들의 결정된 범위 내에서 상이한 관점에 따라 장면 또는 장면의 일부를 나타낸다. 3D 포인트 클라우드는 3D 포인트 클라우드의 하나 이상의 포인트들을 각각 포함하는 복수의 3D 기본 부분들로 파티셔닝된다. 2 차원 (2D) 파라미터화들의 세트가 결정되며, 각각의 2D 파라미터화는 파라미터들의 세트로 포인트 클라우드의 하나의 3D 부분을 나타낸다. 각 3D 부분은 각 2D 픽셀 표현에 대한 일부 파라미터들을 통해 하나 이상의 2D 픽셀 표현들로 표현된다. 깊이 맵 (높이 맵이라고도 함) 및 컬러 맵 (텍스처 맵이라고도 함) 이 각 3D 부분과 연관된 2D 파라미터화들의 파라미터들을 사용하여 각 3D 부분에 대해 결정되고 각 3D 부분과 연관된다. 획득된 깊이 맵은 제 1 패치 아틀라스 (하나의 깊이 맵에 대응하는 제 1 패치 아틀라스의 패치) 에 표현되고, 획득된 컬러 맵은 제 2 패치 아틀라스 (하나의 컬러 맵에 대응하는 제 2 패치 아틀라스의 패치) 에 표현된다.. 데이터 스트림은 2D 파라미터화의 파라미터들, 제 1 패치 아틀라스를 나타내는 데이터, 제 2 패치 아틀라스를 나타내는 데이터 및 각각의 2D 파라미터화를 각각 제 1 및 제 2 패치 아틀라스 내의 그것의 연관된 깊이 맵 및 컬러 맵과 링크시키는 매핑 정보를 조합 및/또는 코딩함으로써 생성된다.

디코더/렌더링되는 측상에서, 포인트 클라우드는 2D 파라미터화들의 파라미터들 및 연관된 높이 및 텍스쳐 맵들을 스트림으로부터 디코딩/추출함으로써 재구성될 수도 있고 및 오브젝트(들) 의 하나 이상의 이미지들은 포인트 클라우드로부터 렌더링될 수도 있다.

텍스쳐 및 높이 정보를 갖는 오브젝트를 표현하기 위한 참조들로서의 복수의 2D 파라미터화들의 사용은 상세들의 최적의 레벨을 갖는 복잡한 토폴로지들을 갖는 오브젝트들을 표현하는 것을 가능하게 하면서 포인트 클라우드에 의한 표현과 비교하여 오브젝트를 표현하는데 필요한 데이터의 양을 감소시키는 것을 가능하게 한다.

도 1 은 본 원리들의 특정의 및 비제한적인 실시형태에 따라, 4π 스테라디안 비디오 컨텐츠의 비제한적인 예시적인 형태로, 몰입형 컨텐츠 (10) 의 예를 도시한다. 도 1 은 몰입형 컨텐츠 (10) 의 평면 표현에 대응한다. 몰입형 컨텐츠 (10) 는 예를 들어 하나 이상의 카메라들로 획득된 실제의 장면에 또는 실제의 및 가상의 오브젝트들을 포함하는 혼합 현실 (mixed-reality) 장면에 대응하고, 가상의 오브젝트는 예를 들어 3D 렌더링 툴을 사용함으로써 합성된다. 몰입형 컨텐츠 (10) 의 부분 (11) 은 예를 들어 몰입형 컨텐츠들을 시각화하도록 적응된 디스플레이 디바이스상으로 디스플레이된 몰입형 컨텐츠의 부분 (뷰포트로 지칭됨) 에 대응하며, 부분 (11) 의 크기는 예를 들어 디스플레이 디바이스에 의해 제공된 시야와 동일하다.

몰입형 컨텐츠 (10) 를 시각화하기 위해 사용되는 디스플레이 디바이스는 예를 들어 사용자의 머리에 또는 헬멧의 일부로서 착용되는 HMD (Head-Mounted Display), 이다. HMD 는 유익하게는 하나 이상의 디스플레이 스크린 (예를 들어, LCD (Liquid Crystal Display), OLED (Organic Light-Emitting Diode) 또는 LCOS (Liquid Crystal On Silicon)) 및 실세계의 1 개, 2 개 또는 3 개의 축들 (피치, 요 및/또는 롤 축) 에 따라 HMD 의 위치의 변화(들)을 측정하도록 구성된 센서(들), 예를 들어 자이로스코프 또는 IMU (관성 측정 유닛) 을 포함한다. HMD 의 측정된 위치에 대응하는 몰입형 컨텐츠 (10) 의 부분 (11) 는 실세계에서의 HMD 와 연관된 관점과 몰입형 컨텐츠 (10) 와 연관된 가상 카메라의 관점 사이의 관계를 확립하는 특정 함수로 유리하게 결정된다. HMD 의 측정된 위치에 따라 HMD 의 디스플레이 스크린(들) 상에 디스플레이될 비디오 컨텐츠의 부분 (11) 를 제어하는 것은 HMD 를 착용한 사용자가 HMD 의 디스플레이 스크린(들)과 연관된 시야보다 큰 몰입형 컨텐츠를 브라우징 하는 것을 가능하게 한다. 예를 들어, HMD 에 의해 제공되는 시야가 (예를 들어, 요 축에 대해) 110° 이고, 몰입형 컨텐츠가 180° 의 컨텐츠를 제공하는 경우, HMD 를 착용한 사용자는 자신의 머리를 오른쪽 또는 왼쪽으로 회전시켜 HMD 에의해 제공되는 시야 밖의 비디오 컨텐츠의 부분들을 볼 수도 있다. 또 다른 예에 따르면, 몰입형 시스템은 몰입형 컨텐츠가 방의 벽에 투영되는 CAVE (Cave Automatic Virtual Environment) 시스템이다. CAVE 의 벽은 예를 들어 리어 프로젝션 스크린 또는 평면 패널 디스플레이로 구성된다. 따라서 사용자는 방의 다른 벽에 대한 그의/그녀의 시선을 브라우징할 수도 있다. CAVE 시스템은 유리하게는 사용자의 시선 방향을 이들 이미지들의 비디오 프로세싱에 의해 결정하기 위해 사용자의 이미지들을 획득하는 카메라가 제공된다. 변형예에 따르면, 사용자의 시선 또는 포즈는 추적 시스템, 예를 들어 적외선 추적 시스템으로 결정되며, 사용자는 적외선 센서들을 착용하고 있다. 또 다른 변형에 따르면, 몰입형 시스템은 촉각 디스플레이 스크린을 구비한 태블릿이며, 사용자는 촉감 디스플레이 스크린 상을 슬라이딩하는 하나 이상의 핑거로 컨텐츠를 스크롤링함으로써 컨텐츠를 브라우징한다.

몰입형 컨텐츠 (10) 및 부분 (11) 는 마찬가지로 전경 오브젝트(들) 및 배경 오브젝트(들) 을 포함할 수도 있다.

당연히, 몰입형 컨텐츠 (10) 는 4π 스테라디안 비디오 컨텐츠에 제한되지 않고, 시야 (11) 보다 큰 사이즈를 갖는 임의의 비디오 컨텐츠 (또는 오디오-비쥬얼 컨텐츠) 까지 확장된다. 몰입형 컨텐츠는 예를 들어 2π, 2.5π, 3π 스테라디안 컨텐츠 등일 수도 있다.

도 2a 및 도 2b 는 라이트필드 획득 디바이스의 예를 보여준다. 보다 구체적으로, 도 2a 및 도 2b 는 각각 본 원리들의 2 개의 특정 실시형태들에 따른 카메라 어레이 (2A, 2B) (카메라 어레이들로도 지칭됨) 를 도시한다.

카메라 어레이 (2A) 는 수개의 마이크로 렌즈들 (201, 202 내지 20p) 을 포함하는 렌즈들 또는 마이크로 렌즈들의 어레이 (20) 로서, p 는 마이크로 렌즈들의 수에 대응하는 정수인, 상기 렌즈들 또는 마이크로 렌즈들의 어레이 (20), 및 하나 또는 수 개의 센서 어레이들 (21) 을 포함한다. 카메라 어레이 (2A) 는 주 렌즈를 포함하지 않는다. 렌즈들의 어레이 (20) 는 일반적으로 마이크로 렌즈 어레이로 명명된 소형 디바이스일 수도 있다. 단일 센서를 가진 카메라 어레이는 주 렌즈가 무한 초점 길이를 갖는 특수한 경우의 플렌옵틱 (plenoptic) 카메라로 간주될 수 있다. 광 센서의 개수가 마이크로 렌즈의 개수와 동일한, 즉 하나의 광 센서가 하나의 마이크로 렌즈와 광학적으로 연관되는 특정 배열에 따르면, 카메라 어레이 (20) 는 (도 2a 에 도시된 바와 같은) 사각형 배열 또는 예를 들어 퀸컹스 (quincunx) 배열, 또는 예를 들어 원통형 표면 상에 비평면 배열과 같은, 밀접하게 이격된 복수의 개개의 카메라들 (예를 들어, 마이크로 카메라들) 의 배열로서 보여질 수도 있다

카메라 어레이 (2B) 는 각각 렌즈 및 포토센서 어레이를 포함하는 개개의 카메라의 리그 (rig) 에 대응한다. 카메라는 예를 들어 수 센티미터 이하 또는 5, 7 또는 10 cm 와 동일한 거리만큼 이격된다.

이러한 카메라 어레이 (2A 또는 2B) 로 얻어진 (이른바 라이트필드 이미지를 형성하는) 라이트필드 데이터는 장면의 복수의 뷰들, 즉 렌즈릿 어레이와 광센서 어레이 사이의 거리가 마이크로렌즈 초점 길이와 동일한 플렌옵틱 카메라에 대응하는 타입 1. 0 의, 또는 다르게는 (포커스드 (focused) 플렌옵틱 카메라라고도 하는) 타입 2.0 의 플렌옵틱 카메라와 같은 플렌옵틱 카메라로 획득된 로 (raw) 이미지를 디멀티플렉싱 및 디모자이킹함으로써 획득될 수도 있는 최종 뷰들에 대응한다. 카메라 어레이 (2B) 의 카메라들은 임의의 알려진 방법에 따라 캘리브레이션되며, 즉 카메라들의 내재적 및 외인성 파라미터들이 알려져있다.

라이트필드 획득 디바이스로 얻어진 상이한 뷰들은 예를 들어 디스패리티 (disparity) 에 기초하여 깊이를 컴퓨팅할 수 있는 알고리즘들을 사용하여 몰입형 컨텐츠 또는 몰입형 컨텐츠의 적어도 일부를 획득하는 것을 가능하게 한다. 당연히, 몰입형 컨텐츠는 라이트필드 획득 디바이스와 상이한 획득 디바이스, 예를 들어 깊이 센서 (예를 들어, 마이크로 소프트의 키넥트 (Kinect) 와 같은 또는 레이저 이미터를 갖는 적외선 이미터/수신기) 와 연관된 카메라로 획득될 수도 있다.

도 3 은 몰입형 컨텐츠로 표현된 장면의 오브젝트 또는 그것의 일부의 두 가지 상이한 표현을 보여준다. 도 3 의 예에 따르면, 오브젝트는 예를 들어 장면 내에서 이동하는 사람이고, 헤드에 대응하는 오브젝트의 일부분이 도 3 에 도시되어 있다.

오브젝트의 부분의 제 1 표현 (30) 은 포인트 클라우드 (point cloud) 이다. 포인트 클라우드는 물체를 나타내는 포인트들의 큰 집합, 예를 들어 오브젝트의 외부 표면 또는 외부 모양에 대응한다. 포인트 클라우드는 벡터 기반 구조로 볼 수 있으며, 각 포인트는 그의 좌표들 (예를 들어, 3 차원 좌표들 XYZ, 또는 주어진 관점으로부터의 깊이/거리) 및 컴포넌트로도 불리는 하나 이상의 속성들을 갖는다. 컴포넌트의 예는 상이한 컬러 공간들, 예를 들어 RGB (적색, 녹색 및 청색) 또는 YUV (Y 는 루마 컴포넌트이고 UV 두개의 크로미넌스 컴포넌트들임) 에서 표현될 수도 있는 컬러 컴포넌트이다. 포인트 클라우드는 주어진 관점 또는 관점의 범위에서 본 오브젝트의 표현이다. 포인트 클라우드는 다른 방법들로, 예를 들어:

· 선택적으로 깊이 능동 감지 디바이스로 구현된, 도 2 의 카메라 어레이들과 같이, 카메라들의 리그에 의해 촬영된 실제 오브젝트의 캡쳐로부터;

· 모델링 툴에서 가상 카메라들의 리그에 의해 촬영된 가상의/합성의 오브젝트의 캡처로부터;

· 실제의 및 가상의 오브젝트들의 혼합으로부터 획득될 수도 있다.

첫 번째 경우 (실제 오브젝트의 캡처로부터), 카메라들의 세트는 서로 다른 뷰들 (서로 다른 관점들) 에 해당하는 이미지들의 세트 또는 이미지들의 시퀀스들 (비디오들) 을 생성한다. 각 카메라 중심에서 오브젝트 표면까지의 거리를 의미하는 깊이 정보는 능동형 깊이 감지 디바이스에 의해, 예를 들어, 적외선 범위에서 및 구조화된 빛 분석 또는 비행 시간에 기초하거나, 디스패리티 알고리즘들에 기초하여 획득된다. 두 경우 모두에서, 모든 카메라가 본질적으로 또는 비본질적으로 캘리브레이션될 필요가 있다. 디스패리티 알고리즘은 일반적으로 1 차원 라인을 따라 만들어진 정류된 카메라 이미지들의 쌍에서 유사한 시각적 특징을 검색하는 것으로 구성된다: 픽셀 열 차이가 클수록, 이러한 피쳐의 표면이 더 가깝다. 카메라 어레이의 경우에, 전역 깊이 정보는 복수의 카메라 쌍들의 이점을 취하여, 복수의 피어 (peer) 디스패리터 정보의 결합으로부터 얻어 질 수도 있으며, 따라서 신호 대 잡음비를 향상시킬 수 있다.

두 번째 경우 (합성 오브젝트) 에서, 모델링 툴은 깊이 정보를 직접 제공한다.

객체의 부분의 제 2 표현 (31) 은 포인트 클라우드 표현 (30) 으로부터 획득될 수도 있고, 제 2 표현은 표면 표현에 대응한다. 포인트 클라우드는 그의 표면을 컴퓨팅하기 위해 프로세싱될 수도 있다. 이를 위해, 포인트 클라우드의 주어진 포인트에 대해, 이 주어진 포인트의 이웃 포인트들이 사용되어 이 주어진 포인트에서 로컬 표면의 법선을 컴퓨팅하며, 이 주어진 포인트와 연관된 표면 요소는 법선에서 도출된다 . 프로세스는 표면을 획득하기 위해 모든 포인트들에 대해 반복된다. 포인트 클라우드로부터 표면을 재구성하는 방법은 예를 들어 Matthew Berger et al. in “State of the Art in Surface Reconstruction from Point Clouds”, State of the Art Report, 2014 에 기술되어 있다. 변형에 따라, 포인트 클라우드의 주어진 포인트와 연관된 표면 요소는 이 주어진 포인트에 스플랫 렌더링을 적용함으로써 얻어진다. 오브젝트의 표면 (오브젝트의 암시적 표면 또는 외부 표면이라고도 함) 은 포인트 클라우드의 포인트들과 연관된 모든 스플랫 (예 : 타원체) 을 혼합하여 얻어진다.

특정 실시형태에서, 포인트 클라우드는 오브젝트의 부분적 뷰들만을 나타내며 오브젝트를 전체로는 나타내지 않으며, 이는 예를 들어 영화 장면에서 렌더링 측에서 오브젝트가 시청되는 방식에 대응한다. 예를 들어, 평면 카메라 어레이를 향한 캐릭터의 촬영은 단지 리그의 측면상에 포인트 클라우드를 생성한다. 캐릭터의 등이 존재하지도 않고, 오브젝트 자체가 닫히지 않기 때문에, 이 오브젝트의 기하학적 특성은 리그 방향으로 배향된 모든 표면들의 세트이다 (각 로컬 표면들의 법선과 획득 디바이스로의 광선 사이의 각도는 예를 들어 90° 미만이다).

도 4 는 본 원리의 특정 실시형태에 따라, 카메라 (4001, 4002, 4003 및 4004)로 획득된 장면의 오브젝트의 표현 (40) 의 3D 부분들과 연관된 2D 파라미터화들 (41, 42 및 43) 을 도시한다. 카메라 (4001 내지 4004) 는 예를 들어 도 2b 의 리그의 일부 카메라에 대응한다. 오브젝트는 도 3 의 예 (31) 에서와 같이 그 표면 (40) 으로 나타내지만, 도 3 의 예 (30) 에서와 같이 포인트 클라우드 자체로 표현될 수도 있다. 각각의 2D 파라미터화는 오브젝트의 표현의 3D 부분과 연관되며, 각 3D 부분은 포인트 클라우드의 하나 이상의 포인트들을 포함하는 볼륨에 대응한다. 각 2D 파라미터화는 상기 각 2D 파라미터화와 연관된 3D 부분에 포함된 포인트 클라우드의 (획득 디바이스의 관점의 범위에 의해 생성된) 포인트들의 최대 수를 브라우징하는 방식으로 획득 디바이스의 포즈 정보를 고려하여 결정된다. 연관된 3D 부분의 포인트들의 선형 사시 투영으로 2D 파라미터화가 얻어지면, 결정된 관점은 각 2D 파라미터화와 연관되며, 각 관점은 장면을 획득하는 데 사용된 관점들의 범위에 해당하는 관점들의 범위 내에 포함된다. 2D 파라미터화 (41) 는 관점 (401) 과 연관되고, 2D 파라미터화 (42) 는 관점 (402) 과 연관되고 2D 파라미터화 (43) 는 관점 (403) 과 연관된다. 도 4 에서 알 수 있는 바와 같이, 관점들 (401 내지 403) 각각은 획득 디바이스의 관점들의 범위의 각각 좌측 한계 (4001) 및 우측 한계 (4004) 에 대응하는 관점들 (4001 및 4002) 사이에 위치된다. 포인트 클라우드는 관점들의 제한되고 결정된 범위로부터 얻어지며 포인트 클라우드의 3D 부분의 2D 표현 (즉, 2D 파라미터화) 은 포인트 클라우드를 얻는 데 사용된 관점들의 제한되고 결정된 범위 내에 있는 관점으로부터 모두 보인다. 각 2D 파라미터화는 그것이 연관되는 포인트 클라우드의 3D 부분의 2D 표현이다. 동일한 3D 부분은 하나 또는 여러 개의 2D 파라미터화들로, 예를 들어, 2, 3 개 또는 그 이상의 2D 파라미터화로 표현될 수도 있다. 상술한 바와 같이, 포인트 클라우드의 하나의 주어진 3D 부분과 연관된 2D 파라미터화는 주어진 3D 부분을 샘플링하는 것을 허용하는 포인트 클라우드의 주어진 3D 부분의 2 개의 차원들에서의 브라우징에 대응하며, 즉 이러한 주어진 3D 부분의 컨텐츠의 2D 표현 (즉, 포인트(들)) 은 복수의 샘플을 포함하며, 그 수는 적용되는 샘플링 단계에 의존한다. 2D 파라미터화는 예를 들어 다음의 방법들 중 임의의 방법을 구현함으로써 상이한 방법들로 획득될 수도 있다:

- 포인트 클라우드의 3D 부분의 포인트들의 관점과 연관된 평면 상으로의 선형 사시 투영; 파라미터들은 가상 카메라의 위치, 상기 공간 샘플링 스텝 및 2 차원에서의 시야를 포함하는 선형 사시 투영을 나타낸다.

- 포인트 클라우드의 3D 부분의 포인트들의 표면상으로의 정사영 투영; 파라미터들은 투영 표면의 지오메트리 (형상, 크기 및 배향) 및 공간 샘플링 스텝을 포함하는 정사영 투영을 나타낸다.

- 3D 에서 2D 로 변환/변형하는 데 여기서 적용되는 치수 축소의 수학 연산에 해당하는 LLE (Locally-Linear Embedding); 파라미터들은 변환 계수를 포함하는 LLE 를 나타낸다.

2D 파라미터화들 (41, 42 및 43) 은 제한된 수의 파라미터들로 표현되고, 예를 들어 하나 이상의 파라미터 방정식으로 정의될 수도 있다. 포인트 클라우드의 주어진 3D 부분과 연관된 2D 파라미터화는 주어진 3D 부분의 기하학적 특성 (예 : 주어진 3D 부분의 극한 포인트 및/또는 3D 부분 내에 위치한 포인트들로부터 획득되는 주어진 3D 부분에 포함된 오브젝트의 일부의 외부 표면의 요소와 연관된 법선 (normal) 정보) 및 (예 : 2D 파라미터화의 배향을 위한) 획득 디바이스(들) 의 포즈 정보를 고려하여 결정된다. 3D 부분의 기하학적 특성 및 포즈 정보를 고려하는 것은 3D 부분을 마주보는 공간에 위치된 2D 파라미터화, 즉 획득 디바이스들과 포인트 클라우드 사이에 위치한 2D 파라미터화를 획득하는 것을 가능하게 한다.

도 4 에서 알 수 있는 바와 같이, 2D 파라미터화들 (41, 42, 43)는 서로 중첩 될 수 있고, 그 중접은 예를 들어, 2D 파라미터화들이 연관되는 3D 부분들의 중첩에 기인한다.

3D 부분들을 얻으려면 포인트 클라우드가 다른 방법에 따라 파티셔닝될 수도 있다. 예를 들어, 포인트 클라우드는 도 8a 내지 도 8d 의 예에 따라 파티셔닝 될 수도 있다. 도 8a 의 비제한적인 예에 따르면, 포인트 클라우드에 의해 점유된 3D 공간 (81) (예를 들어, 반구) 은 구좌표 (r, θ, φ) 에 따라, 즉 반구의 반경에 대응하는 거리 'r’ 및 각도들 'θ’ 와 'φ’ 에 따라 파티셔닝되며, 각각의 치수 'r', 'θ’ 및 'φ’ 는 균등하게 파티셔닝된다. 변형예에 따르면, 치수 'r', 'θ’ 및/또는 'φ’ 중 하나 이상이 변할 수 있으며, 예를 들어 3D 부분의 깊이는 치수 'r'에 따라 변할 수있다. 변형에 따라, 각 3D 부분의 크기는 포인트 클라우드의 포인트들을 3D 부분들로 균일하게 분포시키도록 결정되며, 3D 포인트의 크기는 포인트 클라우드에 의해 점유되는 공간의 상이한 영역들에서의 포인트들의 로컬 밀도에 의존한다 . 도 8b 의 예에서, 포인트 클라우드에 의해 점유된 3D 공간 (82) (예를 들어, 반구)은 엇갈린 방식으로 구좌표 (r, θ, φ)에 따라 파티셔닝된다. 도 8a 및 도 8b 의 예에서, 3D 부분은 뷰 카메라 절두체 체적으로 볼 수있다. 도 8c 의 비 제한적인 예에 따르면, 포인트 클라우드에 의해 점유된 3D 공간 (83) (예를 들어, 포인트 클라우드를 경계 짓는 박스에 대응하는 평행육면체) 은 데카르트 좌표 (x, y, z)에 따라, 즉 3D 데카르트 참조 프레임의 3 개의 차원들에 따라 파티셔닝된다. 각 3D 부분은 정육면체 또는 직사각형 평행 육면체의 형태를 가질 수 있습니다. 각각의 3D 부분은 동일한 크기를 가질 수 있거나, 3D 부분들은 예를 들어 모든 3D 부분에 포인트들을 균일하게 분포시키기 위해 상이한 크기일 수도 있다. 도 8d 는 평행 육면체가 포인트 클라우드에 의해 점유된 3D 공간 (84) 내에서 엇갈린 방식으로 분포되는 도 8c 의 파티셔닝의 변형을 도시한다. 도 8a, 도 8b, 도 8c 및 도 8d 에 도시되어 있지 않더라도, 포인트 클라우드의 파티셔닝으로 인한 3D 부분은 부분적으로 서로 중첩될 수 있으며, 이는 포인트 클라우드의 공간의 일부 부분이 여러 개의 3D 부분에 속할 수 있음을 의미한다. 포인트 클라우드의 파티셔닝은 고정되어 있거나 시간에 따라 다를 수 있다. 예를 들어, 포인트 클라우드의 파티셔닝은 GOP (Group of Pictures)에서 다른 GOP로 다양할 수 있다. MPEG-DASH (Dynamic Adaptive Streaming over HTTP) 의 콘텍스트에서 적용될 때, 파티셔닝은 세그먼트마다 다를 수 있으며, ISOBMFF 표준의 프레임에서, 이 세그먼트는 ISOBMFF 세그먼트일 수 있다.

도 5 는 본 원리의 비 제한적인 예에 따라, 프레임 i 및 시간적으로 프레임 i 뒤에 위치된 프레임 j 에 대한 포인트 클라우드의 3D 부분과 깊이 맵 및 컬러 맵의 연관을 도시한다. 오브젝트 (5) (도 5 의 예에서 사람) 를 나타내는 3D 포인트 클라우드는 회색 음영으로 도시되어있다. 오브젝트 (5) 의 파티셔닝 (51) 은 도 8a 의 예, 즉, 이웃한 3D 부분들 사이에서 부분적 중첩을 갖는, 구좌표에 따른 파티셔닝 (partitioning) 에 대응한다. 명확하게 하기 위해 포인트 클라우드 및 그의 파티셔닝은 θ 와 φ 만에 따라 2D로 표현된다. 파티셔닝으로 인한 3D 부분은 매트릭스 형태로 배열 된 정사각형 (5100, 5110, 51mn)으로 도시되며, 여기서 'm'은 행 인덱스에 대응하고 'n'은 열 인덱스에 대응한다. 예를 들어, 참조 번호 5100 은 인덱스가 '0'인 행과 인덱스가 '1'인 열에 속한 사각형을 가리키고 참조 번호는 5110은 인덱스가 '1'인 행과 인덱스가 '0'인 열에 속하는 사각형을 가리킨다. 하나의 깊이 맵은 포인트 클라우드 (5) 의 각 3D 부분과 연관된다. 동일한 방식으로, 하나의 컬러 맵은 포인트 클라우드 (5) 의 각 3D 부분과 연관된다.

주어진 3D 부분, 예를 들어, 3D 부분 (5110)과 연관된 깊이 맵은 주어진 3D 부분 (5110)과 연관된 2D 파라미터화의 파라미터들을 사용함으로써 얻어지며, 깊이 맵 (5320)은 3D 부분 (5320) 과 연관된 2D 파라미터화의 파라미터들을 사용함으로써 획득된다. 예를 들어, 2D 파라미터화가 선형 사시 투영에 해당하는 경우, 2D 파라미터화를 나타내는 파라미터들은 (예를 들어 3D 부분에 포함된 포인트 클라우드의 포인트들과 연관된 법선으로부터 획득될 수도 있는) 관점 (즉, 가상 카메라 위치) 의 위치와 수평 및 수직 시야이다. 깊이 맵에 저장되는 깊이 정보는 선형 투영의 경우 가상 카메라 위치 또는 정사영 투영의 경우 2D 투영 표면과 선형 투영의 경우에 관점으로부터 또는 정사영 투영의 경우 투영 표면에 직교하여 시작하고 예를 들어 세계 공간에서 (선형 사시 투영의 경우) 포인트들의 좌표들 및 관점의 좌표들을 알고 있는, 3D 부분에 포함된 포인트 클라우드의 포인트들에서 종료하는 광선들을 따른 3D 부분에 포함된 포인트 클라우드의 포인트들 사이의 거리들에 대응한다. 오브젝트가 포인트 클라우드의 포인트들로부터 획득된 그의 암시적 표면으로 표현되는 경우, 깊이 맵에 저장될 거리들은 광선들과 한쪽의 2D 파라미터화 표면 사이의 교차들과 광선들과 다른 쪽의 암시적 표면 사이의 교차들 사이의 거리들에 대응한다. 깊이 정보의 수는 샘플링 스텝 크기에 의존하는 2D 파라미터화 표면의 해상도에 의존할 수 있다. 깊이 맵은 예를 들어 스플랫 렌더링 기법을 적용하여 획득되며, 즉, 포인트와 연관된 깊이 값은 이 포인트와 연관된 2D 파라미터화 표면의 샘플에 (이 샘플은 사용되는 2D 파라미터화 유형, 예를 들어, 선형 사시 투영, 정사영 투영법 또는 LLE 에 의존함) 및 교차된 샘플 (이 샘플은 스플랫 (splat) 을 형성함) 의 이웃에 위치한 샘플에 할당된다. 변형예에 따르면, 깊이 맵은 광선 추적 기법을 적용함으로써, 즉, 2D 파라미터화 표면의 샘플로부터 광선을 론칭함으로써 및 주어진 샘플에 이 주어진 샘플로부터 론칭된 광선에 의해 교차되는 포인트 (또는 광선에 가장 가까운 포인트) 와 연관된 깊이 값에 대응하는 깊이 값을 할당함으로써 얻어진다.

깊이 정보의 코딩은 깊이 맵으로부터 제 1 패치 아틀라스 (53) 내의 다른 깊이 맵으로 변할 수있다. 예를 들어, 주어진 깊이 맵에 대한 깊이 정보의 코딩은 주어진 깊이 맵과 관련된 3D 부분에 대한 깊이 값의 범위 및/또는 3D 부분에 포함된 포인트의 수에 적용될 수있다. 예를 들어, 3D 부분에 대해 계산된 최소 깊이 값 및 최대 깊이 값에 따라, 대응하는 깊이 맵에서의 깊이 정보의 코딩은 이들 최소 및 최대 값 간의 차이에 적응되도록 결정된다. 상기 차이가 작은 경우, 깊이 정보는 예를 들어 8 또는 10 비트로 코딩 될 수 있고, 상기 차이가 크면 깊이 정보는 예를 들어 12, 14 또는 그 이상의 비트로 코딩 될 수있다. 깊이 맵으로부터 다른 것으로의 코딩을 변화시키는 것은 비트 레이트 코딩을 최적화하는 것을 가능하게한다. 변형에 따르면, 깊이 정보는 최소 및 최대 깊이 값 사이의 차이가 무엇이든, 그러나 최소 및 최대 값들을 고려함으로써, 각 3D 맵에 대해 동일 비트 깊이 (예 : 8, 10, 12 또는 14 비트)로 코딩된다. 그러한 변형은 차이가 작은 경우 정량화 단계를 감소시킬 수 있으며, 이것은 깊이 정보의 코딩과 관련된 정량화 노이즈를 감소시킬 수 있다.

동일한 방식으로, 주어진 3D 부분과 연관된 2D 파라미터화의 파라미터를 사용하여 주어진 3D 부분과 연관된 컬러 맵을 얻는다. 주어진 3D 부분에 포함된 포인트 클라우드의 포인트에서 취출된 컬러 정보 또는 관점에서 캐스팅된 광선에 의해 교차 된 오브젝트의 암시적 표면에서 취출된 컬러 정보는 2D 파라미터화 표면의 샘플과 연관되어 컬러 맵을 형성한다. 깊이 맵들과 같이, 컬러 맵은 예를 들어 스플랫 렌더링 기법을 적용하여 획득되며, 즉, 포인트와 연관된 컬러 값(들)은 이 포인트와 연관된 2D 파라미터화 표면의 샘플에 (이 샘플은 사용되는 2D 파라미터화 유형, 예를 들어, 선형 사시 투영, 정사영 투영법 또는 LLE 에 의존함) 및 교차된 샘플 (이 샘플은 스플랫 (splat) 을 형성함) 의 이웃에 위치한 샘플에 할당된다. 변형예에 따르면, 컬러 맵은 광선 추적 기법을 적용함으로써, 즉, 2D 파라미터화 표면의 샘플로부터 광선을 론칭함으로써 및 주어진 샘플에 이 주어진 샘플로부터 론칭된 광선에 의해 교차되는 포인트 (또는 광선에 가장 가까운 포인트) 와 연관된 컬러 값에 대응하는 컬러 값을 할당함으로써 얻어진다. 깊이 정보와 같이, 주어진 컬러 맵에 대한 컬러 정보의 코딩은 주어진 컬러 맵과 관련된 3D 부분에 대한 컬러 값의 범위 및/또는 3D 부분에 포함된 포인트의 수에 적용될 수있다. 예를 들어, 3D 부분에 대해 계산된 최소 컬러 값 및 최대 컬러 값에 따라, 대응하는 컬러 맵에서의 컬러 정보의 코딩은 이들 최소 및 최대 값 간의 차이에 적응되도록 결정된다. 상기 차이가 작은 경우, 컬러 정보는 예를 들어 8 또는 10 비트로 코딩 될 수 있고, 상기 차이가 크면 컬러 정보는 예를 들어 12, 14 또는 그 이상의 비트로 코딩 될 수있다. 컬러 맵으로부터 다른 것으로의 코딩을 변화시키는 것은 비트 레이트 코딩을 최적화하는 것을 가능하게한다. 변형에 따르면, 컬러 정보는 최소 및 최대 컬러 값 사이의 차이가 무엇이든, 그러나 최소 및 최대 값들을 고려함으로써, 각 컬러 맵에 대해 동일 비트 깊이 (예 : 8, 10, 12 또는 14 비트)로 코딩된다. 이러한 변형은 그 차이가 작을 때 정량화 단계를 감소시키는 것을 가능하게 하며, 이것은 포인트 클라우드로 표현된 오브젝트의 HDR (High Dynamic Range) 표현을 얻는데 사용될 수도 있는 더 높은 컬러 동적 범위 또는 더 높은 휘도 범위를 가능하게 한다.

획득된 깊이 맵들의 세트는 결정된 또는 무작위 배열에 따라, 예를 들어 행 및 열을 갖는 행렬 방식으로 제 1 패치 아틀라스 (53) 에 배열되며, 여기서 제 1 패치 아틀라스 (53) 의 패치는 하나의 깊이 맵에 대응한다. 예를 들어, 패치 (531) 는 3D 부분 (5110) 과 관련된 깊이 맵이다.

동일한 방식으로, 획득된 컬러 맵들의 세트는 예를 들어 제 1 패치 아틀라스 (53)의 깊이 맵과 동일한 배열에 따라 제 2 패치 아틀라스 (54)에 배열된다.

제 1 맵핑 정보는 각각 제 1 및 제 2 패치 아틀라스에서의 2D 파라미터화와 관련된 깊이 맵 및 컬러 맵 간의 연결을 유지하기 위해 생성 될 수있다. 제 1 맵핑 정보는 예를 들면 다음과 같은 형태 일 수있다 :

{2D 파라미터화의 파라미터들; 깊이 맵 ID; 컬러 맵 ID}

깊이 맵 ID 는 제 1 패치 아틀라스의 패치들의 행렬에서 깊이 맵이 속하는 열 인덱스 U 및 행 인덱스 V를 포함하는 정수 값 또는 한 쌍의 값일 수 있으며; 컬러 맵 ID는 제 2 패치 아틀라스의 패치들의 행렬에서 컬러 맵이 속하는 열 인덱스 (U') 및 행 인덱스 (V')를 포함하는 정수 값 또는 한 쌍의 값일 수있다.

제 1 패치 아틀라스 및 제 2 패치 아틀라스에서 동일한 배열에 따라 깊이 맵과 컬러 맵이 배열된 경우, 깊이 맵 ID와 컬러 맵 ID는 동일하고, 제 1 맵핑 정보는 예를 들어 다음과 같은 형태일 수 있다:

{2D 파라미터화의 파라미터들; 깊이 및 컬러 맵들 ID}

'깊이 및 컬러 맵들 ID'는 깊이 및 컬러 맵 모두와 연관된 동일한 정수 값을 통해 또는 깊이 및 컬러 맵들이 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스에서 속하는 한 쌍의 값 열 인덱스 U 및 행 인덱스 V 를 통해 제 1 패치 아틀라스의 깊이 맵 및 제 2 맵 아틀라스의 컬러 맵 모두를 식별한다.

동일한 맵핑 정보가 각각의 2D 파라미터화 및 연관된 깊이 및 컬러 맵들에 대해 생성된다. 그러한 제 1 맵핑 정보는 2D 파라미터화의 대응하는 깊이 및 컬러 맵들과의 연관을 확립함으로써 포인트 클라우드를 재구성하는 것을 가능하게 한다. 2D 파라미터화가 투영인 경우, 포인트 클라우드는 연관된 깊이 맵에 포함된 깊이 정보 및 연관된 컬러 맵의 컬러 정보를 투영 해제 (de-projecting) (역투영을 수행) 함으로써 재구성될 수도 있다. 제 1 맵핑 정보는 그 후 맵핑 정보의 리스트에 대응한다:

{2D 파라미터화의 파라미터들; 깊이 및 컬러 맵들 ID}_i,

i = 1 내지 n 에 대해, n 은 2D 파라미터화들의 수.

제 1 패치 아틀라스 (53) 및 제 2 패치 아틀라스는 동일한 해상도를 갖는, 즉 K 개의 열들 및 L 개의 행들을 갖는 행렬 방식으로 배열된 동일한 수의 픽셀들을 갖는 이미지들로서 보여질 수도 있으며, K 및 L 은 정수이다. (제 1 패치 아틀라스 (53) 에 대한 깊이 맵에 또는 제 2 패치 아틀라스 (54) 에 대한 컬러 맵에 대응하는) 각각의 패치는 제 1 패치 아틀라스 (53) 또는 제 2 패치 아틀라스를 나타내는 이미지의 픽셀들의 서브 세트를 포함한다.

선택적 변형에 따르면, 제 2 맵핑 정보는 제 1 패치 아틀라스 (53) 또는 제 2 패치 아틀라스 (54) 를 나타내는 이미지들의 픽셀들과 연관될 수도 있으며, 제 2 맵핑 정보는 이롭게는 제 1 패치 아틀라스 (53) 를 나타내는 이미지에 그리고 제 2 패치 아틀라스 (54) 를 나타내는 이미지에 공통이며, 그 해상도는 양 이미지들에 대해 동일하고 패치들은 제 1 및 제 2 패치 아틀라스에서 동일한 배열에 따라 조직화되는 동일한 2D 파라미터화를 참조한다. 제 2 맵핑 정보는 제 1 패치 아틀라스 (또는 제 2 패치 아틀라스) 를 나타내는 이미지의 각 화소 또는 화소들의 각 그룹이 어느 2D 파라미터화를 참조하거나 연관되는지를 나타낸다. 그러한 목표에 도달하기 위해, 식별 정보는 각각의 2D 파라미터화와 연관된다 (예를 들어 각각의 2D 파라미터화에 대해 상이한 정수 값). 제 2 맵핑 정보는 예를 들어 행들 및 열들로 배열된 셀들의 맵의 형태일 수도 있으며, 각 셀은 이미지의 픽셀 또는 픽셀들의 그룹에 대응하고 대응하는 2D 파라미터화의 식별 정보를 포함한다. 다른 예에 따르면, 제 2 맵핑 정보는 예를 들어 다음의 형태의 리스트에 대응한다:

제 1/제 2 패치 아틀라스를 나타내는 이미지의 각 픽셀 또는 픽셀들의 각그룹에 대해, {3D 부분 식별; 픽셀/픽셀들의 그룹 식별}.

제 2 맵핑 정보는 이미지의 각 픽셀에 대해 발생해야 하는 각각의 3D 부분과 연관된 식별 정보의 취출을 용이하게 함으로써 디코더/렌더링된 측에서의 정보의 디코딩의 속도를 올리는 것을 가능하게 한다. 디코더의 통상적인 구현은 리스트를 브라우징하는 것을 피해야 하는 GPU (Graphic Processing Unit) 상의 이미지의 각 픽셀에 대한 이러한 취출의 병렬 구현을 요구한다. 이러한 선택적 변형에 따르면, 이러한 제 2 맵핑 정보는 통상적으로 컬러 및 깊이 이미지보다 더 낮은 해상도를 갖는 이미지이며, 여기서 각각의 픽셀은 픽셀/포인트가 속하는 각각의 3D 부분과 연관된 식별 정보를 직접 제공한다.

오브젝트 (5) 의 파티셔닝은 시간의 경과에 따라, 예를 들어 하나의 GOP 로부터 GOP 에 후속하는 다른 GOP 로, 또는 오브젝트 (5) 의 토폴로지에서의 변화가 변경되었을 때 또는 매 q 프레임마다 변할 수도 있으며, q 는 1 이상의 정수이다. 파티셔닝에서의 그러한 변동은 도 5 에 프레임 j 로 도시된다. 프레임 j 에서의 오브젝트 (5) 의 파티셔닝 (52) 은 프레임 i 에서의 동일한 오브젝트 (5) 의 파티셔닝 (51) 과 상이하다. 도 5 의 예에서, 프레임 j 에서의 오브젝트 (5) 의 토폴로지는 프레임 i 에서의 오브젝트 (5) 의 토폴로지와 상이하다. 프레임 j 는 예를 들어 프레임 i 를 포함하는 GOP 에 시간적으로 후속하는 GOP 에 속할 수도 있다. 3D 부분들 및 대응하는 2D 파라미터화들과 연관된 깊이 맵들을 포함하는 제 1 패치 아틀라스 (55) 는 프레임 i 에 대해 설명된 바와 같이 3D 부분들에 포함된 포인트들의 지오메트리 (예를 들어, 좌표들) 를 나타내는 데이터로부터 그리고 파티셔닝으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들을 나타내는 파라미터들을 사용하여 획득된다. 파티셔닝 (52) 으로부터 야기되는 3D 부분들의 수가 파티셔닝 (51) 으로부터 야기되는 3D 부분들의 수보다 작기 때문에, 제 1 패치 아틀라스 (55) 에서의 깊이 맵들의 수는 제 1 패치 아틀라스 (53) 에 포함된 깊이 맵들의 수보다 작다. 동일한 방식으로, 3D 부분들 및 대응하는 2D 파라미터화들과 연관된 컬러 맵들을 포함하는 제 2 패치 아틀라스 (55) 는 프레임 i 에 대해 설명된 바와 같이 3D 부분들에 포함된 포인트들의 지오메트리 (예를 들어, 좌표들) 를 나타내는 데이터로부터 그리고 파티셔닝 (52) 으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들을 나타내는 파라미터들을 사용하여 획득된다. 파티셔닝 (52) 으로부터 야기되는 3D 부분들의 수가 파티셔닝 (51) 으로부터 야기되는 3D 부분들의 수보다 작기 때문에, 제 2 패치 아틀라스 (56) 에서의 컬러 맵들의 수는 제 2 패치 아틀라스 (54) 에 포함된 깊이 맵들의 수보다 작다.

도 6 은 오브젝트 (5) 를 나타내는 포인트 클라우드의 3D 부분들과 연관된 제 1 또는 제 2 패치 아틀라스의 추가의 비제한적인 예들을 보여준다. 도 6 은 예를 들어 도 5 의 파티셔닝 (51) 에 대응하는 포인트 클라우드의 제 1 파티셔닝 (61) 및 동일한 포인트 클라우드의 제 2 파티셔닝 (62) 을 보여준다. 제 1 패치 아틀라스 (63) 는 제 1 파티셔닝 (61) 으로부터 생성되고, 제 1 패치 아틀라스 (63) 는 제 1 파티셔닝 (61) 으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들로부터 획득된 깊이 맵들을 포함한다. 제 2 패치 아틀라스 (64) 는 제 1 파티셔닝 (61) 으로부터 생성되고, 제 2 패치 아틀라스 (64) 는 파티셔닝 (61) 으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들로부터 획득된 컬러 맵들을 포함한다.

제 2 파티셔닝 (62) 은 제 1 파티셔닝 (61) 의 3D 부분들의 일부가 제 2 파티셔닝 (62) 의 단일의 3D 부분으로 그룹핑되었다는 의미에서 제 1 파티셔닝 (61) 과 상이하다. 예를 들어, 사람의 토르소 (torso) 를 나타내는 제 1 파티셔닝 (61) 의 6 개의 3D 부분들은 제 2 파티셔닝 (62) 에서의 하나의 3D 부분 (622) 을 형성하도록 그룹핑되었다. 동일한 방식으로, 사람의 어깨 및 팔의 부분을 나타내는 제 1 파티셔닝 (61) 의 4 개의 3D 부분들은 제 2 파티셔닝 (62) 에서의 하나의 3D 부분 (621) 을 형성하도록 그룹핑되었다. 3D 부분들은 예를 들어 3D 부분들에 포함된 포인트 클라우드의 포인트들과 연관된 기하학적 특성들에 따라 그룹핑된다. 예를 들어, 3D 부분들은 이들 3D 부분들 각각에 포함된 포인트들로부터 획득된 암시적 표면이 유사한 토폴로지, 예를 들어 서로에 가까운 법선 및/또는 서로에 가까운 연관된 깊이 맵의 범위를 갖는 경우 함께 그룹핑될 수도 있다.

제 1 패치 아틀라스 (65) 는 제 2 파티셔닝 (62) 으로부터 생성되고, 제 1 패치 아틀라스 (65) 는 제 2 파티셔닝 (62) 으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들로부터 획득된 깊이 맵들을 포함한다. 도 6에 도시된 바와 같이, 제 1 패치 아틀라스 (65) 내의 깊이 맵들의 형상 및 수는 제 1 패치 아틀라스 (63) 내의 깊이 맵들의 형상 및 수와 상이하다. 3D 부분들 (621, 622) 의 2D 파라미터화들과 연관된 깊이 맵들 (651, 652) 의 일부는 제 1 패치 아틀라스 (63) 내의 대응하는 깊이 맵들과 비교하여 크기가 상이하다. 동일한 방식으로, 제 2 패치 아틀라스 (66) 는 제 2 파티셔닝 (62) 으로부터 생성되고, 제 2 패치 아틀라스 (66) 는 제 2 파티셔닝 (62) 으로부터 야기되는 3D 부분들과 연관된 2D 파라미터화들로부터 획득된 컬러 맵들을 포함한다. 제 2 패치 아틀라스 (66) 내의 컬러 맵들의 수는 제 2 파티셔닝 (62) 을 획득하기 위해 제 1 파티셔닝 (61) 의 3D 부분들의 그룹핑에 후속하는 제 2 패치 아틀라스 (64) 내의 컬러 맵들의 수보다 작다. 이러한 그룹핑은 패치들의 수, 및 따라서 선명한 프런티어 (frontier) 의 수 및 높은 공간 주파수 정보를 감소시키는 것을 허용한다. 이것을 감소시키는 것은 컬러 및 깊이 맵들의 압축 비트 레이트를 낮춘다.

도 7 은 본 원리들의 제한적인 예에 따라, 오브젝트 (5) 를 나타내는 포인트 클라우드의 3D 부분들로부터의 제 1 및 제 2 패치 아틀라스의 생성을 도시한다.

오브젝트 (5) 를 나타내는 포인트 클라우드는 복수의 3D 부분들, 예를 들어, 50, 100, 1000 또는 그 이상의 3D 부분들로 파티셔닝되며, 그들 중 3 개, 즉 3D 부분들 71, 72 및 73 는 도 7 에 도시되며, 3D 부분 (71) 은 사람의 머리의 부분을 나타내는 포인트 클라우드의 포인트들을 포함하고, 3D 부분 (72) 은 사람의 겨드랑이를 나타내는 포인트 클라우드의 포인트들을 포함하고, 3D 부분 (73) 은 사람의 손을 나타내는 포인트 클라우드의 포인트들을 포함한다. 각각의 3D 부분 또는 3D 부분들의 일부의 하나 이상의 2D 파라미터화들은 2 차원들에서 각각의 3D 부분을 표현하도록 생성된다. 예를 들어, 2D 파라미터화 (701) 는 3D 부분 (71) 에 대해 획득되고, 2D 파라미터화 (702) 는 3D 부분 (72) 에 대해 획득되고, 2 개의 상이한 2D 파라미터화들 (703 및 704) 는 3D 부분 (73) 에 대해 획득된다. 2D 파라미터화는 3D 부분마다 변할 수도 있다. 예를 들어, 3D 부분 (71) 과 연관된 2D 파라미터화 (701) 는 선형 사시 투영인 반면, 3D 부분 (72) 과 연관된 2D 파라미터화 (702) 는 LLE 이고, 3D 부분 (73) 과 연관된 2D 파라미터화들 (703 및 704) 는 양자 모두 상이한 관점들에 따른 정사영 투영들이다. 2D 파라미터화들을 획득하는데 사용되는 모든 관점들은 오브젝트 (5) 의 이미지들을 획득하기 위해 및 연관된 포인트 클라우드를 획득하기 위해 사용되는 획득 디바이스의 관점들의 범위 내에 위치되도록 선택된다. 변형에 따르면, 모든 3D 부분들과 연관된 모든 2D 파라미터화들은 동일한 타입, 예를 들어 선형 사시 투영 또는 정사영 투영이다. 변형에 따르면, 상이한 2D 파라미터화들은 동일한 3D 부분에 대해 사용될 수도 있다. 획득된 2D 파라미터화들과 연관된 깊이 맵들을 수집하는 제 1 패치 아틀라스 (74) 는 도 5 및 도 6 에 대해 설명된 바와 같이 생성된다. 제 1 패치 아틀라스는, 다른 깊이 맵들 중에서, 2D 파라미터화 (701) 와 연관된 깊이 맵 (741), 2D 파라미터화 (702) 와 연관된 깊이 맵 (742), 2D 파라미터화 (703) 와 연관된 깊이 맵 (743), 및 2D 파라미터화 (704) 와 연관된 깊이 맵 (744) 을 포함한다. 획득된 2D 파라미터화들과 연관된 컬러 맵들을 수집하는 제 2 패치 아틀라스 (75) 는 도 5 및 도 6 에 대해 설명된 바와 같이 생성된다.

각각의 3D 부분에 대한 2D 파라미터화의 선택은 예를 들어 제 1 및 제 2 패치 아틀라스 내의 맵들의 수를 감소시키기 위해 및/또는 3D 대 2D 변환 프로세스 동안 손실될 3D 부분의 포인트들을 최소화하기 위해, 예를 들어 최적화 프로세스에 기초한다.

각각의 깊이 또는 컬러 맵은 이롭게는 제 1 패치 아틀라스 및 제 2 패치 아틀라스에 대한 패킹 (packing) 프로세스를 용이하게 하기 위해 직사각형 형상을 갖는다.

각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스 내의 깊이 맵들 및 컬러 맵들은 선명한 시각적 프런티어들에서 발생하는 압축 아티팩트들을 제거하기 위해 디코더측에서 폐기될 경계에 의해 분리될 것이다. 포인트 클라우드의 재생을 위한 디코더측에서의 깊이 및 컬러 맵들에 대해 취출하기 위한 정보의 정확한 부분, 예를 들어 깊이/컬러 맵의 폭 및 높이가 예를 들어 선형 또는 정사영 사시 투영의 경우에 픽셀로 표현된 투영 표면의 2 차원들에서의 스팬 (span) 을 제공하는 파라미터들과 같은 2D 파라미터화 파라미터들의 일부에 의해 제공된다.

변형예에 따르면, 제 1 패치 아틀라스 및 제 2 패치 아틀라스는 단일 패치 아틀라스를 형성하고, 맵핑 정보는 동일한 3D 부분과 연관되는 깊이 맵 및 컬러 맵을 취출하는 것을 가능하게 하는 정보를 포함한다.

도 12 는 본 원리들의 비제한적인 실시형태에 따른, 예를 들어 (도 9 에 대해 기술된) 디바이스 (9) 에서 구현되는 장면의 오브젝트를 나타내는 데이터를 포함하는 스트림을 생성하는 방법을 도시한다.

단계 (1200) 에서, 디바이스 (9) 의 상이한 파라미터들은 업데이트된다. 특히, 오브젝트의 표현과 연관된 데이터가 임의의 방식으로 개시된다.

동작 (1201) 에서, 관점들의 범위에서 본 오브젝트를 나타내는 3D 포인트 클라우드는 복수의 3D 부분들, 예를 들어, 5, 10, 50, 100, 1000 또는 그 이상의 3D 부분들로 파티셔닝되며, 각각은 3D 포인트 클라우드의 하나 이상의 포인트들을 포함한다. 오브젝트 (또는 오브젝트의 일부) 를 나타내는 3D 포인트 클라우드의 포인트들과 연관된 데이터가 획득, 즉 예를 들어 디바이스 (9) 의 로컬 메모리 또는 (예를 들어, 인터넷 또는 로컬 영역 네트워크와 같은 네트워크를 통해) 서버와 같은 원격 저장 디바이스와 같은 메모리 디바이스로부터 수신된다. 다른 예에 따르면, 데이터는 오브젝트를 포함하는 장면의 하나 이상의 뷰들을 획득하는데 사용되는 하나 이상의 획득 디바이스들로부터 수신된다. 데이터는 예를 들어 컬러 정보 (또는 텍스쳐 정보) 및 거리 정보 (예를 들어, 고려된 포인트와 고려된 포인트와 연관된 관점, 즉 고려된 포인트를 획득하는데 사용되는 획득 디바이스의 관점 사이의 거리에 대응하는 깊이 또는 높이) 를 포함한다.

동작 (1202) 에서, 깊이 맵들의 컬렉션을 포함하는 제 1 패치 아틀라스는 3D 포인트 클라우드의 하나의 3D 부분과 각각 연관되는 2D 파라미터화들을 나타내는 파라미터들로부터 및 2D 파라미터화가 연관되는 3D 부분에 포함된 포인트들과 연관된 기하학적 정보로부터 결정된다. 각각의 깊이 맵은 제 1 패치 아틀라스의 패치에 대응하고 포인트 클라우드의 하나의 3D 부분의 하나의 2D 파라미터화와 연관된다. 3D 부분과 연관된 2D 파라미터화는 상기 3D 부분에 포함된 포인트들과 연관된 기하학적 데이터로부터 획득된 3D 암시적 표면의 2D 픽셀/샘플 표면이며, 오브젝트의 공간에서의 2D 파라미터화의 위치 및 2D 파라미터화와 연관된 관점은 포인트 클라우드가 보여지는 관점들의 범위와 연관된 포즈 정보에 따른다. 2D 파라미터화는 포인트 클라우드에 의해 표현된 오브젝트의 표면과 관점들의 범위 사이에 있도록하는 방식으로 위치되며, 즉 2D 파라미터화로 획득된 2D 표면은 그것이 연관되는 3 부분과 마주한다. 하나 이상의 2D 파라미터화들은 각각의 3D 부분에 대해 또는 포인트 클라우드의 일부만의 각각의 3D 부분에 대해 셍성된다. 하나의 깊이 맵이 각각의 생성된 2D 파라미터화에 대해 생성되고, 이렇게 생성된 깊이 맵들은 이미지에서 수집되고 제 1 패치 아틀라스의 형태 하에서 배열된다. 데이터가 제 1 패치 아틀라스의 픽셀들과 연관되는 경우, 이렇한 데이터는 거리 또는 깊이 정보에 대응한다. 제 1 패치 아틀라스의 일부 픽셀들은 예를 들어 2 개의 패치들 사이에 위치된 픽셀들에 대해, 그들과 연관된 정보를 갖지 않는다.

동작 (1203)에서, 3D 포인트 클라우드의 하나의 3D 부분과 각각 연관되는 2D 파라미터화들을 나타내는 파라미터들로부터 및 2D 파라미터화가 연관되는 3D 부분에 포함된 포인트들과 연관된 기하학적 정보로부터 컬러 맵들의 집합을 포함하는 제 2 패치 아틀라스가 결정된다. 각 컬러 맵은 제 2 패치 아틀라스의 패치에 해당하며 포인트 클라우드의 3D 부분의 하나의 2D 파라미터화와 연관된다. 하나의 컬러 맵이 각각의 생성된 2D 파라미터화에 대해 생성되고, 따라서 생성된 컬러 맵은 이미지에 수집되어 제 2 패치 아틀라스의 형태로 배열된다. 데이터가 제 2 패치 아틀라스의 픽셀과 연관되면 이 데이터는 컬러 (예 : 빨강, 초록, 파랑 또는 청록색, 자홍색, 노란색, 검정) 정보에 대응한다. 제 1 패치 아틀라스의 일부 픽셀들은 예를 들어 두 패치들 사이에 있는 픽셀들에 대해, 그것들과 연관된 정보를 갖지 않는다.

제 1 패치 아틀라스의 상이한 깊이 맵 및 제 2 패치 맵의 상이한 컬러 맵은 포인트 클라우드의 하나의 3D 부분에 대응하는 각각의 2D 파라미터화와 연관된다. 주어진 2D 파라미터화와 연관된 깊이 맵과 컬러 맵은 각각 제 1 패치 아틀라스와 제 2 패치 아틀라스에서 동일한 위치 (예 : 동일한 행, 같은 열)에 배열된다. 변형예에 따르면, 주어진 2D 파라미터화와 연관된 깊이 맵과 컬러 맵은 각각 제 1 패치 아틀라스와 제 2 패치 아틀라스에서 (예를 들어 행 인덱스 및 열 인덱스로 기술된) 상이한 위치에 배열된다.

동작 (1204)에서, 제 1 패치 아틀라스를 나타내는 데이터, 제 2 패치 아틀라스를 나타내는 데이터, 2D 파라미터화를 나타내는 파라미터들 및 제 1 맵핑 정보를 포함하는 데이터 스트림이 생성된다. 제 1 맵핑 정보는 각각 제 1 패치 아틀라스 및 제 2 패치 아틀라스에서의 2D 파라미터화와 그것의 연관된 깊이 맵 및 컬러 맵 간의 대응 정보를 취출하는 것을 가능하게 한다.

도 13 은 도 12 의 방법으로 획득된 스트림으로부터 오브젝트를 나타내는 포인트 클라우드를 나타내는 데이터를 얻는 방법을 도시한다. 본 방법은 예를 들어, 본 원리의 비제한적 실시형태에 따라 (도 9 와 관련하여 설명된) 디바이스 (9) 에 구현된다.

동작 (1300) 에서, 디바이스 (9) 의 상이한 파라미터가 업데이트된다. 특히, 오브젝트의 적어도 일부의 표현과 관련된 데이터는 임의의 방식으로 초기화된다.

동작 (1301)에서, 각 2D 파라미터화를 나타내는 파라미터가 데이터 스트림으로부터 얻어지며, 이러한 스트림의 구조의 일례는 도 11 과 관련하여 설명된다.

동작 (1302)에서, 단계 (1301)에서 획득 된 2D 파라미터화와 연관된 깊이 맵을 포함하는 제 1 패치 아틀라스를 나타내는 데이터가 데이터 스트림으로부터 얻어진다. 제 1 패치 아틀라스를 나타내는 데이터는 예를 들어 동작 (1202)에서 획득된 데이터에 대응한다.

동작 (1303)에서, 단계 (1301)에서 획득 된 2D 파라미터화와 연관된 컬러 맵을 포함하는 제 2 패치 아틀라스를 나타내는 데이터가 데이터 스트림으로부터 얻어진다. 제 2 패치 아틀라스를 나타내는 데이터는 예를 들어 동작 (1203)에서 획득된 데이터에 대응한다.

동작 (1304) 에서 포인트 클라우드의 포인트와 관련된 데이터는 동작 (1301) 에서 획득 된 2D 파라미터화의 파라미터, 동작 (1302) 에서 획득 된 제 1 패치 아틀라스의 데이터 및 동작 (1303) 에서 획득 된 제 2 패치 아틀라스의 데이터로부터 얻어지며, 주어진 2D 파라미터화와 제 1 패치 아틀라스의 그의 대응하는 깊이 맵 및 제 2 패치 아틀라스의 대응하는 컬러 맵의 연관은 데이터 스트림에 포함된 제 1 매핑 정보로부터 얻어진다. 2D 파라미터화로 얻은 2D 표면의 샘플/픽셀에 대해 2D 파라미터화 (예 : 투영 해제 또는 역 LLE) 를 얻는 데 사용된 것과 반대의 동작을 수행하여 포인트들을 얻는다.

선택적인 동작에서, 2D 파라미터 및 관련 제 1 패치 아틀라스 및 제 2 패치 아틀라스로 표현된 오브젝트의 이미지는 스트림 (1100) 에 포함될 수있는 위치 정보에 의해 제약되는 관점으로부터 렌더링되고, 위치 정보는 예를 들어 포인트 클라우드가 보이는 관점들의 범위에 대응한다. 오브젝트의 외부 표면은 예를 들면, 획득된 포인트 클라우드의 포인트에 스플랫 렌더링 기술을 적용함으로써 획득될 수있다. 변형예에서, 이미지들의 시퀀스는 스트림이 프레임 (즉, 이미지) 의 시퀀스에 대한 오브젝트 또는 그것의 일부를 나타내는 정보를 포함할 때 렌더링된다.

도 9 는 도 12 및/또는 도 13 과 관련하여 설명된 방법을 구현하도록 구성될 수도 있는 디바이스 (9) 의 예시적인 아키텍처를 나타낸다.

디바이스 (9) 는 데이터 및 어드레스 버스 (91) 에 의해 함께 링크된 다음의 엘리먼트들을 포함한다:

- 예를 들어, DSP (또는 디지털 신호 프로세서) 인 마이크로프로세서 (92) (또는 CPU);

- ROM (또는 판독 전용 메모리) (93);

- RAM (또는 랜덤 액세스 메모리) (94);

- 저장 인터페이스 (95);

- 어플리케이션으로부터 송신하기 위한 데이터의 수신을 위한 I/O 인터페이스 (96); 및

- 전원 공급 장치, 예를 들어, 배터리.

일 예에 따르면, 전력 공급 장치는 디바이스의 외부에 있다. 언급된 메모리 각각에 있어서, 명세서에서 사용된 단어 <<레지스터>> 는 작은 용량 (몇 비트) 의 영역에 또는 매우 큰 영역 (예를 들어, 전체 프로그램 또는 다량의 수신된 또는 디코딩된 데이터) 에 대응할 수 있다. ROM (93) 은 적어도 프로그램 및 파라미터들을 포함한다. ROM (93) 은 본 원리에 따라 기법들을 수행하기 위한 알고리즘 및 명령어를 저장할 수있다. 스위치 온될 경우, CPU (92) 는 RAM 에 프로그램을 업로딩하고 대응하는 명령들을 실행한다.

RAM (94) 은, 레지스터에, 디바이스 (9) 의 스위치 온 이후 업로딩되고 CPU (92) 에 의해 실행된 프로그램을 포함하고, 입력 데이터를 레지스터에 포함하고, 본 방법의 상이한 상태들에서의 중간 데이터를 레지스터에 포함하고, 그리고 본 방법의 실행을 위해 사용된 다른 변수들을 레지스터에 포함한다.

여기에 설명된 구현들은 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림 또는 신호로 구현될 수도 있다. 단일 구현 형태의 맥락에서만 논의 (예를 들어, 방법 또는 디바이스로서만 논의) 되었더라도, 논의된 피쳐들의 구현은 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수도 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램 가능 로직 디바이스를 일반적으로 포함하는 처리 디바이스들을 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수도 있다. 프로세서들은 또한, 예를 들어, 컴퓨터들, 셀 폰들, 휴대용/개인용 디지털 보조기들 ("PDA들"), 및 최종 사용자들 간의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

인코딩 또는 인코더의 일례에 따르면, 제 1, 제 2, 제 3 및/또는 제 4 신택스 엘리먼트는 소스로부터 획득된다. 예를 들어, 소스는 다음을 포함하는 세트에 속한다:

- 로컬 메모리 (93 또는 94), 예를 들어, 비디오 메모리 또는 RAM (또는 랜덤 액세스 메모리), 플래시 메모리, ROM (또는 판독 전용 메모리), 하드 디스크;

- 저장 인터페이스 (95), 예를 들어, 대용량 저장부, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지부와의 인터페이스;

- 통신 인터페이스, 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및

- 사용자가 데이터를 입력 할 수있게 해주는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스.

디코딩 또는 디코더 (들)의 예에 따라, 제 1, 제 2 및/또는 제 3 정보는 목적지로 전송된다; 구체적으로, 목적지는 다음을 포함하는 세트에 속한다 :

- 로컬 메모리 (93 또는 94), 예를 들어, 비디오 메모리, 또는 RAM, 플래시 메모리, 하드 디스크;

- 저장 인터페이스 (95), 예를 들어, 대용량 저장부, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지부와의 인터페이스; 및

- 통신 인터페이스 (96), 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스 (예를 들어 USB (또는 Universal Serial Bus)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI (High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스 (예컨대, IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스).

인코딩 또는 인코더의 예에 따라, 오브젝트를 나타내는 데이터를 포함하는 비트 스트림이 목적지로 보내진다. 일 예로서, 비트스트림은 원격 메모리 또는 로컬 메모리, 예를 들어, 비디오 메모리 (94) 또는 RAM (94), 하드 디스크 (93) 에 저장된다. 변형예에 있어서, 비트스트림은 저장 인터페이스 (95), 예를 들어, 대용량 저장부, ROM, 플래시 메모리, 광학 디스크 또는 자기 지지부와의 인터페이스로 전송되고/되거나 통신 인터페이스, 예를 들어, 점대점 링크, 통신 버스, 점대 다중점 링크 또는 브로드캐스트 네트워크로의 인터페이스 상으로 송신된다.

디코딩 또는 디코더 또는 렌더러의 예에 따라, 비트 스트림은 소스로부터 얻어진다. 예시적으로, 비트 스트림은 로컬 메모리, 예를 들어 비디오 메모리 (94), RAM (94), ROM (93), 플래시 메모리 (93) 또는 하드 디스크 (93)로부터 판독된다. 변형예에 있어서, 비트스트림은 저장 인터페이스 (95), 예를 들어, 대용량 저장부, ROM, 플래시 메모리, 광학 디스크 또는 자기 지지부와의 인터페이스로부터 수신되고 및/또는 통신 인터페이스 (95), 예를 들어, 점대점 링크, 버스, 점대 다중점 링크 또는 브로드캐스트 네트워크로의 인터페이스 로부터 수신된다.

예들에 따르면, 디바이스 (9) 는 도 12 과 관련하여 설명된 방법을 구현하도록 구성되고, 다음을 포함한 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿 (또는 태블릿 컴퓨터);

- 랩탑;

- 스틸 픽처 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 서버 (예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버).

예들에 따르면, 디바이스 (9) 는 도 13 과 관련하여 설명된 렌더링 방법을 구현하도록 구성되고, 다음을 포함한 세트에 속한다:

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋톱 박스;

- TV 세트;

- 태블릿 (또는 태블릿 컴퓨터);

- 랩톱; 및

- 디스플레이 (예 : HMD와 같은).

도 10 에 도시된 예에 따르면, 통신 네트워크 (NET1000)를 통해 (디바이스 (9)의 유형의) 2 개의 원격 디바이스들 (1001 및 1002) 사이의 전송 컨텍스트에서, 디바이스 (1001) 는 도 12 와 관련하여 기술된 바와 같이 스트림을 생성하는 방법을 구현하도록 구성된 수단을 포함하고, 디바이스 (1002) 는 도 13 과 관련하여 설명된 바와 같이 이미지를 렌더링하는 방법을 구현하도록 구성된 수단을 포함한다.

일례에 따르면, 네트워크 (1000) 는 디바이스 (1001)로부터 디바이스 (1002) 를 포함하는 디코딩/렌더링 디바이스에 연관된 오디오 정보를 갖는 정지 화상 또는 비디오 화상을 방송하도록 구성된 LAN 또는 WLAN 네트워크이다.

도 11 은 데이터가 패킷 기반 전송 프로토콜을 통해 전송되는 경우 그러한 신호의 신택스의 실시형태의 예를 도시한다. 도 11은 몰입 형 비디오 스트림의 예시적인 구조 (1100)를 도시한다. 구조는 독립 신택스 엘리먼트로 스트림을 조직화하는 컨테이너로 구성된다. 구조는 스트림의 모든 구문 요소에 공통인 데이터 세트인 헤더 부분 (1101) 을 포함 할 수있다. 예를 들어 헤더 부분에는 구문 요소에 대한 메타 데이터가 포함되어 있으며 각 요소의 성격과 역할을 설명한다. 헤더 부분은 또한 제 1 맵핑 정보 및 선택적으로 제 2 및 제 3 맵핑 정보를 포함 할 수있다. 구조는 구문 요소 (1102, 1103, 1104)를 포함하는 페이로드 (payload)를 포함 할 수 있으며, 상기 제 1 구문 요소 (1102)는 2D 파라미터화를 정의하는 파라미터에 관련되며, 제 2 구문 요소는 제 1 패치 아틀라스를 나타내는 데이터에 관련되며 제 3 구문 요소는 제 2 패치 아틀라스를 나타내는 데이터에 관련된다. 제 1 패치 아틀라스를 나타내는 데이터는 각 깊이 맵에 포함 된 픽셀에 관한 정보 (예를 들어, 픽셀의 수로 표현된 깊이 맵의 폭을 갖고, 픽셀의 수로 표현된 깊이 맵의 높이를 갖는 깊이 맵의 참조 픽셀의 좌표, 예를 들어 좌측 상단 픽셀의 좌표) 를 포함할 수도 있다. 제 2 패치 아틀라스를 나타내는 데이터는 각 컬러 맵에 포함 된 픽셀에 관한 정보 (예를 들어, 픽셀의 수로 표현된 깊이 맵의 폭을 갖고, 픽셀의 수로 표현된 컬러 맵의 높이를 갖는 컬러 맵의 참조 픽셀의 좌표, 예를 들어 좌측 상단 픽셀의 좌표) 를 포함할 수도 있다. 선택적 변형예에 따르면, 제 1 패치 아틀라스를 나타내는 데이터는 각 깊이 맵에 포함되는 최소 및 최대 깊이 값에 관한 정보를 더 포함 할 수있다. 제 2 패치 아틀라스를 나타내는 데이터는 각 컬러 맵에 포함되는 최소 및 최대 컬러 값에 관한 정보를 더 포함 할 수있다.

설명 목적으로, ISOBMFF 파일 포맷 표준의 맥락에서, 컬러 맵, 깊이 맵 및 메타 데이터는 전형적으로 MOOV 타입의 박스 내의 ISOBMFF 트랙에서 참조 될 것이며, 컬러 맵 및 깊이 맵 데이터 자체는 타입 mdat 의 미디어-데이터 박스에 임베딩된다.

당연히, 본 개시는 이전에 설명된 실시형태들에 한정되지 않는다.

특히, 본 개시는 스트림을 생성하기 위한 방법 및 디바이스로 제한되지 않고 장면의 오브젝트를 나타내는 데이터를 포함하는 패킷을 인코딩/디코딩하는 방법으로 및 이 방법을 구현하는 임의의 디바이스 및 특히 적어도 하나의 CPU 및/또는 적어도 하나의 GPU를 포함하는 임의의 디바이스로 확장된다.

본 개시는 또한 장면의 오브젝트를 나타내는 정보를 포함하는 데이터 스트림으로부터 렌더링된 이미지를 디스플레이하는 방법 (및 디스플레이하도록 구성된 디바이스) 과, 평면 비디오로 오브젝트를 렌더링 및 디스클레이하는 방법 (및 그렇게 구성된 디바이스) 에 관한 것이다.

본 개시는 또한 스트림을 송신 및/또는 수신하기 위한 방법 (및 그렇게 구성된 디바이스)에 관한 것이다.

여기에 설명된 구현들은 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림 또는 신호로 구현될 수도 있다. 단일 구현 형태의 맥락에서만 논의 (예를 들어, 방법 또는 디바이스로서만 논의) 되었더라도, 논의된 피쳐들의 구현은 또한 다른 형태들 (예를 들어, 프로그램) 로 구현될 수도 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수도 있다. 예를 들어, 방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그램 가능 로직 디바이스를 일반적으로 포함하는 처리 디바이스들을 지칭하는, 예를 들어 프로세서와 같은 장치에서 구현될 수도 있다. 프로세서들은 또한 예를 들어, 스마트폰, 태블릿, 컴퓨터, 이동 전화, 휴대/개인 휴대 정보 단말기 ("PDA") 및 최종 사용자들 간의 정보 통신을 가능하게 하는 다른 디바이스들와 같은 통신 디바이스들을 포함한다.

본 명세서에 설명된 다양한 프로세스 및 피쳐들의 구현은 다양한 상이한 장비 또는 애플리케이션, 특히 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 처리, 및 이미지 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 처리와 연관된 장비 또는 애플리케이션에서 구현될 수도 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트 프로세서, 인코더에 입력을 제공하는 프리 프로세서 (pre-processor), 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 휴대 전화, PDA 및 다른 통신 디바이스들을 포함한다. 명백한 바처럼, 장비는 이동식일 수도 있고 심지어 이동 차량에 설치될 수도 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있으며, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 예를 들어, 집적 회로, 소프트웨어 캐리어 또는 다른 저장 디바이스 이를테면 예를 들어 하드 디스크, 컴팩트 디스켓 ("CD"), (예를 들어, 종종 디지털 다용도 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD 와 같은) 광 디스크, 랜덤 액세스 메모리 ("RAM"), 또는 읽기 전용 메모리 ("ROM") 와 같은 프로세서 판독 가능 매체에 저장될 수도 있다. 명령들은 프로세서 판독 가능 매체 상에 유형적으로 구체화된 애플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어 하드웨어, 펌웨어, 소프트웨어 또는 조합일 수도 있다. 명령들은 예를 들어 운영 체제, 별도의 애플리케이션 또는 이 둘의 조합에서 제공될 수도 있다. 따라서, 프로세서는 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령을 갖는 프로세서 판독 가능 매체 (이를테면, 저장 디바이스) 를 포함하는 디바이스 양자 모두로서 특징지어 질 수도 있다. 또한, 프로세서 판독 가능 매체는 명령들에 추가하여 또는 명령들 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.

당업자에게 명백한 바와 같이, 구현들은 예를 들어 저장되거나 송신될 수도 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어 방법을 수행하기 위한 명령들 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 설명된 실시 형태의 신택스를 기록 또는 판독하기 위한 규칙들을 데이터로서 운반하거나 설명된 실시 형태에 의해 기록된 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수도 있다. 이러한 신호는, 예를 들어 전자기파 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용) 또는 기저대역 신호로서 포맷팅될 수도 있다. 포맷팅은, 예를 들어 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 운반하는 정보는 예를 들어, 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크를 통해 송신될 수도 있다. 신호는 프로세서 판독가능 매체에 저장될 수도 있다.

다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정이 이루어질 수 있음이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들은 조합, 보충, 수정 또는 제거되어 다른 구현들을 생성할 수도 있다. 또한, 당업자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수도 있고 결과적인 구현들은 적어도 실질적으로 동일한 방식 (들) 으로, 적어도 실질적으로 동일한 기능 (들) 을 수행하여, 적어도 실질적으로 개시된 구현 예들과 동일한 결과(들) 을 달성할 것이라고 이해할 것이다. 따라서, 이들 및 다른 구현들은 본원에 의해 고려된다.

Claims

스트림을 생성하는 방법으로서,
- 3 차원 포인트 클라우드 (point cloud) 의 적어도 하나의 포인트를 각각 포함하는 복수의 3 차원 부분들 (71, 72, 73) 로 상기 3 차원 포인트 클라우드 (5) 를 파티셔닝하는 단계 (1201);
- 상기 3 차원 부분들 (71, 72, 73) 각각에 대해 :

상기 적어도 하나의 포인트와 연관된 기하학적 정보 및 관점들의 범위와 연관된 포즈 정보에 응답하는 2 차원 파라미터화 (701, 702, 703, 704) 를 나타내는 파라미터들에 따라 상기 3 차원 부분의 깊이 맵 (741, 742, 743, 744) 을 결정하는 단계; 및

상기 파라미터들에 따라 상기 3 차원 부분의 컬러 맵을 결정하는 단계;
상기 복수의 결정된 깊이 맵들은 제 1 패치 아틀라스 (atlas) (74) 에 표현되고, 각각의 깊이 맵은 상기 제 1 패치 아틀라스의 하나의 패치에 대응하며, 상기 복수의 결정된 컬러 맵들은 제 2 패치 아틀라스 (75) 에 표현되고, 각각의 컬러 맵은 상기 제 2 패치 아틀라스의 하나의 패치에 대응하며;
- 상기 2 차원 파라미터화들을 나타내는 상기 파라미터들, 상기 제 1 패치 아틀라스를 나타내는 데이터, 상기 제 2 패치 아틀라스를 나타내는 데이터, 및 상기 2 차원 파라미터화들과 상기 제 1 패치 아틀라스에서의 대응하는 깊이 맵들 및 상기 제 2 패치 아틀라스에서의 대응하는 컬러 맵들 사이의 맵핑을 나타내는 제 1 맵핑 정보를 포함하는 상기 스트림 (1100) 을 생성하는 단계를 포함하는, 스트림을 생성하는 방법.
스트림을 생성하도록 구성된 디바이스 (9) 로서,
상기 디바이스는 프로세서 (92) 와 연관된 메모리 (94) 를 포함하고,
상기 프로세서 (92) 는:
- 3 차원 포인트 클라우드 (point cloud) 의 적어도 하나의 포인트를 각각 포함하는 복수의 3 차원 부분들로 상기 3 차원 포인트 클라우드를 파티셔닝하고;
- 상기 3 차원 부분들 각각에 대해 :

상기 적어도 하나의 포인트와 연관된 기하학적 정보 및 관점들의 범위와 연관된 포즈 정보에 응답하는 2 차원 파라미터화를 나타내는 파라미터들에 따라 상기 3 차원 부분의 깊이 맵; 및

상기 파라미터들에 따라 상기 3 차원 부분의 컬러 맵
을 결정하며;
상기 복수의 결정된 깊이 맵들은 제 1 패치 아틀라스 (atlas) 에 표현되고, 각각의 깊이 맵은 상기 제 1 패치 아틀라스의 하나의 패치에 대응하며, 상기 복수의 결정된 컬러 맵들은 제 2 패치 아틀라스에 표현되고, 각각의 컬러 맵은 상기 제 2 패치 아틀라스의 하나의 패치에 대응하며;
- 상기 2 차원 파라미터화들을 나타내는 상기 파라미터들, 상기 제 1 패치 아틀라스를 나타내는 데이터, 상기 제 2 패치 아틀라스를 나타내는 데이터, 및 상기 2 차원 파라미터화들과 상기 제 1 패치 아틀라스에서의 대응하는 깊이 맵들 및 상기 제 2 패치 아틀라스에서의 대응하는 컬러 맵들 사이의 맵핑을 나타내는 제 1 맵핑 정보를 포함하는 상기 스트림 (1100) 을 생성하도록
구성되는, 스트림을 생성하도록 구성된 디바이스.
제 1 항에 있어서,
상기 복수의 2 차원 파라미터화들은 상기 복수의 3 차원 부분들의 적어도 일부의 각각의 3 차원 부분과 연관되는, 스트림을 생성하는 방법.
제 1 항 또는 제 3 항에 있어서,
상기 스트림은 상기 복수의 3 차원 부분들을 식별하는 정보와 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스를 나타내는 제 1 및 제 2 이미지들의 픽셀들 사이의 맵핑을 나타내는 제 2 맵핑 정보를 더 포함하는, 스트림을 생성하는 방법.
제 1 항 또는 제 3 항에 있어서,
상기 3 차원 포인트 클라우드의 파티셔닝은 시간에 따라 변하는, 스트림을 생성하는 방법.
삭제
삭제
삭제
오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 포인트 클라우드를 획득하는 방법으로서,
- 상기 스트림으로부터, 포인트 클라우드의 3 차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들을 획득하는 단계 (1301);
- 상기 스트림으로부터, 상기 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 깊이 맵들을 포함하는 제 1 패치 아틀라스를 나타내는 데이터를 획득하는 단계 (1302);
- 상기 스트림으로부터, 상기 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 컬러 맵들을 포함하는 제 2 패치 아틀라스를 나타내는 데이터를 획득하는 단계 (1303);
- 상기 2 차원 파라미터화들을 나타내는 상기 파라미터들, 상기 제 1 패치 아틀라스 내의 연관된 깊이 맵들의 데이터, 상기 제 2 패치 아틀라스 내의 연관된 컬러 맵들의 데이터 및 상기 스트림으로부터 획득되고 상기 2 차원 파라미터화들과 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스 내의 대응하는 깊이 맵들 및 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보로부터 상기 포인트 클라우드의 포인트들과 연관된 데이터를 획득하는 단계 (1304) 를 포함하는, 포인트 클라우드를 획득하는 방법.
오브젝트를 나타내는 데이터를 운반하는 스트림으로부터 포인트 클라우드를 획득하도록 구성된 디바이스로서,
상기 디바이스는 적어도 하나의 프로세서 (92) 와 연관된 메모리 (94) 를 포함하고,
상기 적어도 하나의 프로세서 (92) 는:
- 상기 스트림으로부터, 포인트 클라우드의 3 차원 부분들의 2 차원 파라미터화들을 나타내는 파라미터들을 획득하고;
- 상기 스트림으로부터, 상기 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 깊이 맵들을 포함하는 제 1 패치 아틀라스를 나타내는 데이터를 획득하며;
- 상기 스트림으로부터, 상기 2 차원 파라미터화들 중 하나와 각각 연관된 복수의 컬러 맵들을 포함하는 제 2 패치 아틀라스를 나타내는 데이터를 획득하고;
- 상기 2 차원 파라미터화들을 나타내는 상기 파라미터들, 상기 제 1 패치 아틀라스 내의 연관된 깊이 맵들의 데이터, 상기 제 2 패치 아틀라스 내의 연관된 컬러 맵들의 데이터 및 상기 스트림으로부터 획득되고 상기 2 차원 파라미터화들과 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스 내의 대응하는 깊이 맵들 및 컬러 맵들 간의 맵핑을 나타내는 제 1 맵핑 정보로부터 상기 포인트 클라우드의 포인트들과 연관된 데이터를 획득하도록
구성된, 포인트 클라우드를 획득하도록 구성된 디바이스.
제 9 항에 있어서,
상기 복수의 2 차원 파라미터화들은 상기 복수의 3 차원 부분들의 적어도 일부의 각각의 3 차원 부분과 연관되는, 포인트 클라우드를 획득하는 방법.
제 9 항 또는 제 11 항에 있어서,
상기 스트림은 상기 3 차원 부분들과 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스를 나타내는 제 1 및 제 2 이미지들의 픽셀들 사이의 맵핑을 나타내는 제 2 맵핑 정보를 더 포함하는, 포인트 클라우드를 획득하는 방법.
제 9 항 또는 제 11 항에 있어서,
상기 오브젝트를 나타내는 이미지는 상기 포인트 클라우드를 나타내는 상기 획득된, 상기 포인트 클라우드의 포인트들과 연관된 데이터에 따라 렌더링되는, 포인트 클라우드를 획득하는 방법.
프로세서로 하여금 제 1 항에 따른 방법의 단계들을 적어도 수행하게 하는 명령들을 저장한 비일시적 프로세서 판독가능 매체.
프로세서로 하여금 제 9 항에 따른 방법의 단계들을 적어도 수행하게 하는 명령들을 저장한 비일시적 프로세서 판독가능 매체.
제 2 항에 있어서,
상기 복수의 2 차원 파라미터화들은 상기 복수의 3 차원 부분들의 적어도 일부의 각각의 3 차원 부분과 연관되는, 스트림을 생성하도록 구성된 디바이스.
제 2 항 또는 제 16 항에 있어서,
상기 스트림은 상기 복수의 3 차원 부분들을 식별하는 정보와 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스를 나타내는 제 1 및 제 2 이미지들의 픽셀들 사이의 맵핑을 나타내는 제 2 맵핑 정보를 더 포함하는, 스트림을 생성하도록 구성된 디바이스.
제 2 항 또는 제 16 항에 있어서,
상기 3 차원 포인트 클라우드의 파티셔닝은 시간에 따라 변하는, 스트림을 생성하도록 구성된 디바이스.
제 10 항에 있어서,
복수의 2 차원 파라미터화들은 상기 복수의 3 차원 부분들의 적어도 일부의 각각의 3 차원 부분과 연관되는, 포인트 클라우드를 획득하도록 구성된 디바이스.
제 10 항 또는 제 19 항에 있어서,
상기 스트림은 상기 3 차원 부분들과 각각 상기 제 1 패치 아틀라스 및 상기 제 2 패치 아틀라스를 나타내는 제 1 및 제 2 이미지들의 픽셀들 사이의 맵핑을 나타내는 제 2 맵핑 정보를 더 포함하는, 포인트 클라우드를 획득하도록 구성된 디바이스.
제 10 항 또는 제 19 항에 있어서,
상기 오브젝트를 나타내는 이미지는 상기 포인트 클라우드를 나타내는 상기 획득된, 상기 포인트 클라우드의 포인트들과 연관된 데이터에 따라 렌더링되는, 포인트 클라우드를 획득하도록 구성된 디바이스.