KR20210139264A - 포인트 클라우드의 처리 - Google Patents

Abstract

적어도 하나의 실시예는 포인트 로컬 재구성 모드를 나타내는 신택스 요소를 시그널링하기 위한 방법에 관한 것이며, 상기 포인트 로컬 재구성 모드는 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 적어도 하나의 파라미터를 나타낸다.

Description

포인트 클라우드의 처리

본 실시예들 중 적어도 하나의 실시예는 일반적으로 포인트 클라우드(point cloud)의 처리에 관한 것이다.

본 섹션은 아래에서 설명 및/또는 청구되는 본 실시예들 중 적어도 하나의 실시예의 다양한 양태들과 관련될 수 있는 기술의 다양한 양태들을 독자에게 소개하기 위해 의도된다. 이 논의는 적어도 하나의 실시예의 다양한 양태들의 더 양호한 이해를 용이하게 하기 위한 배경 정보를 독자에게 제공하는데 있어서 도움이 될 것으로 생각된다.

포인트 클라우드(point cloud)들은, 객체의 공간적 구성을 전송하거나 방문하지 않고도 이를 공유하기 위해 조각상들 또는 건물들과 같은 객체들을 3D로 스캐닝하는 문화 유산/건물들과 같은 다양한 목적들을 위해 사용될 수 있다. 또한, 이는 객체가 파괴될 수 있는 경우에 객체에 대한 지식을 보존하는 것을 보장하는 방식이다; 예를 들어, 지진에 의한 사원. 이러한 포인트 클라우드들은 통상적으로 정적이고, 컬러화되며, 거대하다.

또 다른 사용 사례는, 3D 표현들을 사용하여 평면에 제한되지 않고 기복(relief)을 포함할 수 있는 맵들을 허용하는 지형학 및 지도 제작이다. Google Maps는 이제 3D 맵들의 좋은 예이지만, 포인트 클라우드들 대신 메시들을 사용한다. 그럼에도 불구하고, 포인트 클라우드들은 3D 맵들에 적절한 데이터 포맷일 수 있으며, 이러한 포인트 클라우드들은 통상적으로 정적이고, 컬러화되며, 거대하다.

자동차 산업 및 자율 주행차도 또한 포인트 클라우드들이 사용될 수 있는 영역들이다. 자율 주행차들은 바로 옆에 있는 것들의 현실에 기초하여 양호한 운전 결정들을 내리기 위해 환경을 "탐색(probe)"할 수 있어야 한다. LIDAR(LIght Detection And Ranging)과 같은 전형적인 센서는 결정 엔진에 의해 사용되는 동적 포인트 클라우드를 생성한다. 이러한 포인트 클라우드들은 사람이 볼 수 있도록 의도된 것이 아니며, 통상적으로 소형이고, 반드시 컬러화될 필요는 없고, 동적으로서 캡처 빈도가 높다. 이들 포인트 클라우드는 LIDAR에 의해 제공되는 반사율과 같은 다른 속성들을 가질 수 있는데, 그 이유는 이러한 속성이 감지된 객체의 재료에 관한 양호한 정보를 제공하고 결정을 내리는 데 도움을 줄 수 있기 때문이다.

가상 현실 및 몰입형 세계(immersive world)들은 최근 관심이 많은 주제가 되었으며, 2D 플랫 비디오의 미래로서 많은 사람들에 의해 예견되고 있다. 기본 아이디어는, 시청자가 시청자 앞의 가상 세계만을 볼 수 있는 표준 TV와는 대조적으로, 시청자를 둘러싸는 환경에 시청자를 몰입시키는 것이다. 환경에서의 시청자의 자유도에 따라 몰입감에는 몇 가지 그라데이션이 있다. 포인트 클라우드는 가상 현실(VR) 세계를 배포하기 위한 양호한 포맷 후보이다.

수용 가능한(또는 바람직하게는 매우 양호한) 경험 품질을 유지하면서 합리적인 양의 비트-레이트(또는 저장 애플리케이션들을 위한 저장 공간)만을 소비함으로써 동적 포인트 클라우드들을 최종 사용자에게 배포(또는 이들을 서버에 저장)할 수 있는 것이 많은 애플리케이션들에서 중요하다. 이러한 동적 포인트 클라우드들의 효율적인 압축은 많은 몰입형 세계들의 배포 체인을 실용적으로 만들기 위한 핵심 포인트이다.

이상의 내용을 염두에 두고 적어도 하나의 실시예가 고안되었다.

다음은 본 개시내용의 일부 양태들의 기본적인 이해를 제공하기 위해 본 실시예들 중 적어도 하나의 실시예의 간략화된 요약을 제시한다. 이 요약은 실시예의 광범위한 개요가 아니다. 이는 실시예의 핵심적인 또는 중요한 요소들을 식별하는 의도가 아니다. 다음의 요약은 본 문서의 다른 곳에서 제공되는 더 상세한 설명에 대한 서문으로서 본 실시예들 중 적어도 하나의 실시예의 일부 양태들을 간략화된 형태로 제시하는 것일 뿐이다.

적어도 하나의 실시예의 일반적인 양태에 따르면, 포인트 로컬 재구성 모드를 나타내는 제1 신택스 요소를 비트스트림에서 시그널링하는 단계를 포함하는 방법이 제공되며, 상기 포인트 로컬 재구성 모드는 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 적어도 하나의 파라미터를 나타낸다.

일 실시예에 따르면, 상기 포인트 로컬 재구성 모드는 상기 인덱스 값과 상기 적어도 하나의 파라미터 간의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값이다.

실시예에 따르면, 제1 신택스 요소는 블록마다 또는 패치마다 시그널링되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이다.

실시예에 따르면, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 본 방법은 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 시그널링되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 시그널링되는지를 표시하는 패치마다의 제2 신택스 요소를 시그널링하는 단계를 추가로 포함한다.

실시예에 따르면, 패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 시그널링한다.

실시예에 따르면, 본 방법은 디폴트 포인트 로컬 재구성 모드를 나타내는 제3 신택스 요소를 시그널링하는 단계를 추가로 포함한다.

실시예에 따르면, 포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 시그널링하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이다.

실시예에 따르면, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 본 방법은 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 시그널링하는 단계를 추가로 포함한다.

실시예에 따르면, 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩된다.

본 실시예들 중 적어도 하나의 하나 이상은 또한 디바이스, 컴퓨터 프로그램, 신호 및 비일시적 컴퓨터 판독가능 저장 매체를 제공한다.

본 실시예들 중 적어도 하나의 실시예의 특정 성질뿐만 아니라 본 실시예들 중 상기 적어도 하나의 실시예의 다른 목적들, 장점들, 특징들 및 사용들은 첨부 도면들과 함께 취해진 예들에 대한 다음의 설명으로부터 명백해질 것이다.

도면들에는, 여러 실시예들의 예들이 도시되어 있다. 도면들은 다음을 도시한다:
- 도 1은 본 실시예들 중 적어도 하나의 실시예에 따른 2-계층-기반 포인트 클라우드 인코딩 구조의 예의 개략적인 블록도를 예시하고;
- 도 2는 본 실시예들 중 적어도 하나의 실시예에 따른 2-계층-기반 포인트 클라우드 디코딩 구조의 예의 개략적인 블록도를 예시하고;
- 도 3은 본 실시예들 중 적어도 하나의 실시예에 따른 이미지-기반 포인트 클라우드 인코더의 예의 개략적인 블록도를 예시하고;
- 도 3a는 2개의 패치 및 그것들의 2D 바운딩 박스들을 포함하는 캔버스의 예를 예시하고;
- 도 4는 본 실시예들 중 적어도 하나의 실시예에 따른 이미지-기반 포인트 클라우드 디코더의 예의 개략적인 블록도를 예시하고;
- 도 5는 본 실시예들 중 적어도 하나의 실시예에 따른 베이스 계층 BL을 표현하는 비트스트림의 신택스의 예를 개략적으로 예시하고;
- 도 6은 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 개략적인 블록도를 예시하고;
- 도 7은 본 실시예들 중 적어도 하나의 실시예에 따른 포인트 로컬 재구성 모드를 시그널링하기 위한 방법의 예의 개략적인 블록도를 예시하고;
- 도 8a 및 도 8b는 단계 710의 실시예에 따른 룩업 테이블 LUT의 예를 예시하고;
- 도 8c는 단계 710의 실시예에 따른 룩업 테이블 LUT를 시그널링하기 위한 신택스의 예를 예시하고;
- 도 8d 및 도 8e는 단계 710의 실시예들의 예를 예시하고;
- 도 9는 도 7의 방법의 실시예의 예를 예시하고;
- 도 10은 도 7의 방법의 실시예의 변형의 예를 예시하고;
- 도 11은 도 8c의 변형의 예를 예시하고;
- 도 12a 및 도 12b는 도 7의 방법의 실시예의 예들을 예시하고;
- 도 13은 도 12b의 방법의 변형의 예를 예시하고;
- 도 14는 도 7의 방법의 변형의 예를 예시하며;
- 도 15는 도 7의 방법의 실시예의 예를 예시한다.

본 실시예들 중 적어도 하나의 실시예는 본 실시예들 중 적어도 하나의 실시예의 예들이 도시되어 있는 첨부 도면들을 참조하여 이하에서 더 완전히 설명된다. 그러나, 실시예는 많은 대안의 형태들로 구현될 수 있으며, 본 명세서에 제시된 예들로만 국한되는 것으로 해석해서는 안 된다. 따라서, 실시예들을 개시된 특정 형태들로 제한하려는 의도는 없다는 것을 이해해야 한다. 반대로, 본 개시내용은 본 출원의 사상 및 범위 내에 속하는 모든 수정들, 등가물들, 및 대안들을 커버하도록 의도된다.

도면이 흐름도로서 제시될 때, 그것은 대응하는 장치의 블록도를 또한 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 대응하는 방법/프로세스의 흐름도를 또한 제공한다는 것을 이해해야 한다.

도면들의 유사하거나 동일한 요소들은 동일한 참조 번호들로 참조된다.

일부 도면들은 V-PCC에 따르는 비트스트림의 구조를 정의하기 위해 V-PCC에서 널리 사용되는 신택스 테이블들을 나타낸다. 그러한 신택스 테이블들에서, 용어 '...'은 판독을 용이하게 하기 위해 V-PCC에서 주어지고 도면들에서 제거된 원래의 정의에 대한 신택스의 변경되지 않은 부분들을 나타낸다. 도면들에서 볼드체의 항들은 이 항에 대한 값이 비트스트림을 파싱함으로써 획득된다는 것을 나타낸다. 신택스 테이블들의 우측 열은 신택스 요소의 데이터를 인코딩하기 위한 비트들의 수를 나타낸다. 예를 들어, u(4)는 데이터를 인코딩하기 위해 4 비트가 사용된다는 것을 나타내고, u(8)는 8 비트를 나타내고, ae(v)는 컨텍스트 적응형 산술 엔트로피 코딩된 신택스 요소를 나타낸다.

아래에 설명되고 고려되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 아래의 도 1 내지 도 15는 일부 실시예들을 제공하지만, 다른 실시예들이 고려되며, 도 1 내지 도 15의 논의는 구현들의 폭을 제한하지 않는다.

양태들 중 적어도 하나는 일반적으로 포인트 클라우드 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 양태는 일반적으로 생성되거나 인코딩된 비트스트림을 송신하는 것에 관한 것이다.

더 정확하게는, 본 명세서에서 설명되는 다양한 방법들 및 다른 양태들은 모듈들, 예를 들어, 도 3의 패치 정보 인코더(3700)에서 일어나는 것들과 같은 메타데이터 인코딩에 관련된 모듈들 및 도 4의 패치 정보 디코더(4400)에서 또는 도 4의 지오메트리 생성 모듈(4500)에서의 재구성 프로세스에서 일어나는 것들과 같은 메타데이터 디코딩에 관련된 모듈들을 수정하는 데 사용될 수 있다.

또한, 본 양태들은 포인트 클라우드 압축(Point Cloud Compression)과 관련된 MPEG-I 파트 5와 같은 MPEG 표준들에 제한되지 않고, 예를 들어, 이미 있든 장래에 개발되든 간에, 다른 표준들 및 추천들, 및 임의의 이러한 표준들 및 추천들의 확장들(MPEG-I 파트 5를 포함함)에 적용될 수 있다. 달리 표시되지 않거나 또는 기술적으로 배제되지 않는 한, 본 출원에서 설명되는 양태들은 개별적으로 또는 조합하여 사용될 수 있다.

이하에서, 이미지 데이터는 데이터, 예를 들어, 특정 이미지/비디오 포맷의 2D 샘플들의 하나 또는 수 개의 어레이를 지칭한다. 특정 이미지/비디오 포맷은 이미지(또는 비디오)의 픽셀 값들에 관한 정보를 특정할 수 있다. 특정 이미지/비디오 포맷은 또한 예를 들어 이미지(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 임의의 다른 장치에 의해 사용될 수 있는 정보를 특정할 수 있다. 이미지는, 일반적으로 이미지의 루미넌스(또는 루마)를 나타내는, 샘플들의 제1 2D 어레이의 형상의 제1 컴포넌트를 통상적으로 포함한다. 이미지는 또한, 일반적으로 이미지의 크로미넌스(또는 크로마)를 나타내는, 샘플들의 다른 2D 어레이들의 형상의 제2 컴포넌트 및 제3 컴포넌트를 포함할 수 있다. 일부 실시예들은 전통적인 3원색 RGB 표현과 같은 컬러 샘플들의 2D 어레이들의 세트를 사용하여 동일한 정보를 표현한다.

픽셀 값은 하나 이상의 실시예에서 C 값들의 벡터에 의해 표현되며, 여기서 C는 컴포넌트들의 수이다. 벡터의 각각의 값은 통상적으로 픽셀 값들의 동적 범위를 정의할 수 있는 비트들의 수로 표현된다.

이미지 블록은 이미지에 속하는 픽셀들의 세트를 의미한다. 이미지 블록(또는 이미지 블록 데이터)의 픽셀 값들은 이 이미지 블록에 속하는 픽셀들의 값들을 지칭한다. 이미지 블록은 임의의 형상을 가질 수 있지만, 직사각형들이 일반적이다.

포인트 클라우드는 고유 좌표들을 갖고 또한 하나 이상의 속성을 가질 수 있는 3D 체적 공간 내의 3D 샘플들의 데이터세트에 의해 표현될 수 있다.

이 데이터 세트의 3D 샘플은 그의 공간적 위치(3D 공간에서의 X, Y, 및 Z 좌표)에 의해 그리고 가능하게는 예를 들어 RGB 또는 YUV 컬러 공간에서 표현되는 컬러, 투명도, 반사율, 2-컴포넌트 법선 벡터 또는 이 샘플의 특징을 표현하는 임의의 특징과 같은 하나 이상의 연관된 속성에 의해 정의될 수 있다. 예를 들어, 3D 샘플은 6개의 컴포넌트(X, Y, Z, R, G, B) 또는 동등하게 (X, Y, Z, y, U, V)에 의해 정의될 수 있고, 여기서, (X,Y,Z)는 3D 공간에서의 포인트의 좌표들을 정의하고, (R,G,B) 또는 (y,U,V)은 이 3D 샘플의 컬러를 정의한다. 동일한 타입의 속성이 여러 번 존재할 수 있다. 예를 들어, 다수의 컬러 속성들은 상이한 시점들로부터의 컬러 정보를 제공할 수 있다.

포인트 클라우드는 클라우드가 시간에 대해 변화하는지 여부에 따라 정적이거나 동적일 수 있다. 정적 포인트 클라우드 또는 동적 포인트 클라우드의 인스턴스는 일반적으로 포인트 클라우드 프레임으로서 표시된다. 동적 포인트 클라우드의 경우, 포인트들의 수는 일반적으로 일정하지 않고, 반대로, 일반적으로 시간에 따라 변화한다는 점에 유의해야 한다. 더 일반적으로, 포인트 클라우드는, 예를 들어, 포인트들의 수, 하나 이상의 포인트의 위치, 또는 임의의 포인트의 임의의 속성과 같은, 임의의 것이 시간에 따라 변화하는 경우 동적인 것으로 간주될 수 있다.

예로서, 2D 샘플은 6개의 컴포넌트 (u, v, Z, R, G, B) 또는 동등하게 (u, v, Z, y, U, V)에 의해 정의될 수 있다. (u,v)는 투영 평면의 2D 공간에서의 2D 샘플의 좌표를 정의한다. Z는 이 투영 평면 상에 투영된 3D 샘플의 깊이 값이다. (R,G,B) 또는 (y,U,V)은 이 3D 샘플의 컬러를 정의한다.

도 1은 본 실시예들 중 적어도 하나의 실시예에 따른 2-계층-기반 포인트 클라우드 인코딩 구조(1000)의 예의 개략적인 블록도를 예시한다.

2-계층-기반 포인트 클라우드 인코딩 구조(1000)는 입력 포인트 클라우드 프레임 IPCF를 표현하는 비트스트림 B를 제공할 수 있다. 가능하게는, 상기 입력 포인트 클라우드 프레임 IPCF는 동적 포인트 클라우드의 프레임을 표현한다. 그 후, 상기 동적 포인트 클라우드의 프레임은 다른 프레임과 독립적으로 2-계층-기반 포인트 클라우드 인코딩 구조(1000)에 의해 인코딩될 수 있다.

기본적으로, 2-계층-기반 포인트 클라우드 인코딩 구조(1000)는 비트스트림 B를 베이스 계층 BL 및 향상 계층 EL로서 구조화하는 능력을 제공할 수 있다. 베이스 계층 BL은 입력 포인트 클라우드 프레임 IPCF의 손실 표현을 제공할 수 있고 향상 계층 EL은 베이스 계층 BL에 의해 표현되지 않는 격리된 포인트들을 인코딩함으로써 더 높은 품질(아마도 무손실) 표현을 제공할 수 있다.

베이스 계층 BL은 도 3에 예시된 바와 같이 이미지-기반 인코더(3000)에 의해 제공될 수 있다. 상기 이미지-기반 인코더(3000)는 입력 포인트 클라우드 프레임 IPCF의 3D 샘플들의 지오메트리/속성들을 표현하는 지오메트리/텍스처 이미지들을 제공할 수 있다. 이는 격리된 3D 샘플들이 폐기되도록 허용할 수 있다. 베이스 계층 BL은 중간 재구성 포인트 클라우드 프레임 IRPCF를 제공할 수 있는 도 4에 예시된 바와 같은 이미지-기반 디코더(4000)에 의해 디코딩될 수 있다.

그 후, 도 1의 2-계층-기반 포인트 클라우드 인코딩(1000)으로 돌아가서, 비교기 COMP는 누락된/격리된 3D 샘플들을 검출/위치확인(locate)하기 위해 입력 포인트 클라우드 프레임 IPCF의 3D 샘플들을 중간 재구성 포인트 클라우드 프레임 IRPCF의 3D 샘플들과 비교할 수 있다. 다음으로, 인코더 ENC는 누락된 3D 샘플들을 인코딩할 수 있고 향상 계층 EL을 제공할 수 있다. 마지막으로, 베이스 계층 BL과 향상 계층 EL은 멀티플렉서 MUX에 의해 함께 멀티플렉싱되어 비트스트림 B를 생성할 수 있다.

실시예에 따르면, 인코더 ENC는 중간 재구성 포인트 클라우드 프레임 IRPCF의 3D 참조 샘플 R을 검출하여 누락된 3D 샘플들 M에 연관시킬 수 있는 검출기를 포함할 수 있다.

예를 들어, 누락된 3D 샘플 M과 연관된 3D 참조 샘플 R은 주어진 메트릭에 따라 M의 가장 가까운 이웃일 수 있다.

실시예에 따르면, 인코더 ENC는 그 후 누락된 3D 샘플들 M의 공간적 위치들 및 그것들의 속성들을 상기 3D 참조 샘플들 R의 공간적 위치들 및 속성들에 따라 결정된 차이들로서 인코딩할 수 있다.

변형예에서, 그러한 차이들은 개별적으로 인코딩될 수 있다.

예를 들어, 공간적 좌표들 x(M), y(M) 및 z(M)을 갖는 누락된 3D 샘플 M에 대해, x-좌표 위치 차이 Dx(M), y-좌표 위치 차이 Dy(M), z-좌표 위치 차이 Dz(M), R-속성 컴포넌트 차이 Dr(M), G-속성 컴포넌트 차이 Dg(M) 및 B-속성 컴포넌트 차이 Db(M)은 다음과 같이 계산될 수 있다:

Dx(M)=x(M)-x(R),

여기서 x(M)은 도 3에 의해 제공된 지오메트리 이미지에서 3D 샘플 M, R 각각의 x-좌표이고,

Dy(M)=y(M)-y(R)

여기서 y(M)은 도 3에 의해 제공된 지오메트리 이미지에서 3D 샘플 M, R 각각의 y-좌표이고,

Dz(M)=z(M)-z(R)

여기서 z(M)은 도 3에 의해 제공된 지오메트리 이미지에서 3D 샘플 M, R 각각의 z-좌표이고,

Dr(M)=R(M)-R(R).

여기서 R(M), R(R) 각각은 3D 샘플 M, R 각각의 컬러 속성의 r-컬러 성분이고,

Dg(M)=G(M)-G(R).

여기서 G(M), G(R) 각각은 3D 샘플 M, R 각각의 컬러 속성의 g-컬러 성분이고,

Db(M)=B(M)-B(R).

여기서 B(M), B(R) 각각은 3D 샘플 M, R 각각의 컬러 속성의 b-컬러 성분이다.

도 2는 본 실시예들 중 적어도 하나의 실시예에 따른 2-계층-기반 포인트 클라우드 디코딩 구조(2000)의 예의 개략적인 블록도를 예시한다.

2-계층-기반 포인트 클라우드 디코딩 구조(2000)의 거동은 그 능력들에 의존한다.

제한된 능력들을 갖는 2-계층-기반 포인트 클라우드 디코딩 구조(2000)는 디멀티플렉서 DMUX를 사용하여 비트스트림 B로부터 베이스 계층 BL만을 액세스할 수 있고, 그 후 도 4에 예시된 바와 같은 포인트 클라우드 디코더(4000)에 의해 베이스 계층 BL을 디코딩함으로써 입력 포인트 클라우드 프레임 IPCF의 충실한(그러나 손실 있는) 버전 IRPCF를 제공할 수 있다.

전체 능력들을 갖는 2-계층-기반 포인트 클라우드 디코딩 구조(2000)는 디멀티플렉서 DMUX를 사용하여 비트스트림 B로부터 베이스 계층 BL과 향상 계층 EL 양자 모두에 액세스할 수 있다. 도 4에 예시된 바와 같이, 포인트 클라우드 디코더(4000)는 베이스 계층 BL로부터 중간 재구성 포인트 클라우드 프레임 IRPCF를 결정할 수 있다. 디코더 DEC는 향상 계층 EL로부터 상보적 포인트 클라우드 프레임 CPCF를 결정할 수 있다. 그 다음, 조합기 COM은 중간 재구성 포인트 클라우드 프레임 IRPCF와 상보적 포인트 클라우드 프레임 CPCF를 함께 조합하여 입력 포인트 클라우드 프레임 IPCF의 더 높은 품질(아마도 무손실) 표현(재구성) CRPCF를 제공할 수 있다.

도 3은 본 실시예들 중 적어도 하나의 실시예에 따른 이미지-기반 포인트 클라우드 인코더(3000)의 예의 개략적인 블록도를 예시한다.

이미지-기반 포인트 클라우드 인코더(3000)는 동적 포인트 클라우드의 지오메트리 및 텍스처(속성) 정보를 압축하기 위해 기존의 비디오 코덱들을 이용(leverage)한다. 이것은 포인트 클라우드 데이터를 상이한 비디오 시퀀스들의 세트로 본질적으로 변환함으로써 달성된다.

특정 실시예들에서, 2개의 비디오 - 하나는 포인트 클라우드 데이터의 지오메트리 정보를 캡처하기 위한 것이고 다른 하나는 텍스처 정보를 캡처하기 위한 것임 - 가 기존의 비디오 코덱들을 사용하여 생성되고 압축될 수 있다. 기존의 비디오 코덱의 예는 HEVC 메인 프로파일 인코더/디코더(ITU-T H.265 Telecommunication standardization sector of ITU (02/2018), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265)이다.

2개의 비디오를 해석하는 데 사용되는 추가적인 메타데이터가 통상적으로 또한 개별적으로 발생되고 압축된다. 이러한 추가적인 메타데이터는, 예를 들어, 점유 맵 OM 및/또는 보조 패치 정보 PI를 포함한다.

그 후, 생성된 비디오 비트스트림들과 메타데이터는 조합된 비트스트림을 생성하기 위해 함께 멀티플렉싱될 수 있다.

메타데이터는 통상적으로 적은 양의 전체 정보를 표현한다는 점에 유의해야 한다. 대부분의 정보는 비디오 비트스트림들에 있다.

이러한 포인트 클라우드 코딩/디코딩 프로세스의 예는 ISO/IEC JTC1/SC29/WG11 MPEG2019/w18180(2019년 1월, Marrakesh)에 정의된 바와 같은 MPEG 드래프트 표준을 구현하는 테스트 모델 카테고리 2 알고리즘(V-PCC로도 표시됨)에 의해 주어진다.

단계 3100에서, 모듈 PGM은 최상의 압축을 제공하는 전략을 사용하여 입력 포인트 클라우드 프레임 IPCF를 표현하는 데이터 세트의 3D 샘플들을 투영 평면 상의 2D 샘플들로 분해함으로써 적어도 하나의 패치를 생성할 수 있다.

패치는 2D 샘플들의 세트로서 정의될 수 있다.

예를 들어, V-PCC에서는, 모든 3D 샘플에서의 법선이 먼저, 예를 들어, 문헌[Hoppe et al. (Hugues Hoppe, Tony DeRose, Tom Duchamp, John McDonald, Werner Stuetzle. Surface reconstruction from unorganized points. ACM SIGGRAPH 1992 Proceedings, 71-78)]에 설명된 바와 같이 추정된다. 다음으로, 입력 포인트 클라우드 프레임 IPCF의 초기 클러스터링(clustering)은 각각의 3D 샘플을 입력 포인트 클라우드 프레임 IPCF의 3D 샘플들을 둘러싸는 3D 바운딩 박스의 6개의 배향된 평면 중 하나와 연관시킴으로써 획득된다. 더 정확하게는, 각각의 3D 샘플은 클러스터링되고, 가장 가까운 법선을 갖는(즉, 점 법선과 평면 법선의 내적을 최대화하는) 배향된 평면과 연관된다. 그 후, 3D 샘플들은 그것들의 연관된 평면들에 투영된다. 그것들의 평면에서 연결된 영역을 형성하는 3D 샘플들의 세트는 연결된 성분으로서 지칭된다. 연결된 성분은 유사한 법선 및 동일한 연관된 배향된 평면을 갖는 적어도 하나의 3D 샘플의 세트이다. 그 후, 초기 클러스터링은 각각의 3D 샘플과 연관된 클러스터를 그것의 법선 및 그것의 가장 가까운 이웃 샘플들의 클러스터들에 기초하여 반복적으로 업데이트함으로써 정제된다. 최종 단계는 각각의 연결된 성분으로부터 하나의 패치를 생성하는 것으로 구성되며, 즉, 각각의 연결된 성분의 3D 샘플들을 상기 연결된 성분과 연관된 배향된 평면 상에 투영함으로써 행해진다. 패치는 지오메트리 및/또는 속성 정보에 대응하는 투영된 2D 샘플들을 해석하기 위해 각각의 패치에 대해 정의된 보조 패치 정보를 표현하는 보조 패치 정보 PI와 연관된다.

V-PCC에서, 예를 들어, 보조 패치 정보 PI는 1) 연결된 성분의 3D 샘플들을 둘러싸는 3D 바운딩 박스의 6개의 배향된 평면 중 하나를 표시하는 정보; 2) 평면 법선에 대한 정보; 3) 깊이, 접선 시프트(tangential shift) 및 쌍접선 시프트(bi-tangential shift)의 관점에서 표현되는 패치에 대한 연결된 성분의 3D 위치를 결정하는 정보; 및 4) 패치를 둘러싸는 2D 바운딩 박스를 정의하는 투영 평면에서의 좌표들(u0, v0, u1, v1)과 같은 정보를 포함한다.

단계 3200에서, 패치 패킹 모듈 PPM은 통상적으로 미사용 공간을 최소화하는 방식으로 임의의 중첩 없이 적어도 하나의 생성된 패치를 2D 그리드(캔버스라고도 함) 상에 맵핑(배치)할 수 있고, 2D 그리드의 모든 TxT(예를 들어, 16x16) 블록이 고유 패치와 연관되는 것을 보장할 수 있다. 2D 그리드의 주어진 최소 블록 크기 TxT는 이 2D 그리드 상에 배치된 바와 같은 별개의 패치들 사이의 최소 거리를 특정할 수 있다. 2D 그리드 해상도는 입력 포인트 클라우드 크기 및 그것의 폭 W 및 높이 H에 의존할 수 있고, 블록 크기 T는 메타데이터로서 디코더에 송신될 수 있다.

보조 패치 정보 PI는 2D 그리드의 블록과 패치 사이의 연관성에 관한 정보를 추가로 포함할 수 있다.

V-PCC에서, 보조 정보 PI는 2D 그리드의 블록과 패치 인덱스 사이의 연관성을 결정하는 블록 투 패치 인덱스 정보(BlockToPatch)를 포함할 수 있다.

도 3a는 2개의 패치(P1 및 P2) 및 그것들의 연관된 2D 바운딩 박스(B1 및 B2)를 포함하는 캔버스 C의 예를 예시한다. 2개의 바운딩 박스는 도 3a에 예시된 바와 같이 캔버스 C에서 중첩될 수 있다는 점에 유의한다. 2D 그리드(캔버스의 분할)는 바운딩 박스 내부에만 표현되지만, 캔버스의 분할은 또한 이들 바운딩 박스 외부에서 발생한다. 패치와 연관된 바운딩 박스는 TxT 블록들로 분할될 수 있으며, 통상적으로 T=16이다.

패치에 속하는 2D 샘플들을 포함하는 TxT 블록들은 대응하는 점유 맵 OM에서 점유된 블록들로서 간주될 수 있다. 이어서, 점유 맵 OM의 블록은 블록이 점유되어 있는지, 즉, 패치에 속하는 2D 샘플들을 포함하는지를 표시할 수 있다.

도 3a에서, 점유된 블록은 백색 블록으로 표현되고 밝은 회색 블록들은 점유되지 않은 블록들을 표현한다. 이미지 생성 프로세스들(단계들 3300 및 3400)은 입력 포인트 클라우드 프레임 IPCF의 지오메트리 및 텍스처를 이미지들로서 저장하기 위해, 단계 3200 동안 계산된 2D 그리드 상으로의 적어도 하나의 생성된 패치의 맵핑을 활용한다.

단계 3300에서, 지오메트리 이미지 생성기 GIG는 입력 포인트 클라우드 프레임 IPCF, 점유 맵 OM 및 보조 패치 정보 PI로부터 적어도 하나의 지오메트리 이미지 GI를 생성할 수 있다. 지오메트리 이미지 생성기 GIG는 지오메트리 이미지 GI에서의 점유된 블록들 및 따라서 비어 있지 않은 픽셀들을 검출(위치확인)하기 위해 점유 맵 정보를 활용할 수 있다.

지오메트리 이미지 GI는 입력 포인트 클라우드 프레임 IPCF의 지오메트리를 표현할 수 있고, 예를 들어, YUV420-8bit 포맷으로 표현된 WxH 픽셀들의 단색 이미지일 수 있다.

다수의 3D 샘플들이 (동일한 투영 방향(라인)을 따라) 투영 평면의 동일한 2D 샘플에 투영(맵핑)되는 경우를 더 잘 다루기 위해, 계층들로 지칭되는 다수의 이미지들이 생성될 수 있다. 따라서, 상이한 깊이 값들 D1, ..., Dn은 패치의 2D 샘플과 연관될 수 있고, 그 후 다수의 지오메트리 이미지가 생성될 수 있다.

V-PCC에서, 패치의 2D 샘플들이 2개의 계층 상에 투영된다. 근거리 계층이라고도 불리는 제1 계층은, 예를 들어, 더 작은 깊이들을 갖는 2D 샘플들과 연관된 깊이 값들 D0을 저장할 수 있다. 원거리 계층으로 지칭되는 제2 계층은, 예를 들어, 더 큰 깊이들을 갖는 2D 샘플들과 연관된 깊이 값들 D1을 저장할 수 있다. 대안적으로, 제2 계층은 깊이 값들 D1과 D0 사이의 차이 값들을 저장할 수 있다. 예를 들어, 제2 깊이 이미지에 의해 저장된 정보는 범위[D0, D0+Δ] 내의 깊이 값들에 대응하는 구간[0, Δ] 내에 있을 수 있고, 여기서 Δ는 표면 두께를 설명하는 사용자-정의된 파라미터이다.

이러한 방식으로, 제2 계층은 상당한 윤곽형 고주파 피처들(significant contour-like high frequency features)을 포함할 수 있다. 따라서, 제2 깊이 이미지는 레거시 비디오 코더를 사용하여 코딩하기 어려울 수 있고, 따라서, 깊이 값들은 상기 디코딩된 제2 깊이 이미지로부터 불량하게 재구성될 수 있고, 그 결과, 재구성된 포인트 클라우드 프레임의 지오메트리의 품질이 불량하다는 것이 명백하게 나타난다.

실시예에 따르면, 지오메트리 이미지 생성 모듈 GIG는 보조 패치 정보 PI를 사용하여 제1 및 제2 계층들의 2D 샘플들과 연관된 깊이 값들을 코딩(도출)할 수 있다.

V-PCC에서, 대응하는 연결된 성분을 갖는 패치에서의 3D 샘플의 위치는 깊이 δ(u, v), 접선 시프트 s(u, v) 및 쌍접선 시프트 r(u, v)에 관하여 다음과 같이 표현될 수 있다:

δ(u, v) = δ0 + g(u, v)

s(u, v) = s0 - u0 + u

r(u, v) = r0 - v0 + v

여기서, g(u, v)는 지오메트리 이미지의 루마 성분이고, (u, v)는 투영 평면 상의 3D 샘플과 연관된 픽셀이고, (δ0, s0, r0)은 3D 샘플이 속하는 연결된 성분의 대응하는 패치의 3D 위치이고, (u0, v0, u1, v1)은 상기 연결된 성분과 연관된 패치의 투영을 둘러싸는 2D 바운딩 박스를 정의하는 상기 투영 평면에서의 좌표들이다.

따라서, 지오메트리 이미지 생성 모듈 GIG는, g(u, v)=δ(u, v)-δ0에 의해 주어지는 루마 성분 g(u, v)로서 계층(제1 또는 제2 또는 양자 모두)의 2D 샘플들과 연관된 깊이 값들을 코딩(도출)할 수 있다. 이 관계는 수반되는 보조 패치 정보 PI로 재구성된 지오메트리 이미지 g(u, v)로부터 3D 샘플 위치들(δ0, s0, r0)을 재구성하는 데 이용될 수 있다는 점에 유의한다.

실시예에 따르면, 제1 지오메트리 이미지 GI0이 제1 계층 또는 제2 계층 중 어느 하나의 2D 샘플들의 깊이 값들을 저장할 수 있고 제2 지오메트리 이미지 GI1이 제2 계층 또는 제1 계층 중 어느 하나의 2D 샘플들과 연관된 깊이 값들을 저장할 수 있는지를 표시하기 위해 투영 모드가 사용될 수 있다.

예를 들어, 투영 모드가 0일 때, 제1 지오메트리 이미지 GI0은 제1 계층의 2D 샘플들의 깊이 값들을 저장할 수 있고, 제2 지오메트리 이미지 GI1은 제2 계층의 2D 샘플들과 연관된 깊이 값들을 저장할 수 있다. 상반되게, 투영 모드가 1일 때, 제1 지오메트리 이미지 GI0은 제2 계층의 2D 샘플들의 깊이 값들을 저장할 수 있고, 제2 지오메트리 이미지 GI1은 제1 계층의 2D 샘플들과 연관된 깊이 값들을 저장할 수 있다.

실시예에 따르면, 프레임 투영 모드는 모든 패치들에 대해 고정 투영 모드가 사용되는지 또는 각각의 패치가 상이한 투영 모드를 사용할 수 있는 가변 투영 모드가 사용되는지를 표시하는 데 사용될 수 있다.

투영 모드 및/또는 프레임 투영 모드는 메타데이터로서 송신될 수 있다.

프레임 투영 모드 결정 알고리즘은, 예를 들어, V-PCC의 섹션 2.2.1.3.1에 제공될 수 있다.

실시예에 따르면, 프레임 투영이 가변 투영 모드가 사용될 수 있는 것을 표시할 때, 패치 투영 모드가 패치를 (역)투영하는 데 사용할 적절한 모드를 표시하는 데 사용될 수 있다.

패치 투영 모드는 메타데이터로서 송신될 수 있고, 가능하게는 보조 패치 정보 PI에 포함된 정보일 수 있다.

패치 투영 모드 결정 알고리즘은, 예를 들어, V-PCC의 섹션 2.2.1.3.2에 제공된다.

단계 3300의 실시예에 따르면, 패치의 2D 샘플 (u,v)에 대응하는 제1 지오메트리 이미지, 예를 들어, GI0에서의 픽셀 값은 상기 2D 샘플 (u,v)에 대응하는 투영 라인을 따라 정의된 적어도 하나의 중간의 3D 샘플과 연관된 깊이 값들을 표현할 수 있다. 상기 중간의 3D 샘플들은 투영 라인을 따라 존재하고, 깊이 값 D1이 제2 지오메트리 이미지, 예를 들어, GI1에 코딩된 2D 샘플 (u,v)의 동일한 좌표들을 공유한다. 또한, 상기 중간의 3D 샘플들은 깊이 값 D0과 깊이 값 D1 사이의 깊이 값들을 가질 수 있다. 지정된 비트는 중간의 3D 샘플이 존재하는 경우 1로 설정되고 그렇지 않은 경우 0으로 설정되는 상기 중간의 3D 샘플들 각각과 연관될 수 있다.

그 다음, 상기 투영 라인을 따른 모든 상기 지정된 비트들은 이하에서 EDD(Enhanced-Delta-Depth) 코드라 불리는 코드워드를 형성하기 위해 연결(concatenate)될 수 있다. 마지막으로, 모든 EDD 코드는 이미지에, 예를 들어, 제1 지오메트리 이미지 GI1 또는 점유 맵 OM에 패킹될 수 있다.

단계 3400에서, 텍스처 이미지 생성기 TIG는 입력 포인트 클라우드 프레임 IPCF, 점유 맵 OM, 보조 패치 정보 PI 및 비디오 디코더 VDEC(도 4의 단계 4200)의 출력인 적어도 하나의 디코딩된 지오메트리 이미지 DGI로부터 도출된 재구성 포인트 클라우드 프레임의 지오메트리로부터 적어도 하나의 텍스처 이미지 TI를 생성할 수 있다.

텍스처 이미지 TI는 입력 포인트 클라우드 프레임 IPCF의 텍스처를 표현할 수 있고, 예를 들어, YUV420-8bit 포맷으로 표현된 WxH 픽셀들의 이미지일 수 있다.

텍스처 이미지 생성기 TG는 텍스처 이미지에서의 점유된 블록들 및 따라서 비어 있지 않은 픽셀들을 검출(위치확인)하기 위해 점유 맵 정보를 활용할 수 있다.

텍스처 이미지 생성기 TIG는 텍스처 이미지 TI를 생성하여 각각의 지오메트리 이미지/계층 DGI와 연관시키도록 적응될 수 있다.

실시예에 따르면, 텍스처 이미지 생성기 TIG는 제1 계층의 2D 샘플들과 연관된 텍스처(속성) 값들 T0을 제1 텍스처 이미지 TI0의 픽셀 값들로서 그리고 제2 계층의 2D 샘플들과 연관된 텍스처 값들 T1을 제2 텍스처 이미지 TI1의 픽셀 값들로서 코딩(저장)할 수 있다.

대안적으로, 텍스처 이미지 생성 모듈 TIG는 제2 계층의 2D 샘플들과 연관된 텍스처 값들 T1을 제1 텍스처 이미지 TI0의 픽셀 값들로서 그리고 제1 계층의 2D 샘플들과 연관된 텍스처 값들 D0을 제2 지오메트리 이미지 GI1의 픽셀 값들로서 코딩(저장)할 수 있다.

예를 들어, 3D 샘플들의 컬러들은 V-PCC의 섹션 2.2.3, 2.2.4, 2.2.5, 2.2.8 또는 2.5에 설명된 바와 같이 획득될 수 있다.

실시예에 따르면, 패딩 프로세스가 지오메트리 및/또는 텍스처 이미지에 적용될 수 있다. 패딩 프로세스는 비디오 압축에 적합한 구분적 평활 이미지(piecewise smooth image)를 생성하기 위해 패치들 사이의 빈 공간을 채우는 데 사용될 수 있다.

이미지 패딩 예는 V-PCC의 섹션들 2.2.6 및 2.2.7에 제공된다.

단계 3500에서, 비디오 인코더 VENC는 생성된 이미지들/계층들 TI 및 GI를 인코딩할 수 있다.

단계 3600에서, 인코더 OMENC는, 예를 들어, V-PCC의 섹션 2.2.2에서 상세히 설명된 바와 같이 점유 맵을 이미지로서 인코딩할 수 있다. 손실 또는 무손실 인코딩이 사용될 수 있다.

실시예에 따르면, 비디오 인코더 ENC 및/또는 OMENC는 HEVC-기반 인코더일 수 있다.

단계 3700에서, 인코더 PIENC는 보조 패치 정보 PI 및 가능하게는 지오메트리/텍스처 이미지들의 블록 크기 T, 폭 W 및 높이 H와 같은 추가적인 메타데이터를 인코딩할 수 있다.

실시예에 따르면, 보조 패치 정보는 (예를 들어, V-PCC의 섹션 2.4.1에 정의된 바와 같이) 차등적으로 인코딩될 수 있다.

단계 3800에서, 멀티플렉서는 단계들 3500, 3600 및 3700의 생성된 출력들에 적용될 수 있고, 결과로서 이들 출력은 베이스 계층 BL을 표현하는 비트스트림을 생성하도록 함께 멀티플렉싱될 수 있다. 메타데이터 정보는 전체 비트스트림의 작은 부분을 표현한다는 점에 유의해야 한다. 대부분의 정보는 비디오 코덱들을 사용하여 압축된다.

도 4는 본 실시예들 중 적어도 하나의 실시예에 따른 이미지-기반 포인트 클라우드 디코더(4000)의 예의 개략적인 블록도를 예시한다.

단계 4100에서, 베이스 계층 BL을 표현하는 비트스트림의 인코딩된 정보를 디멀티플렉싱하기 위해 디멀티플렉서 DMUX가 적용될 수 있다.

단계 4200에서, 비디오 디코더 VDEC가 인코딩된 정보를 디코딩하여 적어도 하나의 디코딩된 지오메트리 이미지 DGI 및 적어도 하나의 디코딩된 텍스처 이미지 DTI를 도출할 수 있다.

단계 4300에서, 디코더 OMDEC가 인코딩된 정보를 디코딩하여 디코딩된 점유 맵 DOM을 도출할 수 있다.

실시예에 따르면, 비디오 디코더 VDEC 및/또는 OMDEC는 HEVC-기반 디코더일 수 있다.

단계 4400에서, 디코더 PIDEC가 인코딩된 정보를 디코딩하여 보조 패치 정보 DPI를 도출할 수 있다.

가능하게는, 비트스트림 BL로부터 메타데이터가 또한 도출될 수 있다.

단계 4500에서, 지오메트리 생성 모듈 GGM은 적어도 하나의 디코딩된 지오메트리 이미지 DGI, 디코딩된 점유 맵 DOM, 디코딩된 보조 패치 정보 DPI 및 가능한 추가적인 메타데이터로부터 재구성된 포인트 클라우드 프레임 IRPCF의 지오메트리 RG를 도출할 수 있다.

지오메트리 생성 모듈 GGM은 적어도 하나의 디코딩된 지오메트리 이미지 DGI에서 비어 있지 않은 픽셀들을 위치확인하기 위해 디코딩된 점유 맵 정보 DOM를 활용할 수 있다. 비어 있지 않은 픽셀들과 연관된 재구성된 3D 샘플들의 3D 좌표들은 이어서 상기 비어 있지 않은 픽셀들의 좌표들 및 상기 재구성된 2D 샘플들의 값들로부터 도출될 수 있다.

실시예에 따르면, 지오메트리 생성 모듈 GGM은 비어 있지 않은 픽셀들의 좌표들로부터 재구성된 3D 샘플들의 3D 좌표들을 도출할 수 있다.

실시예에 따르면, 지오메트리 생성 모듈 GGM은 비어 있지 않은 픽셀들의 좌표들, 적어도 하나의 디코딩된 지오메트리 이미지 DGI 중 하나의 디코딩된 지오메트리 이미지의 상기 비어 있지 않은 픽셀들의 값들, 디코딩된 보조 패치 정보로부터, 그리고 가능하게는 추가적인 메타데이터로부터 재구성된 3D 샘플들의 3D 좌표들을 도출할 수 있다.

비어 있지 않은 픽셀들의 사용은 3D 샘플들과의 2D 픽셀 관계에 기초한다. 예를 들어, V-PCC에서의 상기 투영으로, 재구성된 3D 샘플들의 3D 좌표들은 깊이 δ(u, v), 접선 시프트 s(u, v) 및 쌍접선 시프트 r(u, v)에 관하여 다음과 같이 표현될 수 있다:

δ(u, v) = δ0 + g(u, v)

s(u, v) = s0 - u0 + u

r(u, v) = r0 - v0 + v

여기서, g(u, v)는 디코딩된 지오메트리 이미지 DGI의 루마 성분이고, (u, v)는 재구성된 3D 샘플과 연관된 픽셀이고, (δ0, s0, r0)은 재구성된 3D 샘플이 속하는 연결된 성분의 3D 위치이고, (u0, v0, u1, v1)은 상기 연결된 성분과 연관된 패치의 투영을 둘러싸는 2D 바운딩 박스를 정의하는 투영 평면에서의 좌표들이다.

단계 4600에서, 텍스처 생성 모듈 TGM은 지오메트리 RG 및 적어도 하나의 디코딩된 텍스처 이미지 DTI로부터 재구성된 포인트 클라우드 프레임 IRPCF의 텍스처를 도출할 수 있다.

도 5는 본 실시예들 중 적어도 하나의 실시예에 따른 베이스 계층 BL을 표현하는 비트스트림의 신택스의 예를 개략적으로 예시한다.

비트스트림은 비트스트림 헤더 SH 및 적어도 하나의 프레임 스트림 그룹 GOFS를 포함한다.

프레임 스트림 그룹 GOFS는 헤더 HS, 점유 맵 OM을 표현하는 적어도 하나의 신택스 요소 OMS, 적어도 하나의 지오메트리 이미지(또는 비디오)를 표현하는 적어도 하나의 신택스 요소 GVS, 적어도 하나의 텍스처 이미지(또는 비디오)를 표현하는 적어도 하나의 신택스 요소 TVS, 및 보조 패치 정보 및 다른 추가적인 메타데이터를 표현하는 적어도 하나의 신택스 요소 PIS를 포함한다.

변형예에서, 프레임 스트림 그룹 GOFS는 적어도 하나의 프레임 스트림을 포함한다.

도 6은 다양한 양태들 및 실시예들이 구현되는 시스템의 예를 예시하는 개략적인 블록도를 도시한다.

시스템(6000)은 아래에 설명되는 다양한 컴포넌트들을 포함하는 하나 이상의 디바이스로서 구현될 수 있고, 본 문서에 설명되는 양태들 중 하나 이상을 수행하도록 구성된다. 시스템(6000)의 전부 또는 일부를 형성할 수 있는 장비의 예들은 개인용 컴퓨터들, 랩톱들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 레코딩 시스템들, 연결된 가전 기기들, 연결된 차량들 및 이들의 연관된 처리 시스템들, 헤드 마운티드 디스플레이 디바이스들(HMD, 시스루(see-through) 안경), 프로젝터들(비머(beamer)들), "케이브들(caves)"(다수의 디스플레이를 포함하는 시스템), 서버들, 비디오 인코더들, 비디오 디코더들, 비디오 디코더로부터의 출력을 처리하는 포스트-프로세서들, 비디오 인코더에 입력을 제공하는 프리-프로세서들, 웹 서버들, 셋톱 박스들, 및 포인트 클라우드, 비디오 또는 이미지를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 시스템(6000)의 요소들은, 단독으로 또는 조합하여, 단일의 집적 회로, 다수의 IC들, 및/또는 이산 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(6000)의 처리 및 인코더/디코더 요소들은 다수의 IC들 및/또는 이산 컴포넌트들에 걸쳐 분산될 수 있다. 다양한 실시예들에서, 시스템(6000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해, 다른 유사한 시스템들에 또는 다른 전자 디바이스들에 통신가능하게 결합될 수 있다. 다양한 실시예들에서, 시스템(6000)은 본 문서에 설명된 양태들 중 하나 이상을 구현하도록 구성될 수 있다.

시스템(6000)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해 그 안에 로딩된 명령어들을 실행하도록 구성되는 적어도 하나의 프로세서(6010)를 포함할 수 있다. 프로세서(6010)는 임베디드 메모리, 입력 출력 인터페이스, 및 본 기술분야에 알려진 바와 같은 다양한 다른 회로들을 포함할 수 있다. 시스템(6000)은 적어도 하나의 메모리(6020)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함할 수 있다. 시스템(6000)은 EEPROM(Electrically Erasable Programmable Read-Only Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 플래시, 자기 디스크 드라이브, 및/또는 광 디스크 드라이브를 포함하지만 이에 제한되지 않는, 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는, 저장 디바이스(6040)를 포함할 수 있다. 저장 디바이스(6040)는, 비제한적인 예로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.

시스템(6000)은, 예를 들어, 인코딩된 데이터 또는 디코딩된 데이터를 제공하기 위해 데이터를 처리하도록 구성되는 인코더/디코더 모듈(6030)을 포함할 수 있고, 인코더/디코더 모듈(6030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(6030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 표현할 수 있다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 양자 모두를 포함할 수 있다. 추가적으로, 인코더/디코더 모듈(6030)은 시스템(6000)의 개별 요소로서 구현될 수 있거나, 본 기술분야의 통상의 기술자에게 알려진 바와 같이 하드웨어와 소프트웨어의 조합으로서 프로세서(6010) 내에 통합될 수 있다.

본 문서에 설명된 다양한 양태들을 수행하기 위해 프로세서(6010) 또는 인코더/디코더(6030) 상에 로딩될 프로그램 코드는 저장 디바이스(6040)에 저장되고, 후속하여 프로세서(6010)에 의한 실행을 위해 메모리(6020) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(6010), 메모리(6020), 저장 디바이스(6040), 및 인코더/디코더 모듈(6030) 중 하나 이상은 본 문서에 설명된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목들은, 포인트 클라우드 프레임, 인코딩된/디코딩된 지오메트리/텍스처 비디오들/이미지들 또는 인코딩된/디코딩된 지오메트리/텍스처 비디오/이미지들의 부분들, 비트스트림, 행렬들, 변수들, 및 방정식들, 공식들, 연산들, 및 연산 논리의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 제한되는 것은 아니다.

몇몇 실시예들에서, 프로세서(6010) 및/또는 인코더/디코더 모듈(6030) 내부의 메모리는 명령어들을 저장하고 인코딩 또는 디코딩 동안 수행될 수 있는 처리를 위한 작업 메모리를 제공하는 데 사용될 수 있다.

그러나, 다른 실시예들에서, 처리 디바이스(예를 들어, 처리 디바이스는 프로세서(6010) 또는 인코더/디코더 모듈(6030) 중 어느 하나일 수 있음) 외부의 메모리는 이러한 기능들 중 하나 이상을 위해 사용될 수 있다. 외부 메모리는 메모리(6020) 및/또는 저장 디바이스(6040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예들에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2 파트 2(ITU-T 권고 H.262 및 ISO/IEC 13818-2로도 알려지고, MPEG-2 비디오로도 알려짐), HEVC(High Efficiency Video coding) 또는 VVC(Versatile Video Coding)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용될 수 있다.

시스템(6000)의 요소들에 대한 입력은 블록(6130)에 나타낸 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 공중을 통해 송신되는 RF 신호를 수신할 수 있는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이에 제한되지 않는다.

다양한 실시예들에서, 블록(6130)의 입력 디바이스들은 본 기술분야에 알려진 바와 같은 연관된 각자의 입력 처리 요소들을 가질 수 있다. 예를 들어, RF 부분은 (i) 원하는 주파수 선택(신호 선택 또는 신호의 주파수 대역으로의 대역-제한이라고도 지칭됨), (ii) 선택된 신호의 하향-변환, (iii) 특정 실시예들에서 채널로 지칭될 수 있는 (예를 들어) 신호 주파수 대역을 선택하기 위해 다시 더 좁은 주파수 대역으로의 대역-제한, (iv) 하향-변환되고 대역-제한된 신호의 복조, (v) 에러 정정 수행, 및 (vi) 원하는 데이터 패킷 스트림을 선택하기 위한 디멀티플렉싱에 필요한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역-제한기들, 채널 선택기들, 필터들, 하향변환기들, 복조기들, 에러 정정기들, 및 디멀티플렉서들을 포함할 수 있다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근-기저대역 주파수)로 또는 기저대역으로 하향-변환하는 것을 포함하여, 다양한 이러한 기능들을 수행하는 튜너를 포함할 수 있다.

하나의 셋톱 박스 실시예에서, RF 부분 및 그의 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 송신되는 RF 신호를 수신할 수 있다. 그 후, RF 부분은 필터링, 하향-변환, 및 원하는 주파수 대역으로 다시 필터링함으로써 주파수 선택을 수행할 수 있다.

다양한 실시예들은 전술한(및 다른) 요소들의 순서를 재배열하고, 이 요소들의 일부를 제거하고, 그리고/또는 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다.

요소들을 추가하는 것은, 예를 들어, 증폭기들과 아날로그-대-디지털 변환기를 삽입하는 것과 같이 기존 요소들 사이에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함할 수 있다.

추가적으로, USB 및/또는 HDMI 단자들은 USB 및/또는 HDMI 연결들을 통해 다른 전자 디바이스들에 시스템(6000)을 연결하기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 처리의 다양한 양태들, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정은, 예를 들어, 필요에 따라 별도의 입력 처리 IC 내에서 또는 프로세서(6010) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 필요에 따라 별도의 인터페이스 IC들 내에서 또는 프로세서(6010) 내에서 구현될 수 있다. 복조되고, 에러 정정되고, 디멀티플렉싱된 스트림은, 예를 들어, 프로세서(6010), 및 출력 디바이스 상의 제시를 위해 필요에 따라 데이터 스트림을 처리하기 위해 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(6030)를 포함하는 다양한 처리 요소들에 제공될 수 있다.

시스템(6000)의 다양한 요소들이 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소들은 적절한 연결 배열(6140), 예를 들어, I2C 버스, 배선, 및 인쇄 회로 보드들을 포함하는, 본 기술분야에 알려진 바와 같은 내부 버스를 사용하여 상호연결되고 그 사이에서 데이터를 송신할 수 있다.

시스템(6000)은 통신 채널(6060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(6050)를 포함할 수 있다. 통신 인터페이스(6050)는 통신 채널(6060)을 통해 데이터를 송신 및 수신하도록 구성되는 송수신기를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스(6050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 제한되지 않고, 통신 채널(6060)은, 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예들에서, IEEE 802.11과 같은 Wi-Fi 네트워크를 사용하여 시스템(6000)에 스트리밍될 수 있다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들을 위해 적응되는 통신 인터페이스(6050) 및 통신 채널(6060)을 통해 수신될 수 있다. 이러한 실시예들의 통신 채널(6060)은 통상적으로 스트리밍 애플리케이션들 및 다른 오버-더-톱(over-the-top) 통신들을 허용하기 위해 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 연결될 수 있다.

다른 실시예들은 입력 블록(6130)의 HDMI 연결을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(6000)에 제공할 수 있다.

또 다른 실시예들은 입력 블록(6130)의 RF 연결을 사용하여 스트리밍된 데이터를 시스템(6000)에 제공할 수 있다.

시그널링이 다양한 방식으로 달성될 수 있다는 것을 잘 알 것이다. 예를 들어, 하나 이상의 신택스 요소, 플래그 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용될 수 있다.

시스템(6000)은 디스플레이(6100), 스피커들(6110), 및 다른 주변장치 디바이스들(6120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변장치 디바이스들(6120)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(3000)의 출력에 기초하여 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함할 수 있다.

다양한 실시예들에서, 제어 신호들은 AV.Link(Audio/Video Link), CEC(Consumer Electronics Control), 또는 사용자 개입으로 또는 사용자 개입 없이 디바이스-대-디바이스 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 사용하여 시스템(6000)과 디스플레이(6100), 스피커들(6110), 또는 다른 주변장치 디바이스들(6120) 사이에서 통신될 수 있다.

출력 디바이스들은 각자의 인터페이스들(6070, 6080, 및 6090)을 통한 전용 연결들을 통해 시스템(6000)에 통신가능하게 결합될 수 있다.

대안적으로, 출력 디바이스들은 통신 인터페이스(6050)를 통해 통신 채널(6060)을 사용하여 시스템(6000)에 연결될 수 있다. 디스플레이(6100) 및 스피커들(6110)은, 예를 들어, 텔레비전과 같은 전자 디바이스 내의 시스템(6000)의 다른 컴포넌트들과 단일 유닛으로 통합될 수 있다.

다양한 실시예들에서, 디스플레이 인터페이스(6070)는, 예를 들어, 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함할 수 있다.

디스플레이(6100) 및 스피커(6110)는 대안적으로, 예를 들어, 입력(6130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(6100) 및 스피커들(6110)이 외부 컴포넌트들일 수 있는 다양한 실시예들에서, 출력 신호는, 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 연결들을 통해 제공될 수 있다.

PLR은 포인트 로컬 재구성(Point Local Reconstruction)을 나타낸다. PLR은 포인트 클라우드 프레임에 대한 추가적인 3D 샘플들을 생성하는 데 사용될 수 있는 재구성 방법이다. PLR은 통상적으로, 예를 들어, 지오메트리 또는 텍스처 평활화와 같은 임의의 다른 처리 이전에, 2D 대 3D 투영 직후에 적용된다.

PLR은 3D 샘플들의 계층을 입력으로서 취하고, PLR 메타데이터에 의해 구동되는 필터들의 세트를 적용하여, 그들의 지오메트리 및 텍스처를 갖는 추가적인 3D 샘플들을 생성한다.

PLR은 로컬일 수 있는데, 그 이유는 PLR 메타데이터가 캔버스의 TxT 블록마다 변할 수 있고 필터들의 세트가 작은 이웃을 사용하여 추가적인 3D 샘플들을 생성할 수 있기 때문이다. 동일한 PLR 메타데이터가 인코더 및 디코더에서 사용되어야 한다는 점에 유의한다.

전형적인 조건들에서, PLR과 함께 깊이 및 텍스처 이미지들의 단일 계층을 사용하는 것은 깊이 및 텍스처 이미지들의 2-계층들보다 더 양호한 BD-레이트 성능을 제공한다. PLR 메타데이터의 코딩은 깊이 및 텍스처 이미지들 상으로의 투영을 통해 3D 샘플들의 종래의 코딩보다 더 적은 비트들을 취하므로, 전체 비트레이트가 감소된다. 동시에, 추가적인 3D 샘플들은 더 적은 계층들을 사용함으로써 야기되는 품질의 손실을 보상한다.

V-PCC는 PLR의 구현을 포함하며, 여기서 PLR은 RDO(Rate-Distortion Optimization)에 의해 인코더 측에서 결정된다. PLR의 상기 구현은 포인트 클라우드 프레임의 적어도 하나의 3D 샘플을 재구성(생성)하기 위한, PLRM(Point Local Reconstruction Mode)으로 표시되는, 다수의 모드를 정의한다. 각각의 PLRM은 필터들이 어떻게 사용되는지를 정의한 PLRM 메타데이터의 특정 값들에 의해 결정된다.

예를 들어, V-PCC의 섹션 "9.4.4"에서, 다수의 PLRM은 V-PCC의 섹션 "7.4.35 포인트 로컬 재구성 시맨틱스"에 설명된 4개의 파라미터에 의해 결정된다. 상기 4개의 파라미터는 비트스트림에서 PLRM 메타데이터로서 송신된다:

· point_local_reconstruction_mode_interpolate_flag:

이 파라미터가 1인 것은 포인트 보간이 재구성 방법 동안 사용됨을 나타내기 위한 것이고; 이 파라미터가 0인 것은 포인트 보간이 재구성 방법 동안 사용되지 않음을 나타내기 위한 것이다;

· point_local_reconstruction_mode_filling_flag

이 파라미터는 1인 것은 재구성 방법 동안 채움 모드가 사용됨을 나타내기 위한 것이고; 이 파라미터가 0인 것은 재구성 프로세스 동안 채움 모드가 사용되지 않음을 나타내기 위한 것이다.

· point_local_reconstruction_mode_minimum_depth_minus1:

이 파라미터는 재구성 방법 동안 사용될 최소 깊이 값 마이너스 1을 특정한다.

· point_local_reconstruction_mode_neighbour_minus1:

이 파라미터는 재구성 방법에 사용될 2D 이웃의 크기 마이너스 1을 특정한다.

PLR을 코딩하기 위한 신택스는 V-PCC의 섹션 "7.3.35 포인트 로컬 재구성 신택스"에 상세히 설명되어 있다. 이 신택스는 "blockToPatch" 정보를 통해 TxT 블록(점유 패킹 블록 크기)에 의해 전송된 PLRM 메타데이터를 설명한다. blockToPatch 구조는 TxT 픽셀들의 각각의 블록에 대해 그것이 속하는 패치를 표시한다. 블록-대-패치 블록에 대한 16x16 픽셀들의 크기는 V-PCC 테스트 모델 소프트웨어에서 사용되는 전형적인 값이다. 사양(및 본 실시예들 중 적어도 하나)은 블록-대-패치 인덱스 및 PLRM 메타데이터에 대한 다른 블록 크기들을 지원할 수 있다.

PLR 메타데이터는 다음과 같이 비트스트림으로부터 검색될 수 있다: 스캐닝 순서, 예를 들어, 래스터 스캐닝 순서로 캔버스의 모든 TxT 블록들에 대해 루프가 반복된다. 캔버스의 각각의 블록에 대해, 점유 맵 OM이 상기 블록이 점유되지 않은 것으로 표시하면, 다음 블록으로 진행한다. 그렇지 않으면, 즉, 블록이 점유되면, 블록 대 패치 정보 BlockToPatch는 상기 블록의 패치 ID를 획득하기 위해 비트스트림으로부터 검색되고, 상기 점유된 블록에 대한 PLR 파라미터들은 비트스트림으로부터 검색된다.

포인트 클라우드 코딩(V-PCC)의 현재 구현들에서, 비트스트림으로부터 PLR 메타데이터를 디코딩하는 것은 집약적인 컴퓨팅 리소스들(CPU, GPU, 메모리)을 필요로 하는데, 그 이유는 4개의 파라미터가 각각의 TxT 블록에 대해 디코딩되어야 하기 때문이다.

적어도 하나의 실시예의 일반적인 양태에 따르면, 포인트 로컬 재구성 모드를 표현하는 신택스 요소를 시그널링하기 위한 방법이 제공되고, 상기 포인트 로컬 재구성 모드는 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 적어도 하나의 파라미터를 나타낸다.

블록마다 4개의 파라미터보다는 신택스 요소를 시그널링하는 것은 V-PCC에서 정의된 바와 같은 디코딩 측에서의 컴퓨팅 리소스들을 감소시킬 수 있는데, 그 이유는 상기 신택스 요소가 패치마다 또는 포인트 클라우드 프레임마다 시그널링될 수 있기 때문이다. 이것은 또한 PLRM 메타데이터를 시그널링하기 위한 유연성을 제공한다.

도 7은 본 실시예들 중 적어도 하나에 따른 포인트 로컬 재구성 모드들을 시그널링하기 위한 방법의 예의 개략적인 블록도를 예시한다.

단계 710에서, 모듈은 PLRM으로 표시된, 포인트 로컬 재구성 모드를 나타내는 적어도 하나의 신택스 요소 SE1을 비트스트림에 추가할 수 있다. 상기 PLRM은 포인트 클라우드 프레임의 적어도 하나의 3D 샘플을 재구성하기 위한 모드를 정의하는 적어도 하나의 파라미터를 나타낸다.

단계 740에서, 비트스트림이 송신된다.

단계 770에서, 모듈은 포인트 클라우드의 적어도 하나의 3D 샘플을 재구성하기 위해 사용될 적어도 하나의 PLRM을 비트스트림(수신된 비트스트림) 및 적어도 하나의 제1 신택스 요소 SE1으로부터 검색(판독)할 수 있다.

적어도 하나의 파라미터가 상기 적어도 하나의 신택스 요소(SE1)로부터 검색되고, 포인트 클라우드의 적어도 하나의 3D 샘플이 이어서 상기 적어도 하나의 PLRM을 사용하여 재구성된다.

단계 710의 실시예에 따르면, PLRM은 룩업 테이블 LUT의 엔트리의 인덱스 값일 수 있다. 상기 LUT의 각각의 엔트리는 상기 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 특정 모드를 정의하는 적어도 하나의 파라미터와 인덱스 값 사이의 관계를 정의한다.

도 8a 및 도 8b는 단계 710의 실시예에 따른 룩업 테이블 LUT의 예를 예시한다.

좌측 열은 PLRM의 상이한 값들을 나타내며, 각각의 PLRM은 전술한 바와 같은 이하의 도구들의 조합을 이용하여 재구성 방법을 결정하는 4개의 파라미터 I, F, D1min 및 N의 조합을 정의한다.

point_local_reconstruction_mode_interpolate_flag,

point_local_reconstruction_mode_filling_flag;

point_local_reconstruction_mode_minimum_depth_minus1; 및

point_local_reconstruction_mode_neighbour_minus1

도 8a의 PLRM 0은 "PLRM 메타데이터 없음", 즉 PLR 메타데이터가 송신되지 않았다는 것을 나타낸다.

이러한 PLRM 모드는 도 8b의 룩업 테이블 LUT로부터 제거된다. 그 경우, "PLRM 메타데이터 없음" 모드가 다른 곳에서 시그널링된다.

도 8c는 단계 710의 실시예에 따른 룩업 테이블 LUT를 시그널링하기 위한 신택스의 예를 예시한다.

단계 710의 실시예에 따르면, 제1 신택스 요소 SE1은 도 8d에 예시된 바와 같이 블록마다 시그널링될 수 있고, 여기서 point_local_reconstruction_mode[p][i]는 패치 p의 블록 i와 연관된 신택스 요소 SE1을 지칭한다.

단계 710의 실시예에 따르면, 제1 신택스 요소 SE1은 도 8e에 예시된 바와 같이 패치마다 시그널링될 수 있고, 여기서 point_local_reconstruction_mode[p]는 패치 p와 연관된 제1 신택스 요소 SE1을 지칭한다.

단계 720(선택적)에서, 모듈은 단일 제1 신택스 요소 SE1이 패치의 모든 블록에 대해 한번 시그널링되는지 또는 제1 신택스 요소 SE1이 패치의 각각의 블록에 대해 시그널링되는지를 표시하는 제2 신택스 요소 SE2를 패치마다 비트스트림에 추가할 수 있다.

제2 신택스 요소 SE2가 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 시그널링된다는 것을 나타낼 때, 상기 단일 제1 신택스 요소는 상기 패치의 모든 블록에 대해 사용되고, 따라서 패치 레벨에서 시그널링된다.

도 9에 예시된 바와 같이, point_local_reconstruction_patch_level[p]는 제2 신택스 요소 SE2를 지칭하고: point_local_reconstruction_patch_level[p]=0은 제1 신택스 요소 point_local_reconstruction_mode[p][i]가 패치의 각각의 블록에 대해 시그널링되는 것을 의미하고 point_local_reconstruction_patch_level[p]=1은 제1 신택스 요소 point_local_reconstruction_mode[p]가 패치 p의 모든 블록에 대해 한번씩 시그널링되는 것을 의미한다.

단계 720의 변형예에 따르면, 제2 신택스 요소 SE2는 패치가 주어진 수보다 많은 블록을 포함하는 경우에만 시그널링될 수 있다.

도 10에 예시된 바와 같이, BlockCountThreshold는 주어진 수의 블록을 지칭한다. 패치 내의 블록들의 수가 BlockCountThreshold 이상일 때, 제2 신택스 요소 point_local_reconstruction_patch_level[p]는 0으로 설정된다(제1 신택스 요소 point_local_reconstruction_mode[p]는 블록마다 시그널링된다). 그렇지 않으면, 그것은 1로 설정된다(제1 신택스 요소 point_local_reconstruction_mode[p]는 패치마다 시그널링된다).

단계 730(선택적)에서, 모듈은, 선호되는 포인트 로컬 재구성 모드라고도 표시되는, 디폴트 포인트 로컬 재구성 모드를 나타내는 적어도 하나의 제3 신택스 요소 SE3을 비트스트림에 추가할 수 있다.

도 12a 및 도 12b에 예시된 바와 같이, point_local_reconstruction_preferred_mode는 제3 신택스 요소 SE3을 지칭한다.

도 11은 단계 710의 실시예 및 point_local_reconstruction_preferred_mode에 따라 룩업 테이블 LUT(제1 신택스 요소 SE1)를 시그널링하기 위한 예를 예시한다.

단계 730의 실시예에 따르면, 제3 신택스 요소 SE3은 포인트 클라우드 프레임마다 및/또는 패치마다 시그널링될 수 있다.

도 13에 예시된 바와 같이, point_local_reconstruction_preferred_mode_patch[p]는 패치마다 시그널링되는 제3 신택스 요소 SE3을 지칭하고, point_local_reconstruction_preferred_mode는 포인트 클라우드 프레임마다 시그널링되는 제3 신택스 요소 SE3을 지칭한다.

도 15에 예시된 바와 같이, point_local_reconstruction_preferred_mode는 포인트 클라우드 프레임마다 시그널링되는 제3 신택스 요소 SE3을 지칭한다.

단계 740의 실시예에 따르면, 모듈은 제1 신호 요소 SE1의 입도(블록마다 또는 패치마다의 PLRM)를 시그널링하기 위해 사용되는 제4 신택스 요소 SE4 및 제3 신택스 요소 SE3의 사용(패치마다 시그널링되는 디폴트 포인트 로컬 재구성 모드)을 비트스트림에 추가할 수 있다.

도 12a 및 도 12b에 예시된 바와 같이, point_local_reconstruction_patch_level[p]는 제4 신택스 요소를 지칭한다. point_local_reconstruction_patch_level[p]=0일 때, 제1 신택스 요소 SE1(point_local_reconstruction_mode[p][i])이 블록 i마다 시그널링되고; point_local_reconstruction_patch_level[p]=1일 때, 제1 신택스 요소 SE1(point_local_reconstruction_mode[p])은 패치 p마다 시그널링되고, 그렇지 않으면 제3 신택스 요소 SE3(point_local_reconstruction_preferred_mode)는 패치 p의 모든 블록에 대해 시그널링된다.

도 12a에서, point_local_reconstruction_preferred_mode는 포인트 클라우드 프레임마다 시그널링된다.

도 12b에서, point_local_reconstruction_preferred_mode_patch[p]는 패치마다 시그널링된다.

도 13은 패치가 주어진 수보다 많은 블록 BlockCountThreshold를 포함하는 경우에만 제2 신택스 요소 SE2가 시그널링될 때의 도 12b의 변형의 예를 예시한다.

도 14는 제1 신택스 요소 point_local_reconstruction_mode[p][i]가 블록마다 시그널링될 때(도 8d): point_local_reconstruction_mode_delta[p][i]가 point_local_reconstruction_mode[p][i]를 대체할 때의 상기 변형의 예를 예시한다.

상기 변형예는 또한, 예를 들어, 도 8e, 도 9, 도 10, 도 12a-b, 12a 및 도 13에 예시된 바와 같이 제1 신택스 요소 SE1을 시그널링하기 위한 다른 예들에 적용될 수 있다.

상기 변형예는 또한, 예를 들어, 도 9, 도 10, 도 12a-b 및 도 13에 예시된 바와 같이 제2 신택스 요소 SE2를 차동적으로 인코딩하기 위해 적용될 수 있다.

도 1 내지 도 15에서, 다양한 방법들이 본 명세서에서 설명되고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 액션을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 액션들의 순서 및/또는 사용은 수정되거나 조합될 수 있다.

일부 예들은 블록도들 및 동작 흐름도들과 관련하여 설명된다. 각각의 블록은 회로 요소, 모듈, 또는 특정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어를 포함하는 코드의 일부를 표현한다. 다른 구현들에서, 블록들에 언급된 기능(들)이 표시된 순서를 벗어나 발생할 수 있다는 것에 또한 유의해야 한다. 예를 들어, 수반되는 기능에 따라, 연속적으로 도시된 2개의 블록은, 사실상, 실질적으로 동시에 실행될 수 있거나 또는 블록들은 때때로 역순으로 실행될 수 있다.

본 명세서에서 설명되는 구현들 및 양태들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램, 데이터 스트림, 비트스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의되더라도), 논의된 특징들의 구현은 또한 다른 형태들(예를 들어, 장치 또는 컴퓨터 프로그램)로 구현될 수 있다.

방법들은, 예를 들어, 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 논리 디바이스를 포함하는, 일반적으로 처리 디바이스들을 지칭하는, 예를 들어, 프로세서로 구현될 수 있다. 프로세서들은 또한 통신 디바이스들을 포함한다.

추가적으로, 이 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 이러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들)에 구현되며 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드를 갖는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용되는 바와 같은 컴퓨터 판독가능 저장 매체는, 정보를 그 안에 저장하기 위한 본래의 능력뿐만 아니라, 그로부터 정보의 검색(retrieval)을 제공하기 위한 본래의 능력을 고려할 때, 비일시적 저장 매체로 고려될 수 있다. 컴퓨터 판독가능한 저장 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 반도체 시스템, 장치, 또는 디바이스, 또는 이들의 임의의 적합한 조합일 수 있지만, 이에 제한되지 않는다. 다음은, 본 실시예들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 보다 구체적인 예들을 제공하지만, 단지 예시일 뿐이며 본 기술분야의 통상의 기술자에 의해 용이하게 인식되는 바와 같이 총망라한 리스트가 아니라는 것을 이해해야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독 전용 메모리(ROM); 소거가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 이들의 임의의 적합한 조합.

명령어들은 프로세서 판독가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다.

명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수 있다. 명령어들은, 예를 들어, 운영 체제, 개별 애플리케이션 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 수행하도록 구성되는 디바이스와 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독가능 매체(예컨대 저장 디바이스)를 포함하는 디바이스 양자 모두로서 특성화될 수 있다. 또한, 프로세서 판독가능 매체는, 명령어들에 더하여 또는 그 대신에, 구현에 의해 생성된 데이터 값들을 저장할 수 있다.

장치는, 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 이러한 장치의 예들은 개인용 컴퓨터들, 랩톱들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인용 비디오 레코딩 시스템들, 연결된 가전 기기들, 헤드 마운티드 디스플레이 디바이스들(HMD, 시스루 안경), 프로젝터들(비머들), "케이브들"(다수의 디스플레이를 포함하는 시스템), 서버들, 비디오 인코더들, 비디오 디코더들, 비디오 디코더로부터의 출력을 처리하는 포스트-프로세서들, 비디오 인코더에 입력을 제공하는 프리-프로세서들, 웹 서버들, 셋톱 박스들, 및 포인트 클라우드, 비디오 또는 이미지를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스들을 포함한다. 명백해야 하는 바와 같이, 장비는 이동형일 수 있고 심지어 이동 차량에 설치될 수 있다.

컴퓨터 소프트웨어는 프로세서(6010)에 의해 또는 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 비제한적인 예로서, 실시예들은 또한 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(6020)는 기술적 환경에 적절한 임의의 타입일 수 있고, 비제한적인 예들로서, 광학 메모리 디바이스들, 자기 메모리 디바이스들, 반도체-기반 메모리 디바이스들, 고정 메모리, 및 이동식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(6010)는 기술적 환경에 적절한 임의의 타입일 수 있고, 비제한적인 예들로서, 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티-코어 아키텍처에 기반한 프로세서들 중 하나 이상을 포함할 수 있다.

본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현들은, 예를 들어, 저장되거나 송신될 수 있는 정보를 운반하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명되는 구현들 중 하나에 의해 생성되는 데이터를 포함할 수 있다. 예를 들어, 신호는 설명된 실시예의 비트스트림을 운반하도록 포맷화될 수 있다. 이러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 반송파(carrier)를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

본 명세서에서 사용되는 용어는 단지 특정 실시예들을 설명하기 위한 것이며, 제한적인 것으로 의도되지 않는다. 본 명세서에서 사용되는 바와 같이, 단수 형태들 "한"("a", "an") 및 "그"("the")는, 문맥상 명백히 달리 지시되지 않는 한, 마찬가지로 복수 형태들을 포함하도록 의도될 수 있다. 본 명세서에서 사용될 때 "포함하다(includes/comprises)" 및/또는 "포함하는(including/comprising)"이라는 용어들은 언급된, 예를 들어, 특징, 정수, 단계, 동작, 요소, 및/또는 성분의 존재를 특정할 수 있지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 성분, 및/또는 이들의 그룹의 존재 또는 추가를 배제하는 것은 아니라는 점이 추가로 이해될 것이다. 더욱이, 한 요소가 다른 요소에 "응답하는" 또는 "연결되는" 것으로 지칭될 때, 그것이 다른 요소에 직접 응답하거나 연결될 수 있거나, 개재 요소들이 존재할 수 있다. 반면, 한 요소가 다른 요소에 "직접 응답하는(directly responsive)" 또는 "직접 연결되는(directly connected)" 것으로 지칭될 때, 개재 요소들이 존재하지 않는다.

예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에, 심벌/용어 "/", "및/또는" 및 "중 적어도 하나" 중 임의의 것의 사용은 첫 번째 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 양자 모두의 옵션들(A 및 B)의 선택을 포함하도록 의도될 수 있다는 것을 이해해야 한다. 추가 예로서, "A, B, 및/또는 C" 및 "A, B, 및 C 중 적어도 하나"의 경우에, 이러한 문구는 첫 번째 열거된 옵션(A)만의 선택, 또는 두 번째 열거된 옵션(B)만의 선택, 또는 세 번째 열거된 옵션(C)만의 선택, 또는 첫 번째 및 두 번째 열거된 옵션들(A 및 B)만의 선택, 또는 첫 번째 및 세 번째 열거된 옵션들(A 및 C)만의 선택, 또는 두 번째 및 세 번째 열거된 옵션들(B 및 C)만의 선택, 또는 모든 3개의 옵션(A 및 B 및 C)의 선택을 포함하도록 의도된다. 이것은 본 기술분야 및 관련 기술분야의 통상의 기술자에게 명백한 바와 같이 열거된 많은 항목들에 대해 확장될 수 있다.

다양한 수치 값들이 본 출원에서 사용될 수 있다. 특정 값들은 예시적인 목적들을 위한 것이고 설명된 양태들은 이러한 특정 값들로 제한되지 않는다.

다양한 요소들을 설명하기 위해 제1, 제2 등의 용어들이 본 명세서에 사용될 수 있지만, 이들 요소는 이들 용어로 제한되지 않는다는 점을 이해할 것이다. 이 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 본 출원의 교시로부터 벗어나지 않고, 제1 요소는 제2 요소라고 명명될 수 있고, 유사하게, 제2 요소는 제1 요소라고 명명될 수 있다. 제1 요소와 제2 요소 사이에 어떠한 순서도 암시되지 않는다.

"하나의 실시예" 또는 "실시예" 또는 "하나의 구현" 또는 "구현"뿐만 아니라 이들의 다른 변형들에 대한 참조는, (실시예/구현과 관련하여 설명된) 특정 특징, 구조, 특성 등이 적어도 하나의 실시예/구현에 포함된다는 것을 전달하기 위해 자주 사용된다. 따라서, 본 출원 전반에 걸친 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "실시예에서" 또는 "하나의 구현에서" 또는 "구현에서"라는 문구뿐만 아니라 임의의 다른 변형들의 출현들은 반드시 모두 동일한 실시예를 참조하는 것은 아니다.

유사하게, 본 명세서에서의 "실시예/예/구현에 따라" 또는 "실시예/예/구현에서"뿐만 아니라 이들의 다른 변형들에 대한 참조는, (실시예/예/구현과 관련하여 설명된) 특정 특징, 구조, 또는 특성이 적어도 하나의 실시예/예/구현에 포함될 수 있다는 것을 전달하기 위해 자주 사용된다. 따라서, 본 명세서의 다양한 곳에서의 "실시예/예/구현에 따라" 또는 "실시예/예/구현에서"라는 표현의 출현들은 반드시 모두 동일한 실시예/예/구현을 참조하는 것은 아니며, 별도의 또는 대안적인 실시예/예/구현이 다른 실시예들/예들/구현과 반드시 상호 배타적인 것도 아니다.

청구항들에 나타나는 참조 번호들은 단지 예시를 위한 것이며 청구항들의 범위에 대한 제한적인 효과를 갖지 않을 것이다. 명시적으로 설명되지는 않지만, 본 실시예들/예들 및 변형들은 임의의 조합 또는 하위-조합으로 채택될 수 있다.

도면이 흐름도로서 제시될 때, 그것은 대응하는 장치의 블록도를 또한 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 대응하는 방법/프로세스의 흐름도를 또한 제공한다는 것을 이해해야 한다.

블록도들 중 일부는 1차 통신 방향을 보여주도록 통신 경로 상에 화살표를 포함하지만, 통신은 도시된 화살표와 반대 방향으로 일어날 수 있다는 것을 이해해야 한다.

다양한 구현들은 디코딩을 수반한다. 본 출원에서 사용되는 바와 같이 "디코딩"은 재구성된 포인트 클라우드 도메인에서의 디스플레이 또는 추가 처리에 적합한 최종 출력을 생성하기 위해, 예를 들어, 수신된 포인트 클라우드 프레임(가능하게는 하나 이상의 포인트 클라우드 프레임을 인코딩하는 수신된 비트스트림을 포함함)에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 이미지-기반 디코더에 의해 통상적으로 수행되는 프로세스들 중 하나 이상을 포함한다.

추가 예들로서, 하나의 실시예에서 "디코딩"은 엔트로피 디코딩만을 지칭할 수 있고, 다른 실시예에서 "디코딩"은 차분 디코딩만을 지칭할 수 있고, 다른 실시예에서 "디코딩"은 엔트로피 디코딩과 차분 디코딩의 조합을 지칭할 수 있다. "디코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 디코딩 프로세스를 지칭하도록 의도되는지는 구체적인 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

다양한 구현들은 인코딩을 수반한다. "디코딩"에 관한 위의 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같이 "인코딩"은 인코딩된 비트스트림을 생성하기 위해, 예를 들어, 입력 포인트 클라우드 프레임에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 이러한 프로세스들은 이미지-기반 디코더에 의해 통상적으로 수행되는 프로세스들 중 하나 이상을 포함한다.

추가 예들로서, 하나의 실시예에서 "인코딩"은 엔트로피 인코딩만을 지칭할 수 있고, 다른 실시예에서 "인코딩"은 차분 인코딩만을 지칭할 수 있고, 다른 실시예에서 "인코딩"은 엔트로피 인코딩과 차분 인코딩의 조합을 지칭할 수 있다. "인코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되는지 또는 일반적으로 더 넓은 인코딩 프로세스를 지칭하도록 의도되는지는 구체적인 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.

본 명세서에서 사용되는 바와 같은 신택스 요소들, 예를 들어, 플래그 oint_local_reconstruction_mode_present_flag는 설명적 용어(descriptive term)라는 점에 유의한다. 이와 같이, 이들은 다른 신택스 요소 이름들의 사용을 배제하지 않는다.

다양한 실시예들은 레이트 왜곡 최적화를 참조한다. 특히, 인코딩 프로세스 동안, 계산 복잡성의 제약이 종종 주어지면, 레이트와 왜곡 사이의 균형(balance) 또는 절충(trade-off)이 일반적으로 고려된다. 레이트 왜곡 최적화는 일반적으로 레이트와 왜곡의 가중 합인 레이트 왜곡 함수를 최소화하는 것으로서 공식화될 수 있다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 접근법들은, 코딩 및 디코딩 이후에 재구성된 신호의 코딩 비용 및 관련 왜곡의 완전한 평가와 함께, 모든 고려되는 모드들 또는 코딩 파라미터 값들을 포함한, 모든 인코딩 옵션들의 광범위한 테스팅에 기초할 수 있다. 인코딩 복잡성을 세이브하기 위해, 특히 재구성된 것이 아니라 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산을 사용하여 더 빠른 접근법들이 또한 사용될 수 있다. 가능한 인코딩 옵션들 중 일부에 대해서만 근사화된 왜곡, 및 다른 인코딩 옵션들에 대한 완전한 왜곡을 사용하는 것과 같은, 이들 2개의 접근법의 혼합이 또한 사용될 수 있다. 다른 접근법들은 가능한 인코딩 옵션들의 서브세트만을 평가한다. 더 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기법들 중 임의의 기법을 사용하지만, 최적화가 반드시 코딩 비용과 관련 왜곡 양자 모두의 완전한 평가인 것은 아니다.

추가적으로, 본 출원은 다양한 정보를 "결정"하는 것을 참조할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 다양한 정보에 "액세스"하는 것을 참조할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원은 다양한 정보를 "수신"하는 것을 참조할 수 있다. 수신하는 것은, "액세스하는 것"과 마찬가지로, 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예를 들어, 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 통상적으로, 예를 들어, 정보를 저장하는 것, 정보를 처리하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.

또한, 본 명세서에서 사용되는 바와 같이, "신호"라는 단어는, 다른 것들 중에서도, 대응하는 디코더에 무언가를 표시하는 것을 지칭한다. 예를 들어, 특정 실시예들에서, 인코더는 특정 신택스 요소 SE 및/또는 PLR 메타데이터를 시그널링한다. 이러한 방식으로, 실시예에서, 동일한 파라미터(PLR 메타데이터)가 인코더측과 디코더측 양자 모두에서 사용될 수 있다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 특정 파라미터를 디코더에 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖고 있다면, 단순히 디코더가 특정 파라미터를 알고 선택할 수 있게 하기 위해 송신(암시적 시그널링) 없이 시그널링이 사용될 수 있다. 임의의 실제 기능들의 송신을 피함으로써, 다양한 실시예들에서 비트 절감이 실현된다. 시그널링이 다양한 방식으로 달성될 수 있다는 것을 잘 알 것이다. 예를 들어, 하나 이상의 신택스 요소, 플래그 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 앞의 것은 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 또한 명사로서 본 명세서에서 사용될 수 있다.

다수의 구현들이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 것을 이해할 것이다. 예를 들어, 상이한 구현들의 요소들은 다른 구현들을 생성하도록 조합, 보충, 수정, 또는 제거될 수 있다. 또한, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고, 결과적인 구현들이 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여, 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성할 것이라는 점을 이해할 것이다. 따라서, 이들 및 다른 구현들이 본 출원에 의해 고려된다.

Claims (60)

1. 방법으로서,
   포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에서 시그널링하는 단계를 포함하는 방법.
2. 제1항에 있어서,
   상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 방법.
3. 제1항에 있어서,
   상기 제1 신택스 요소는 블록마다 또는 패치마다 시그널링되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
4. 제1항에 있어서,
   패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 방법은 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 시그널링되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 시그널링되는지를 표시하는 패치마다의 제2 신택스 요소를 시그널링하는 단계를 추가로 포함하는 방법.
5. 제4항에 있어서,
   패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 시그널링하는 방법.
6. 제1항에 있어서,
   상기 방법은 디폴트 모드를 나타내는 제3 신택스 요소를 시그널링하는 단계를 추가로 포함하는 방법.
7. 제6항에 있어서,
   포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 시그널링하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
8. 제6항에 있어서,
   패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 방법은 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 시그널링하는 단계를 추가로 포함하는 방법.
9. 제1항에 있어서,
   상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 방법.
10. 방법으로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에 추가하는 단계를 포함하는 방법.
11. 제10항에 있어서,
    상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 방법.
12. 제10항에 있어서,
    상기 제1 신택스 요소는 블록마다 또는 패치마다 추가되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
13. 제10항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 방법은 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 추가되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 추가되는지를 표시하는 제2 신택스 요소를 패치마다 추가하는 단계를 추가로 포함하는 방법.
14. 제13항에 있어서,
    패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 추가하는 방법.
15. 제10항에 있어서,
    상기 방법은 디폴트 모드를 나타내는 제3 신택스 요소를 추가하는 단계를 추가로 포함하는 방법.
16. 제15항에 있어서,
    포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 추가하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
17. 제15항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 방법은 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 추가하는 단계를 추가로 포함하는 방법.
18. 제10항에 있어서,
    상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 방법.
19. 방법으로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림으로부터 획득하는 단계를 포함하는 방법.
20. 제19항에 있어서,
    상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 방법.
21. 제19항에 있어서,
    상기 제1 신택스 요소는 블록마다 또는 패치마다 획득되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
22. 제19항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 방법은 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 획득되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 획득되는지를 표시하는 제2 신택스 요소를 패치마다 획득하는 단계를 추가로 포함하는 방법.
23. 제22항에 있어서,
    패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 획득하는 방법.
24. 제19항에 있어서,
    상기 방법은 디폴트 모드를 나타내는 제3 신택스 요소를 획득하는 단계를 추가로 포함하는 방법.
25. 제24항에 있어서,
    포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 획득하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 방법.
26. 제24항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 방법은 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 획득하는 단계를 추가로 포함하는 방법.
27. 제19항에 있어서,
    상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 방법.
28. 내용무
29. 장치로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에서 시그널링하도록 구성된 하나 이상의 프로세서를 포함하는 장치.
30. 제29항에 있어서,
    상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 장치.
31. 제29항에 있어서,
    상기 제1 신택스 요소는 블록마다 또는 패치마다 시그널링되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
32. 제29항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 시그널링되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 시그널링되는지를 표시하는 패치마다의 제2 신택스 요소를 시그널링하도록 추가로 구성되는 장치.
33. 제32항에 있어서,
    패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 시그널링하는 장치.
34. 제29항에 있어서,
    상기 하나 이상의 프로세서는 디폴트 모드를 나타내는 제3 신택스 요소를 시그널링하도록 추가로 구성되는 장치.
35. 제34항에 있어서,
    포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 시그널링하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
36. 제29항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 시그널링하도록 추가로 구성되는 장치.
37. 제29항에 있어서,
    상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 장치.
38. 장치로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에 추가하도록 구성된 하나 이상의 프로세서를 포함하는 장치.
39. 제38항에 있어서,
    상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 장치.
40. 제38항에 있어서,
    상기 제1 신택스 요소는 블록마다 또는 패치마다 추가되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
41. 제38항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 추가되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 추가되는지를 표시하는 제2 신택스 요소를 패치마다 추가하도록 추가로 구성되는 장치.
42. 제41항에 있어서,
    패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 추가하는 장치.
43. 제38항에 있어서,
    상기 하나 이상의 프로세서는 디폴트 모드를 나타내는 제3 신택스 요소를 추가하도록 추가로 구성되는 장치.
44. 제43항에 있어서,
    포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 추가하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
45. 제38항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 추가하도록 추가로 구성되는 장치.
46. 제38항에 있어서,
    상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 장치.
47. 장치로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림으로부터 획득하도록 구성된 하나 이상의 프로세서를 포함하는 장치.
48. 제47항에 있어서,
    상기 정보는 상기 모드에 대한 적어도 하나의 파라미터와 인덱스 값 사이의 관계들을 정의하는 룩업 테이블의 엔트리의 인덱스 값인 장치.
49. 제47항에 있어서,
    상기 제1 신택스 요소는 블록마다 또는 패치마다 획득되고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
50. 제47항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 적어도 하나의 2D 샘플의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 단일 제1 신택스 요소가 패치의 모든 블록에 대해 한번 획득되는지 또는 제1 신택스 요소가 패치의 각각의 블록에 대해 획득되는지를 표시하는 제2 신택스 요소를 패치마다 획득하도록 추가로 구성되는 장치.
51. 제50항에 있어서,
    패치가 주어진 수보다 많은 블록을 포함하는 경우에만 상기 제2 신택스 요소를 획득하는 장치.
52. 제50항에 있어서,
    상기 하나 이상의 프로세서는 디폴트 모드를 나타내는 제3 신택스 요소를 획득하도록 추가로 구성되는 장치.
53. 제52항에 있어서,
    포인트 클라우드 프레임마다 및/또는 패치마다 상기 제3 신택스 요소를 획득하고, 패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트인 장치.
54. 제52항에 있어서,
    패치는 포인트 클라우드 프레임의 적어도 하나의 3D 샘플의 투영 평면 상으로의 직교 투영을 나타내는 2D 샘플들의 적어도 하나의 블록의 세트이고, 상기 하나 이상의 프로세서는 블록마다 또는 패치마다 상기 제1 신택스 요소의 입도(granularity), 및 패치마다의 상기 제3 신택스 요소의 사용을 시그널링하기 위해 사용되는 제4 신택스 요소를 획득하도록 추가로 구성되는 장치.
55. 제47항에 있어서,
    상기 제1 신택스 요소는 적어도 하나의 이전에 시그널링된 제1 신택스 요소와는 상이하게 코딩되는 장치.
56. 비트스트림으로서,
    포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 포함하는 비트스트림.
57. 컴퓨터 프로그램 제품으로서,
    프로그램이 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에 추가하는 단계를 포함하는 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
58. 비일시적 컴퓨터 판독가능 매체로서,
    하나 이상의 프로세서로 하여금 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에 추가하는 것을 수행하게 하는 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체.
59. 컴퓨터 프로그램 제품으로서,
    프로그램이 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림으로부터 획득하는 단계를 포함하는 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
60. 비일시적 컴퓨터 판독가능 매체로서,
    하나 이상의 프로세서로 하여금 포인트 클라우드 프레임의 적어도 하나의 포인트를 재구성하기 위한 모드를 정의하는 정보를 나타내는 제1 신택스 요소를 비트스트림에서 획득하는 것을 수행하게 하는 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체.

Images