KR20210055698A - 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 및 3차원 데이터 복호 장치 - Google Patents

Abstract

3차원 데이터 부호화 방법은, 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고(S5391), 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 제1 색차를 양자화하고(S5392), 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성한다(S5393).

Description

3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 및 3차원 데이터 복호 장치

본 개시는, 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 및 3차원 데이터 복호 장치에 관한 것이다.

자동차 혹은 로봇이 자율적으로 동작하기 위한 컴퓨터 비전, 맵 정보, 감시, 인프라 점검, 또는, 영상 전송 등, 폭넓은 분야에 있어서, 향후, 3차원 데이터를 활용한 장치 또는 서비스의 보급이 전망된다. 3차원 데이터는, 레인지 파인더 등의 거리 센서, 스테레오 카메라, 또는 복수의 단안(單眼) 카메라의 조합 등 다양한 방법으로 취득된다.

3차원 데이터의 표현 방법 중 하나로서, 3차원 공간 내의 점군에 의해 3차원 구조의 형상을 나타내는 포인트 클라우드로 불리는 표현 방법이 있다. 포인트 클라우드에서는, 점군의 위치와 색이 저장된다. 포인트 클라우드는 3차원 데이터의 표현 방법으로서 주류가 될 것으로 예상되는데, 점군은 데이터량이 매우 크다. 따라서, 3차원 데이터의 축적 또는 전송에 있어서는 2차원의 동화상(일례로서, MPEG로 규격화된 MPEG-4 AVC 또는 HEVC 등이 있다)과 마찬가지로, 부호화에 의한 데이터량의 압축이 필수가 된다.

또, 포인트 클라우드의 압축에 대해서는, 포인트 클라우드 관련 처리를 행하는 공개 라이브러리(Point Cloud Library) 등에 의해 일부 서포트되고 있다.

또, 3차원의 지도 데이터를 사용하여, 차량 주변에 위치하는 시설을 검색하고, 표시하는 기술이 알려져 있다(예를 들면, 특허문헌 1 참조).

국제 공개 제2014/020663호

3차원 데이터의 부호화 처리 및 복호 처리에서는, 부호화 효율을 향상시킬 수 있는 것이 요망된다.

본 개시는, 부호화 효율을 향상시킬 수 있는 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 또는 3차원 데이터 복호 장치를 제공하는 것을 목적으로 한다.

본 개시의 일 양태에 따른 3차원 데이터 부호화 방법은, 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고, 상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화하고, 양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성한다.

본 개시의 일 양태에 따른 3차원 데이터 복호 방법은, 비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득하고, 상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출하고, 상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출하고, 상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출한다.

본 개시는, 부호화 효율을 향상시킬 수 있는 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 또는 3차원 데이터 복호 장치를 제공할 수 있다.

도 1은, 실시 형태 1에 따른 3차원 데이터 부호화 복호 시스템의 구성을 나타내는 도면이다.
도 2는, 실시 형태 1에 따른 점군 데이터의 구성예를 나타내는 도면이다.
도 3은, 실시 형태 1에 따른 점군 데이터 정보가 기술된 데이터 파일의 구성예를 나타내는 도면이다.
도 4는, 실시 형태 1에 따른 점군 데이터의 종류를 나타내는 도면이다.
도 5는, 실시 형태 1에 따른 제1 부호화부의 구성을 나타내는 도면이다.
도 6은, 실시 형태 1에 따른 제1 부호화부의 블록도이다.
도 7은, 실시 형태 1에 따른 제1 복호부의 구성을 나타내는 도면이다.
도 8은, 실시 형태 1에 따른 제1 복호부의 블록도이다.
도 9는, 실시 형태 1에 따른 제2 부호화부의 구성을 나타내는 도면이다.
도 10은, 실시 형태 1에 따른 제2 부호화부의 블록도이다.
도 11은, 실시 형태 1에 따른 제2 복호부의 구성을 나타내는 도면이다.
도 12는, 실시 형태 1에 따른 제2 복호부의 블록도이다.
도 13은, 실시 형태 1에 따른 PCC 부호화 데이터에 관련된 프로토콜 스택을 나타내는 도면이다.
도 14는, 실시 형태 1에 따른 부호화부의 블록도이다.
도 15는, 실시 형태 1에 따른 복호부의 블록도이다.
도 16은, 실시 형태 1에 따른 부호화 처리의 플로차트이다.
도 17은, 실시 형태 1에 따른 복호 처리의 플로차트이다.
도 18은, 실시 형태 2에 따른 ISOBMFF의 기본 구조를 나타내는 도면이다.
도 19는, 실시 형태 2에 따른 프로토콜 스택을 나타내는 도면이다.
도 20은, 실시 형태 2에 따른 NAL 유닛을 코덱 1용 파일에 저장하는 예를 나타내는 도면이다.
도 21은, 실시 형태 2에 따른 NAL 유닛을 코덱 2용 파일에 저장하는 예를 나타내는 도면이다.
도 22는, 실시 형태 2에 따른 제1 다중화부의 구성을 나타내는 도면이다.
도 23은, 실시 형태 2에 따른 제1 역다중화부의 구성을 나타내는 도면이다.
도 24는, 실시 형태 2에 따른 제2 다중화부의 구성을 나타내는 도면이다.
도 25는, 실시 형태 2에 따른 제2 역다중화부의 구성을 나타내는 도면이다.
도 26은, 실시 형태 2에 따른 제1 다중화부에 의한 처리의 플로차트이다.
도 27은, 실시 형태 2에 따른 제2 다중화부에 의한 처리의 플로차트이다.
도 28은, 실시 형태 2에 따른 제1 역다중화부 및 제1 복호부에 의한 처리의 플로차트이다.
도 29는, 실시 형태 2에 따른 제2 역다중화부 및 제2 복호부에 의한 처리의 플로차트이다.
도 30은, 실시 형태 3에 따른 부호화부 및 제3 다중화부의 구성을 나타내는 도면이다.
도 31은, 실시 형태 3에 따른 제3 역다중화부 및 복호부의 구성을 나타내는 도면이다.
도 32는, 실시 형태 3에 따른 제3 다중화부에 의한 처리의 플로차트이다.
도 33은, 실시 형태 3에 따른 제3 역다중화부 및 복호부에 의한 처리의 플로차트이다.
도 34는, 실시 형태 3에 따른 3차원 데이터 저장 장치에 의한 처리의 플로차트이다.
도 35는, 실시 형태 3에 따른 3차원 데이터 취득 장치에 의한 처리의 플로차트이다.
도 36은, 실시 형태 4에 따른 부호화부 및 다중화부의 구성을 나타내는 도면이다.
도 37은, 실시 형태 4에 따른 부호화 데이터의 구성예를 나타내는 도면이다.
도 38은, 실시 형태 4에 따른 부호화 데이터 및 NAL 유닛의 구성예를 나타내는 도면이다.
도 39는, 실시 형태 4에 따른 pcc＿nal＿unit＿type의 시맨틱스 예를 나타내는 도면이다.
도 40은, 실시 형태 4에 따른 NAL 유닛의 송출 순서의 예를 나타내는 도면이다.
도 41은, 실시 형태 4에 따른 3차원 데이터 부호화 장치에 의한 처리의 플로차트이다.
도 42는, 실시 형태 4에 따른 3차원 데이터 복호 장치에 의한 처리의 플로차트이다.
도 43은, 실시 형태 4에 따른 다중화 처리의 플로차트이다.
도 44는, 실시 형태 4에 따른 역다중화 처리의 플로차트이다.
도 45는, 실시 형태 4에 따른 3차원 데이터 부호화 장치에 의한 처리의 플로차트이다.
도 46은, 실시 형태 4에 따른 3차원 데이터 복호 장치에 의한 처리의 플로차트이다.
도 47은, 실시 형태 5에 따른 분할부의 블록도이다.
도 48은, 실시 형태 5에 따른 슬라이스 및 타일의 분할 예를 나타내는 도면이다.
도 49는, 실시 형태 5에 따른 슬라이스 및 타일의 분할 패턴의 예를 나타내는 도면이다.
도 50은, 실시 형태 6에 따른 부호화 시 또는 복호 시에 있어서, CABAC 초기화 플래그에 따라, CABAC 부호화/복호 엔진의 재초기화 처리를 나타내는 플로차트이다.
도 51은, 실시 형태 6에 따른 3차원 데이터 부호화 장치에 포함되는 제1 부호화부의 구성을 나타내는 블록도이다.
도 52는, 실시 형태 6에 따른 분할부의 구성을 나타내는 블록도이다.
도 53은, 실시 형태 6에 따른 위치 정보 부호화부 및 속성 정보 부호화부의 구성을 나타내는 블록도이다.
도 54는, 실시 형태 6에 따른 제1 복호부의 구성을 나타내는 블록도이다.
도 55는, 실시 형태 6에 따른 위치 정보 복호부 및 속성 정보 복호부의 구성을 나타내는 블록도이다.
도 56은, 실시 형태 6에 따른 위치 정보의 부호화 혹은 속성 정보의 부호화에 있어서의 CABAC의 초기화에 관한 처리의 일례를 나타내는 플로차트이다.
도 57은, 실시 형태 6에 따른 비트 스트림으로 한 점군 데이터에 있어서 CABAC 초기화 타이밍의 일례를 나타내는 도면이다.
도 58은, 실시 형태 6에 따른 부호화 데이터의 구성 및 부호화 데이터의 NAL 유닛으로의 저장 방법을 나타내는 도면이다.
도 59는, 실시 형태 6에 따른 위치 정보의 복호 혹은 속성 정보의 복호에 있어서의 CABAC의 초기화에 관한 처리의 일례를 나타내는 플로차트이다.
도 60은, 실시 형태 6에 따른 점군 데이터의 부호화 처리의 플로차트이다.
도 61은, 실시 형태 6에 따른 부가 정보를 갱신하는 처리의 일례를 나타내는 플로차트이다.
도 62는, 실시 형태 6에 따른 CABAC 초기화하는 처리의 일례를 나타내는 플로차트이다.
도 63은, 실시 형태 6에 따른 점군 데이터의 복호 처리의 플로차트이다.
도 64는, 실시 형태 6에 따른 CABAC 복호부를 초기화하는 처리의 일례를 나타내는 플로차트이다.
도 65는, 실시 형태 6에 따른 타일 및 슬라이스의 예를 나타내는 도면이다.
도 66은, 실시 형태 6에 따른 CABAC의 초기화 및 컨텍스트 초기값의 결정 방법의 일례를 나타내는 플로차트이다.
도 67은, 실시 형태 6에 따른 LiDAR에서 얻어진 점군 데이터를 상면에서 본 지도를 타일로 분할한 경우의 예를 나타내는 도면이다.
도 68은, 실시 형태 6에 따른 CABAC 초기화 및 컨텍스트 초기값의 결정 방법의 다른 일례를 나타내는 플로차트이다.
도 69는, 실시 형태 7에 따른 양자화부, 및, 역양자화부의 처리에 대해서 설명하기 위한 도면이다.
도 70은, 실시 형태 7에 따른 양자화값의 디폴트값과 양자화 델타를 설명하기 위한 도면이다.
도 71은, 실시 형태 7에 따른 3차원 데이터 부호화 장치에 포함되는 제1 부호화부의 구성을 나타내는 블록도이다.
도 72는, 실시 형태 7에 따른 분할부의 구성을 나타내는 블록도이다.
도 73은, 실시 형태 7에 따른 위치 정보 부호화부 및 속성 정보 부호화부의 구성을 나타내는 블록도이다.
도 74는, 실시 형태 7에 따른 제1 복호부의 구성을 나타내는 블록도이다.
도 75는, 실시 형태 7에 따른 위치 정보 복호부 및 속성 정보 복호부의 구성을 나타내는 블록도이다.
도 76은, 실시 형태 7에 따른 위치 정보의 부호화 혹은 속성 정보의 부호화에 있어서의 양자화값의 결정에 관한 처리의 일례를 나타내는 플로차트이다.
도 77은, 실시 형태 7에 따른 위치 정보 및 속성 정보의 복호 처리의 일례를 나타내는 플로차트이다.
도 78은, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 제1 예에 대해서 설명하기 위한 도면이다.
도 79는, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 제2 예에 대해서 설명하기 위한 도면이다.
도 80은, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 제3 예에 대해서 설명하기 위한 도면이다.
도 81은, 실시 형태 7에 따른 점군 데이터의 부호화 처리의 플로차트이다.
도 82는, 실시 형태 7에 따른 QP값을 결정하고, 부가 정보를 갱신하는 처리의 일례를 나타내는 플로차트이다.
도 83은, 실시 형태 7에 따른 결정된 QP값을 부호화하는 처리의 일례를 나타내는 플로차트이다.
도 84는, 실시 형태 7에 따른 점군 데이터의 복호 처리의 플로차트이다.
도 85는, 실시 형태 7에 따른 QP값을 취득하고, 슬라이스 또는 타일의 QP값을 복호하는 처리의 일례를 나타내는 플로차트이다.
도 86은, 실시 형태 7에 따른 GPS의 신택스 예를 나타내는 도면이다.
도 87은, 실시 형태 7에 따른 APS의 신택스 예를 나타내는 도면이다.
도 88은, 실시 형태 7에 따른 위치 정보의 헤더의 신택스 예를 나타내는 도면이다.
도 89는, 실시 형태 7에 따른 속성 정보의 헤더의 신택스 예를 나타내는 도면이다.
도 90은, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 다른 예에 대해서 설명하기 위한 도면이다.
도 91은, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 다른 예에 대해서 설명하기 위한 도면이다.
도 92는, 실시 형태 7에 따른 양자화 파라미터의 전송 방법의 제9 예에 대해서 설명하기 위한 도면이다.
도 93은, 실시 형태 7에 따른 QP값의 제어 예를 설명하기 위한 도면이다.
도 94는, 실시 형태 7에 따른 오브젝트의 품질에 의거한 QP값의 결정 방법의 일례를 나타내는 플로차트이다.
도 95는, 실시 형태 7에 따른 레이트 제어에 의거한 QP값의 결정 방법의 일례를 나타내는 플로차트이다.
도 96은, 실시 형태 7에 따른 부호화 처리의 플로차트이다.
도 97은, 실시 형태 7에 따른 복호 처리의 플로차트이다.

본 개시의 일 양태에 따른 3차원 데이터 부호화 방법은, 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고, 상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화하고, 양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성한다.

이에 의하면, 3차원 데이터 부호화 방법은, 비트 스트림에 있어서, 제3 양자화 파라미터를 제2 양자화 파라미터로부터의 제1 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다.

예를 들면, 또한, 제4 양자화 파라미터를 사용하여 상기 복수의 3차원 점 각각의 상기 속성 정보 중의 반사율을 양자화하고, 상기 생성에서는, 양자화된 상기 반사율, 및, 상기 제4 양자화 파라미터를 추가로 포함하는 비트 스트림을 생성해도 된다.

예를 들면, 상기 제2 양자화 파라미터를 사용한 양자화에서는, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화하는 경우, 제5 양자화 파라미터를 추가로 사용하여 상기 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화하고, 상기 제3 양자화 파라미터를 사용한 양자화에서는, 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화하는 경우, 제6 양자화 파라미터를 추가로 사용하여 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화하고, 상기 생성에서는, 상기 제2 양자화 파라미터와 상기 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 상기 제6 양자화 파라미터의 제3 차분을 추가로 포함하는 비트 스트림을 생성해도 된다.

이에 의하면, 3차원 데이터 부호화 방법은, 비트 스트림에 있어서, 제5 양자화 파라미터를 제2 양자화 파라미터로부터의 제2 차분으로 나타내며, 또한, 제6 양자화 파라미터를 제3 양자화 파라미터로부터의 제3 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다.

예를 들면, 상기 생성에서는, 상기 제2 양자화 파라미터를 사용한 양자화, 및, 상기 제3 양자화 파라미터를 사용한 양자화에 있어서, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 경우, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 추가로 포함하는 비트 스트림을 생성해도 된다.

이에 의하면, 비트 스트림을 취득한 3차원 데이터 복호 장치는, 식별 정보를 사용하여 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 것을 판정할 수 있기 때문에, 복호 처리의 처리 부하를 저감할 수 있다.

예를 들면, 또한, 상기 복수의 3차원 점 각각의 속성 정보 중의 제2 색을 나타내는 제2 휘도 및 제2 색차에 대해서, 제7 양자화 파라미터를 사용하여 상기 제2 휘도를 양자화하며, 또한, 제8 양자화 파라미터를 사용하여 상기 제2 색차를 양자화하고, 상기 생성에서는, 또한, 양자화된 상기 제2 휘도, 양자화된 상기 제2 색차, 상기 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 상기 제8 양자화 파라미터의 제4 차분을 추가로 포함하는 비트 스트림을 생성해도 된다.

이에 의하면, 3차원 데이터 부호화 방법은, 비트 스트림에 있어서, 제8 양자화 파라미터를 제7 양자화 파라미터로부터의 제4 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다. 또, 3차원 점의 속성 정보에 2종류의 색 정보를 포함시킬 수 있다.

또, 본 개시의 일 양태에 따른 3차원 데이터 복호 방법은, 비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득하고, 상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출하고, 상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출하고, 상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출한다.

이 때문에, 3차원 데이터 복호 방법은, 3차원 점의 위치 정보 및 속성 정보를 올바르게 복호할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로 양자화된 반사율, 및, 제4 양자화 파라미터를 취득하고, 상기 3차원 데이터 복호 방법은, 또한, 상기 제4 양자화 파라미터를 사용하여 상기 양자화된 반사율을 역양자화함으로써, 상기 복수의 3차원 점의 반사율을 산출해도 된다.

이 때문에, 3차원 데이터 복호 방법은, 3차원 점의 반사율을 올바르게 복호할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제2 양자화 파라미터와 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 제6 양자화 파라미터의 제3 차분을 취득하고, 상기 제1 휘도의 산출에서는, 상기 양자화된 제1 휘도가, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 제1 휘도가 양자화된 휘도인 경우, 상기 제2 양자화 파라미터 및 상기 제2 차분으로부터 얻어지는 상기 제5 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 휘도를 산출하고, 상기 제1 색차의 산출에서는, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 제1 색차가 양자화된 색차인 경우, 상기 제3 양자화 파라미터 및 상기 제3 차분으로부터 얻어지는 상기 제6 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 색차를 산출해도 된다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 취득하고, 상기 제1 휘도의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 휘도가, 상기 1 이상의 3차원 점의 상기 제1 휘도가 양자화된 휘도인 것으로 판정하고, 상기 제1 색차의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 상기 제1 색차가 양자화된 색차인 것으로 판정해도 된다.

이에 의하면, 3차원 데이터 복호 방법은, 식별 정보를 사용하여 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 것 판정할 수 있기 때문에, 복호 처리의 처리 부하를 저감할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 양자화된 제2 휘도, 양자화된 제2 색차, 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 제8 양자화 파라미터의 제4 차분을 취득하고, 상기 3차원 데이터 복호 방법은, 또한, 상기 제7 양자화 파라미터를 사용하여 상기 양자화된 제2 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제2 색을 나타내는 제2 휘도 및 제2 색차 중의 상기 제2 휘도를 산출하고, 상기 제7 양자화 파라미터 및 상기 제4 차분으로부터 얻어지는 상기 제8 양자화 파라미터를 사용하여 상기 양자화된 제2 색차를 역양자화함으로써, 상기 제2 색차를 산출해도 된다.

이 때문에, 3차원 데이터 복호 방법은, 3차원 점의 제2 색을 올바르게 복호할 수 있다.

또, 본 개시의 일 양태에 따른 3차원 데이터 부호화 장치는, 프로세서와, 메모리를 구비하고, 상기 프로세서는, 상기 메모리를 사용하여, 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고, 상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화하고, 양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성한다.

이에 의하면, 3차원 데이터 부호화 장치는, 제3 양자화 파라미터를 제2 양자화 파라미터로부터의 제1 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다.

또, 본 개시의 일 양태에 따른 3차원 데이터 복호 장치는, 프로세서와, 메모리를 구비하고, 상기 프로세서는, 상기 메모리를 사용하여, 비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득하고, 상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출하고, 상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출하고, 상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출한다.

이 때문에, 3차원 데이터 복호 장치는, 3차원 점의 위치 정보 및 속성 정보를 올바르게 복호할 수 있다.

또한, 이들 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD-ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 기록 매체의 임의의 조합으로 실현되어도 된다.

이하, 실시 형태에 대해서, 도면을 참조하면서 구체적으로 설명한다. 또한, 이하에서 설명하는 실시 형태는, 모두 본 개시의 일 구체예를 나타내는 것이다. 이하의 실시 형태에서 나타나는 수치, 형상, 재료, 구성 요소, 구성 요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은 일례이며, 본 개시를 한정하는 주지는 아니다. 또, 이하의 실시 형태에 있어서의 구성 요소 중, 최상위 개념을 나타내는 독립 청구항에 기재되지 않은 구성 요소에 대해서는, 임의의 구성 요소로서 설명된다.

(실시 형태 1)

포인트 클라우드의 부호화 데이터를 실제의 장치 또는 서비스에 있어서 사용할 때에는, 네트워크 대역을 억제하기 위해 용도에 따라 필요한 정보를 송수신하는 것이 바람직하다. 그러나, 지금까지, 3차원 데이터의 부호화 구조에는 그러한 기능이 존재하지 않으며, 그것을 위한 부호화 방법도 존재하지 않았다.

본 실시 형태에서는, 3차원의 포인트 클라우드의 부호화 데이터에 있어서 용도에 따라 필요한 정보를 송수신하는 기능을 제공하기 위한 3차원 데이터 부호화 방법 및 3차원 데이터 부호화 장치, 그리고, 당해 부호화 데이터를 복호하는 3차원 데이터 복호 방법 및 3차원 데이터 복호 장치, 그리고, 당해 부호화 데이터를 다중화하는 3차원 데이터 다중화 방법, 그리고, 당해 부호화 데이터를 전송하는 3차원 데이터 전송 방법에 대해서 설명한다.

특히, 현재, 점군 데이터의 부호화 방법(부호화 방식)으로서 제1 부호화 방법, 및 제2 부호화 방법이 검토되고 있는데, 부호화 데이터의 구성, 및 부호화 데이터를 시스템 포맷에 저장하는 방법이 정의되어 있지 않고, 이대로는 부호화부에 있어서의 MUX 처리(다중화), 또는, 전송 혹은 축적을 할 수 없다는 과제가 있다.

또, PCC(Point Cloud Compression)와 같이, 제1 부호화 방법과 제2 부호화 방법의 2개의 코덱이 혼재하는 포맷을 서포트하는 방법은 지금까지 존재하지 않는다.

본 실시 형태에서는, 제1 부호화 방법과 제2 부호화 방법의 2개의 코덱이 혼재하는 PCC 부호화 데이터의 구성, 및 부호화 데이터를 시스템 포맷에 저장하는 방법에 대해서 설명한다.

우선, 본 실시 형태에 따른 3차원 데이터(점군 데이터) 부호화 복호 시스템의 구성을 설명한다. 도 1은, 본 실시 형태에 따른 3차원 데이터 부호화 복호 시스템의 구성예를 나타내는 도면이다. 도 1에 나타내는 바와 같이, 3차원 데이터 부호화 복호 시스템은, 3차원 데이터 부호화 시스템(4601)과, 3차원 데이터 복호 시스템(4602)과, 센서 단말(4603)과, 외부 접속부(4604)를 포함한다.

3차원 데이터 부호화 시스템(4601)은, 3차원 데이터인 점군 데이터를 부호화함으로써 부호화 데이터 또는 다중화 데이터를 생성한다. 또한, 3차원 데이터 부호화 시스템(4601)은, 단일한 장치에 의해 실현되는 3차원 데이터 부호화 장치여도 되고, 복수의 장치에 의해 실현되는 시스템이어도 된다. 또, 3차원 데이터 부호화 장치는, 3차원 데이터 부호화 시스템(4601)에 포함되는 복수의 처리부 중 일부를 포함해도 된다.

3차원 데이터 부호화 시스템(4601)은, 점군 데이터 생성 시스템(4611)과, 제시부(4612)와, 부호화부(4613)와, 다중화부(4614)와, 입출력부(4615)와, 제어부(4616)를 포함한다. 점군 데이터 생성 시스템(4611)은, 센서 정보 취득부(4617)와, 점군 데이터 생성부(4618)를 포함한다.

센서 정보 취득부(4617)는, 센서 단말(4603)로부터 센서 정보를 취득하고, 센서 정보를 점군 데이터 생성부(4618)에 출력한다. 점군 데이터 생성부(4618)는, 센서 정보로부터 점군 데이터를 생성하고, 점군 데이터를 부호화부(4613)에 출력한다.

제시부(4612)는, 센서 정보 또는 점군 데이터를 유저에게 제시한다. 예를 들면, 제시부(4612)는, 센서 정보 또는 점군 데이터에 의거한 정보 또는 화상을 표시한다.

부호화부(4613)는, 점군 데이터를 부호화(압축)하고, 얻어진 부호화 데이터와, 부호화 과정에 있어서 얻어진 제어 정보와, 그 외의 부가 정보를 다중화부(4614)에 출력한다. 부가 정보는, 예를 들면, 센서 정보를 포함한다.

다중화부(4614)는, 부호화부(4613)로부터 입력된 부호화 데이터와, 제어 정보와, 부가 정보를 다중화함으로써 다중화 데이터를 생성한다. 다중화 데이터의 포맷은, 예를 들면 축적을 위한 파일 포맷, 또는 전송을 위한 패킷 포맷이다.

입출력부(4615)(예를 들면, 통신부 또는 인터페이스)는, 다중화 데이터를 외부에 출력한다. 또는, 다중화 데이터는, 내부 메모리 등의 축적부에 축적된다. 제어부(4616)(또는 어플리케이션 실행부)는, 각 처리부를 제어한다. 즉, 제어부(4616)는, 부호화 및 다중화 등의 제어를 행한다.

또한, 센서 정보가 부호화부(4613) 또는 다중화부(4614)에 입력되어도 된다. 또, 입출력부(4615)는, 점군 데이터 또는 부호화 데이터를 그대로 외부에 출력해도 된다.

3차원 데이터 부호화 시스템(4601)으로부터 출력된 전송 신호(다중화 데이터)는, 외부 접속부(4604)를 통해, 3차원 데이터 복호 시스템(4602)에 입력된다.

3차원 데이터 복호 시스템(4602)은, 부호화 데이터 또는 다중화 데이터를 복호함으로써 3차원 데이터인 점군 데이터를 생성한다. 또한, 3차원 데이터 복호 시스템(4602)은, 단일한 장치에 의해 실현되는 3차원 데이터 복호 장치여도 되고, 복수의 장치에 의해 실현되는 시스템이어도 된다. 또, 3차원 데이터 복호 장치는, 3차원 데이터 복호 시스템(4602)에 포함되는 복수의 처리부 중 일부를 포함해도 된다.

3차원 데이터 복호 시스템(4602)은, 센서 정보 취득부(4621)와, 입출력부(4622)와, 역다중화부(4623)와, 복호부(4624)와, 제시부(4625)와, 유저 인터페이스(4626)와, 제어부(4627)를 포함한다.

센서 정보 취득부(4621)는, 센서 단말(4603)로부터 센서 정보를 취득한다.

입출력부(4622)는, 전송 신호를 취득하고, 전송 신호로부터 다중화 데이터(파일 포맷 또는 패킷)를 복호하고, 다중화 데이터를 역다중화부(4623)에 출력한다.

역다중화부(4623)는, 다중화 데이터로부터 부호화 데이터, 제어 정보 및 부가 정보를 취득하고, 부호화 데이터, 제어 정보 및 부가 정보를 복호부(4624)에 출력한다.

복호부(4624)는, 부호화 데이터를 복호함으로써 점군 데이터를 재구성한다.

제시부(4625)는, 점군 데이터를 유저에게 제시한다. 예를 들면, 제시부(4625)는, 점군 데이터에 의거한 정보 또는 화상을 표시한다. 유저 인터페이스(4626)는, 유저의 조작에 의거한 지시를 취득한다. 제어부(4627)(또는 어플리케이션 실행부)는, 각 처리부를 제어한다. 즉, 제어부(4627)는, 역다중화, 복호 및 제시 등의 제어를 행한다.

또한, 입출력부(4622)는, 점군 데이터 또는 부호화 데이터를 그대로 외부로부터 취득해도 된다. 또, 제시부(4625)는, 센서 정보 등의 부가 정보를 취득하고, 부가 정보에 의거한 정보를 제시해도 된다. 또, 제시부(4625)는, 유저 인터페이스(4626)에서 취득된 유저의 지시에 의거하여, 제시를 행해도 된다.

센서 단말(4603)은, 센서에서 얻어진 정보인 센서 정보를 생성한다. 센서 단말(4603)은, 센서 또는 카메라를 탑재한 단말이며, 예를 들면, 자동차 등의 이동체, 비행기 등의 비행 물체, 휴대 단말, 또는 카메라 등이 있다.

센서 단말(4603)에서 취득 가능한 센서 정보는, 예를 들면, (1) LIDAR, 밀리미터파 레이더, 또는 적외선 센서로부터 얻어지는, 센서 단말(4603)과 대상물의 거리, 또는 대상물의 반사율, (2) 복수의 단안 카메라 화상 또는 스테레오 카메라 화상으로부터 얻어지는 카메라와 대상물의 거리 또는 대상물의 반사율 등이다. 또, 센서 정보는, 센서의 자세, 방향, 자이로(각속도), 위치(GPS 정보 또는 고도), 속도, 또는 가속도 등을 포함해도 된다. 또, 센서 정보는, 기온, 기압, 습도, 또는 자기 등을 포함해도 된다.

외부 접속부(4604)는, 집적 회로(LSI 또는 IC), 외부 축적부, 인터넷을 통한 클라우드 서버와의 통신, 또는, 방송 등에 의해 실현된다.

다음에, 점군 데이터에 대해서 설명한다. 도 2는, 점군 데이터의 구성을 나타내는 도면이다. 도 3은, 점군 데이터의 정보가 기술된 데이터 파일의 구성예를 나타내는 도면이다.

점군 데이터는, 복수의 점의 데이터를 포함한다. 각 점의 데이터는, 위치 정보(3차원 좌표), 및 그 위치 정보에 대한 속성 정보를 포함한다. 이 점이 복수 모인 것을 점군이라고 부른다. 예를 들면, 점군은 대상물(오브젝트)의 3차원 형상을 나타낸다.

3차원 좌표 등의 위치 정보(Position)를 지오메트리(geometry)라고 부르는 경우도 있다. 또, 각 점의 데이터는, 복수의 속성 종별의 속성 정보(attribute)를 포함해도 된다. 속성 종별은, 예를 들면 색 또는 반사율 등이다.

1개의 위치 정보에 대해 1개의 속성 정보가 대응지어져도 되고, 1개의 위치 정보에 대해 복수의 상이한 속성 종별을 갖는 속성 정보가 대응지어져도 된다. 또, 1개의 위치 정보에 대해 같은 속성 종별의 속성 정보가 복수 대응지어져도 된다.

도 3에 나타내는 데이터 파일의 구성예는, 위치 정보와 속성 정보가 1 대 1로 대응하는 경우의 예이며, 점군 데이터를 구성하는 N개의 점의 위치 정보와 속성 정보를 나타내고 있다.

위치 정보는, 예를 들면, x, y, z의 3축의 정보이다. 속성 정보는, 예를 들면, RGB의 색 정보이다. 대표적인 데이터 파일로서 ply 파일 등이 있다.

다음에, 점군 데이터의 종류에 대해서 설명한다. 도 4는, 점군 데이터의 종류를 나타내는 도면이다. 도 4에 나타내는 바와 같이, 점군 데이터에는, 정적 오브젝트와, 동적 오브젝트가 있다.

정적 오브젝트는, 임의의 시간(어느 시각)의 3차원 점군 데이터이다. 동적 오브젝트는, 시간적으로 변화하는 3차원 점군 데이터이다. 이후, 어느 시각의 3차원 점군 데이터를 PCC 프레임, 또는 프레임이라고 부른다.

오브젝트는, 통상의 영상 데이터와 같이, 어느 정도 영역이 제한되어 있는 점군이어도 되고, 지도 정보와 같이 영역이 제한되지 않은 대규모 점군이어도 된다.

또, 다양한 밀도의 점군 데이터가 있으며, 성긴 점군 데이터와, 조밀한 점군 데이터가 존재해도 된다.

이하, 각 처리부의 상세한 사항에 대해서 설명한다. 센서 정보는, LIDAR 혹은 레인지 파인더 등의 거리 센서, 스테레오 카메라, 또는, 복수의 단안 카메라의 조합 등 다양한 방법으로 취득된다. 점군 데이터 생성부(4618)는, 센서 정보 취득부(4617)에서 얻어진 센서 정보에 의거하여 점군 데이터를 생성한다. 점군 데이터 생성부(4618)는, 점군 데이터로서, 위치 정보를 생성하고, 위치 정보에, 당해 위치 정보에 대한 속성 정보를 부가한다.

점군 데이터 생성부(4618)는, 위치 정보의 생성 또는 속성 정보의 부가 시에, 점군 데이터를 가공해도 된다. 예를 들면, 점군 데이터 생성부(4618)는, 위치가 중복되는 점군을 삭제함으로써 데이터량을 줄여도 된다. 또, 점군 데이터 생성부(4618)는, 위치 정보를 변환(위치 시프트, 회전 또는 정규화 등)해도 되고, 속성 정보를 렌더링해도 된다.

또한, 도 1에서는, 점군 데이터 생성 시스템(4611)은, 3차원 데이터 부호화 시스템(4601)에 포함되는데, 3차원 데이터 부호화 시스템(4601)의 외부에 독립적으로 설치되어도 된다.

부호화부(4613)는, 점군 데이터를 미리 규정된 부호화 방법에 의거하여 부호화함으로써 부호화 데이터를 생성한다. 부호화 방법에는 크게 이하의 2종류가 있다. 첫째는, 위치 정보를 사용한 부호화 방법이며, 이 부호화 방법을, 이후, 제1 부호화 방법이라고 기재한다. 둘째는, 비디오 코덱을 사용한 부호화 방법이며, 이 부호화 방법을, 이후, 제2 부호화 방법이라고 기재한다.

복호부(4624)는, 부호화 데이터를 미리 규정된 부호화 방법에 의거하여 복호함으로써 점군 데이터를 복호한다.

다중화부(4614)는, 부호화 데이터를, 기존의 다중화 방식을 사용하여 다중화함으로써 다중화 데이터를 생성한다. 생성된 다중화 데이터는, 전송 또는 축적된다. 다중화부(4614)는, PCC 부호화 데이터 이외에, 영상, 음성, 자막, 어플리케이션, 파일 등의 다른 미디어, 또는 기준 시각 정보를 다중화한다. 또, 다중화부(4614)는, 또한, 센서 정보 또는 점군 데이터에 관련된 속성 정보를 다중화해도 된다.

다중화 방식 또는 파일 포맷으로서는, ISOBMFF, ISOBMFF 베이스의 전송 방식인 MPEG-DASH, MMT, MPEG-2 TS Systems, RMP 등이 있다.

역다중화부(4623)는, 다중화 데이터로부터 PCC 부호화 데이터, 그 외의 미디어, 및 시각 정보 등을 추출한다.

입출력부(4615)는, 다중화 데이터를, 방송 또는 통신 등, 전송하는 매체 또는 축적하는 매체에 맞춘 방법을 사용하여 전송한다. 입출력부(4615)는, 인터넷 경유로 다른 디바이스와 통신해도 되고, 클라우드 서버 등의 축적부와 통신해도 된다.

통신 프로토콜로서는, http, ftp, TCP 또는 UDP 등이 사용된다. PULL형 통신 방식이 사용되어도 되고, PUSH형 통신 방식이 사용되어도 된다.

유선 전송 및 무선 전송 중 어느 쪽이 사용되어도 된다. 유선 전송으로서는, Ethernet(등록 상표), USB, RS-232C, HDMI(등록 상표), 또는 동축 케이블 등이 사용된다. 무선 전송으로서는, 무선 LAN, Wi-Fi(등록 상표), Bluetooth(등록 상표) 또는 밀리미터파 등이 사용된다.

또, 방송 방식으로서는, 예를 들면 DVB-T2, DVB-S2, DVB-C2, ATSC3.0, 또는 ISDB-S3 등이 사용된다.

도 5는, 제1 부호화 방법의 부호화를 행하는 부호화부(4613)의 예인 제1 부호화부(4630)의 구성을 나타내는 도면이다. 도 6은, 제1 부호화부(4630)의 블록도이다. 제1 부호화부(4630)는, 점군 데이터를 제1 부호화 방법으로 부호화함으로써 부호화 데이터(부호화 스트림)를 생성한다. 이 제1 부호화부(4630)는, 위치 정보 부호화부(4631)와, 속성 정보 부호화부(4632)와, 부가 정보 부호화부(4633)와, 다중화부(4634)를 포함한다.

제1 부호화부(4630)는, 3차원 구조를 의식하여 부호화를 행한다는 특징을 갖는다. 또, 제1 부호화부(4630)는, 속성 정보 부호화부(4632)가, 위치 정보 부호화부(4631)로부터 얻어지는 정보를 사용하여 부호를 행한다는 특징을 갖는다. 제1 부호화 방법은, GPCC(Geometry based PCC)라고도 불린다.

점군 데이터는, PLY 파일과 같은 PCC 점군 데이터, 또는, 센서 정보로부터 생성된 PCC 점군 데이터이며, 위치 정보(Position), 속성 정보(Attribute), 및 그 외의 부가 정보(MetaData)를 포함한다. 위치 정보는 위치 정보 부호화부(4631)에 입력되고, 속성 정보는 속성 정보 부호화부(4632)에 입력되며, 부가 정보는 부가 정보 부호화부(4633)에 입력된다.

위치 정보 부호화부(4631)는, 위치 정보를 부호화함으로써 부호화 데이터인 부호화 위치 정보(Compressed Geometry)를 생성한다. 예를 들면, 위치 정보 부호화부(4631)는, 8진 트리 등의 N진 트리 구조를 사용하여 위치 정보를 부호화한다. 구체적으로는, 8진 트리에서는, 대상 공간이 8개의 노드(서브 공간)로 분할되고, 각 노드에 점군이 포함되는지 여부를 나타내는 8비트의 정보(오큐펀시 부호)가 생성된다. 또, 점군이 포함되는 노드는, 또한, 8개의 노드로 분할되고, 당해 8개의 노드의 각각에 점군이 포함되는지 여부를 나타내는 8비트의 정보가 생성된다. 이 처리가, 미리 정해진 계층 또는 노드에 포함되는 점군의 수의 역치 이하가 될 때까지 반복된다.

속성 정보 부호화부(4632)는, 위치 정보 부호화부(4631)에서 생성된 구성 정보를 사용하여 부호화함으로써 부호화 데이터인 부호화 속성 정보(Compressed Attribute)를 생성한다. 예를 들면, 속성 정보 부호화부(4632)는, 위치 정보 부호화부(4631)에서 생성된 8진 트리 구조에 의거하여, 처리 대상의 대상점(대상 노드)의 부호화에 있어서 참조하는 참조점(참조 노드)을 결정한다. 예를 들면, 속성 정보 부호화부(4632)는, 주변 노드 또는 인접 노드 중, 8진 트리에 있어서의 부모 노드가 대상 노드와 동일한 노드를 참조한다. 또한, 참조 관계의 결정 방법은 이것으로 한정되지 않는다.

또, 속성 정보의 부호화 처리는, 양자화 처리, 예측 처리, 및 산술 부호화 처리 중 적어도 하나를 포함해도 된다. 이 경우, 참조란, 속성 정보의 예측값의 산출에 참조 노드를 사용하는 것, 또는, 부호화의 파라미터의 결정에 참조 노드의 상태(예를 들면, 참조 노드에 점군이 포함되는지 여부를 나타내는 점유 정보)를 사용하는 것이다. 예를 들면, 부호화의 파라미터란, 양자화 처리에 있어서의 양자화 파라미터, 또는 산술 부호화에 있어서의 컨텍스트 등이다.

부가 정보 부호화부(4633)는, 부가 정보 중, 압축 가능한 데이터를 부호화함으로써 부호화 데이터인 부호화 부가 정보(Compressed MetaData)를 생성한다.

다중화부(4634)는, 부호화 위치 정보, 부호화 속성 정보, 부호화 부가 정보 및 그 외의 부가 정보를 다중화함으로써 부호화 데이터인 부호화 스트림(Compressed Stream)을 생성한다. 생성된 부호화 스트림은, 도시하지 않은 시스템 레이어의 처리부에 출력된다.

다음에, 제1 부호화 방법의 복호를 행하는 복호부(4624)의 예인 제1 복호부(4640)에 대해서 설명한다. 도 7은, 제1 복호부(4640)의 구성을 나타내는 도면이다. 도 8은, 제1 복호부(4640)의 블록도이다. 제1 복호부(4640)는, 제1 부호화 방법으로 부호화된 부호화 데이터(부호화 스트림)를, 제1 부호화 방법으로 복호함으로써 점군 데이터를 생성한다. 이 제1 복호부(4640)는, 역다중화부(4641)와, 위치 정보 복호부(4642)와, 속성 정보 복호부(4643)와, 부가 정보 복호부(4644)를 포함한다.

도시하지 않은 시스템 레이어의 처리부로부터 부호화 데이터인 부호화 스트림(Compressed Stream)이 제1 복호부(4640)에 입력된다.

역다중화부(4641)는, 부호화 데이터로부터, 부호화 위치 정보(Compressed Geometry), 부호화 속성 정보(Compressed Attribute), 부호화 부가 정보(Compressed MetaData), 및, 그 외의 부가 정보를 분리한다.

위치 정보 복호부(4642)는, 부호화 위치 정보를 복호함으로써 위치 정보를 생성한다. 예를 들면, 위치 정보 복호부(4642)는, 8진 트리 등의 N진 트리 구조로 나타내어지는 부호화 위치 정보로부터 3차원 좌표로 나타내어지는 점군의 위치 정보를 복원한다.

속성 정보 복호부(4643)는, 위치 정보 복호부(4642)에서 생성된 구성 정보에 의거하여, 부호화 속성 정보를 복호한다. 예를 들면, 속성 정보 복호부(4643)는, 위치 정보 복호부(4642)에서 얻어진 8진 트리 구조에 의거하여, 처리 대상의 대상점(대상 노드)의 복호에 있어서 참조하는 참조점(참조 노드)을 결정한다. 예를 들면, 속성 정보 복호부(4643)는, 주변 노드 또는 인접 노드 중, 8진 트리에 있어서의 부모 노드가 대상 노드와 동일한 노드를 참조한다. 또한, 참조 관계의 결정 방법은 이것으로 한정되지 않는다.

또, 속성 정보의 복호 처리는, 역양자화 처리, 예측 처리, 및 산술 복호 처리 중 적어도 하나를 포함해도 된다. 이 경우, 참조란, 속성 정보의 예측값의 산출에 참조 노드를 사용하는 것, 또는, 복호의 파라미터의 결정에 참조 노드의 상태(예를 들면, 참조 노드에 점군이 포함되는지 여부를 나타내는 점유 정보)를 사용하는 것이다. 예를 들면, 복호의 파라미터란, 역양자화 처리에 있어서의 양자화 파라미터, 또는 산술 복호에 있어서의 컨텍스트 등이다.

부가 정보 복호부(4644)는, 부호화 부가 정보를 복호함으로써 부가 정보를 생성한다. 또, 제1 복호부(4640)는, 위치 정보 및 속성 정보의 복호 처리에 필요한 부가 정보를 복호 시에 사용하여, 어플리케이션에 필요한 부가 정보를 외부에 출력한다.

다음에, 제2 부호화 방법의 부호화를 행하는 부호화부(4613)의 예인 제2 부호화부(4650)에 대해서 설명한다. 도 9는, 제2 부호화부(4650)의 구성을 나타내는 도면이다. 도 10은, 제2 부호화부(4650)의 블록도이다.

제2 부호화부(4650)는, 점군 데이터를 제2 부호화 방법으로 부호화함으로써 부호화 데이터(부호화 스트림)를 생성한다. 이 제2 부호화부(4650)는, 부가 정보 생성부(4651)와, 위치 화상 생성부(4652)와, 속성 화상 생성부(4653)와, 영상 부호화부(4654)와, 부가 정보 부호화부(4655)와, 다중화부(4656)를 포함한다.

제2 부호화부(4650)는, 3차원 구조를 2차원 화상에 투영함으로써 위치 화상 및 속성 화상을 생성하고, 생성한 위치 화상 및 속성 화상을 기존의 영상 부호화 방식을 사용하여 부호화한다는 특징을 갖는다. 제2 부호화 방법은, VPCC(Video based PCC)라고도 불린다.

점군 데이터는, PLY 파일과 같은 PCC 점군 데이터, 또는, 센서 정보로부터 생성된 PCC 점군 데이터이며, 위치 정보(Position), 속성 정보(Attribute), 및 그 외의 부가 정보(MetaData)를 포함한다.

부가 정보 생성부(4651)는, 3차원 구조를 2차원 화상에 투영함으로써, 복수의 2차원 화상의 맵 정보를 생성한다.

위치 화상 생성부(4652)는, 위치 정보와, 부가 정보 생성부(4651)에서 생성된 맵 정보에 의거하여, 위치 화상(Geometry Image)을 생성한다. 이 위치 화상은, 예를 들면, 화소값으로서 거리(Depth)가 나타나는 거리 화상이다. 또한, 이 거리 화상은, 하나의 시점(視点)으로부터 복수의 점군을 본 화상(하나의 2차원 평면에 복수의 점군을 투영한 화상)이어도 되고, 복수의 시점으로부터 복수의 점군을 본 복수의 화상이어도 되고, 이들 복수의 화상을 통합한 하나의 화상이어도 된다.

속성 화상 생성부(4653)는, 속성 정보와, 부가 정보 생성부(4651)에서 생성된 맵 정보에 의거하여, 속성 화상을 생성한다. 이 속성 화상은, 예를 들면, 화소값으로서 속성 정보(예를 들면 색(RGB))가 나타나는 화상이다. 또한, 이 화상은, 하나의 시점으로부터 복수의 점군을 본 화상(하나의 2차원 평면에 복수의 점군을 투영한 화상)이어도 되고, 복수의 시점으로부터 복수의 점군을 본 복수의 화상이어도 되고, 이들 복수의 화상을 통합한 하나의 화상이어도 된다.

영상 부호화부(4654)는, 위치 화상 및 속성 화상을, 영상 부호화 방식을 사용하여 부호화함으로써, 부호화 데이터인 부호화 위치 화상(Compressed Geometry Image) 및 부호화 속성 화상(Compressed Attribute Image)을 생성한다. 또한, 영상 부호화 방식으로서, 공지의 임의의 부호화 방법이 사용되어도 된다. 예를 들면, 영상 부호화 방식은, AVC 또는 HEVC 등이다.

부가 정보 부호화부(4655)는, 점군 데이터에 포함되는 부가 정보, 및 맵 정보 등을 부호화함으로써 부호화 부가 정보(Compressed MetaData)를 생성한다.

다중화부(4656)는, 부호화 위치 화상, 부호화 속성 화상, 부호화 부가 정보, 및, 그 외의 부가 정보를 다중화함으로써 부호화 데이터인 부호화 스트림(Compressed Stream)을 생성한다. 생성된 부호화 스트림은, 도시하지 않은 시스템 레이어의 처리부에 출력된다.

다음에, 제2 부호화 방법의 복호를 행하는 복호부(4624)의 예인 제2 복호부(4660)에 대해서 설명한다. 도 11은, 제2 복호부(4660)의 구성을 나타내는 도면이다. 도 12는, 제2 복호부(4660)의 블록도이다. 제2 복호부(4660)는, 제2 부호화 방법으로 부호화된 부호화 데이터(부호화 스트림)를, 제2 부호화 방법으로 복호함으로써 점군 데이터를 생성한다. 이 제2 복호부(4660)는, 역다중화부(4661)와, 영상 복호부(4662)와, 부가 정보 복호부(4663)와, 위치 정보 생성부(4664)와, 속성 정보 생성부(4665)를 포함한다.

도시하지 않은 시스템 레이어의 처리부로부터 부호화 데이터인 부호화 스트림(Compressed Stream)이 제2 복호부(4660)에 입력된다.

역다중화부(4661)는, 부호화 데이터로부터, 부호화 위치 화상(Compressed Geometry Image), 부호화 속성 화상(Compressed Attribute Image), 부호화 부가 정보(Compressed MetaData), 및, 그 외의 부가 정보를 분리한다.

영상 복호부(4662)는, 부호화 위치 화상 및 부호화 속성 화상을, 영상 부호화 방식을 사용하여 복호함으로써, 위치 화상 및 속성 화상을 생성한다. 또한, 영상 부호화 방식으로서, 공지의 임의의 부호화 방식이 사용되어도 된다. 예를 들면, 영상 부호화 방식은, AVC 또는 HEVC 등이다.

부가 정보 복호부(4663)는, 부호화 부가 정보를 복호함으로써, 맵 정보 등을 포함하는 부가 정보를 생성한다.

위치 정보 생성부(4664)는, 위치 화상과 맵 정보를 사용하여 위치 정보를 생성한다. 속성 정보 생성부(4665)는, 속성 화상과 맵 정보를 사용하여 속성 정보를 생성한다.

제2 복호부(4660)는, 복호에 필요한 부가 정보를 복호 시에 사용하여, 어플리케이션에 필요한 부가 정보를 외부에 출력한다.

이하, PCC 부호화 방식에 있어서의 과제를 설명한다. 도 13은, PCC 부호화 데이터에 관련된 프로토콜 스택을 나타내는 도면이다. 도 13에는, PCC 부호화 데이터에, 영상(예를 들면 HEVC) 또는 음성 등의 다른 미디어의 데이터를 다중화하고, 전송 또는 축적하는 예를 나타낸다.

다중화 방식 및 파일 포맷은, 다양한 부호화 데이터를 다중화하고, 전송 또는 축적하기 위한 기능을 갖고 있다. 부호화 데이터를 전송 또는 축적하기 위해서는, 부호화 데이터를 다중화 방식의 포맷으로 변환해야 한다. 예를 들면, HEVC에서는, NAL 유닛으로 불리는 데이터 구조에 부호화 데이터를 저장하고, NAL 유닛을 ISOBMFF에 저장하는 기술이 규정되어 있다.

한편, 현재, 점군 데이터의 부호화 방법으로서 제1 부호화 방법(Codec1), 및 제2 부호화 방법(Codec2)이 검토되고 있으나, 부호화 데이터의 구성, 및 부호화 데이터를 시스템 포맷에 저장하는 방법이 정의되어 있지 않고, 이대로는 부호화부에 있어서의 MUX 처리(다중화), 전송 및 축적을 할 수 없다는 과제가 있다.

또한, 이후에 있어서, 특정한 부호화 방법의 기재가 없으면, 제1 부호화 방법, 및 제2 부호화 방법 중 어느 하나를 나타내는 것으로 한다.

이하, 본 실시 형태에 따른 NAL 유닛의 정의 방법에 대해서 설명한다. 예를 들면, HEVC 등의, 지금까지의 코덱에서는, 1개의 코덱에 대해, 1개의 포맷의 NAL 유닛이 정의되어 있다. 그러나, PCC와 같이, 제1 부호화 방법과 제2 부호화 방법의 2개의 코덱(이후, PCC 코덱이라고 칭한다)이 혼재하는 포맷을 서포트하는 방법은 지금까지 존재하지 않는다.

우선, 상술한 상술한 제1 부호화부(4630) 및 제2 부호화부(4650) 양쪽의 기능을 갖는 부호화부(4670), 그리고, 제1 복호부(4640) 및 제2 복호부(4660) 양쪽의 기능을 갖는 복호부(4680)에 대해서 설명한다.

도 14는, 본 실시 형태에 따른 부호화부(4670)의 블록도이다. 이 부호화부(4670)는, 상술한 제1 부호화부(4630) 및 제2 부호화부(4650)와, 다중화부(4671)를 포함한다. 다중화부(4671)는, 제1 부호화부(4630)에서 생성된 부호화 데이터와 제2 부호화부(4650)에서 생성된 부호화 데이터를 다중화하고, 얻어진 부호화 데이터를 출력한다.

도 15는, 본 실시 형태에 따른 복호부(4680)의 블록도이다. 이 복호부(4680)는, 상술한 제1 복호부(4640) 및 제2 복호부(4660)와, 역다중화부(4681)를 포함한다. 역다중화부(4681)는, 입력된 부호화 데이터로부터, 제1 부호화 방법이 사용되고 있는 부호화 데이터와, 제2 부호화 방법이 사용되고 있는 부호화 데이터를 추출한다. 역다중화부(4681)는, 제1 부호화 방법이 사용되고 있는 부호화 데이터를 제1 복호부(4640)에 출력하고, 제2 부호화 방법이 사용되고 있는 부호화 데이터를 제2 복호부(4660)에 출력한다.

상기의 구성에 의해, 부호화부(4670)는, 제1 부호화 방법 및 제2 부호화 방법을 선택적으로 사용하여 점군 데이터를 부호화할 수 있다. 또, 복호부(4680)는, 제1 부호화 방법을 사용하여 부호화된 부호화 데이터, 제2 부호화 방법을 사용하여 부호화된 부호화 데이터, 및, 제1 부호화 방법과 제2 부호화 방법 양쪽을 사용하여 부호화된 부호화 데이터를 복호할 수 있다.

예를 들면, 부호화부(4670)는, 점군 데이터 단위, 또는 프레임 단위로 부호화 방법(제1 부호화 방법 및 제2 부호화 방법)을 전환해도 된다. 또, 부호화부(4670)는, 부호화 가능한 단위로 부호화 방법을 전환해도 된다.

부호화부(4670)는, 예를 들면, PCC 코덱의 식별 정보를 포함하는 부호화 데이터(부호화 스트림)를 생성한다.

복호부(4680)에 포함되는 역다중화부(4681)는, 예를 들면, PCC 코덱의 식별 정보를 사용하여, 데이터를 식별한다. 역다중화부(4681)는, 당해 데이터가 제1 부호화 방법으로 부호화된 데이터인 경우에는, 제1 복호부(4640)에 당해 데이터를 출력하고, 당해 데이터가 제2 부호화 방법으로 부호화된 데이터인 경우에는, 당해 데이터를 제2 복호부(4660)에 출력한다.

또한, 부호화부(4670)는, PCC 코덱의 식별 정보 이외에도, 양쪽의 부호화 방법을 사용했는지, 어느 한쪽의 부호화 방법을 사용했는지를 나타내는 정보를 제어 정보로서 송출해도 된다.

다음에, 본 실시 형태에 따른 부호화 처리에 대해서 설명한다. 도 16은, 본 실시 형태에 따른 부호화 처리의 플로차트이다. PCC 코덱의 식별 정보를 사용함으로써, 복수 코덱에 대응한 부호화 처리가 가능해진다.

우선, 부호화부(4670)는, PCC 데이터를 제1 부호화 방법, 제2 부호화 방법 중 어느 한쪽 또는 양쪽의 코덱으로 부호화한다(S4681).

사용한 코덱이 제2 부호화 방법인 경우(S4682에서 제2 부호화 방법), 부호화부(4670)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type을 NAL 유닛의 페이로드에 포함되는 데이터가 제2 부호화 방법으로 부호화된 데이터인 것을 나타내는 값으로 설정한다(S4683). 다음에, 부호화부(4670)는, NAL 유닛 헤더의 pcc＿nal＿unit＿type에 제2 부호화 방법용 NAL 유닛의 식별자를 설정한다(S4684). 그리고, 부호화부(4670)는, 설정한 NAL 유닛 헤더를 갖고, 페이로드에 부호화 데이터를 포함하는 NAL 유닛을 생성한다. 그리고, 부호화부(4670)는, 생성한 NAL 유닛을 송신한다(S4685).

한편, 사용한 코덱이 제1 부호화 방법인 경우(S4682에서 제1 부호화 방법), 부호화부(4670)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type을 NAL 유닛의 페이로드에 포함되는 데이터가 제1 부호화 방법으로 부호화된 데이터인 것을 나타내는 값으로 설정한다(S4686). 다음에, 부호화부(4670)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type에 제1 부호화 방법용 NAL 유닛의 식별자를 설정한다(S4687). 다음에, 부호화부(4670)는, 설정한 NAL 유닛 헤더를 갖고, 페이로드에 부호화 데이터를 포함하는 NAL 유닛을 생성한다. 그리고, 부호화부(4670)는, 생성한 NAL 유닛을 송신한다(S4685).

다음에, 본 실시 형태에 따른 복호 처리에 대해서 설명한다. 도 17은, 본 실시 형태에 따른 복호 처리의 플로차트이다. PCC 코덱의 식별 정보를 사용함으로써, 복수 코덱에 대응한 복호 처리가 가능해진다.

우선, 복호부(4680)는, NAL 유닛을 수신한다(S4691). 예를 들면, 이 NAL 유닛은, 상술한 부호화부(4670)에 있어서의 처리로 생성된 것이다.

다음에, 복호부(4680)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type이 제1 부호화 방법을 나타내는지, 제2 부호화 방법을 나타내는지를 판정한다(S4692).

pcc＿codec＿type이 제2 부호화 방법을 나타내는 경우(S4692에서 제2 부호화 방법), 복호부(4680)는, NAL 유닛의 페이로드에 포함되는 데이터가 제2 부호화 방법으로 부호화된 데이터라고 판단한다(S4693). 그리고, 제2 복호부(4660)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제2 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4694). 그리고, 복호부(4680)는, 제2 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4695).

한편, pcc＿codec＿type이 제1 부호화 방법을 나타내는 경우(S4692에서 제1 부호화 방법), 복호부(4680)는, NAL 유닛의 페이로드에 포함되는 데이터가 제1 부호화 방법으로 부호화된 데이터라고 판단한다(S4696). 그리고, 복호부(4680)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제1 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4697). 그리고, 복호부(4680)는, 제1 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4698).

이상과 같이, 본 개시의 일 양태에 따른 3차원 데이터 부호화 장치는, 3차원 데이터(예를 들면 점군 데이터)를 부호화함으로써 부호화 스트림을 생성하고, 상기 부호화 스트림의 제어 정보(예를 들면, 파라미터 세트)에, 제1 부호화 방법과 제2 부호화 방법 중, 상기 부호화에 사용한 부호화 방법을 나타내는 정보(예를 들면, 코덱의 식별 정보)를 저장한다.

이에 의하면, 3차원 데이터 복호 장치는, 당해 3차원 데이터 부호화 장치에서 생성된 부호화 스트림을 복호할 때에, 제어 정보에 저장된 정보를 사용하여 부호화에 사용된 부호화 방법을 판정할 수 있다. 따라서, 3차원 데이터 복호 장치는, 복수의 부호화 방법이 사용되는 경우에 있어서도 올바르게 부호화 스트림을 복호할 수 있다.

예를 들면, 상기 3차원 데이터는, 위치 정보를 포함한다. 3차원 데이터 부호화 장치는, 상기 부호화에서는, 상기 위치 정보를 부호화한다. 3차원 데이터 부호화 장치는, 상기 저장에서는, 상기 위치 정보의 제어 정보에, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 위치 정보의 부호화에 사용한 부호화 방법을 나타내는 정보를 저장한다.

예를 들면, 상기 3차원 데이터는, 위치 정보와 속성 정보를 포함한다. 3차원 데이터 부호화 장치는, 상기 부호화에서는, 상기 위치 정보와 상기 속성 정보를 부호화한다. 3차원 데이터 부호화 장치는, 상기 저장에서는, 상기 위치 정보의 제어 정보에, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 위치 정보의 부호화에 사용한 부호화 방법을 나타내는 정보를 저장하고, 상기 속성 정보의 제어 정보에, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 속성 정보의 부호화에 사용한 부호화 방법을 나타내는 정보를 저장한다.

이에 의하면, 위치 정보와 속성 정보에 상이한 부호화 방법을 사용할 수 있으므로, 부호화 효율을 향상시킬 수 있다.

예를 들면, 상기 3차원 데이터 부호화 방법은, 또한, 상기 부호화 스트림을 1 이상의 유닛(예를 들면, NAL 유닛)에 저장한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 정의를 갖는 정보(예를 들면, pcc＿nal＿unit＿type)를 포함한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 정의를 갖는 정보(예를 들면, codec1＿nal＿unit＿type 또는 codec2＿nal＿unit＿type)를 포함한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 정의를 갖는 정보(예를 들면, pcc＿nal＿unit＿type)를 포함한다.

예를 들면, 3차원 데이터 부호화 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

또, 본 실시 형태에 따른 3차원 데이터 복호 장치는, 3차원 데이터를 부호화함으로써 생성된 부호화 스트림의 제어 정보(예를 들면, 파라미터 세트)에 포함되는, 제1 부호화 방법과 제2 부호화 방법 중, 상기 3차원 데이터의 부호화에 사용된 부호화 방법을 나타내는 정보(예를 들면, 코덱의 식별 정보)에 의거하여, 부호화 스트림의 부호화에 사용된 부호화 방법을 판정하고, 판정한 상기 부호화 방법을 사용하여 상기 부호화 스트림을 복호한다.

이에 의하면, 3차원 데이터 복호 장치는, 부호화 스트림을 복호할 때에, 제어 정보에 저장된 정보를 사용하여 부호화에 사용된 부호화 방법을 판정할 수 있다. 따라서, 3차원 데이터 복호 장치는, 복수의 부호화 방법이 사용되는 경우에 있어서도 올바르게 부호화 스트림을 복호할 수 있다.

예를 들면, 상기 3차원 데이터는, 위치 정보를 포함하고, 상기 부호화 스트림은, 상기 위치 정보의 부호화 데이터를 포함한다. 3차원 데이터 복호 장치는, 상기 판정에서는, 상기 부호화 스트림에 포함되는 상기 위치 정보의 제어 정보에 포함되는, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 위치 정보의 부호화에 사용된 부호화 방법을 나타내는 정보에 의거하여, 상기 위치 정보의 부호화에 사용된 부호화 방법을 판정한다. 3차원 데이터 복호 장치는, 상기 복호에서는, 판정한 상기 위치 정보의 부호화에 사용된 부호화 방법을 사용하여 상기 위치 정보의 부호화 데이터를 복호한다.

예를 들면, 상기 3차원 데이터는, 위치 정보와 속성 정보를 포함하고, 상기 부호화 스트림은, 상기 위치 정보의 부호화 데이터와 상기 속성 정보의 부호화 데이터를 포함한다. 3차원 데이터 복호 장치는, 상기 판정에서는, 상기 부호화 스트림에 포함되는 상기 위치 정보의 제어 정보에 포함되는, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 위치 정보의 부호화에 사용된 부호화 방법을 나타내는 정보에 의거하여, 상기 위치 정보의 부호화에 사용된 부호화 방법을 판정하고, 상기 부호화 스트림에 포함되는 상기 속성 정보의 제어 정보에 포함되는, 상기 제1 부호화 방법과 상기 제2 부호화 방법 중, 상기 속성 정보의 부호화에 사용된 부호화 방법을 나타내는 정보에 의거하여, 상기 속성 정보의 부호화에 사용된 부호화 방법을 판정한다. 3차원 데이터 복호 장치는, 상기 복호에서는, 판정한 상기 위치 정보의 부호화에 사용된 부호화 방법을 사용하여 상기 위치 정보의 부호화 데이터를 복호하고, 판정한 상기 속성 정보의 부호화에 사용된 부호화 방법을 사용하여 상기 속성 정보의 부호화 데이터를 복호한다.

이에 의하면, 위치 정보와 속성 정보에 상이한 부호화 방법을 사용할 수 있으므로, 부호화 효율을 향상시킬 수 있다.

예를 들면, 상기 부호화 스트림은 1 이상의 유닛(예를 들면, NAL 유닛)에 저장되어 있으며, 3차원 데이터 복호 장치는, 또한, 상기 1 이상의 유닛으로부터 상기 부호화 스트림을 취득한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 정의를 갖는 정보(예를 들면, pcc＿nal＿unit＿type)를 포함한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 독립된 정의를 갖는 정보(예를 들면, codec1＿nal＿unit＿type 또는 codec2＿nal＿unit＿type)를 포함한다.

예를 들면, 상기 유닛은, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 포맷을 갖고, 상기 유닛에 포함되는 데이터의 종별을 나타내는 정보이며, 상기 제1 부호화 방법과 상기 제2 부호화 방법에서 공통된 정의를 갖는 정보(예를 들면, pcc＿nal＿unit＿type)를 포함한다.

예를 들면, 3차원 데이터 복호 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

(실시 형태 2)

본 실시 형태에서는, NAL 유닛을 ISOBMFF의 파일에 저장하는 방법에 대해서 설명한다.

ISOBMFF(ISO based media file format)는, ISO/IEC14496-12에 규정되는 파일 포맷 규격이다. ISOBMFF는, 비디오, 오디오, 및 텍스트 등 다양한 미디어를 다중화하여 저장할 수 있는 포맷을 규정하고 있으며, 미디어에 의존하지 않는 규격이다.

ISOBMFF의 기본 구조(파일)에 대해서 설명한다. ISOBMFF에 있어서의 기본 단위는 박스이다. 박스는 type, length, data로 구성되고, 다양한 type의 박스를 조합한 집합이 파일이다.

도 18은, ISOBMFF의 기본 구조(파일)를 나타내는 도면이다. ISOBMFF의 파일은, 주로, 파일의 브랜드를 4CC(4 문자 코드)로 나타내는 ftyp, 제어 정보 등의 메타데이터를 저장하는 moov 및, 데이터를 저장하는 mdat 등의 박스를 포함한다.

ISOBMFF의 파일에 대한 미디어마다의 저장 방법은 별도로 규정되어 있으며, 예를 들면, AVC 비디오 및 HEVC 비디오의 저장 방법은, ISO/IEC14496-15에 규정된다. 여기서, PCC 부호화 데이터를 축적 또는 전송하기 위해, ISOBMFF의 기능을 확장하여 사용하는 것을 생각할 수 있는데, PCC 부호화 데이터를 ISOBMFF의 파일에 저장하는 규정은 아직 없다. 그래서, 본 실시 형태에서는, PCC 부호화 데이터를 ISOBMFF의 파일에 저장하는 방법에 대해서 설명한다.

도 19는, PCC 코덱 공통의 NAL 유닛을 ISOBMFF의 파일에 저장하는 경우의 프로토콜 스택을 나타내는 도면이다. 여기에서는, PCC 코덱 공통의 NAL 유닛이 ISOBMFF의 파일에 저장된다. NAL 유닛은 PCC 코덱 공통이지만, NAL 유닛에는 복수의 PCC 코덱이 저장되기 때문에, 각각의 코덱에 따른 저장 방법(Carriage of Codec1, Carriage of Codec2)을 규정하는 것이 바람직하다.

다음에, 복수의 PCC 코덱을 서포트하는 공통의 PCC NAL 유닛을 ISOBMFF의 파일에 저장하는 방법에 대해서 설명한다. 도 20은, 공통의 PCC NAL 유닛을 코덱 1의 저장 방법(Carriage of Codec1)의 ISOBMFF의 파일에 저장하는 예를 나타내는 도면이다. 도 21은, 공통의 PCC NAL 유닛을 코덱 2의 저장 방법(Carriage of Codec2)의 ISOBMFF의 파일에 저장하는 예를 나타내는 도면이다.

여기서, ftyp는, 파일 포맷을 식별하기 위한 중요한 정보이며, ftyp용으로, 코덱마다 상이한 식별자가 정의된다. 제1 부호화 방법(부호화 방식)으로 부호화된 PCC 부호화 데이터가 파일에 저장되는 경우는, ftyp=pcc1로 설정된다. 제2 부호화 방법으로 부호화된 PCC 부호화 데이터가 파일에 저장되는 경우는, ftyp=pcc2로 설정된다.

여기서, pcc1는, PCC의 코덱 1(제1 부호화 방법)이 사용되는 것을 나타낸다. pcc2는, PCC의 코덱 2(제2 부호화 방법)가 사용되는 것을 나타낸다. 즉, pcc1 및 pcc2는, 데이터가 PCC(3차원 데이터(점군 데이터)의 부호 데이터)인 것을 나타내며, 또한, PCC 코덱(제1 부호화 방법 및 제2 부호화 방법)을 나타낸다.

이하, NAL 유닛을 ISOBMFF의 파일에 저장하는 방법에 대해서 설명한다. 다중화부는, NAL 유닛 헤더를 해석하고, pcc＿codec＿type=Codec1인 경우에는 ISOBMFF의 ftyp에 pcc1을 기재한다.

또, 다중화부는, NAL 유닛 헤더를 해석하고, pcc＿codec＿type=Codec2인 경우에는 ISOBMFF의 ftyp에 pcc2를 기재한다.

또, 다중화부는, pcc＿nal＿unit＿type이 메타데이터인 경우는, NAL 유닛을 소정의 방법으로, 예를 들면 moov 또는 mdat에 저장한다. 다중화부는, pcc＿nal＿unit＿type이 데이터인 경우는, NAL 유닛을 소정의 방법으로, 예를 들면 moov 또는 mdat에 저장한다.

예를 들면, 다중화부는, HEVC와 마찬가지로 NAL 유닛에 NAL 유닛 사이즈를 저장해도 된다.

본 저장 방법에 의해, 역다중화부(시스템 레이어)에 있어서 파일에 포함되는 ftyp를 해석함으로써, PCC 부호화 데이터가 제1 부호화 방법으로 부호화되었는지, 제2 부호화 방법으로 부호화되었는지를 판정하는 것이 가능해진다. 또한, 상기한 바와 같이, PCC 부호화 데이터가 제1 부호화 방법으로 부호화되었는지, 제2 부호화 방법으로 부호화되었는지를 판정함으로써, 양쪽의 부호화 방법으로 부호화된 부호화 데이터가 혼재하는 데이터로부터 어느 한쪽의 부호화 방법으로 부호화된 부호화 데이터를 추출할 수 있다. 이로 인해, 부호화 데이터를 전송할 때에, 전송되는 데이터량을 억제할 수 있다. 또, 본 저장 방법에 의해, 제1 부호화 방법과 제2 부호화 방법에서, 상이한 데이터(파일) 포맷을 설정하는 일 없이, 공통의 데이터 포맷을 사용할 수 있다.

또한, ISOBMFF에 있어서의 ftyp 등, 시스템 레이어의 메타데이터에 코덱의 식별 정보가 나타나는 경우는, 다중화부는, pcc＿nal＿unit＿type을 삭제한 NAL 유닛을 ISOBMFF의 파일에 저장해도 된다.

다음에, 본 실시 형태에 따른 3차원 데이터 부호화 시스템(3차원 데이터 부호화 장치)이 구비하는 다중화부, 및, 본 실시 형태에 따른 3차원 데이터 복호 시스템(3차원 데이터 복호 장치)이 구비하는 역다중화부의 구성 및 동작에 대해서 설명한다.

도 22는, 제1 다중화부(4710)의 구성을 나타내는 도면이다. 제1 다중화부(4710)는, 제1 부호화부(4630)에서 생성된 부호화 데이터 및 제어 정보(NAL 유닛)를 ISOBMFF의 파일에 저장함으로써 다중화 데이터(파일)를 생성하는 파일 변환부(4711)를 구비한다. 이 제1 다중화부(4710)는, 예를 들면, 도 1에 나타내는 다중화부(4614)에 포함된다.

도 23은, 제1 역다중화부(4720)의 구성을 나타내는 도면이다. 제1 역다중화부(4720)는, 다중화 데이터(파일)로부터 부호화 데이터 및 제어 정보(NAL 유닛)를 취득하고, 취득한 부호화 데이터 및 제어 정보를 제1 복호부(4640)에 출력하는 파일 역변환부(4721)를 구비한다. 이 제1 역다중화부(4720)는, 예를 들면, 도 1에 나타내는 역다중화부(4623)에 포함된다.

도 24는, 제2 다중화부(4730)의 구성을 나타내는 도면이다. 제2 다중화부(4730)는, 제2 부호화부(4650)에서 생성된 부호화 데이터 및 제어 정보(NAL 유닛)를 ISOBMFF의 파일에 저장함으로써 다중화 데이터(파일)를 생성하는 파일 변환부(4731)를 구비한다. 이 제2 다중화부(4730)는, 예를 들면, 도 1에 나타내는 다중화부(4614)에 포함된다.

도 25는, 제2 역다중화부(4740)의 구성을 나타내는 도면이다. 제2 역다중화부(4740)는, 다중화 데이터(파일)로부터 부호화 데이터 및 제어 정보(NAL 유닛)를 취득하고, 취득한 부호화 데이터 및 제어 정보를 제2 복호부(4660)에 출력하는 파일 역변환부(4741)를 구비한다. 이 제2 역다중화부(4740)는, 예를 들면, 도 1에 나타내는 역다중화부(4623)에 포함된다.

도 26은, 제1 다중화부(4710)에 의한 다중화 처리의 플로차트이다. 우선, 제1 다중화부(4710)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type을 해석함으로써, 사용되고 있는 코덱이 제1 부호화 방법인지, 제2 부호화 방법인지를 판정한다(S4701).

pcc＿codec＿type이 제2 부호화 방법을 나타내는 경우(S4702에서 제2 부호화 방법), 제1 다중화부(4710)는, 당해 NAL 유닛을 처리하지 않는다(S4703).

한편, pcc＿codec＿type이 제2 부호화 방법을 나타내는 경우(S4702에서 제1 부호화 방법), 제1 다중화부(4710)는, ftyp에 pcc1을 기재한다(S4704). 즉, 제1 다중화부(4710)는, 제1 부호화 방법으로 부호화된 데이터가 파일에 저장되어 있는 것을 나타내는 정보를 ftyp에 기재한다.

다음에, 제1 다중화부(4710)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type을 해석하고, pcc＿nal＿unit＿type에서 나타나는 데이터 타입에 따른 소정의 방법으로 데이터를 박스(moov 또는 mdat 등)에 저장한다(S4705). 그리고, 제1 다중화부(4710)는, 상기 ftyp 및 상기 박스를 포함하는 ISOBMFF의 파일을 작성한다(S4706).

도 27은, 제2 다중화부(4730)에 의한 다중화 처리의 플로차트이다. 우선, 제2 다중화부(4730)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type을 해석함으로써, 사용되고 있는 코덱이 제1 부호화 방법인지, 제2 부호화 방법인지를 판정한다(S4711).

pcc＿unit＿type이 제2 부호화 방법을 나타내는 경우(S4712에서 제2 부호화 방법), 제2 다중화부(4730)는, ftyp에 pcc2를 기재한다(S4713). 즉, 제2 다중화부(4730)는, 제2 부호화 방법으로 부호화된 데이터가 파일에 저장되어 있는 것을 나타내는 정보를 ftyp에 기재한다.

다음에, 제2 다중화부(4730)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type을 해석하고, pcc＿nal＿unit＿type에서 나타나는 데이터 타입에 따른 소정의 방법으로 데이터를 박스(moov 또는 mdat 등)에 저장한다(S4714). 그리고, 제2 다중화부(4730)는, 상기 ftyp 및 상기 박스를 포함하는 ISOBMFF의 파일을 작성한다(S4715).

한편, pcc＿unit＿type이 제1 부호화 방법을 나타내는 경우(S4712에서 제1 부호화 방법), 제2 다중화부(4730)는, 당해 NAL 유닛을 처리하지 않는다(S4716).

또한, 상기 처리는, PCC 데이터를 제1 부호화 방법, 및 제2 부호화 방법 중 어느 한쪽으로 부호화하는 예를 나타내고 있다. 제1 다중화부(4710) 및 제2 다중화부(4730)는, NAL 유닛의 코덱 타입을 식별함으로써, 원하는 NAL 유닛을 파일에 저장한다. 또한, NAL 유닛 헤더 이외에, PCC 코덱의 식별 정보가 포함되는 경우에는, 제1 다중화부(4710) 및 제2 다중화부(4730)는, 단계 S4701 및 S4711에 있어서, NAL 유닛 헤더 이외에 포함되는 PCC 코덱의 식별 정보를 사용하여, 코덱 타입(제1 부호화 방법 또는 제2 부호화 방법)을 식별해도 된다.

또, 제1 다중화부(4710) 및 제2 다중화부(4730)는, 단계 S4706 및 S4714에 있어서, 데이터를 파일에 저장할 때에, NAL 유닛 헤더로부터 pcc＿nal＿unit＿type을 삭제한 다음에 파일에 저장해도 된다.

도 28은, 제1 역다중화부(4720) 및 제1 복호부(4640)에 의한 처리를 나타내는 플로차트이다. 우선, 제1 역다중화부(4720)는, ISOBMFF의 파일에 포함되는 ftyp를 해석한다(S4721). ftyp에서 나타나는 코덱이 제2 부호화 방법(pcc2)인 경우(S4722에서 제2 부호화 방법), 제1 역다중화부(4720)는, NAL 유닛의 페이로드에 포함되는 데이터가 제2 부호화 방법으로 부호화된 데이터라고 판단한다(S4723). 또, 제1 역다중화부(4720)는, 판단의 결과를 제1 복호부(4640)에 전달한다. 제1 복호부(4640)는, 당해 NAL 유닛을 처리하지 않는다(S4724).

한편, ftyp에서 나타나는 코덱이 제1 부호화 방법(pcc1)인 경우(S4722에서 제1 부호화 방법), 제1 역다중화부(4720)는, NAL 유닛의 페이로드에 포함되는 데이터가 제1 부호화 방법으로 부호화된 데이터라고 판단한다(S4725). 또, 제1 역다중화부(4720)는, 판단의 결과를 제1 복호부(4640)에 전달한다.

제1 복호부(4640)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제1 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4726). 그리고, 제1 복호부(4640)는, 제1 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4727).

도 29는, 제2 역다중화부(4740) 및 제2 복호부(4660)에 의한 처리를 나타내는 플로차트이다. 우선, 제2 역다중화부(4740)는, ISOBMFF의 파일에 포함되는 ftyp를 해석한다(S4731). ftyp에서 나타나는 코덱이 제2 부호화 방법(pcc2)인 경우(S4732에서 제2 부호화 방법), 제2 역다중화부(4740)는, NAL 유닛의 페이로드에 포함되는 데이터가 제2 부호화 방법으로 부호화된 데이터라고 판단한다(S4733). 또, 제2 역다중화부(4740)는, 판단의 결과를 제2 복호부(4660)에 전달한다.

제2 복호부(4660)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제2 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4734). 그리고, 제2 복호부(4660)는, 제2 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4735).

한편, ftyp에서 나타나는 코덱이 제1 부호화 방법(pcc1)인 경우(S4732에서 제1 부호화 방법), 제2 역다중화부(4740)는, NAL 유닛의 페이로드에 포함되는 데이터가 제1 부호화 방법으로 부호화된 데이터라고 판단한다(S4736). 또, 제2 역다중화부(4740)는, 판단의 결과를 제2 복호부(4660)에 전달한다. 제2 복호부(4660)는, 당해 NAL 유닛을 처리하지 않는다(S4737).

이와 같이, 예를 들면, 제1 역다중화부(4720) 또는 제2 역다중화부(4740)에 있어서, NAL 유닛의 코덱 타입을 식별함으로써, 빠른 단계로 코덱 타입을 식별할 수 있다. 또한, 원하는 NAL 유닛을 제1 복호부(4640) 또는 제2 복호부(4660)에 입력하고, 불필요한 NAL 유닛을 제거할 수 있다. 이 경우, 제1 복호부(4640) 또는 제2 복호부(4660)에 있어서, 코덱의 식별 정보를 해석하는 처리는 불필요해질 가능성이 있다. 또한, 제1 복호부(4640) 또는 제2 복호부(4660)에서 다시 NAL 유닛 타입을 참조하여 코덱의 식별 정보를 해석하는 처리를 실시해도 된다.

또, 제1 다중화부(4710) 또는 제2 다중화부(4730)에 있어서 NAL 유닛 헤더로부터 pcc＿nal＿unit＿type이 삭제되어 있는 경우에는, 제1 역다중화부(4720) 또는 제2 역다중화부(4740)는, NAL 유닛에 pcc＿nal＿unit＿type을 부여한 다음에 제1 복호부(4640) 또는 제2 복호부(4660)에 출력해도 된다.

(실시 형태 3)

본 실시 형태에서는, 실시 형태 1에서 설명한, 복수의 코덱에 대응한 부호화부(4670) 및 복호부(4680)에 대응하는, 다중화부 및 역다중화부에 대해서 설명한다. 도 30는, 본 실시 형태에 따른 부호화부(4670) 및 제3 다중화부(4750)의 구성을 나타내는 도면이다.

부호화부(4670)는, 점군 데이터를, 제1 부호화 방법, 및 제2 부호화 방법 중 어느 한쪽 또는 양쪽의 방식을 사용하여 부호화한다. 부호화부(4670)는, 점군 데이터 단위, 또는 프레임 단위로 부호화 방법(제1 부호화 방법 및 제2 부호화 방법)을 전환해도 된다. 또, 부호화부(4670)는, 부호화 가능한 단위로 부호화 방법을 전환해도 된다.

부호화부(4670)는, PCC 코덱의 식별 정보를 포함하는 부호화 데이터(부호화 스트림)를 생성한다.

제3 다중화부(4750)는, 파일 변환부(4751)를 구비한다. 파일 변환부(4751)는, 부호화부(4670)로부터 출력된 NAL 유닛을 PCC 데이터의 파일로 변환한다. 파일 변환부(4751)는, NAL 유닛 헤더에 포함되는 코덱 식별 정보를 해석하고, PCC 부호화 데이터가, 제1 부호화 방법으로 부호화된 데이터인지, 제2 부호화 방법으로 부호화된 데이터인지, 양쪽의 방식으로 부호화된 데이터인지를 판정한다. 파일 변환부(4751)는, ftyp에 코덱을 식별 가능한 브랜드명을 기재한다. 예를 들면, 양쪽의 방식으로 부호화된 것을 나타내는 경우, ftyp에 pcc3이 기재된다.

또한, 부호화부(4670)가, NAL 유닛 이외에 PCC 코덱의 식별 정보를 기재하고 있는 경우, 파일 변환부(4751)는, 당해 식별 정보를 사용하여, PCC 코덱(부호화 방법)을 판정해도 된다.

도 31은, 본 실시 형태에 따른 제3 역다중화부(4760) 및 복호부(4680)의 구성을 나타내는 도면이다.

제3 역다중화부(4760)는, 파일 역변환부(4761)를 구비한다. 파일 역변환부(4761)는, 파일에 포함되는 ftyp를 해석하고, PCC 부호화 데이터가, 제1 부호화 방법으로 부호화된 데이터인지, 제2 부호화 방법으로 부호화된 데이터인지, 양쪽의 방식으로 부호화된 데이터인지를 판정한다.

PCC 부호화 데이터가 어느 한쪽의 부호화 방법으로 부호화되고 있는 경우, 제1 복호부(4640) 및 제2 복호부(4660) 중, 대응하는 복호부에 데이터가 입력되고, 다른 한쪽의 복호부에는 데이터가 입력되지 않는다. PCC 부호화 데이터가 양쪽의 부호화 방법으로 부호화되고 있는 경우, 양쪽 방식에 대응하는 복호부(4680)에 데이터가 입력된다.

복호부(4680)는, PCC 부호화 데이터를, 제1 부호화 방법 및 제2 부호화 방법 중 어느 한쪽 또는 양쪽의 방식을 사용하여 복호한다.

도 32는, 본 실시 형태에 따른 제3 다중화부(4750)에 의한 처리를 나타내는 플로차트이다.

우선, 제3 다중화부(4750)는, NAL 유닛 헤더에 포함되는 pcc＿codec＿type을 해석함으로써, 사용되고 있는 코덱이 제1 부호화 방법인지, 제2 부호화 방법인지, 제1 부호화 방법 및 제2 부호화 방법 양쪽인지를 판정한다(S4741).

제2 부호화 방법이 사용되고 있는 경우(S4742에서 Yes, 또한, S4743에서 제2 부호화 방법), 제3 다중화부(4750)는, ftyp에 pcc2를 기재한다(S4744). 즉, 제3 다중화부(4750)는, 제2 부호화 방법으로 부호화된 데이터가 파일에 저장되어 있는 것을 나타내는 정보를 ftyp에 기재한다.

다음에, 제3 다중화부(4750)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type을 해석하고, pcc＿unit＿type에서 나타나는 데이터 타입에 따른 소정의 방법으로 데이터를 박스(moov 또는 mdat 등)에 저장한다(S4745). 그리고, 제3 다중화부(4750)는, 상기 ftyp 및 상기 박스를 포함하는 ISOBMFF의 파일을 작성한다(S4746).

한편, 제1 부호화 방법이 사용되고 있는 경우(S4742에서 Yes, 또한, S4743에서 제1 부호화 방법), 제3 다중화부(4750)는, ftyp에 pcc1을 기재한다(S4747). 즉, 제3 다중화부(4750)는, 제1 부호화 방법으로 부호화된 데이터가 파일에 저장되어 있는 것을 나타내는 정보를 ftyp에 기재한다.

다음에, 제3 다중화부(4750)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type을 해석하고, pcc＿unit＿type에서 나타나는 데이터 타입에 따른 소정의 방법으로 데이터를 박스(moov 또는 mdat 등)에 저장한다(S4748). 그리고, 제3 다중화부(4750)는, 상기 ftyp 및 상기 박스를 포함하는 ISOBMFF의 파일을 작성한다(S4746).

한편, 제1 부호화 방법과 제2 부호화 방법 양쪽의 부호화 방법이 사용되고 있는 경우(S4742에서 No), 제3 다중화부(4750)는, ftyp에 pcc3을 기재한다(S4749). 즉, 제3 다중화부(4750)는, 양쪽의 부호화 방법으로 부호화된 데이터가 파일에 저장되어 있는 것을 나타내는 정보를 ftyp에 기재한다.

다음에, 제3 다중화부(4750)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type을 해석하고, pcc＿unit＿type에서 나타나는 데이터 타입에 따른 소정의 방법으로 데이터를 박스(moov 또는 mdat 등)에 저장한다(S4750). 그리고, 제3 다중화부(4750)는, 상기 ftyp 및 상기 박스를 포함하는 ISOBMFF의 파일을 작성한다(S4746).

도 33은, 제3 역다중화부(4760) 및 복호부(4680)에 의한 처리를 나타내는 플로차트이다. 우선, 제3 역다중화부(4760)는, ISOBMFF의 파일에 포함되는 ftyp를 해석한다(S4761). ftyp에서 나타나는 코덱이 제2 부호화 방법(pcc2)인 경우(S4762에서 Yes, 또한 S4763에서 제2 부호화 방법), 제3 역다중화부(4760)는, NAL 유닛의 페이로드에 포함되는 데이터가 제2 부호화 방법으로 부호화된 데이터라고 판단한다(S4764). 또, 제3 역다중화부(4760)는, 판단의 결과를 복호부(4680)에 전달한다.

복호부(4680)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제2 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4765). 그리고, 복호부(4680)는, 제2 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4766).

한편, ftyp에서 나타나는 코덱이 제1 부호화 방법(pcc1)인 경우(S4762에서 Yes, 또한 S4763에서 제1 부호화 방법), 제3 역다중화부(4760)는, NAL 유닛의 페이로드에 포함되는 데이터가 제1 부호화 방법으로 부호화된 데이터라고 판단한다(S4767). 또, 제3 역다중화부(4760)는, 판단의 결과를 복호부(4680)에 전달한다.

복호부(4680)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, 제1 부호화 방법용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4768). 그리고, 복호부(4680)는, 제1 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4769).

한편, ftyp에서 양쪽의 부호화 방법이 사용되고 있는 것(pcc3)이 나타나는 경우(S4762에서 No), 제3 역다중화부(4760)는, NAL 유닛의 페이로드에 포함되는 데이터가, 제1 부호화 방법과 제2 부호화 방법 양쪽의 부호화 방법으로 부호화된 데이터라고 판단한다(S4770). 또, 제3 역다중화부(4760)는, 판단의 결과를 복호부(4680)에 전달한다.

복호부(4680)는, NAL 유닛 헤더에 포함되는 pcc＿nal＿unit＿type이, pcc＿codec＿type에 기재되는 코덱용 NAL 유닛의 식별자인 것으로 하여 데이터를 식별한다(S4771). 그리고, 복호부(4680)는, 양쪽의 부호화 방법의 복호 처리를 사용하여 PCC 데이터를 복호한다(S4772). 즉, 복호부(4680)는, 제1 부호화 방법으로 부호화된 데이터를, 제1 부호화 방법의 복호 처리를 사용하여 복호하고, 제2 부호화 방법으로 부호화된 데이터를, 제2 부호화 방법의 복호 처리를 사용하여 복호한다.

이하, 본 실시 형태의 변형예를 설명한다. ftyp에 나타나는 브랜드의 종류로서, 이하의 종류가 식별 정보로 나타나도 된다. 또, 이하에 나타내는 복수의 종류의 조합이 식별 정보로 나타나도 된다.

식별 정보는, PCC 부호화 전의 원(元) 데이터의 오브젝트가, 영역이 제한되어 있는 점군인지, 지도 정보와 같이 영역이 제한되지 않은 대규모 점군인지를 나타내도 된다.

식별 정보는, PCC 부호화 전의 원 데이터가, 정적 오브젝트인지, 동적 오브젝트인지를 나타내도 된다.

상술한 바와 같이, 식별 정보는, PCC 부호화 데이터가, 제1 부호화 방법으로 부호화된 데이터인지, 제2 부호화 방법으로 부호화된 데이터인지를 나타내도 된다.

식별 정보는, PCC 부호화에 있어서 사용한 알고리즘을 나타내도 된다. 여기서, 알고리즘이란, 예를 들면, 제1 부호화 방법 또는 제2 부호화 방법에 있어서 사용 가능한 부호화 방법이다.

식별 정보는, PCC 부호화 데이터의 ISOBMFF의 파일에 대한 저장 방법의 차이를 나타내도 된다. 예를 들면, 식별 정보는, 사용된 저장 방법이, 축적용 저장 방법인지, 다이나믹 스트리밍과 같은 실시간 송출용 저장 방법인지를 나타내도 된다.

또, 실시 형태 2 및 실시 형태 3에서는, 파일 포맷으로서 ISOBMFF가 사용되는 예에 대해서 설명했는데, 그 외의 방식이 사용되어도 된다. 예를 들면, MPEG-2 TS Systems, MPEG-DASH, MMT, 또는 RMP에 PCC 부호화 데이터를 저장할 때에도 본 실시 형태와 동일한 방법을 사용해도 된다.

또, 상기에서는, ftyp에 식별 정보 등의 메타데이터를 저장하는 예를 나타냈는데, ftyp 이외에 이들 메타데이터가 저장되어도 된다. 예를 들면, 이들 메타데이터가 moov에 저장되어도 된다.

이상과 같이, 3차원 데이터 저장 장치(또는 3차원 데이터 다중화 장치, 또는 3차원 데이터 부호화 장치)는, 도 34에 나타내는 처리를 행한다.

우선, 3차원 데이터 저장 장치(예를 들면, 제1 다중화부(4710), 제2 다중화부(4730) 또는 제3 다중화부(4750)를 포함한다)는, 점군 데이터가 부호화된 부호화 스트림이 저장된 1 이상의 유닛(예를 들면 NAL 유닛)을 취득한다(S4781). 다음에, 3차원 데이터 저장 장치는, 1 이상의 유닛을 파일(예를 들면 ISOBMFF의 파일)에 저장한다(S4782). 또, 3차원 데이터 저장 장치는, 상기 저장(S4782)에서는, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터인 것을 나타내는 정보(예를 들면 pcc1, pcc2 또는 pcc3)를, 상기 파일의 제어 정보(예를 들면 ftyp)에 저장한다.

이에 의하면, 당해 3차원 데이터 저장 장치에서 생성된 파일을 처리하는 장치에서는, 파일의 제어 정보를 참조하여, 당해 파일에 저장되어 있는 데이터가 점군 데이터의 부호화 데이터인지 여부를 조기에 판정할 수 있다. 따라서, 당해 장치의 처리량의 저감 또는 처리의 고속화를 실현할 수 있다.

예를 들면, 상기 정보는, 또한, 제1 부호화 방법과 제2 부호화 방법 중, 상기 점군 데이터의 부호화에 사용된 부호화 방법을 나타낸다. 또한, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터인 것과, 제1 부호화 방법과 제2 부호화 방법 중, 점군 데이터의 부호화에 사용된 부호화 방법은, 단일한 정보로 나타나도 되고, 상이한 정보로 나타나도 된다.

이에 의하면, 당해 3차원 데이터 저장 장치에서 생성된 파일을 처리하는 장치에서는, 파일의 제어 정보를 참조하여, 당해 파일에 저장되어 있는 데이터에 사용된 코덱을 조기에 판정할 수 있다. 따라서, 당해 장치의 처리량의 저감 또는 처리의 고속화를 실현할 수 있다.

예를 들면, 상기 제1 부호화 방법은, 점군 데이터의 위치를 N(N은 2 이상의 정수)진 트리로 나타낸 위치 정보를 부호화하고, 상기 위치 정보를 사용하여 속성 정보를 부호화하는 방식(GPCC)이며, 상기 제2 부호화 방법은, 점군 데이터로부터 2차원 화상을 생성하고, 상기 2차원 화상을 영상 부호화 방법을 사용하여 부호화하는 방식(VPCC)이다.

예를 들면, 상기 파일은, ISOBMFF(ISO based media file format)에 준거한다.

예를 들면, 3차원 데이터 저장 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

또, 이상과 같이, 3차원 데이터 취득 장치(또는 3차원 데이터 역다중화 장치, 또는 3차원 데이터 복호 장치)는, 도 35에 나타내는 처리를 행한다.

3차원 데이터 취득 장치(예를 들면, 제1 역다중화부(4720), 제2 역다중화부(4740) 또는 제3 역다중화부(4760)를 포함한다)는, 점군 데이터가 부호화된 부호화 스트림이 저장된 1 이상의 유닛(예를 들면 NAL 유닛)이 저장된 파일(예를 들면 ISOBMFF의 파일)을 취득한다(S4791). 다음에, 3차원 데이터 취득 장치는, 파일로부터, 1 이상의 유닛을 취득한다(S4792). 또, 파일의 제어 정보(예를 들면 ftyp)는, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터인 것을 나타내는 정보(예를 들면 pcc1, pcc2 또는 pcc3)를 포함한다.

예를 들면, 3차원 데이터 취득 장치는, 상기 정보를 참조하여, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터인지 여부를 판정한다. 또, 3차원 데이터 취득 장치는, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터라고 판정한 경우, 1 이상의 유닛에 포함되는 점군 데이터가 부호화된 데이터를 복호함으로써 점군 데이터를 생성한다. 또는, 3차원 데이터 취득 장치는, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터라고 판정한 경우, 1 이상의 유닛에 포함되는 데이터가, 점군 데이터가 부호화된 데이터인 것을 나타내는 정보를, 후단의 처리부(예를 들면, 제1 복호부(4640), 제2 복호부(4660) 또는 복호부(4680))에 출력(통지)한다.

이에 의하면, 당해 3차원 데이터 취득 장치는, 파일의 제어 정보를 참조하여, 당해 파일에 저장되어 있는 데이터가 점군 데이터의 부호화 데이터인지 여부를 조기에 판정할 수 있다. 따라서, 당해 3차원 데이터 취득 장치 또는 후단의 장치의 처리량의 저감 또는 처리의 고속화를 실현할 수 있다.

예를 들면, 상기 정보는, 또한, 제1 부호화 방법과 제2 부호화 방법 중, 상기 부호화에 사용한 부호화 방법을 나타낸다. 또한, 파일에 저장되어 있는 데이터가, 점군 데이터가 부호화된 데이터인 것과, 제1 부호화 방법과 제2 부호화 방법 중, 점군 데이터의 부호화에 사용된 부호화 방법은, 단일한 정보로 나타나도 되고, 상이한 정보로 나타나도 된다.

이에 의하면, 당해 3차원 데이터 취득 장치는, 파일의 제어 정보를 참조하여, 당해 파일에 저장되어 있는 데이터에 사용된 코덱을 조기에 판정할 수 있다. 따라서, 당해 3차원 데이터 취득 장치 또는 후단의 장치의 처리량의 저감 또는 처리의 고속화를 실현할 수 있다.

예를 들면, 3차원 데이터 취득 장치는, 상기 정보에 의거하여, 제1 부호화 방법으로 부호화된 데이터와 제2 부호화 방법으로 부호화된 데이터를 포함하는 부호화된 점군 데이터로부터, 어느 한쪽의 부호화 방법으로 부호화된 데이터를 취득한다.

예를 들면, 상기 제1 부호화 방법은, 점군 데이터의 위치를 N(N은 2 이상의 정수)진 트리로 나타낸 위치 정보를 부호화하고, 상기 위치 정보를 사용하여 속성 정보를 부호화하는 방식(GPCC)이며, 상기 제2 부호화 방법은, 점군 데이터로부터 2차원 화상을 생성하고, 상기 2차원 화상을 영상 부호화 방법을 사용하여 부호화하는 방식(VPCC)이다.

예를 들면, 상기 파일은, ISOBMFF(ISO based media file format)에 준거한다.

예를 들면, 3차원 데이터 취득 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

(실시 형태 4)

본 실시 형태에서는, 상술한 제1 부호화부(4630), 또는 제2 부호화부(4650)에서 생성되는 부호화 데이터(위치 정보(Geometry), 속성 정보(Attribute), 부가 정보(Metadata))의 종별, 및 부가 정보(메타데이터)의 생성 방법, 및 다중화부에 있어서의 다중 처리에 대해서 설명한다. 또한, 부가 정보(메타데이터)는, 파라미터 세트, 또는 제어 정보로 표기하는 경우도 있다.

본 실시 형태에서는, 도 4에서 설명한 동적 오브젝트(시간적으로 변화하는 3차원 점군 데이터)를 예로 설명하는데, 정적 오브젝트(임의의 시각의 3차원 점군 데이터)의 경우에도 동일한 방법을 사용해도 된다.

도 36은, 본 실시 형태에 따른 3차원 데이터 부호화 장치에 포함되는 부호화부(4801) 및 다중화부(4802)의 구성을 나타내는 도면이다. 부호화부(4801)는, 예를 들면, 상술한 제1 부호화부(4630) 또는 제2 부호화부(4650)에 대응한다. 다중화부(4802)는, 상술한 다중화부(4634 또는 46456)에 대응한다.

부호화부(4801)는, 복수의 PCC(Point Cloud Compression) 프레임의 점군 데이터를 부호화하고, 복수의 위치 정보, 속성 정보 및 부가 정보의 부호화 데이터(Multiple Compressed Data)를 생성한다.

다중화부(4802)는, 복수의 데이터 종별(위치 정보, 속성 정보 및 부가 정보)의 데이터를 NAL 유닛화함으로써, 데이터를 복호 장치에 있어서의 데이터 액세스를 고려한 데이터 구성으로 변환한다.

도 37은, 부호화부(4801)에서 생성되는 부호화 데이터의 구성예를 나타내는 도면이다. 도면 안의 화살표는 부호화 데이터의 복호에 따른 의존 관계를 나타내고 있으며, 화살표 뿌리는 화살표 끝의 데이터에 의존하고 있다. 즉, 복호 장치는, 화살표 끝의 데이터를 복호하고, 그 복호한 데이터를 사용하여 화살표 뿌리의 데이터를 복호한다. 바꾸어 말하면, 의존한다는 것은, 의존원의 데이터의 처리(부호화 또는 복호 등)에 있어서 의존처의 데이터가 참조(사용)되는 것을 의미한다.

우선, 위치 정보의 부호화 데이터의 생성 처리에 대해서 설명한다. 부호화부(4801)는, 각 프레임의 위치 정보를 부호화함으로써, 프레임마다의 부호화 위치 데이터(Compressed Geometry Data)를 생성한다. 또, 부호화 위치 데이터를 G(i)로 나타낸다. i는 프레임 번호, 또는 프레임의 시각 등을 나타낸다.

또, 부호화부(4801)는, 각 프레임에 대응하는 위치 파라미터 세트(GPS(i))를 생성한다. 위치 파라미터 세트는, 부호화 위치 데이터의 복호에 사용하는 것이 가능한 파라미터를 포함한다. 또, 프레임마다의 부호화 위치 데이터는, 대응하는 위치 파라미터 세트에 의존한다.

또, 복수 프레임으로 이루어지는 부호화 위치 데이터를 위치 시퀀스(Geometry Sequence)로 정의한다. 부호화부(4801)는, 위치 시퀀스 내의 복수의 프레임에 대한 복호 처리에 공통적으로 사용하는 파라미터를 저장하는 위치 시퀀스 파라미터 세트(Geometry Sequence PS：위치 SPS라고도 기재한다)를 생성한다. 위치 시퀀스는, 위치 SPS에 의존한다.

다음에, 속성 정보의 부호화 데이터의 생성 처리에 대해서 설명한다. 부호화부(4801)는, 각 프레임의 속성 정보를 부호화함으로써, 프레임마다의 부호화 속성 데이터(Compressed Attribute Data)를 생성한다. 또, 부호화 속성 데이터를 A(i)로 나타낸다. 또, 도 37에서는, 속성 X와 속성 Y가 존재하는 예를 나타내고 있으며, 속성 X의 부호화 속성 데이터를 AX(i)로 나타내고, 속성 Y의 부호화 속성 데이터를 AY(i)로 나타낸다.

또, 부호화부(4801)는, 각 프레임에 대응하는 속성 파라미터 세트(APS(i))를 생성한다. 또, 속성 X의 속성 파라미터 세트를 AXPS(i)로 나타내고, 속성 Y의 속성 파라미터 세트를 AYPS(i)로 나타낸다. 속성 파라미터 세트는, 부호화 속성 정보의 복호에 사용하는 것이 가능한 파라미터를 포함한다. 부호화 속성 데이터는, 대응하는 속성 파라미터 세트에 의존한다.

또, 복수 프레임으로 이루어지는 부호화 속성 데이터를 속성 시퀀스(Attribute Sequence)로 정의한다. 부호화부(4801)는, 속성 시퀀스 내의 복수의 프레임에 대한 복호 처리에 공통적으로 사용하는 파라미터를 저장하는 속성 시퀀스 파라미터 세트(Attribute Sequence PS：속성 SPS라고도 기재한다)를 생성한다. 속성 시퀀스는, 속성 SPS에 의존한다.

또, 제1 부호화 방법에서는, 부호화 속성 데이터는 부호화 위치 데이터에 의존한다.

또, 도 37에서는 2종류의 속성 정보(속성 X와 속성 Y)가 존재하는 경우의 예를 나타내고 있다. 2종류의 속성 정보가 있는 경우는, 예를 들면, 2개의 부호화부에 의해, 각각의 데이터 및 메타데이터가 생성된다. 또, 예를 들면, 속성 정보의 종류마다 속성 시퀀스가 정의되고, 속성 정보의 종류마다 속성 SPS가 생성된다.

또한, 도 37에서는, 위치 정보가 1종류, 속성 정보가 2종류인 예를 나타내고 있는데, 이에 한정하지 않고, 속성 정보는 1종류여도 되고, 3종류 이상이어도 된다. 이 경우도, 동일한 방법으로 부호화 데이터를 생성할 수 있다. 또, 속성 정보를 갖지 않는 점군 데이터의 경우는, 속성 정보는 없어도 된다. 그 경우는, 부호화부(4801)는, 속성 정보에 관련된 파라미터 세트를 생성하지 않아도 된다.

다음에, 부가 정보(메타데이터)의 생성 처리에 대해서 설명한다. 부호화부(4801)는, PCC 스트림 전체의 파라미터 세트인 PCC 스트림 PS(PCC Stream PS：스트림 PS라고도 기재한다)를 생성한다. 부호화부(4801)는, 스트림 PS에, 1 또는 복수의 위치 시퀀스 및 1 또는 복수의 속성 시퀀스에 대한 복호 처리에 공통적으로 사용할 수 있는 파라미터를 저장한다. 예를 들면, 스트림 PS에는, 점군 데이터의 코덱을 나타내는 식별 정보, 및 부호화에 사용된 알고리즘을 나타내는 정보 등이 포함된다. 위치 시퀀스 및 속성 시퀀스는 스트림 PS에 의존한다.

다음에, 액세스 유닛 및 GOF에 대해서 설명한다. 본 실시 형태에서는, 새롭게 액세스 유닛(Access Unit：AU), 및 GOF(Group of Frame)의 발상을 도입한다.

액세스 유닛은, 복호 시에 데이터에 액세스하기 위한 기본 단위이며, 1개 이상의 데이터 및 1개 이상의 메타데이터로 구성된다. 예를 들면, 액세스 유닛은, 동일 시각의 위치 정보와 1 또는 복수의 속성 정보로 구성된다. GOF는, 랜덤 액세스 단위이며, 1개 이상의 액세스 유닛으로 구성된다.

부호화부(4801)는, 액세스 유닛의 선두를 나타내는 식별 정보로서, 액세스 유닛 헤더(AU Header)를 생성한다. 부호화부(4801)는, 액세스 유닛 헤더에, 액세스 유닛에 관련된 파라미터를 저장한다. 예를 들면, 액세스 유닛 헤더는, 액세스 유닛에 포함되는 부호화 데이터의 구성 또는 정보를 포함한다. 또, 액세스 유닛 헤더는, 액세스 유닛에 포함되는 데이터에 공통적으로 사용되는 파라미터, 예를 들면, 부호화 데이터의 복호에 관련된 파라미터 등을 포함한다.

또한, 부호화부(4801)는, 액세스 유닛 헤더 대신에, 액세스 유닛에 따른 파라미터를 포함하지 않는 액세스 유닛 딜리미터를 생성해도 된다. 이 액세스 유닛 딜리미터는, 액세스 유닛의 선두를 나타내는 식별 정보로서 사용된다. 복호 장치는, 액세스 유닛 헤더 또는 액세스 유닛 딜리미터를 검출함으로써, 액세스 유닛의 선두를 식별한다.

다음에, GOF 선두의 식별 정보의 생성에 대해서 설명한다. 부호화부(4801)는, GOF의 선두를 나타내는 식별 정보로서, GOF 헤더(GOF Header)를 생성한다. 부호화부(4801)는, GOF 헤더에, GOF에 관련된 파라미터를 저장한다. 예를 들면, GOF 헤더는, GOF에 포함되는 부호화 데이터의 구성 또는 정보를 포함한다. 또, GOF 헤더는, GOF에 포함되는 데이터에 공통적으로 사용되는 파라미터, 예를 들면, 부호화 데이터의 복호에 관련된 파라미터 등을 포함한다.

또한, 부호화부(4801)는, GOF 헤더 대신에, GOF에 따른 파라미터를 포함하지 않는 GOF 딜리미터를 생성해도 된다. 이 GOF 딜리미터는, GOF의 선두를 나타내는 식별 정보로서 사용된다. 복호 장치는, GOF 헤더 또는 GOF 딜리미터를 검출함으로써, GOF의 선두를 식별한다.

PCC 부호화 데이터에 있어서, 예를 들면, 액세스 유닛은 PCC 프레임 단위인 것으로 정의된다. 복호 장치는, 액세스 유닛 선두의 식별 정보에 의거하여, PCC 프레임에 액세스한다.

또, 예를 들면, GOF는 1개의 랜덤 액세스 단위인 것으로 정의된다. 복호 장치는, GOF 선두의 식별 정보에 의거하여, 랜덤 액세스 단위에 액세스한다. 예를 들면, PCC 프레임이 서로 의존 관계가 없고, 단독으로 복호 가능하면, PCC 프레임을 랜덤 액세스 단위로 정의해도 된다.

또한, 1개의 액세스 유닛에 2개 이상의 PCC 프레임이 할당되어도 되고, 1개의 GOF에 복수의 랜덤 액세스 단위가 할당되어도 된다.

또, 부호화부(4801)는, 상기 이외의 파라미터 세트 또는 메타데이터를 정의하고, 생성해도 된다. 예를 들면, 부호화부(4801)는, 복호 시에 반드시 사용하지 않을 가능성이 있는 파라미터(옵션 파라미터)를 저장하는 SEI(Supplemental Enhancement Information)를 생성해도 된다.

다음에, 부호화 데이터의 구성, 및 부호화 데이터의 NAL 유닛으로의 저장 방법을 설명한다.

예를 들면, 부호화 데이터의 종류마다 데이터 포맷이 규정된다. 도 38은, 부호화 데이터 및 NAL 유닛의 예를 나타내는 도면이다.

예를 들면, 도 38에 나타내는 바와 같이 부호화 데이터는, 헤더와 페이로드를 포함한다. 또한, 부호화 데이터는, 부호화 데이터, 헤더 또는 페이로드의 길이(데이터량)를 나타내는 길이 정보를 포함해도 된다. 또, 부호화 데이터는, 헤더를 포함하지 않아도 된다.

헤더는, 예를 들면, 데이터를 특정하기 위한 식별 정보를 포함한다. 이 식별 정보는, 예를 들면, 데이터 종별 또는 프레임 번호를 나타낸다.

헤더는, 예를 들면, 참조 관계를 나타내는 식별 정보를 포함한다. 이 식별 정보는, 예를 들면, 데이터간에 의존 관계가 있는 경우에 헤더에 저장되고, 참조원으로부터 참조처를 참조하기 위한 정보이다. 예를 들면, 참조처의 헤더에는, 당해 데이터를 특정하기 위한 식별 정보가 포함된다. 참조원의 헤더에는, 참조처를 나타내는 식별 정보가 포함된다.

또한, 다른 정보로부터 참조처 또는 참조원을 식별 가능 또는 도출 가능한 경우는, 데이터를 특정하기 위한 식별 정보, 또는 참조 관계를 나타내는 식별 정보를 생략해도 된다.

다중화부(4802)는, 부호화 데이터를, NAL 유닛의 페이로드에 저장한다. NAL 유닛 헤더에는, 부호화 데이터의 식별 정보인 pcc＿nal＿unit＿type이 포함된다. 도 39는, pcc＿nal＿unit＿type의 시맨틱스의 예를 나타내는 도면이다.

도 39에 나타내는 바와 같이, pcc＿codec＿type이 코덱 1(Codec1：제1 부호화 방법)인 경우, pcc＿nal＿unit＿type의 값 0~10은, 코덱 1에 있어서의, 부호화 위치 데이터(Geometry), 부호화 속성 X 데이터(AttributeX), 부호화 속성 Y 데이터(AttributeY), 위치 PS(Geom. PS), 속성 XPS(AttrX. PS), 속성 YPS(AttrX. PS), 위치 SPS(Geometry Sequence PS), 속성 XSPS(AttributeX Sequence PS), 속성 YSPS(AttributeY Sequence PS), AU 헤더(AU Header), GOF 헤더(GOF Header)에 할당된다. 또, 값 11 이후는, 코덱 1의 예비로 할당된다.

pcc＿codec＿type이 코덱 2(Codec2：제2 부호화 방법)인 경우, pcc＿nal＿unit＿type의 값 0~2는, 코덱의 데이터 A(DataA), 메타데이터 A(MetaDataA), 메타데이터 B(MetaDataB)에 할당된다. 또, 값 3 이후는, 코덱 2의 예비로 할당된다.

다음에, 데이터의 송출 순서에 대해서 설명한다. 이하, NAL 유닛의 송출 순서의 제약에 대해서 설명한다.

다중화부(4802)는, NAL 유닛을 GOF 또는 AU 단위로 묶어서 송출한다. 다중화부(4802)는, GOF의 선두에 GOF 헤더를 배치하고, AU의 선두에 AU 헤더를 배치한다.

패킷 로스 등으로 데이터가 손실된 경우여도, 복호 장치가 다음 AU로부터 복호할 수 있도록, 다중화부(4802)는, 시퀀스 파라미터 세트(SPS)를, AU마다 배치해도 된다.

부호화 데이터에 복호에 따른 의존 관계가 있는 경우에는, 복호 장치는, 참조처의 데이터를 복호한 후에, 참조원의 데이터를 복호한다. 복호 장치에 있어서, 데이터를 재정렬하는 일 없이, 수신한 순서대로 복호할 수 있도록 하기 위해, 다중화부(4802)는, 참조처의 데이터를 먼저 송출한다.

도 40은, NAL 유닛의 송출 순서의 예를 나타내는 도면이다. 도 40은, 위치 정보 우선과, 파라미터 우선과, 데이터 통합의 3개의 예를 나타낸다.

위치 정보 우선의 송출 순서는, 위치 정보에 관한 정보와, 속성 정보에 관한 정보 각각을 묶어서 송출하는 예이다. 이 송출 순서의 경우, 위치 정보에 관한 정보의 송출이 속성 정보에 관한 정보의 송출보다 빨리 완료된다.

예를 들면, 이 송출 순서를 사용함으로써, 속성 정보를 복호하지 않는 복호 장치는, 속성 정보의 복호를 무시함으로써, 처리하지 않는 시간을 마련할 수 있을 가능성이 있다. 또, 예를 들면, 위치 정보를 빨리 복호하고 싶은 복호 장치의 경우, 위치 정보의 부호화 데이터를 빨리 얻음으로써, 보다 빨리 위치 정보를 복호할 수 있을 가능성이 있다.

또한, 도 40에서는, 속성 XSPS와 속성 YSPS를 통합하여, 속성 SPS로 기재하고 있는데, 속성 XSPS와 속성 YSPS를 개별적으로 배치해도 된다.

파라미터 세트 우선의 송출 순서에서는, 파라미터 세트가 먼저 송출되고, 데이터가 다음에 송출된다.

이상과 같이 NAL 유닛 송출 순서의 제약에 따르면, 다중화부(4802)는, NAL 유닛을 어떠한 순서로 송출해도 된다. 예를 들면, 순서 식별 정보가 정의되고, 다중화부(4802)는, 복수 패턴의 순서로 NAL 유닛을 송출하는 기능을 가져도 된다. 예를 들면 스트림 PS에 NAL 유닛의 순서 식별 정보가 저장된다.

3차원 데이터 복호 장치는, 순서 식별 정보에 의거하여 복호를 행해도 된다. 3차원 데이터 복호 장치로부터 3차원 데이터 부호화 장치에 원하는 송출 순서가 지시되고, 3차원 데이터 부호화 장치(다중화부(4802))는, 지시된 송출 순서에 따라 송출 순서를 제어해도 된다.

또한, 다중화부(4802)는, 데이터 통합의 송출 순서와 같이, 송출 순서의 제약에 따른 범위이면, 복수의 기능을 머지한 부호화 데이터를 생성해도 된다. 예를 들면, 도 40에 나타내는 바와 같이, GOF 헤더와 AU 헤더를 통합해도 되고, AXPS와 AYPS를 통합해도 된다. 이 경우, pcc＿nal＿unit＿type에는, 복수의 기능을 갖는 데이터인 것을 나타내는 식별자가 정의된다.

이하, 본 실시 형태의 변형예에 대해서 설명한다. 프레임 레벨의 PS, 시퀀스 레벨의 PS, PCC 시퀀스 레벨의 PS와 같이, PS에는 레벨이 있으며, PCC 시퀀스 레벨을 상위의 레벨로 하고, 프레임 레벨을 하위의 레벨로 하면, 파라미터의 저장 방법에는 하기 방법을 사용해도 된다.

디폴트의 PS의 값을 보다 상위의 PS에서 나타낸다. 또, 하위의 PS의 값이 상위의 PS의 값과 상이한 경우에는, 하위의 PS에서 PS의 값이 나타난다. 또는, 상위에서는 PS의 값을 기재하지 않고, 하위의 PS에 PS의 값을 기재한다. 또는, PS의 값을, 하위의 PS에서 나타낼지, 상위의 PS에서 나타낼지, 양쪽에서 나타낼지의 정보를, 하위의 PS와 상위의 PS 중 어느 한쪽 또는 양쪽에 나타낸다. 또는, 하위의 PS를 상위의 PS에 머지해도 된다. 또는, 하위의 PS와 상위의 PS가 중복되는 경우에는, 다중화부(4802)는, 어느 한쪽의 송출을 생략해도 된다.

또한, 부호화부(4801) 또는 다중화부(4802)는, 데이터를 슬라이스 또는 타일 등으로 분할하고, 분할한 데이터를 송출해도 된다. 분할한 데이터에는, 분할한 데이터를 식별하기 위한 정보가 포함되고, 분할 데이터의 복호에 사용하는 파라미터가 파라미터 세트에 포함된다. 이 경우, pcc＿nal＿unit＿type에는, 타일 또는 슬라이스에 따른 데이터 또는 파라미터를 저장하는 데이터인 것을 나타내는 식별자가 정의된다.

이하, 순서 식별 정보에 따른 처리에 대해서 설명한다. 도 41은, NAL 유닛의 송출 순서에 따른 3차원 데이터 부호화 장치(부호화부(4801) 및 다중화부(4802))에 의한 처리의 플로차트이다.

우선, 3차원 데이터 부호화 장치는, NAL 유닛의 송출 순서(위치 정보 우선 또는 파라미터 세트 우선)를 결정한다(S4801). 예를 들면, 3차원 데이터 부호화 장치는, 유저 또는 외부 장치(예를 들면 3차원 데이터 복호 장치)로부터의 지정에 의거하여 송출 순서를 결정한다.

결정된 송출 순서가 위치 정보 우선인 경우(S480에서 위치 정보 우선), 3차원 데이터 부호화 장치는, 스트림 PS에 포함되는 순서 식별 정보를, 위치 정보 우선으로 설정한다(S4803). 즉, 이 경우, 순서 식별 정보는, 위치 정보 우선의 순서로 NAL 유닛이 송출되는 것을 나타낸다. 그리고, 3차원 데이터 부호화 장치는, 위치 정보 우선의 순서로 NAL 유닛을 송출한다(S4804).

한편, 결정된 송출 순서가 파라미터 세트 우선인 경우(S4802에서 파라미터 세트 우선), 3차원 데이터 부호화 장치는, 스트림 PS에 포함되는 순서 식별 정보를 파라미터 세트 우선으로 설정한다(S4805). 즉, 이 경우, 순서 식별 정보는, 파라미터 세트 우선의 순서로 NAL 유닛이 송출되는 것을 나타낸다. 그리고, 3차원 데이터 부호화 장치는, 파라미터 세트 우선의 순서로 NAL 유닛을 송출한다(S4806).

도 42는, NAL 유닛의 송출 순서에 따른 3차원 데이터 복호 장치에 의한 처리의 플로차트이다. 우선, 3차원 데이터 복호 장치는, 스트림 PS에 포함되는 순서 식별 정보를 해석한다(S4811).

순서 식별 정보에서 나타나는 송출 순서가 위치 정보 우선인 경우(S4812에서 위치 정보 우선), 3차원 데이터 복호 장치는, NAL 유닛의 송출 순서가 위치 정보 우선인 것으로 하여, NAL 유닛을 복호한다(S4813).

한편, 순서 식별 정보에서 나타나는 송출 순서가 파라미터 세트 우선인 경우(S4812에서 파라미터 세트 우선), 3차원 데이터 복호 장치는, NAL 유닛의 송출 순서가 파라미터 세트 우선인 것으로 하여, NAL 유닛을 복호한다(S4814).

예를 들면, 3차원 데이터 복호 장치는, 속성 정보를 복호하지 않는 경우, 단계 S4813에 있어서, 모든 NAL 유닛을 취득하지 않고, 위치 정보에 관한 NAL 유닛을 취득하고, 취득한 NAL 유닛으로부터 위치 정보를 복호해도 된다.

다음에, AU 및 GOF의 생성에 따른 처리에 대해서 설명한다. 도 43은, NAL 유닛의 다중화에 있어서의 AU 및 GOF 생성에 따른 3차원 데이터 부호화 장치(다중화부(4802))에 의한 처리의 플로차트이다.

우선, 3차원 데이터 부호화 장치는, 부호화 데이터의 종류를 판정한다(S4821). 구체적으로는, 3차원 데이터 부호화 장치는, 처리 대상의 부호화 데이터가 AU 선두의 데이터인지, GOF 선두의 데이터인지, 그 이외의 데이터인지를 판정한다.

부호화 데이터가 GOF 선두의 데이터인 경우(S4822에서 GOF 선두), 3차원 데이터 부호화 장치는, GOF 헤더 및 AU 헤더를 GOF에 속하는 부호화 데이터의 선두에 배치하여 NAL 유닛을 생성한다(S4823).

부호화 데이터가 AU 선두의 데이터인 경우(S4822에서 AU 선두), 3차원 데이터 부호화 장치는, AU 헤더를 AU에 속하는 부호화 데이터의 선두에 배치하여 NAL 유닛을 생성한다(S4824).

부호화 데이터가 GOF 선두 및 AU 선두 중 어느 쪽도 아닌 경우(S4822에서 GOF 선두, AU 선두 이외), 3차원 데이터 부호화 장치는, 부호화 데이터가 속하는 AU의 AU 헤더 뒤에 부호화 데이터를 배치하여 NAL 유닛을 생성한다(S4825).

다음에, AU 및 GOF에 대한 액세스에 따른 처리에 대해서 설명한다. 도 44는, NAL 유닛의 역다중화에 있어서의 AU 및 GOF의 액세스에 따른 3차원 데이터 복호 장치의 처리의 플로차트이다.

우선, 3차원 데이터 복호 장치는, NAL 유닛에 포함되는 nal＿unit＿type을 해석함으로써 NAL 유닛에 포함되는 부호화 데이터의 종류를 판정한다(S4831). 구체적으로는, 3차원 데이터 복호 장치는, NAL 유닛에 포함되는 부호화 데이터가, AU 선두의 데이터인지, GOF 선두의 데이터인지, 그 이외의 데이터인지를 판정한다.

NAL 유닛에 포함되는 부호화 데이터가 GOF 선두의 데이터인 경우(S4832에서 GOF 선두), 3차원 데이터 복호 장치는, NAL 유닛이 랜덤 액세스의 개시 위치라고 판단하여, 당해 NAL 유닛에 액세스하고, 복호 처리를 개시한다(S4833).

한편, NAL 유닛에 포함되는 부호화 데이터가 AU 선두의 데이터인 경우(S4832에서 AU 선두), 3차원 데이터 복호 장치는, NAL 유닛이 AU 선두라고 판단하여, NAL 유닛에 포함되는 데이터에 액세스하고, 당해 AU를 복호한다(S4834).

한편, NAL 유닛에 포함되는 부호화 데이터가, GOF 선두 및 AU 선두 중 어느 쪽도 아닌 경우(S4832에서 GOF 선두, AU 선두 이외), 3차원 데이터 복호 장치는, 당해 NAL 유닛을 처리하지 않는다.

이상과 같이, 3차원 데이터 부호화 장치는, 도 45에 나타내는 처리를 행한다. 3차원 데이터 부호화 장치는, 시계열의 3차원 데이터(예를 들면 동적 오브젝트의 점군 데이터)를 부호화한다. 3차원 데이터는, 시각마다의 위치 정보와 속성 정보를 포함한다.

우선, 3차원 데이터 부호화 장치는, 위치 정보를 부호화한다(S4841). 다음에, 3차원 데이터 부호화 장치는, 처리 대상의 속성 정보를, 당해 처리 대상의 속성 정보와 동일 시각의 위치 정보를 참조하여 부호화한다(S4842). 여기서, 도 37에 나타내는 바와 같이, 동일 시각의 위치 정보와 속성 정보는 액세스 유닛(AU)을 구성한다. 즉, 3차원 데이터 부호화 장치는, 처리 대상의 속성 정보를, 당해 처리 대상의 속성 정보와 같은 액세스 유닛에 포함되는 위치 정보를 참조하여 부호화한다.

이에 의하면, 3차원 데이터 부호화 장치는, 액세스 유닛을 사용하여 부호화에 있어서의 참조의 제어를 용이화할 수 있다. 따라서, 3차원 데이터 부호화 장치는 부호화 처리의 처리량을 저감할 수 있다.

예를 들면, 3차원 데이터 부호화 장치는, 부호화된 위치 정보(부호화 위치 데이터)와, 부호화된 속성 정보(부호화 속성 데이터)와, 처리 대상의 속성 정보의 참조처의 위치 정보를 나타내는 정보를 포함하는 비트 스트림을 생성한다.

예를 들면, 비트 스트림은, 각 시각의 위치 정보의 제어 정보를 포함하는 위치 파라미터 세트(위치 PS)와, 각 시각의 속성 정보의 제어 정보를 포함하는 속성 파라미터 세트(속성 PS)를 포함한다.

예를 들면, 비트 스트림은, 복수의 시각의 위치 정보에 공통의 제어 정보를 포함하는 위치 시퀀스 파라미터 세트(위치 SPS)와, 복수의 시각의 속성 정보에 공통의 제어 정보를 포함하는 속성 시퀀스 파라미터 세트(속성 SPS)를 포함한다.

예를 들면, 비트 스트림은, 복수의 시각의 위치 정보 및 복수의 시각의 속성 정보에 공통의 제어 정보를 포함하는 스트림 파라미터 세트(스트림 PS)를 포함한다.

예를 들면, 비트 스트림은, 액세스 유닛 내에서 공통의 제어 정보를 포함하는 액세스 유닛 헤더(AU 헤더)를 포함한다.

예를 들면, 3차원 데이터 부호화 장치는, 1 이상의 액세스 유닛으로 구성되는 GOF(그룹 오브 프레임)를 독립적으로 복호 가능하도록 부호화한다. 즉, GOF는 랜덤 액세스 단위이다.

예를 들면, 비트 스트림은, GOF 내에서 공통의 제어 정보를 포함하는 GOF 헤더를 포함한다.

예를 들면, 3차원 데이터 부호화 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

또, 이상과 같이, 3차원 데이터 복호 장치는, 도 46에 나타내는 처리를 행한다. 3차원 데이터 복호 장치는, 시계열의 3차원 데이터(예를 들면 동적 오브젝트의 점군 데이터)를 복호한다. 3차원 데이터는, 시각마다의 위치 정보와 속성 정보를 포함한다. 동일 시각의 위치 정보와 속성 정보는 액세스 유닛(AU)을 구성한다.

우선, 3차원 데이터 복호 장치는, 비트 스트림으로부터 위치 정보를 복호한다(S4851). 즉, 3차원 데이터 복호 장치는, 비트 스트림에 포함되는 부호화된 위치 정보(부호화 위치 데이터)를 복호함으로써 위치 정보를 생성한다.

다음에, 3차원 데이터 복호 장치는, 비트 스트림으로부터, 처리 대상의 속성 정보를, 당해 처리 대상의 속성 정보와 동일 시각의 위치 정보를 참조하여 복호한다(S4852). 즉, 3차원 데이터 복호 장치는, 비트 스트림에 포함되는 부호화된 속성 정보(부호화 속성 데이터)를 복호함으로써 속성 정보를 생성한다. 이 때, 3차원 데이터 복호 장치는, 속성 정보와 같은 액세스 유닛에 포함되는 복호 완료된 위치 정보를 참조한다.

이에 의하면, 3차원 데이터 복호 장치는, 액세스 유닛을 사용하여 복호에 있어서의 참조의 제어를 용이화할 수 있다. 따라서, 당해 3차원 데이터 복호 방법은 복호 처리의 처리량을 저감할 수 있다.

예를 들면, 3차원 데이터 복호 장치는, 비트 스트림으로부터, 처리 대상의 속성 정보의 참조처의 위치 정보를 나타내는 정보를 취득하고, 취득한 정보에서 나타나는 참조처의 위치 정보를 참조하여 처리 대상의 속성 정보를 복호한다.

예를 들면, 비트 스트림은, 각 시각의 위치 정보의 제어 정보를 포함하는 위치 파라미터 세트(위치 PS)와, 각 시각의 속성 정보의 제어 정보를 포함하는 속성 파라미터 세트(속성 PS)를 포함한다. 즉, 3차원 데이터 복호 장치는, 처리 대상 시각의 위치 파라미터 세트에 포함되는 제어 정보를 사용하여, 처리 대상 시각의 위치 정보를 복호하고, 처리 대상 시각의 속성 파라미터 세트에 포함되는 제어 정보를 사용하여, 처리 대상 시각의 속성 정보를 복호한다.

예를 들면, 비트 스트림은, 복수의 시각의 위치 정보에 공통의 제어 정보를 포함하는 위치 시퀀스 파라미터 세트(위치 SPS)와, 복수의 시각의 속성 정보에 공통의 제어 정보를 포함하는 속성 시퀀스 파라미터 세트(속성 SPS)를 포함한다. 즉, 3차원 데이터 복호 장치는, 위치 시퀀스 파라미터 세트에 포함되는 제어 정보를 사용하여, 복수의 시각의 위치 정보를 복호하고, 속성 시퀀스 파라미터 세트에 포함되는 제어 정보를 사용하여, 복수의 시각의 속성 정보를 복호한다.

예를 들면, 비트 스트림은, 복수의 시각의 위치 정보 및 복수의 시각의 속성 정보에 공통의 제어 정보를 포함하는 스트림 파라미터 세트(스트림 PS)를 포함한다. 즉, 3차원 데이터 복호 장치는, 스트림 파라미터 세트에 포함되는 제어 정보를 사용하여, 복수의 시각의 위치 정보 및 복수 시각의 속성 정보를 복호한다.

예를 들면, 비트 스트림은, 액세스 유닛 내에서 공통의 제어 정보를 포함하는 액세스 유닛 헤더(AU 헤더)를 포함한다. 즉, 3차원 데이터 복호 장치는, 액세스 유닛 헤더에 포함되는 제어 정보를 사용하여, 액세스 유닛에 포함되는 위치 정보 및 속성 정보를 복호한다.

예를 들면, 3차원 데이터 복호 장치는, 1 이상의 액세스 유닛으로 구성되는 GOF(그룹 오브 프레임)를 독립적으로 복호한다. 즉, GOF는 랜덤 액세스 단위이다.

예를 들면, 비트 스트림은, GOF 내에서 공통의 제어 정보를 포함하는 GOF 헤더를 포함한다. 즉, 3차원 데이터 복호 장치는, GOF 헤더에 포함되는 제어 정보를 사용하여, GOF에 포함되는 위치 정보 및 속성 정보를 복호한다.

예를 들면, 3차원 데이터 복호 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

(실시 형태 5)

다음에, 분할부(4911)의 구성을 설명한다. 도 47은, 분할부(4911)의 블록도이다. 분할부(4911)는, 슬라이스 분할부(4931)(Slice Divider)와, 위치 정보 타일 분할부(4932)(Geometry Tile Divider)와, 속성 정보 타일 분할부(4933)(Attribute Tile Divider)를 포함한다.

슬라이스 분할부(4931)는, 위치 정보(Position(Geometry))를 슬라이스로 분할함으로써 복수의 슬라이스 위치 정보를 생성한다. 또, 슬라이스 분할부(4931)는, 속성 정보(Attribute)를 슬라이스로 분할함으로써 복수의 슬라이스 속성 정보를 생성한다. 또, 슬라이스 분할부(4931)는, 슬라이스 분할에 관련된 정보, 및 슬라이스 분할에 있어서 생성된 정보를 포함하는 슬라이스 부가 정보(SliceMetaData)를 출력한다.

위치 정보 타일 분할부(4932)는, 복수의 슬라이스 위치 정보를 타일로 분할함으로써 복수의 분할 위치 정보(복수의 타일 위치 정보)를 생성한다. 또, 위치 정보 타일 분할부(4932)는, 위치 정보의 타일 분할에 관련된 정보, 및 위치 정보의 타일 분할에 있어서 생성된 정보를 포함하는 위치 타일 부가 정보(Geometry Tile MetaData)를 출력한다.

속성 정보 타일 분할부(4933)는, 복수의 슬라이스 속성 정보를 타일로 분할함으로써 복수의 분할 속성 정보(복수의 타일 속성 정보)를 생성한다. 또, 속성 정보 타일 분할부(4933)는, 속성 정보의 타일 분할에 관련된 정보, 및 속성 정보의 타일 분할에 있어서 생성된 정보를 포함하는 속성 타일 부가 정보(Attribute Tile MetaData)를 출력한다.

또한, 분할되는 슬라이스 또는 타일의 수는 1 이상이다. 즉, 슬라이스 또는 타일의 분할을 행하지 않아도 된다.

또, 여기에서는, 슬라이스 분할 후에 타일 분할이 행해지는 예를 나타냈는데, 타일 분할 후에 슬라이스 분할이 행해져도 된다. 또, 슬라이스 및 타일에 더하여 새로운 분할 종별을 정의하고, 3 이상의 분할 종별로 분할이 행해져도 된다.

이하, 점군 데이터의 분할 방법에 대해서 설명한다. 도 48은, 슬라이스 및 타일 분할의 예를 나타내는 도면이다.

우선, 슬라이스 분할의 방법에 대해서 설명한다. 분할부(4911)는, 3차원 점군 데이터를, 슬라이스 단위로, 임의의 점군으로 분할한다. 분할부(4911)는, 슬라이스 분할에 있어서, 점을 구성하는 위치 정보와 속성 정보를 분할하지 않고, 위치 정보와 속성 정보를 일괄로 분할한다. 즉, 분할부(4911)는, 임의의 점에 있어서의 위치 정보와 속성 정보가 같은 슬라이스에 속하도록 슬라이스 분할을 행한다. 또한, 이들에 따르면, 분할 수, 및 분할 방법은 어떠한 방법이어도 된다. 또, 분할의 최소 단위는 점이다. 예를 들면, 위치 정보와 속성 정보의 분할 수는 동일하다. 예를 들면, 슬라이스 분할 후의 위치 정보에 대응하는 3차원 점과, 속성 정보에 대응하는 3차원 점은 동일한 슬라이스에 포함된다.

또, 분할부(4911)는, 슬라이스 분할 시에 분할 수 및 분할 방법에 관련된 부가 정보인 슬라이스 부가 정보를 생성한다. 슬라이스 부가 정보는, 위치 정보와 속성 정보에서 동일하다. 예를 들면, 슬라이스 부가 정보는, 분할 후의 바운딩 박스의 기준 좌표 위치, 크기, 또는 변의 길이를 나타내는 정보를 포함한다. 또, 슬라이스 부가 정보는, 분할 수, 및 분할 타입 등을 나타내는 정보를 포함한다.

다음에, 타일 분할의 방법에 대해서 설명한다. 분할부(4911)는, 슬라이스 분할된 데이터를, 슬라이스 위치 정보(G 슬라이스)와 슬라이스 속성 정보(A 슬라이스)로 분할하고, 슬라이스 위치 정보와 슬라이스 속성 정보를 각각 타일 단위로 분할한다.

또한, 도 48에서는 8진 트리 구조로 분할하는 예를 나타내고 있는데, 분할 수 및 분할 방법은 어떠한 방법이어도 된다.

또, 분할부(4911)는, 위치 정보와 속성 정보를 상이한 분할 방법으로 분할해도 되고, 동일한 분할 방법으로 분할해도 된다. 또, 분할부(4911)는, 복수의 슬라이스를 상이한 분할 방법으로 타일로 분할해도 되고, 동일한 분할 방법으로 타일로 분할해도 된다.

또, 분할부(4911)는, 타일 분할 시에 분할 수 및 분할 방법에 관련된 타일 부가 정보를 생성한다. 타일 부가 정보(위치 타일 부가 정보 및 속성 타일 부가 정보)는, 위치 정보와 속성 정보에서 독립적이다. 예를 들면, 타일 부가 정보는, 분할 후의 바운딩 박스의 기준 좌표 위치, 크기, 또는 변의 길이를 나타내는 정보를 포함한다. 또, 타일 부가 정보는, 분할 수, 및 분할 타입 등 나타내는 정보를 포함한다.

다음에, 점군 데이터를 슬라이스 또는 타일로 분할하는 방법의 예를 설명한다. 분할부(4911)는, 슬라이스 또는 타일 분할의 방법으로서, 미리 정해진 방법을 사용해도 되고, 점군 데이터에 따라 사용하는 방법을 적응적으로 전환해도 된다.

슬라이스 분할 시에는, 분할부(4911)는, 위치 정보와 속성 정보에 대해 일괄로 3차원 공간을 분할한다. 예를 들면, 분할부(4911)는, 오브젝트의 형상을 판정하고, 오브젝트의 형상에 따라 3차원 공간을 슬라이스로 분할한다. 예를 들면, 분할부(4911)는, 나무 또는 건물 등의 오브젝트를 추출하고, 오브젝트 단위로 분할을 행한다. 예를 들면, 분할부(4911)는, 1 또는 복수의 오브젝트 전체가 하나의 슬라이스에 포함되도록 슬라이스 분할을 행한다. 또는, 분할부(4911)는, 하나의 오브젝트를 복수의 슬라이스로 분할한다.

이 경우, 부호화 장치는, 예를 들면, 슬라이스마다 부호화 방법을 바꾸어도 된다.예를 들면, 부호화 장치는, 특정 오브젝트, 또는 오브젝트의 특정한 일부에 대해, 고품질의 압축 방법을 사용해도 된다. 이 경우, 부호화 장치는, 슬라이스 마다의 부호화 방법을 나타내는 정보를 부가 정보(메타데이터)에 저장해도 된다.

또, 분할부(4911)는, 지도 정보 또는 위치 정보에 의거하여, 각 슬라이스가 미리 정해진 좌표 공간에 대응하도록 슬라이스 분할을 행해도 된다.

타일 분할 시에는, 분할부(4911)는, 위치 정보와 속성 정보를 독립적으로 분할한다. 예를 들면, 분할부(4911)는, 데이터량 또는 처리량에 따라 슬라이스를 타일로 분할한다. 예를 들면, 분할부(4911)는, 슬라이스의 데이터량(예를 들면 슬라이스에 포함되는 3차원 점의 수)이 미리 정해진 역치보다 많은지를 판정한다. 분할부(4911)는, 슬라이스의 데이터량이 역치보다 많은 경우에는 슬라이스를 타일로 분할한다. 분할부(4911)는, 슬라이스의 데이터량이 역치보다 적을 때에는 슬라이스를 타일로 분할하지 않는다.

예를 들면, 분할부(4911)는, 복호 장치에서의 처리량 또는 처리 시간이 일정 범위(미리 정해진 값 이하)가 되도록, 슬라이스를 타일로 분할한다. 이로 인해, 복호 장치에 있어서의 타일당 처리량이 일정해지고, 복호 장치에 있어서의 분산 처리가 용이해진다.

또, 분할부(4911)는, 위치 정보와 속성 정보에서 처리량이 상이한 경우, 예를 들면, 위치 정보의 처리량이 속성 정보의 처리량보다 많은 경우, 위치 정보의 분할 수를, 속성 정보의 분할 수보다 많게 한다.

또, 예를 들면, 컨텐츠에 따라, 복호 장치에서, 위치 정보를 빨리 복호하여 표시하고, 속성 정보를 다음에 천천히 복호하여 표시해도 되는 경우에, 분할부(4911)는, 위치 정보의 분할 수를, 속성 정보의 분할 수보다 많게 해도 된다. 이로 인해, 복호 장치는, 위치 정보의 병렬 수를 많게 할 수 있으므로, 위치 정보의 처리를 속성 정보의 처리보다 고속화할 수 있다.

또한, 복호 장치는, 슬라이스화 또는 타일화되어 있는 데이터를 반드시 병렬 처리 할 필요는 없고, 복호 처리부의 수 또는 능력에 따라, 이들을 병렬 처리할지 여부를 판정해도 된다.

이상과 같은 방법으로 분할함으로써, 컨텐츠 또는 오브젝트에 따른, 적응적인 부호화를 실현할 수 있다. 또, 복호 처리에 있어서의 병렬 처리를 실현할 수 있다. 이로 인해, 점군 부호화 시스템 또는 점군 복호 시스템의 유연성이 향상된다.

도 49는, 슬라이스 및 타일 분할의 패턴의 예를 나타내는 도면이다. 도면 중의 DU는 데이터 단위(DataUnit)이며, 타일 또는 슬라이스의 데이터를 나타낸다. 또, 각 DU는, 슬라이스 인덱스(SliceIndex)와 타일 인덱스(TileIndex)를 포함한다. 도면 중의 DU의 우상측의 수치가 슬라이스 인덱스를 나타내고, DU의 좌하측의 수치가 타일 인덱스를 나타낸다.

패턴 1에서는, 슬라이스 분할에 있어서, G 슬라이스와 A 슬라이스에서 분할 수 및 분할 방법은 같다. 타일 분할에 있어서, G 슬라이스에 대한 분할 수 및 분할 방법과 A 슬라이스에 대한 분할 수 및 분할 방법은 상이하다. 또, 복수의 G 슬라이스 사이에서는 동일한 분할 수 및 분할 방법이 사용된다. 복수의 A 슬라이스 사이에서는 동일한 분할 수 및 분할 방법이 사용된다.

패턴 2에서는, 슬라이스 분할에 있어서, G 슬라이스와 A 슬라이스에서 분할 수 및 분할 방법은 같다. 타일 분할에 있어서, G 슬라이스에 대한 분할 수 및 분할 방법과 A 슬라이스에 대한 분할 수 및 분할 방법은 상이하다. 또, 복수의 G 슬라이스 사이에서 분할 수 및 분할 방법이 상이하다. 복수의 A 슬라이스 사이에서 분할 수 및 분할 방법이 상이하다.

(실시 형태 6)

점군 데이터를 타일 및 슬라이스로 분할하고, 분할 데이터를 효율적으로 부호화 또는 복호하려면, 부호화측 및 복호측에서 적절히 제어할 필요가 있다. 분할 데이터의 부호화 및 복호를 분할 데이터 사이에서 의존 관계가 없이 독립적으로 함으로써, 멀티스레드 또는 멀티코어 프로세서를 사용하여, 각각의 스레드/코어에 있어서 분할 데이터를 병행으로 처리할 수 있어, 퍼포먼스가 향된다.

점군 데이터를 타일 및 슬라이스로 분할하는 방법은 다양한 방법이 있으며, 예를 들면, 노면 등의 점군 데이터의 대상물의 속성이나, 점군 데이터의 녹색 등의 색 정보 등의 특성에 의거하여 분할하는 방법이 있다.

CABAC는, Context-Based Adaptive Binary Arithmetic Coding의 약자로, 컨텍스트(입력되는 2치 심벌의 발생 확률을 추정하는 모델)를 부호화 완료 정보에 의거하여 순차적으로 갱신함으로써 확률의 정밀도를 높여, 높은 압축율의 산술 부호화(엔트로피 부호화)를 실현하는 부호화 방법이다.

타일 또는 슬라이스와 같은 분할 데이터를 병행 처리하기 위해서는, 각각의 분할 데이터를 독립적으로 부호화 또는 복호할 수 있을 필요가 있다. 그러나, 분할 데이터 사이에서 CABAC를 독립적으로 하기 위해서는, 부호화 및 복호에 있어서, 분할 데이터의 선두에서 CABAC를 초기화할 필요가 있는데, 그 구조가 없다.

CABACABAC 초기화 플래그는, CABAC 부호화 및 복호에 있어서 CABAC를 초기화하기 위해 사용된다.

도 50은, 부호화 또는 복호에 있어서, CABAC 초기화 플래그에 따라, CABACCABAC의 초기화 처리를 나타내는 플로차트이다.

3차원 데이터 부호화 장치 또는 3차원 데이터 복호 장치는, 부호화 또는 복호에 있어서, CABAC 초기화 플래그가 1인지 여부를 판정한다(S5201).

3차원 데이터 부호화 장치 또는 3차원 데이터 복호 장치는, CABAC 초기화 플래그가 1인 경우(S5201에서 Yes), 디폴트 상태로 CABAC 부호화부/복호부를 초기화하고(S5202), 부호화 또는 복호를 계속한다.

3차원 데이터 부호화 장치 또는 3차원 데이터 복호 장치는, CABAC 초기화 플래그가 1이 아닌 경우(S5201에서 No), 초기화하지 않고 부호화 또는 복호를 계속한다.

즉, CABAC를 초기화하는 경우, CABAC＿init＿flag=1로 하고, CABAC의 부호화부, 혹은 CABAC의 복호부를 초기화 혹은 재초기화한다. 또한, 초기화하는 경우, CABAC 처리에 사용하는 컨텍스트의 초기값(디폴트 상태)을 설정한다.

부호화 처리에 대해서 설명한다. 도 51은, 본 실시 형태에 따른 3차원 데이터 부호화 장치에 포함되는 제1 부호화부(5200)의 구성을 나타내는 블록도이다. 도 52는, 본 실시 형태에 따른 분할부(5201)의 구성을 나타내는 블록도이다. 도 53은, 본 실시 형태에 따른 위치 정보 부호화부(5202) 및 속성 정보 부호화부(5203)의 구성을 나타내는 블록도이다.

제1 부호화부(5200)는, 점군 데이터를 제1 부호화 방법(GPCC((Geometry based PCC))으로 부호화함으로써 부호화 데이터(부호화 스트림)를 생성한다. 이 제1 부호화부(5200)는, 분할부(5201)와, 복수의 위치 정보 부호화부(5202)와, 복수의 속성 정보 부호화부(5203)와, 부가 정보 부호화부(5204)와, 다중화부(5205)를 포함한다.

분할부(5201)는, 점군 데이터를 분할함으로써 복수의 분할 데이터를 생성한다. 구체적으로는, 분할부(5201)는, 점군 데이터의 공간을 복수의 서브 공간으로 분할함으로써 복수의 분할 데이터를 생성한다. 여기서 서브 공간이란, 타일 및 슬라이스 중 한쪽, 또는 타일 및 슬라이스의 조합이다. 보다 구체적으로는, 점군 데이터는, 위치 정보, 속성 정보, 및 부가 정보를 포함한다. 분할부(5201)는, 위치 정보를 복수의 분할 위치 정보로 분할하고, 속성 정보를 복수의 분할 속성 정보로 분할한다. 또, 분할부(5201)는, 분할에 관한 부가 정보를 생성한다.

분할부(5201)는, 도 52에 나타내는 바와 같이, 타일 분할부(5211)와, 슬라이스 분할부(5212)를 포함한다. 예를 들면, 타일 분할부(5211)는, 점군을 타일로 분할한다. 타일 분할부(5211)는, 분할한 각 타일에 사용하는 양자화값을 타일 부가 정보로서 결정해도 된다.

슬라이스 분할부(5212)는, 타일 분할부(5211)에 의해 얻어진 타일을, 추가로 슬라이스로 분할한다. 슬라이스 분할부(5212)는, 분할한 각 슬라이스에 사용하는 양자화값을 슬라이스 부가 정보로서 결정해도 된다.

복수의 위치 정보 부호화부(5202)는, 복수의 분할 위치 정보를 부호화함으로써 복수의 부호화 위치 정보를 생성한다. 예를 들면, 복수의 위치 정보 부호화부(5202)는, 복수의 분할 위치 정보를 병렬 처리한다.

위치 정보 부호화부(5202)는, 도 53에 나타내는 바와 같이, CABAC 초기화부(5221)와, 엔트로피 부호화부(5222)를 포함한다. CABAC 초기화부(5221)는, CABAC 초기화 플래그에 따라 CABAC를 초기화 또는 재초기화한다. 엔트로피 부호화부(5222)는, 분할 위치 정보를 CABAC에 의해 부호화한다.

복수의 속성 정보 부호화부(5203)는, 복수의 분할 속성 정보를 부호화함으로써 복수의 부호화 속성 정보를 생성한다. 예를 들면, 복수의 속성 정보 부호화부(5203)는, 복수의 분할 속성 정보를 병렬 처리한다.

속성 정보 부호화부(5203)는, 도 53에 나타내는 바와 같이, CABAC 초기화부(5231)와, 엔트로피 부호화부(5232)를 포함한다. CABAC 초기화부(5221)은, CABAC 초기화 플래그에 따라 CABAC를 초기화 또는 재초기화한다. 엔트로피 부호화부(5232)는, 분할 속성 정보를 CABAC에 의해 부호화한다.

부가 정보 부호화부(5204)는, 점군 데이터에 포함되는 부가 정보와, 분할부(5201)에서 분할 시에 생성된, 데이터 분할에 관한 부가 정보를 부호화함으로써 부호화 부가 정보를 생성한다.

다중화부(5205)는, 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부호화 부가 정보를 다중화함으로써 부호화 데이터(부호화 스트림)를 생성하고, 생성한 부호화 데이터를 송출한다. 또, 부호화 부가 정보는 복호 시에 사용된다.

또한, 도 51에서는, 위치 정보 부호화부(5202) 및 속성 정보 부호화부(5203)의 수가 각각 2개인 예를 나타내고 있는데, 위치 정보 부호화부(5202) 및 속성 정보 부호화부(5203)의 수는, 각각 1개여도 되고, 3개 이상이어도 된다. 또, 복수의 분할 데이터는, CPU 내의 복수 코어와 같이 동일 팁 내에서 병렬 처리되어도 되고, 복수의 팁의 코어로 병렬 처리되어도 되고, 복수 팁의 복수 코어로 병렬 처리되어도 된다.

다음에, 복호 처리에 대해서 설명한다. 도 54는, 제1 복호부(5240)의 구성을 나타내는 블록도이다. 도 55는, 위치 정보 복호부(5242) 및 속성 정보 복호부(5243)의 구성을 나타내는 블록도이다.

제1 복호부(5240)는, 점군 데이터가 제1 부호화 방법(GPCC)으로 부호화됨으로써 생성된 부호화 데이터(부호화 스트림)를 복호함으로써 점군 데이터를 복원한다. 이 제1 복호부(5240)는, 역다중화부(5241)와, 복수의 위치 정보 복호부(5242)와, 복수의 속성 정보 복호부(5243)와, 부가 정보 복호부(5244)와, 결합부(5245)를 포함한다.

역다중화부(5241)는, 부호화 데이터(부호화 스트림)를 역다중화함으로써 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부호화 부가 정보를 생성한다.

복수의 위치 정보 복호부(5242)는, 복수의 부호화 위치 정보를 복호함으로써 복수의 양자화 위치 정보를 생성한다. 예를 들면, 복수의 위치 정보 복호부(5242)는, 복수의 부호화 위치 정보를 병렬 처리한다.

위치 정보 복호부(5242)는, 도 55에 나타내는 바와 같이, CABAC 초기화부(5251)와, 엔트로피 복호부(5252)를 포함한다. CABAC 초기화부(5251)는, CABAC 초기화 플래그에 따라 CABAC를 초기화 또는 재초기화한다. 엔트로피 복호부(5252)는, 위치 정보를 CABAC에 의해 복호한다.

복수의 속성 정보 복호부(5243)는, 복수의 부호화 속성 정보를 복호함으로써 복수의 분할 속성 정보를 생성한다. 예를 들면, 복수의 속성 정보 복호부(5243)는, 복수의 부호화 속성 정보를 병렬 처리한다.

속성 정보 복호부(5243)는, 도 55에 나타내는 바와 같이, CABAC 초기화부(5261)와, 엔트로피 복호부(5262)를 포함한다. CABAC 초기화부(5261)는, CABAC 초기화 플래그에 따라 CABAC를 초기화 또는 재초기화한다. 엔트로피 복호부(5262)는, 속성 정보를 CABAC에 의해 복호한다.

복수의 부가 정보 복호부(5244)는, 부호화 부가 정보를 복호함으로써 부가 정보를 생성한다.

결합부(5245)는, 부가 정보를 사용하여 복수의 분할 위치 정보를 결합함으로써 위치 정보를 생성한다. 결합부(5245)는, 부가 정보를 사용하여 복수의 분할 속성 정보를 결합함으로써 속성 정보를 생성한다. 예를 들면, 결합부(5245)는, 우선, 슬라이스 부가 정보를 사용하여, 슬라이스에 대한 복호된 점군 데이터를 결합함으로써 타일에 대응하는 점군 데이터를 생성한다. 다음에, 결합부(5245)는, 타일 부가 정보를 사용하여, 타일에 대응하는 점군 데이터를 결합함으로써 원래의 점군 데이터를 복원한다.

또한, 도 54에서는, 위치 정보 복호부(5242) 및 속성 정보 복호부(5243)의 수가 각각 2개인 예를 나타내고 있는데, 위치 정보 복호부(5242) 및 속성 정보 복호부(5243)의 수는, 각각 1개여도 되고, 3개 이상이어도 된다. 또, 복수의 분할 데이터는, CPU 내의 복수 코어와 같이 동일 팁 내에서 병렬 처리되어도 되고, 복수의 팁의 코어로 병렬 처리되어도 되고, 복수 팁의 복수 코어로 병렬 처리되어도 된다.

도 56은, 위치 정보의 부호화 혹은 속성 정보의 부호화에 있어서의 CABAC의 초기화에 관련된 처리의 일례를 나타내는 플로차트이다.

우선, 3차원 데이터 부호화 장치는, 슬라이스마다, 소정의 조건에 의거하여, 당해 슬라이스의 위치 정보의 부호화로 CABAC 초기화를 할지 여부를 판정한다(S5201).

3차원 데이터 부호화 장치는, CABAC 초기화한다고 판단한 경우(S5202에서 Yes), 위치 정보의 부호화에 사용하는 컨텍스트 초기값을 결정한다(S5203). 컨텍스트 초기값은, 부호화 특성을 고려한 초기값으로 설정된다. 초기값은, 미리 정해진 값으로 해도 되고, 슬라이스 내의 데이터의 특성에 따라 적응적으로 결정되어도 된다.

다음에, 3차원 데이터 부호화 장치는, 위치 정보의 CABAC 초기화 플래그를 1로 설정하고, 컨텍스트 초기값을 설정한다(S5204). CABAC 초기화하는 경우, 위치 정보의 부호화에 있어서, 컨텍스트 초기값을 사용하여 초기화 처리가 실행된다.

한편, 3차원 데이터 부호화 장치는, CABAC 초기화하지 않는다고 판단한 경우(S5202에서 No), 위치 정보의 CABAC 초기화 플래그를 0으로 설정한다(S5205).

다음에, 3차원 데이터 부호화 장치는, 슬라이스마다, 소정의 조건에 의거하여, 당해 슬라이스의 속성 정보의 부호화로 CABAC 초기화를 할지 여부를 판정한다(S5206).

3차원 데이터 부호화 장치는, CABAC 초기화한다고 판단한 경우(S5207에서 Yes), 속성 정보의 부호화에 사용하는 컨텍스트 초기값을 결정한다(S5208). 컨텍스트 초기값은, 부호화 특성을 고려한 초기값으로 설정된다. 초기값은, 미리 정해진 값으로 해도 되고, 슬라이스 내의 데이터의 특성에 따라 적응적으로 결정되어도 된다.

다음에, 3차원 데이터 부호화 장치는, 속성 정보의 CABAC 초기화 플래그를 1로 설정하고, 컨텍스트 초기값을 설정한다(S5209). CABAC 초기화하는 경우, 속성 정보의 부호화에 있어서, 컨텍스트 초기값을 사용하여 초기화 처리가 실행된다.

한편, 3차원 데이터 부호화 장치는, CABAC 초기화하지 않는다고 판단한 경우(S5207에서 No), 속성 정보의 CABAC 초기화 플래그를 0으로 설정한다(S5210).

또한, 도 56에 있어서의 플로차트에 있어서, 위치 정보에 관련된 처리와 속성 정보에 관련된 처리의 처리 순서는 반대여도 되고, 병렬이어도 된다.

또한, 도 56에 있어서의 플로차트에서는, 슬라이스 단위의 처리를 예로 하고 있는데, 타일 단위나, 그 외의 데이터 단위로의 처리인 경우도 슬라이스 단위와 동일하게 처리할 수 있다. 즉, 도 56의 플로차트의 슬라이스는, 타일 또는 다른 데이터 단위로 대체할 수 있다.

또, 소정의 조건은, 위치 정보와 속성 정보에서 동일 조건이어도 되고, 상이한 조건이어도 된다.

도 57은, 비트 스트림으로 한 점군 데이터에 있어서 CABAC 초기화 타이밍의 일례를 나타내는 도면이다.

점군 데이터는, 위치 정보와 0 이상의 속성 정보를 포함한다. 즉, 점군 데이터는, 속성 정보를 갖지 않는 경우도 있다면, 복수의 속성 정보를 갖는 경우도 있다.

예를 들면, 1개의 3차원 점에 대해, 속성 정보로서, 색 정보를 갖는 경우, 색 정보와 반사 정보를 갖는 경우, 1 이상의 시점 정보에 각각 관련지어진 1 이상의 색 정보를 갖는 경우 등이 있다.

어느 구성의 경우에도, 본 실시 형태에서 설명하는 방법을 적용 가능하다.

다음에, CABAC의 초기화의 판정 조건에 대해서 설명한다.

이하의 조건을 만족하는 경우, 위치 정보 혹은 속성 정보의 부호화에 있어서의 CABAC를 초기화하는 것으로 해도 된다.

예를 들면, 위치 정보 혹은 속성 정보(다수 있다면 각각의 속성 정보)의 선두 데이터로 CABAC를 초기화해도 된다. 예를 들면, 단독으로 복호 가능한 PCC 프레임을 구성하는 데이터의 선두에서 CABAC를 초기화해도 된다. 즉, 도 57의 (a)에 나타내는 바와 같이, PCC 프레임이 프레임 단위로 복호 가능하다면, PCC 프레임의 선두 데이터로 CABAC를 초기화해도 된다.

또, 예를 들면, 도 57의 (b)에 나타내는 바와 같이, PCC 프레임 사이에서 인터 예상을 사용하고 있는 경우 등 프레임으로 단독으로 복호할 수 없는 경우는, 랜덤 액세스 단위(예를 들면 GOF)의 선두 데이터로 CABAC를 초기화해도 된다.

또, 예를 들면, 도 57의 (c)에 나타내는 바와 같이, 1 이상으로 분할된 슬라이스 데이터의 선두나, 1 이상으로 분할된 타일 데이터의 선두, 그 외의 분할 데이터의 선두에서 CABAC를 초기화해도 된다.

도 57의 (c)는, 타일을 예로 나타내는데, 슬라이스의 경우도 마찬가지이다. 타일 또는 슬라이스의 선두에서는, 반드시 초기화하는 것으로 해도 되고, 반드시 초기화 하지 않아도 된다.

도 58은, 부호화 데이터의 구성 및 부호화 데이터의 NAL 유닛으로의 저장 방법을 나타내는 도면이다.

초기화 정보는, 부호화 데이터의 헤더에 저장되어도 되고, 메타데이터에 저장되어도 된다. 또, 초기화 정보는, 헤더와 메타데이터 양쪽에 저장되어도 된다. 초기화 정보는, 예를 들면, caba＿init＿flag, CABAC 초기값, 또는, 초기값을 특정할 수 있는 테이블의 인덱스이다.

본 실시 형태에서 메타데이터에 저장하는 것으로 설명하고 있는 부분은 부호화 데이터의 헤더에 저장하는 것으로 대체해도 되고, 반대도 마찬가지이다.

초기화 정보는, 부호화 데이터의 헤더에 저장되는 경우, 예를 들면, 부호화 데이터에 있어서의 최초의 NAL 유닛에 저장되어도 된다. 위치 정보에는, 위치 정보의 부호화의 초기화 정보를 저장하고, 속성 정보에는, 속성 정보의 부호화의 초기화 정보를 저장한다.

속성 정보의 부호화의 cabac＿init＿flag와, 위치 정보의 부호화의 cabac＿init＿flag는, 같은 값으로 해도 되고, 상이한 값으로 해도 된다. 같은 값으로 하는 경우에는, 위치 정보와 속성 정보의 cabac＿init＿flag를 공통으로 해도 된다. 또, 상이한 값으로 하는 경우는, 위치 정보와 속성 정보의 cabac＿init＿flag는, 각각 상이한 값을 나타낸다.

초기화 정보는, 위치 정보와 속성 정보에서 공통의 메타데이터에 저장되어도 되고, 위치 정보의 개별 메타데이터, 및, 속성 정보의 개별 메타데이터 중 적어도 한쪽에 저장되어도 되고, 공통의 메타데이터와 개별 메타데이터 양쪽에 저장되어도 된다. 또, 위치 정보의 개별 메타데이터, 속성 정보의 개별 메타데이터, 및, 공통의 메타데이터 중 어느 하나에 기재되어 있는지 여부를 나타내는 플래그를 사용해도 된다.

도 59는, 위치 정보의 복호 혹은 속성 정보의 복호에 있어서의 CABAC의 초기화에 관련된 처리의 일례를 나타내는 플로차트이다.

3차원 데이터 복호 장치는, 부호화 데이터를 해석하고, 위치 정보의 CABAC 초기화 플래그와, 속성 정보의 CABAC 초기화 플래그와, 컨텍스트 초기값을 취득한다(S5211).

다음에, 3차원 데이터 복호 장치는, 위치 정보의 CABAC 초기화 플래그가 1인지 여부를 판정한다(S5212).

3차원 데이터 복호 장치는, 위치 정보의 CABAC 초기화 플래그가 1인 경우(S5212에서 Yes), 위치 정보 부호화의 컨텍스트 초기값을 사용하여, 위치 정보 부호화의 CABAC 복호를 초기화한다(S5213).

한편, 3차원 데이터 복호 장치는, 위치 정보의 CABAC 초기화 플래그가 0인 경우(S5212에서 No), 위치 정보 부호화에 있어서 CABAC 복호를 초기화하지 않는다(S5214).

다음에, 3차원 데이터 복호 장치는, 속성 정보의 CABAC 초기화 플래그가 1인지 여부를 판정한다(S5215).

3차원 데이터 복호 장치는, 속성 정보의 CABAC 초기화 플래그가 1인 경우(S5215에서 Yes), 속성 정보 부호화의 컨텍스트 초기값을 사용하여, 속성 정보 부호화의 CABAC 복호를 초기화한다(S5216).

한편, 3차원 데이터 복호 장치는, 속성 정보의 CABAC 초기화 플래그가 0인 경우(S5215에서 No), 속성 정보 부호화에 있어서 CABAC 복호를 초기화하지 않는다(S5217).

또한, 도 59에 있어서의 플로차트에 있어서, 위치 정보에 관련된 처리와 속성 정보에 관련된 처리의 처리 순서는 반대여도 되고, 병렬이어도 된다.

또한, 도 59에 있어서의 플로차트는, 슬라이스 분할인 경우, 타일 분할인 경우, 어느 쪽에도 적용 가능하다.

다음에, 본 실시 형태에 따른 점군 데이터의 부호화 처리 및 복호 처리의 흐름에 대해서 설명한다. 도 60은, 본 실시 형태에 따른 점군 데이터의 부호화 처리의 플로차트이다.

우선, 3차원 데이터 부호화 장치는, 사용하는 분할 방법을 결정한다(S5221). 이 분할 방법은, 타일 분할을 행하는지 여부, 슬라이스 분할을 행하는지 여부를 포함한다. 또, 분할 방법은, 타일 분할 또는 슬라이스 분할을 행시하는 경우의 분할 수, 및, 분할의 종별 등을 포함해도 된다. 분할의 종별이란, 상술한 바와 같은 오브젝트 형상에 의거한 수법, 지도 정보 혹은 위치 정보에 의거한 수법, 또는, 데이터량 혹은 처리량에 의거한 수법 등이다. 또한, 분할 방법은, 미리 정해져 있어도 된다.

타일 분할이 행해지는 경우(S5222에서 Yes), 3차원 데이터 부호화 장치는, 위치 정보와 속성 정보를 타일 단위로 분할함으로써 복수의 타일 위치 정보 및 복수의 타일 속성 정보를 생성한다(S5223). 또, 3차원 데이터 부호화 장치는, 타일 분할에 관련된 타일 부가 정보를 생성한다.

슬라이스 분할이 행해지는 경우(S5224에서 Yes), 3차원 데이터 부호화 장치는, 복수의 타일 위치 정보 및 복수의 타일 속성 정보(또는 위치 정보 및 속성 정보)를 분할함으로써 복수의 분할 위치 정보 및 복수의 분할 속성 정보를 생성한다(S5225). 또, 3차원 데이터 부호화 장치는, 슬라이스 분할에 관련된 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보를 생성한다.

다음에, 3차원 데이터 부호화 장치는, 복수의 분할 위치 정보 및 복수의 분할 속성 정보 각각을 부호화함으로써, 복수의 부호화 위치 정보 및 복수의 부호화 속성 정보를 생성한다(S5226). 또, 3차원 데이터 부호화 장치는, 의존 관계 정보를 생성한다.

다음에, 3차원 데이터 부호화 장치는, 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부가 정보를 NAL 유닛화(다중화)함으로써 부호화 데이터(부호화 스트림)를 생성한다(S5227). 또, 3차원 데이터 부호화 장치는, 생성한 부호화 데이터를 송출한다.

도 61은, 타일의 분할(S5222) 또는 슬라이스의 분할(S5225)에 있어서, CABAC 초기화 플래그의 값을 결정하고, 부가 정보를 갱신하는 처리의 일례를 나타내는 플로차트이다.

단계 S5222, S5225에서는, 타일 및/또는 슬라이스의 위치 정보 및 속성 정보는, 각각의 방법으로 독립적으로 개별로 분할해도 되고, 공통적으로 일괄로 분할해도 된다. 이로 인해, 타일마다 및/또는 슬라이스마다 분할된 부가 정보가 생성된다.

이 때, 3차원 데이터 부호화 장치는, CABAC 초기화 플래그를 1로 설정할지 0으로 할지를 결정한다(S5231).

그리고, 3차원 데이터 부호화 장치는, 결정한 CABAC 초기화 플래그가 포함되도록 부가 정보를 갱신한다(S5232).

도 62는, 부호화(S5226)의 처리에 있어서, CABAC 초기화하는 처리의 일례를 나타내는 플로차트이다.

3차원 데이터 부호화 장치는, CABAC 초기화 플래그가 1인지 여부를 판정한다(S5241).

3차원 데이터 부호화 장치는, CABAC 초기화 플래그가 1인 경우(S5241에서 Yes), 디폴트 상태로 CABAC 부호화부를 재초기화한다(S5242).

그리고, 3차원 데이터 부호화 장치는, 부호화 처리의 정지 조건이 만족될 때까지, 예를 들면, 부호화 대상의 데이터가 없어질 때까지, 부호화 처리를 계속한다(S5243).

도 63은, 본 실시 형태에 따른 점군 데이터의 복호 처리의 플로차트이다. 우선, 3차원 데이터 복호 장치는, 부호화 데이터(부호화 스트림)에 포함되는, 분할 방법에 관련된 부가 정보(타일 부가 정보, 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보)를 해석함으로써, 분할 방법을 판정한다(S5251). 이 분할 방법은, 타일 분할을 행할지 여부, 슬라이스 분할을 행할지 여부를 포함한다. 또, 분할 방법은, 타일 분할 또는 슬라이스 분할을 행하는 경우의 분할 수, 및, 분할의 종별 등을 포함해도 된다.

다음에, 3차원 데이터 복호 장치는, 부호화 데이터에 포함되는 복수의 부호화 위치 정보 및 복수의 부호화 속성 정보를, 부호화 데이터에 포함되는 의존 관계 정보를 사용하여 복호함으로써 분할 위치 정보 및 분할 속성 정보를 생성한다(S5252).

부가 정보에 의해 슬라이스 분할이 행해지고 있는 것이 나타나는 경우(S5253에서 Yes), 3차원 데이터 복호 장치는, 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보에 의거하여, 복수의 분할 위치 정보와, 복수의 분할 속성 정보를 결합함으로써, 복수의 타일 위치 정보 및 복수의 타일 속성 정보를 생성한다(S5254).

부가 정보에 의해 타일 분할이 행해지고 있는 것이 나타나는 경우(S5255에서 Yes), 3차원 데이터 복호 장치는, 타일 부가 정보에 의거하여, 복수의 타일 위치 정보 및 복수의 타일 속성 정보(복수의 분할 위치 정보 및 복수의 분할 속성 정보)를 결합함으로써 위치 정보 및 속성 정보를 생성한다(S5256).

도 64는, 슬라이스마다 분할된 정보의 결합(S5254) 또는 타일마다 분할된 정보의 결합(S5256)에 있어서, CABAC 복호부를 초기화하는 처리의 일례를 나타내는 플로차트이다.

슬라이스 또는 타일의 위치 정보 및 속성 정보는, 각각의 방법을 사용하여 결합해도 되고, 동일한 방법으로 결합해도 된다.

3차원 데이터 복호 장치는, 부호화 스트림의 부가 정보로부터, CABAC 초기화 플래그를 복호한다(S5261).

다음에, 3차원 데이터 복호 장치는, CABAC 초기화 플래그가 1인지 여부를 판정한다(S5262).

3차원 데이터 복호 장치는, CABAC 초기화 플래그가 1인 경우(S5262에서 Yes), 디폴트 상태로 CABAC 복호부를 재초기화한다(S5263).

한편, 3차원 데이터 복호 장치는, CABAC 초기화 플래그가 1이 아닌 경우(S5262에서 No), CABAC 복호부를 재초기화하지 않고 단계 S5264로 나아간다.

그리고, 3차원 데이터 복호 장치는, 복호 처리의 정지 조건이 만족될 때까지, 예를 들면, 복호 대상의 데이터가 없어질 때까지, 복호 처리를 계속한다(S5264).

다음에, CABAC 초기화의 그 외의 판정 조건에 대해서 설명한다.

위치 정보의 부호화 혹은 속성 정보의 부호화를 초기화할지 여부는, 타일 혹은 슬라이스 등의 데이터 단위의 부호화 효율을 고려하여 판정해도 된다. 이 경우, 소정의 조건을 만족하는 타일 혹은 슬라이스의 선두 데이터에 있어서 CABAC를 초기화해도 된다.

다음에, 위치 정보의 부호화에 있어서의 CABAC 초기화의 판정 조건에 대해서 설명한다.

3차원 데이터 부호화 장치는, 예를 들면, 슬라이스마다, 점군 데이터의 밀도, 즉, 슬라이스에 속하는 단위 영역당 점의 수를 판정하고, 다른 슬라이스의 데이터 밀도와 당해 슬라이스의 데이터 밀도를 비교하여, 데이터 밀도의 변화가 소정의 조건을 넘지 않는 경우에는, CABAC 초기화하지 않는 편이 부호화 효율이 좋다고 판단하여, CABAC 초기화하지 않는다고 판단해도 된다. 한편, 3차원 데이터 부호화 장치는, 데이터 밀도의 변화가 소정의 조건을 만족하지 않는 경우, 초기화하는 편이 부호화 효율이 좋다고 판단하여, CABAC 초기화한다고 판단해도 된다.

여기서, 다른 슬라이스란, 예를 들면, 복호 처리 순서에서 1개 앞의 슬라이스여도 되고, 공간적으로 인접하는 슬라이스여도 된다. 또, 3차원 데이터 부호화 장치는, 다른 슬라이스의 데이터 밀도와 비교하지 않아도, 당해 슬라이스의 데이터 밀도가 소정의 데이터 밀도인지 여부에 따라, CABAC 초기화할지 여부를 판정해도 된다.

3차원 데이터 부호화 장치는, CABAC 초기화한다고 판정한 경우에는, 위치 정보의 부호화에 사용하는 컨텍스트 초기값을 결정한다. 컨텍스트 초기값은, 데이터 밀도에 따른 부호화 특성이 좋은 초기값으로 설정된다. 3차원 데이터 부호화 장치는, 미리 데이터 밀도에 대한 초기값 테이블을 유지하고, 테이블 중에서 최적의 초기값을 선택해도 된다.

또한, 3차원 데이터 부호화 장치는, 슬라이스의 밀도의 예로 한정하지 않고, 점의 수나, 점의 분포, 점의 치우침 등에 의거하여, CABAC 초기화할지 여부를 판정해도 된다. 혹은, 3차원 데이터 부호화 장치는, 점의 정보로부터 얻어지는 특징량이나 특징점의 수, 혹은 인식되는 오브젝트에 의거하여, CABAC 초기화할지 여부를 판정해도 된다. 그 경우, 판정 기준은, 미리, 점의 정보로부터 얻어지는 특징량 혹은 특징점의 수, 또는, 점의 정보에 의거하여 인식되는 오브젝트와 대응지어져 있는 테이블로서 메모리에 유지되어 있어도 된다.

3차원 데이터 부호화 장치는, 예를 들면, 지도 정보의 위치 정보에 있어서의 오브젝트를 판정하고, 위치 정보에 의거한 오브젝트에 의거하여, CABAC 초기화할지 여부를 판정해도 되고, 3차원 데이터를 2차원에 투영한 정보 혹은 특징량에 의거하여 CABAC 초기화할지 여부를 판정해도 된다.

다음에, 속성 정보의 부호화에 있어서의 CABAC 초기화의 판정 조건에 대해서 설명한다.

3차원 데이터 부호화 장치는, 예를 들면, 1개 앞의 슬라이스의 색의 특성과 당해 슬라이스의 색의 특성을 비교하여, 색의 특성의 변화가 소정의 조건을 만족하는 경우는, CABAC 초기화하지 않는 편이 부호화 효율이 좋다고 판단하여, CABAC 초기화하지 않는다고 판단해도 된다. 한편, 3차원 데이터 부호화 장치는, 색의 특성의 변화가 소정의 조건을 만족하지 않는 경우는, CABAC 초기화하는 편이 부호화 효율이 좋다고 판단하여 초기화한다고 판단해도 된다. 색의 특성이란, 예를 들면, 휘도, 색도, 채도, 이들의 히스토그램, 색의 연속성 등이다.

여기서, 다른 슬라이스란, 예를 들면, 복호 처리 순서에서 1개 앞의 슬라이스여도 되고, 공간적으로 인접하는 슬라이스여도 된다. 또, 3차원 데이터 부호화 장치는, 다른 슬라이스의 데이터 밀도와 비교하지 않아도, 당해 슬라이스의 데이터 밀도가 소정의 데이터 밀도인지 여부에 따라, CABAC 초기화할지 여부를 판정해도 된다.

3차원 데이터 부호화 장치는, CABAC 초기화한다고 판정한 경우에는, 속성 정보의 부호화에 사용하는 컨텍스트 초기값을 결정한다. 컨텍스트 초기값은, 데이터 밀도에 따른 부호화 특성이 좋은 초기값으로 설정된다. 3차원 데이터 부호화 장치는, 미리 데이터 밀도에 대한 초기값 테이블을 유지하고, 테이블 중에서 최적의 초기값을 선택해도 된다.

3차원 데이터 부호화 장치는, 속성 정보가 반사율인 경우는, 반사율에 의거한 정보에 따라 CABAC 초기화할지 여부를 판정해도 된다.

3차원 데이터 부호화 장치는, 3차원 점에 복수의 속성 정보가 있는 경우, 속성 정보마다 독립적으로, 각각의 속성 정보에 의거한 초기화 정보를 결정해도 되고, 혹은, 어느 한쪽의 속성 정보에 의거하여, 복수의 속성 정보의 초기화 정보를 결정해도 되고, 복수의 속성 정보를 사용하여 당해 복수의 속성 정보의 초기화 정보를 결정해도 된다.

위치 정보의 초기화 정보는 위치 정보에 의거하여 결정하고, 속성 정보의 초기화 정보는 속성 정보에 의거하여 결정하는 예를 설명했는데, 위치 정보에 의거하여, 위치 정보 및 속성 정보의 초기화 정보를 결정해도 되고, 속성 정보에 의거하여, 위치 정보 및 속성 정보의 초기화 정보를 결정해도 되고, 양쪽 정보에 의거하여, 위치 정보 및 속성 정보의 초기화 정보를 결정해도 된다.

3차원 데이터 부호화 장치는, 예를 들면, cabac＿init＿flag를 on 또는 off로 설정하거나, 초기값 테이블 중에서 1 이상의 초기값을 사용함으로써, 미리 부호화 효율을 시뮬레이트 한 결과에 의거하여, 초기화 정보를 결정해도 된다.

3차원 데이터 부호화 장치는, 슬라이스 또는 타일 등으로의 데이터 분할 방법을 위치 정보 또는 속성 정보에 의거하여 결정한 경우, 분할 방법의 결정에 의거한 정보와 같은 정보에 의거하여 초기화 정보를 결정해도 된다.

도 65는, 타일 및 슬라이스의 예를 나타내는 도면이다.

예를 들면, PCC 데이터의 일부를 갖는 1개의 타일에 있어서의 슬라이스는, 범례에 나타나 있는 바와 같이 식별된다. CABAC 초기화 플래그는, 연속하는 슬라이스에 있어서 컨텍스트의 재초기화가 필요한지 여부의 판정에 사용할 수 있다. 예를 들면, 도 65에 있어서, 하나의 타일 중에, 오브젝트(이동체, 보도, 건물, 나무, 그 외의 오브젝트)마다 분할된 슬라이스 데이터가 포함되는 경우, 이동체, 보도, 나무의 슬라이스의 CABAC 초기화 플래그는 1로 설정되고, 건물이나 그 외의 슬라이스의 CABAC 초기화 플래그는 0으로 설정된다. 이는, 예를 들면, 보도와 건물이, 양쪽 모두 조밀한 영구 구조이며 동일한 부호화 효율을 가질 가능성이 있는 경우, 보도와 건물의 슬라이스 사이에서 CABAC를 재초기화하지 않음으로써 부호화 효율을 향상시킬 수 있을 가능성이 있다. 한편, 건물과 나무에서, 밀도 및 부호화 효율이 크게 상이할 가능성이 있는 경우, 건물과 나무의 슬라이스 사이에서 CABAC를 초기화함으로써 부호화 효율을 향상시킬 수 있을 가능성이 있다.

도 66은, CABAC의 초기화 및 컨텍스트 초기값의 결정 방법의 일례를 나타내는 플로차트이다.

우선, 3차원 데이터 부호화 장치는, 위치 정보로부터 판정한 오브젝트에 의거하여, 점군 데이터를 슬라이스로 분할한다(S5271).

다음에, 3차원 데이터 부호화 장치는, 슬라이스마다, 당해 슬라이스의 오브젝트의 데이터 밀도에 의거하여, 위치 정보의 부호화와 속성 정보의 부호화의 CABAC 초기화할지 여부를 판정한다(S5272). 즉, 3차원 데이터 부호화 장치는, 위치 정보에 의거하여, 위치 정보의 부호화와 속성 정보의 부호화의 CABAC 초기화 정보(CABAC 초기화 플래그)를 결정한다. 3차원 데이터 부호화 장치는, 예를 들면, 점군 데이터 밀도로, 부호화 효율이 좋은 초기화를 판정한다. 또한, CABAC 초기화 정보는, 위치 정보와 속성 정보에서 공통의 cabac＿init＿flag에 나타나도 된다.

다음에, 3차원 데이터 부호화 장치는, CABAC 초기화한다고 판정한 경우(S5273에서 Yes), 위치 정보의 부호화의 컨텍스트 초기값을 결정한다(S5274).

다음에, 3차원 데이터 부호화 장치는, 속성 정보의 부호화의 컨텍스트 초기값을 결정한다(S5275).

다음에, 3차원 데이터 부호화 장치는, 위치 정보의 CABAC 초기화 플래그를 1로 설정하고, 위치 정보의 컨텍스트 초기값을 설정함과 더불어, 속성 정보의 CABAC 초기화 플래그를 1로 설정하고, 속성 정보의 컨텍스트 초기값을 설정한다(S5276). 또한, CABAC 초기화하는 경우, 3차원 데이터 부호화 장치는, 위치 정보의 부호화 및 속성 정보의 부호화 각각에 있엇어, 컨텍스트 초기값을 사용하여 초기화 처리를 실시한다

한편, 3차원 데이터 부호화 장치는, CABAC 초기화하지 않는다고 판정한 경우(S5273에서 No), 위치 정보의 CABAC 초기화 플래그를 0으로 설정하고, 속성 정보의 CABAC 초기화 플래그를 0으로 설정한다(S5277).

도 67은, LiDAR에서 얻어진 점군 데이터를 상면에서 본 지도를 타일로 분할한 경우의 예를 나타내는 도면이다. 도 68은, CABAC 초기화 및 컨텍스트 초기값의 결정 방법의 다른 일례를 나타내는 플로차트이다.

3차원 데이터 부호화 장치는, 대규모 지도 데이터에 있어서, 위치 정보에 의거하여, 상면에서 보았을 때의 2차원의 분할 방법으로, 점군 데이터를 1 이상의 타일로 분할한다(S5281). 3차원 데이터 부호화 장치는, 예를 들면, 도 67에 나타내는 정사각형의 영역으로 분할해도 된다. 또, 3차원 데이터 부호화 장치는, 점군 데이터를, 다양한 형상, 크기의 타일로 분할해도 된다. 타일의 분할은, 미리 정해진 1 이상의 방법으로 행해져도 되고, 적응적으로 행해져도 된다.

다음에, 3차원 데이터 부호화 장치는, 타일마다, 타일 내의 오브젝트를 판정하고, 당해 타일의 위치 정보의 부호화 또는 속성 정보의 부호화로, CABAC 초기화할지 여부를 판정한다(S5282). 또한, 3차원 데이터 부호화 장치는, 슬라이스 분할의 경우는, 오브젝트(나무, 사람, 이동체, 건물)를 인식하고, 오브젝트에 따라 슬라이스 분할 및 초기값의 판정을 한다.

3차원 데이터 부호화 장치는, CABAC 초기화한다고 판정한 경우(S5283에서 Yes), 위치 정보의 부호화의 컨텍스트 초기값을 결정한다(S5284).

다음에, 3차원 데이터 부호화 장치는, 속성 정보의 부호화의 컨텍스트 초기값을 결정한다(S5285).

단계 S5284 및 S5285에서는, 초기값으로서, 특정 부호화 특성을 갖는 타일의 초기값을 기억해 두고, 동일한 부호화 특성을 갖는 타일의 초기값으로서 사용해도 된다.

다음에, 3차원 데이터 부호화 장치는, 위치 정보의 CABAC 초기화 플래그를 1로 설정하고, 위치 정보의 컨텍스트 초기값을 설정함과 더불어, 속성 정보의 CABAC 초기화 플래그를 1로 설정하고, 속성 정보의 컨텍스트 초기값을 설정한다(S5286). 또한, CABAC 초기화하는 경우, 3차원 데이터 부호화 장치는, 위치 정보의 부호화 및 속성 정보의 부호화 각각에 있어서, 컨텍스트 초기값을 사용하여 초기화 처리를 실시한다.

한편, 3차원 데이터 부호화 장치는, CABAC 초기화하지 않는다고 판정한 경우(S5283에서 No), 위치 정보의 CABAC 초기화 플래그를 0으로 설정하고, 속성 정보의 CABAC 초기화 플래그를 0으로 설정한다(S5287).

(실시 형태 7)

이하, 양자화 파라미터에 대해서 설명한다.

점군 데이터의 특성 및 위치에 의거하여 점군 데이터를 분할하기 위해, 슬라이스 및 타일이 사용된다. 여기서, 하드웨어의 제한, 및, 실시간 처리의 요건에 따라, 각각의 분할된 점군 데이터에 요구되는 품질이 상이한 경우가 있다. 예를 들면, 오브젝트마다 슬라이스로 분할하여 부호화하는 경우, 식물을 포함하는 슬라이스 데이터는, 그만큼 중요하지 않기 때문에, 양자화함으로써 해상도(품질)를 떨어뜨릴 수 있다. 한편, 중요한 슬라이스 데이터는 양자화의 값을 낮은 값으로 설정함으로써 높은 해상도(품질)로 할 수 있다. 이러한 양자화값의 컨트롤을 가능하게 하기 위해 양자화 파라미터가 사용된다.

여기서, 양자화의 대상이 되는 데이터와, 양자화에 사용되는 스케일과, 양자화에 의해 산출되는 결과인 양자화 데이터는, 이하의 (식 G1)과 (식 G2)로 표시된다.

양자화 데이터=데이터/스케일 (식 G1)

데이터=양자화 데이터*스케일 (식 G2)

도 69는, 데이터를 양자화하는 양자화부(5323), 및, 양자화 데이터를 역양자화하는 역양자화부(5333)의 처리에 대해서 설명하기 위한 도면이다.

양자화부(5323)는, 스케일을 사용하여 데이터를 양자화하는, 즉, 식 G1을 사용하는 처리를 행함으로써, 데이터가 양자화된 양자화 데이터를 산출한다.

역양자화부(5333)는, 스케일을 사용하여 양자화 데이터를 역양자화하는, 즉, 식 G2를 사용하는 처리를 행함으로써, 양자화 데이터가 역양자화된 데이터를 산출한다.

또, 스케일과, 양자화값(QP(Quantization Parameter)값)은, 이하의 (식 G3)으로 표시된다.

양자화값(QP값)=log(스케일) (식 G3)

양자화값(QP값)=디폴트값(기준값)＋양자화 델타(차분 정보) (식 G4)

또, 이들 파라미터를 총칭하여 양자화 파라미터(Quantization Parameter)라고 부른다.

예를 들면, 도 70에 나타나는 바와 같이, 양자화값은, 디폴트값을 기준으로 한 값이며, 디폴트값에 양자화 델타를 가산함으로써 산출된다. 양자화값이 디폴트값보다 작은 값인 경우에는, 양자화 델타는 음의 값이 된다. 양자화값이 디폴트값보다 큰 값인 경우에는, 양자화 델타는 양의 값이 된다. 양자화값이 디폴트값과 동일한 경우에는, 양자화 델타는 0이 된다. 양자화 델타가 0인 경우, 양자화 델타는, 없어도 된다.

부호화 처리에 대해서 설명한다. 도 71은, 본 실시 형태에 따른 3차원 데이터 부호화 장치에 포함되는 제1 부호화부(5300)의 구성을 나타내는 블록도이다. 도 72는, 본 실시 형태에 따른 분할부(5301)의 구성을 나타내는 블록도이다. 도 73은, 본 실시 형태에 따른 위치 정보 부호화부(5302) 및 속성 정보 부호화부(5303)의 구성을 나타내는 블록도이다.

제1 부호화부(5300)는, 점군 데이터를 제1 부호화 방법(GPCC(Geometry based PCC))으로 부호화함으로써 부호화 데이터(부호화 스트림)를 생성한다. 이 제1 부호화부(5300)는, 분할부(5301)와, 복수의 위치 정보 부호화부(5302)와, 복수의 속성 정보 부호화부(5303)와, 부가 정보 부호화부(5304)와, 다중화부(5305)를 포함한다.

분할부(5301)는, 점군 데이터를 분할함으로써 복수의 분할 데이터를 생성한다. 구체적으로는, 분할부(5301)는, 점군 데이터의 공간을 복수의 서브 공간으로 분할함으로써 복수의 분할 데이터를 생성한다. 여기서 서브 공간이란, 타일 및 슬라이스 중 한쪽, 또는 타일 및 슬라이스의 조합이다. 보다 구체적으로는, 점군 데이터는, 위치 정보, 속성 정보, 및 부가 정보를 포함한다. 분할부(5301)는, 위치 정보를 복수의 분할 위치 정보로 분할하고, 속성 정보를 복수의 분할 속성 정보로 분할한다. 또, 분할부(5301)는, 분할에 관련된 부가 정보를 생성한다.

분할부(5301)는, 도 72에 나타내는 바와 같이, 타일 분할부(5311)와, 슬라이스 분할부(5312)를 포함한다. 예를 들면, 타일 분할부(5311)는, 점군을 타일로 분할한다. 타일 분할부(5311)는, 분할한 각 타일에 사용하는 양자화값을 타일 부가 정보로서 결정해도 된다.

슬라이스 분할부(5312)는, 타일 분할부(5311)에 의해 얻어진 타일을, 추가로 슬라이스로 분할한다. 슬라이스 분할부(5312)는, 분할한 각 슬라이스에 사용하는 양자화값을 슬라이스 부가 정보로서 결정해도 된다.

복수의 위치 정보 부호화부(5302)는, 복수의 분할 위치 정보를 부호화함으로써 복수의 부호화 위치 정보를 생성한다. 예를 들면, 복수의 위치 정보 부호화부(5302)는, 복수의 분할 위치 정보를 병렬 처리한다.

위치 정보 부호화부(5302)는, 도 73에 나타내는 바와 같이, 양자화값 산출부(5321)와, 엔트로피 부호화부(5322)를 포함한다. 양자화값 산출부(5321)는, 부호화되는 분할 위치 정보의 양자화값(양자화 파라미터)을 취득한다. 엔트로피 부호화부(5322)는, 양자화값 산출부(5321)에 의해 취득된 양자화값(양자화 파라미터)을 사용하여, 분할 위치 정보를 양자화함으로써, 양자화 위치 정보를 산출한다.

복수의 속성 정보 부호화부(5303)은, 복수의 분할 속성 정보를 부호화함으로써 복수의 부호화 속성 정보를 생성한다. 예를 들면, 복수의 속성 정보 부호화부(5303)는, 복수의 분할 속성 정보를 병렬 처리한다.

속성 정보 부호화부(5303)는, 도 73에 나타내는 바와 같이, 양자화값 산출부(5331)와, 엔트로피 부호화부(5332)를 포함한다. 양자화값 산출부(5331)는, 부호화되는 분할 속성 정보의 양자화값(양자화 파라미터)을 취득한다. 엔트로피 부호화부(5332)는, 양자화값 산출부(5331)에 의해 취득된 양자화값(양자화 파라미터)을 사용하여, 분할 속성 정보를 양자화함으로써, 양자화 속성 정보를 산출한다.

부가 정보 부호화부(5304)는, 점군 데이터에 포함되는 부가 정보와, 분할부(5301)에서 분할 시에 생성된, 데이터 분할에 관련된 부가 정보를 부호화함으로써 부호화 부가 정보를 생성한다.

다중화부(5305)는, 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부호화 부가 정보를 다중화함으로써 부호화 데이터(부호화 스트림)를 생성하고, 생성한 부호화 데이터를 송출한다. 또, 부호화 부가 정보는 복호 시에 사용된다.

또한, 도 71에서는, 위치 정보 부호화부(5302) 및 속성 정보 부호화부(5303)의 수가 각각 2개인 예를 나타내고 있는데, 위치 정보 부호화부(5302) 및 속성 정보 부호화부(5303)의 수는, 각각 1개여도 되고, 3개 이상이어도 된다. 또, 복수의 분할 데이터는, CPU 내의 복수 코어와 같이 동일 팁 내에서 병렬 처리되어도 되고, 복수의 팁의 코어로 병렬 처리되어도 되고, 복수 팁의 복수 코어로 병렬 처리되어도 된다.

다음에, 복호 처리에 대해서 설명한다. 도 74는, 제1 복호부(5340)의 구성을 나타내는 블록도이다. 도 75는, 위치 정보 복호부(5342) 및 속성 정보 복호부(5343)의 구성을 나타내는 블록도이다.

제1 복호부(5340)는, 점군 데이터가 제1 부호화 방법(GPCC)으로 부호화됨으로써 생성된 부호화 데이터(부호화 스트림)를 복호함으로써 점군 데이터를 복원한다. 이 제1 복호부(5340)는, 역다중화부(5341)와, 복수의 위치 정보 복호부(5342)와, 복수의 속성 정보 복호부(5343)와, 부가 정보 복호부(5344)와, 결합부(5345)를 포함한다.

역다중화부(5341)는, 부호화 데이터(부호화 스트림)를 역다중화함으로써 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부호화 부가 정보를 생성한다.

복수의 위치 정보 복호부(5342)는, 복수의 부호화 위치 정보를 복호함으로써 복수의 양자화 위치 정보를 생성한다. 예를 들면, 복수의 위치 정보 복호부(5342)는, 복수의 부호화 위치 정보를 병렬 처리한다.

위치 정보 복호부(5342)는, 도 75에 나타내는 바와 같이, 양자화값 산출부(5351)와, 엔트로피 복호부(5352)를 포함한다. 양자화값 산출부(5351)는, 양자화 위치 정보의 양자화값을 취득한다. 엔트로피 복호부(5352)는, 양자화값 산출부(5351)에 의해 취득된 양자화값을 사용하여, 양자화 위치 정보를 역양자화함으로써, 위치 정보를 산출한다.

복수의 속성 정보 복호부(5343)는, 복수의 부호화 속성 정보를 복호함으로써 복수의 분할 속성 정보를 생성한다. 예를 들면, 복수의 속성 정보 복호부(5343)는, 복수의 부호화 속성 정보를 병렬 처리한다.

속성 정보 복호부(5343)는, 도 75에 나타내는 바와 같이, 양자화값 산출부(5361)와, 엔트로피 복호부(5362)를 포함한다. 양자화값 산출부(5361)는, 양자화 속성 정보의 양자화값을 취득한다. 엔트로피 복호부(5362)는, 양자화값 산출부(5361)에 의해 취득된 양자화값을 사용하여, 양자화 속성 정보를 역양자화함으로써, 속성 정보를 산출한다.

복수의 부가 정보 복호부(5344)는, 부호화 부가 정보를 복호함으로써 부가 정보를 생성한다.

결합부(5345)는, 부가 정보를 사용하여 복수의 분할 위치 정보를 결합함으로써 위치 정보를 생성한다. 결합부(5345)는, 부가 정보를 사용하여 복수의 분할 속성 정보를 결합함으로써 속성 정보를 생성한다. 예를 들면, 결합부(5345)는, 우선, 슬라이스 부가 정보를 사용하여, 슬라이스에 대한 복호된 점군 데이터를 결합함으로써 타일에 대응하는 점군 데이터를 생성한다. 다음에, 결합부(5345)는, 타일 부가 정보를 사용하여, 타일에 대응하는 점군 데이터를 결합함으로써 원래의 점군 데이터를 복원한다.

또한, 도 74에서는, 위치 정보 복호부(5342) 및 속성 정보 복호부(5343)의 수가 각각 2개인 예를 나타내고 있는데, 위치 정보 복호부(5342) 및 속성 정보 복호부(5343)의 수는, 각각 1개여도 되고, 3개 이상이어도 된다. 또, 복수의 분할 데이터는, CPU 내의 복수 코어와 같이 동일 팁 내에서 병렬 처리되어도 되고, 복수의 팁의 코어로 병렬 처리되어도 되고, 복수 팁의 복수 코어로 병렬 처리되어도 된다.

［양자화 파라미터의 결정 방법］

도 76은, 위치 정보(Geometry)의 부호화 혹은 속성 정보(Attribute)의 부호화에 있어서의 양자화값(Quantization Parameter값：QP값)의 결정에 관한 처리의 일례를 나타내는 플로차트이다.

QP값은, 예를 들면 PCC 프레임을 구성하는 위치 정보의 데이터 단위마다, 혹은 속성 정보의 데이터 단위마다 부호화 효율을 고려하여 결정된다. 데이터 단위가 분할된 타일 단위, 혹은, 분할된 슬라이스 단위인 경우에는, QP값은, 분할의 데이터 단위의 부호화 효율을 고려하여, 분할의 데이터 단위로 결정된다. 또, QP값은, 분할 전의 데이터 단위로 결정되어도 된다.

도 76에 나타내는 바와 같이, 3차원 데이터 부호화 장치는, 위치 정보의 부호화에 사용하는 QP값을 결정한다(S5301). 3차원 데이터 부호화 장치는, QP값의 결정을, 분할된 복수의 슬라이스마다, 소정의 방법에 의거하여 행해도 된다. 구체적으로는, 3차원 데이터 부호화 장치는, 위치 정보의 데이터의 특징 또는 품질에 의거하여, QP값을 결정한다. 3차원 데이터 부호화 장치는, 예를 들면, 데이터 단위마다, 점군 데이터의 밀도, 즉, 슬라이스에 속하는 단위 영역당 점의 수를 판정하고, 점군 데이터의 밀도에 대응하는 값을 QP값으로서 결정해도 된다. 혹은, 3차원 데이터 부호화 장치는, 점군 데이터의 점의 수, 점의 분포, 점의 치우침, 또는, 점의 정보로부터 얻어지는 특징량, 특징점의 수, 혹은 인식되는 오브젝트에 의거하여, 대응하는 값을 QP값으로서 결정해도 된다. 또, 3차원 데이터 부호화 장치는, 지도의 위치 정보에 있어서의 오브젝트를 판정하고, 위치 정보에 의거한 오브젝트에 의거하여 QP값을 결정해도 되고, 3차원 점군을 2차원에 투영한 정보 혹은 특징량에 의거하여 QP값을 결정해도 된다. 대응하는 QP값은, 미리, 점군 데이터의 밀도, 점의 수, 점의 분포, 또는 점의 치우침과 대응지어져 있는 테이블로서 메모리에 유지되어 있어도 된다. 또, 대응하는 QP값은, 미리, 점의 정보로부터 얻어지는 특징량 혹은 특징점의 수, 또는, 점의 정보에 의거하여 인식되는 오브젝트와 대응지어져 있는 테이블로서 메모리에 유지되어 있어도 된다. 또, 대응하는 QP값은, 점군 데이터의 위치 정보를 부호화할 때에, 다양한 QP값으로 부호화율 등을 시뮬레이션한 결과에 의거하여 결정되어도 된다.

다음에, 3차원 데이터 부호화 장치는, 위치 정보의 QP값의 기준값(디폴트값) 및 차분 정보(양자화 델타)를 결정한다(S5302). 3차원 데이터 부호화 장치는, 구체적으로는, 결정한 QP값 및 소정의 방법을 사용하여, 전송하는 기준값 및 차분 정보를 결정하고, 결정한 기준값 및 차분 정보를, 부가 정보 및 데이터의 헤더 중 적어도 한쪽에 설정(추가)한다.

다음에, 3차원 데이터 부호화 장치는, 속성 정보의 부호화에 사용하는 QP값을 결정한다(S5303). 3차원 데이터 부호화 장치는, QP값의 결정을, 분할된 복수의 슬라이스마다, 소정의 방법에 의거하여 행해도 된다. 구체적으로는, 3차원 데이터 부호화 장치는, 속성 정보의 데이터의 특징 또는 품질에 의거하여, QP값을 결정한다. 3차원 데이터 부호화 장치는, 예를 들면, 데이터 단위마다, 속성 정보의 특성에 의거하여, QP값을 결정해도 된다. 색의 특성이란, 예를 들면, 휘도, 색도, 채도, 이들의 히스토그램, 색의 연속성 등이다. 속성 정보가 반사율인 경우는, 반사율에 의거한 정보에 따라 판정해도 된다. 3차원 데이터 부호화 장치는, 예를 들면, 점군 데이터로부터 오브젝트로서 얼굴을 검출한 경우, 얼굴을 검출한 오브젝트를 구성하는 점군 데이터에 대해, 품질이 좋은 QP값을 결정해도 된다. 이와 같이, 3차원 데이터 부호화 장치는, 오브젝트의 종류에 따라, 오브젝트를 구성하는 점군 데이터에 대한 QP값을 결정해도 된다.

또, 3차원 데이터 부호화 장치는, 3차원 점에 복수의 속성 정보가 있는 경우, 속성 정보마다 독립적으로, 각각의 속성 정보에 의거한 QP값을 결정해도 되고, 혹은, 어느 한쪽의 속성 정보에 의거하여, 복수의 속성 정보의 QP값을 결정해도 되고, 복수의 속성 정보를 사용하여 당해 복수의 속성 정보의 QP값을 결정해도 된다.

다음에, 3차원 데이터 부호화 장치는, 속성 정보의 QP값의 기준값(디폴트값) 및 차분 정보(양자화 델타)를 결정한다(S5304). 3차원 데이터 부호화 장치는, 구체적으로는, 결정한 QP값 및 소정의 방법을 사용하여, 전송하는 기준값 및 차분 정보를 결정하고, 결정한 기준값 및 차분 정보를, 부가 정보 및 데이터의 헤더 중 적어도 한쪽에 설정(추가)한다.

그리고, 3차원 데이터 부호화 장치는, 각각, 결정된 위치 정보 및 속성 정보의 QP값에 의거하여, 위치 정보 및 속성 정보를 양자화하고, 부호화한다(S5305).

또한, 위치 정보의 QP값은, 위치 정보에 의거하여 결정되고, 속성 정보의 QP값은, 속성 정보에 의거하여 결정되는 예를 설명했는데, 이것으로 한정되지 않는다. 예를 들면, 위치 정보 및 속성 정보의 QP값은, 위치 정보에 의거하여 결정되어도 되고, 속성 정보에 의거하여 결정되어도 되고, 위치 정보 및 속성 정보에 의거하여 결정되어도 된다.

또한, 위치 정보 및 속성 정보의 QP값은, 점군 데이터에 있어서의, 위치 정보의 품질과 속성 정보의 품질의 밸런스를 고려하여 조정되어도 된다. 예를 들면, 위치 정보 및 속성 정보의 QP값은, 위치 정보의 품질이 높게 설정되며, 또한, 속성 정보의 품질이 위치 정보의 품질보다 낮게 설정되도록 결정되어도 된다. 예를 들면, 속성 정보의 QP값은, 위치 정보의 QP값 이상이라는 제약된 조건을 만족하도록 결정되어도 된다.

또, QP값은, 부호화 데이터가 미리 정해진 소정 레이트의 범위 내에 들어가도록 부호화되도록 조정되어도 된다. QP값은, 예를 들면, 1개 앞의 데이터 단위의 부호화로 부호량이 소정 레이트를 넘을 것 같은 경우, 즉, 소정 레이트까지의 차가 제1 차분 미만인 경우, 데이터 단위의 부호량이 제1 차분 미만이 되도록 부호화 품질이 저하되도록 조정되어도 된다. 한편, QP값은, 소정 레이트까지의 차가, 제1 차분보다 큰 제2 차분보다 크고, 충분히 큰 차가 있는 경우, 데이터 단위의 부호화 품질이 향상되도록 조정되어도 된다. 데이터 단위 사이의 조정은, 예를 들면 PCC 프레임 사이여도 되고, 타일 사이나 슬라이스 사이여도 된다. 속성 정보의 QP값의 조정은, 위치 정보의 부호화의 레이트에 의거하여 조정되어도 된다.

또한, 도 76에 있어서의 플로차트에 있어서, 위치 정보에 관련된 처리와 속성 정보에 관련된 처리의 처리 순서는, 반대여도 되고, 병렬이어도 된다.

또한, 도 76에 있어서의 플로차트에서는, 슬라이스 단위의 처리를 예로 하고 있는데, 타일 단위나, 그 외의 데이터 단위로의 처리인 경우도 슬라이스 단위와 동일하게 처리할 수 있다. 즉, 도 76의 플로차트의 슬라이스는, 타일 또는 다른 데이터 단위로 대체할 수 있다.

도 77은, 위치 정보 및 속성 정보의 복호 처리의 일례를 나타내는 플로차트이다.

도 77에 나타내는 바와 같이, 3차원 데이터 복호 장치는, 위치 정보의 QP값을 나타내는 기준값 및 차분 정보와, 속성 정보의 QP값을 나타내는 기준값 및 차분 정보를 취득한다(S5311). 구체적으로는, 3차원 데이터 복호 장치는, 전송되는 메타데이터, 부호화 데이터의 헤더 중 어느 한쪽 또는 양쪽을 해석하고, QP값을 도출하기 위한 기준값 및 차분 정보를 취득한다.

다음에, 3차원 데이터 복호 장치는, 취득한 기준값 및 차분 정보를 사용하여, 소정의 방법에 의거하여, QP값을 도출한다(S5312).

그리고, 3차원 데이터 복호 장치는, 양자화 위치 정보를 취득하고, 도출된 QP값을 사용하여 양자화 위치 정보를 역양자화함으로써, 위치 정보를 복호한다(S5313).

다음에, 3차원 데이터 복호 장치는, 양자화 속성 정보를 취득하고, 도출된 QP값을 사용하여 양자화 속성 정보를 역양자화함으로써, 속성 정보를 복호한다(S5314).

다음에, 양자화 파라미터의 전송 방법에 대해서 설명한다.

도 78은, 양자화 파라미터의 전송 방법의 제1 예에 대해서 설명하기 위한 도면이다. 도 78의 (a)는, QP값의 관계의 일례를 나타내는 도면이다.

도 78에 있어서, Q_G 및 Q_A는, 각각, 위치 정보의 부호화에 사용하는 QP값의 절대값, 및, 속성 정보의 부호화에 사용하는 QP값의 절대값을 나타낸다. Q_G는, 복수의 3차원 점 각각의 위치 정보를 양자화하기 위해 사용되는 제1 양자화 파라미터의 일례이다. 또, Δ(Q_A, Q_G)는, Q_A의 도출에 사용하는 Q_G와의 차분을 나타내는 차분 정보를 나타낸다. 즉, Q_A는, Q_G와 Δ(Q_A, Q_G)를 사용하여 도출된다. 이와 같이, QP값은, 기준값(절대값)과 차분 정보(상대값)로 나누어 전송된다. 또, 복호에서는, 전송된 기준값 및 차분 정보로부터 원하는 QP값을 도출한다.

예를 들면, 도 78의 (a)에서는, 절대값 Q_G와 차분 정보 Δ(Q_A, Q_G)가 전송되고, 복호에서는, 하기의 (식 G5)에서 나타내는 바와 같이, Q_A는, Q_G에 Δ(Q_A, Q_G)를 가산함으로써 도출된다.

Q_A=Q_G＋Δ(Q_A, Q_G) (식 G5)

도 78의 (b) 및 (c)를 사용하여 위치 정보 및 속성 정보로 이루어지는 점군 데이터를 슬라이스 분할하는 경우의 QP값의 전송 방법을 설명한다. 도 78의 (b)는, 각 QP값의 기준값과 차분 정보의 관계의 제1 예를 나타내는 도면이다. 도 78의 (c)는, QP값, 위치 정보, 및, 속성 정보의 전송 순서의 제1 예를 나타내는 도면이다.

QP값은, 위치 정보마다, 및, 속성 정보마다, 크게, PCC의 프레임 단위의 QP값(프레임 QP)과, 데이터 단위의 QP값(데이터 QP)으로 나누어져 있다. 데이터 단위의 QP값은, 도 76의 단계 S5301에서 결정한, 부호화에 사용하는 QP값이다.

여기에서는, PCC 프레임 단위의 위치 정보의 부호화에 사용하는 QP값인 Q_G를 기준값으로 하고, 데이터 단위의 QP값을 Q_G로부터의 차분을 나타내는 차분 정보로서 생성하고, 송출한다.

Q_G： PCC 프레임에 있어서의 위치 정보의 부호화의 QP값···GPS를 사용하여 기준값 「1.」로서 송출됨

Q_A： PCC 프레임에 있어서의 속성 정보의 부호화의 QP값···APS를 사용하여 Q_G로부터의 차분을 나타내는 차분 정보 「2.」로서 송출됨

Q_Gs1, Q_Gs2： 슬라이스 데이터에 있어서의 위치 정보의 부호화의 QP값…위치 정보의 부호화 데이터의 헤더를 사용하여, Q_G로부터의 차분을 나타내는 차분 정보 「3.」 및 「5.」로서 송출됨

Q_As1, Q_As2： 슬라이스 데이터에 있어서의 속성 정보의 부호화의 QP값…속성 정보의 부호화 데이터의 헤더를 사용하여, Q_A로부터의 차분을 나타내는 차분 정보 「4.」 및 「6.」으로서 송출됨

또한, 프레임 QP의 도출에 사용하는 정보는, 프레임에 관련된 메타데이터(GPS, APS)에 기재되고, 데이터 QP의 도출에 사용하는 정보는, 데이터에 관련된 메타데이터(부호화 데이터의 헤더)에 기재된다.

이와 같이, 데이터 QP는, 프레임 QP로부터의 차분을 나타내는 차분 정보로서 생성되고, 송출된다. 따라서, 데이터 QP의 데이터량을 삭감할 수 있다.

제1 복호부(5340)는, 각각의 부호화 데이터에 있어서, 도 78의 (c)의 화살표로 나타낸 메타데이터를 참조하여, 당해 부호화 데이터에 대응하는 기준값 및 차분 정보를 취득한다. 그리고, 제1 복호부(5340)는, 취득한 기준값 및 차분 정보에 의거하여, 복호 대상의 부호화 데이터에 대응하는 QP값을 도출한다.

제1 복호부(5340)는, 예를 들면, 도 78의 (c)에 있어서 화살표로 나타낸 기준 정보 「1.」 및 차분 정보 「2.」, 「6.」을 메타데이터 혹은 헤더로부터 취득하고, 하기의 (식 G6)으로 나타내는 바와 같이, 기준 정보 「1.」에 차분 정보 「2.」 및 「6.」을 가산함으로써, A_s2의 QP값을 도출한다.

Q_AS2=Q_G＋Δ(Q_A, Q_G)＋Δ(Q_As2, Q_A) (식 G6)

점군 데이터는, 위치 정보와 0 이상의 속성 정보를 포함한다. 즉, 점군 데이터는, 속성 정보를 갖지 않는 경우도 있다면, 복수의 속성 정보를 갖는 경우도 있다.

예를 들면, 1개의 3차원 점에 대해, 속성 정보로서, 색 정보를 갖는 경우, 색 정보와 반사 정보를 갖는 경우, 1 이상의 시점 정보에 각각 관련지어진 1 이상의 색 정보를 갖는 경우 등이 있다.

여기서, 2개의 색 정보, 및 반사 정보를 갖는 경우의 예에 대해서, 도 79를 사용하여 설명한다. 도 79는, 양자화 파라미터의 전송 방법의 제2 예에 대해서 설명하기 위한 도면이다. 도 79의 (a)는, 각 QP값의 기준값과 차분 정보의 관계의 제2 예를 나타내는 도면이다. 도 79의 (b)는, QP값, 위치 정보, 및, 속성 정보의 전송 순서의 제2 예를 나타내는 도면이다.

Q_G는, 도 78과 마찬가지로, 제1 양자화 파라미터의 일례이다.

2개의 색 정보 각각은, 휘도(루마) Y와 색차(크로마) Cb, Cr로 나타난다. 제1 색의 휘도 Y1의 부호화에 사용하는 QP값인 Q_Y1은, 기준값인 Q_G와, 그 차분을 나타내는 Δ(Q_Y1, Q_G)를 사용하여 도출된다. 휘도 Y1은, 제1 휘도의 일례이며, Q_Y1은, 제1 휘도로서의 휘도 Y1을 양자화하기 위해 사용되는 제2 양자화 파라미터의 일례이다. Δ(Q_Y1, Q_G)는, 차분 정보 「2.」이다.

또, 제1 색의 색차 Cb1, Cr1의 부호화에 사용하는 QP값인 Q_Cb1, Q_Cr1은, 각각, QY1과, 그 차분을 나타내는 Δ(Q_Cb1, Q_Y1), Δ(Q_Cr1, Q_Y1)을 사용하여 도출된다. 색차 Cb1, Cr1은, 제1 색차의 일례이며, Q_Cb1, Q_Cr1은, 제1 색차로서의 색차 Cb1, Cr1을 양자화하기 위해 사용되는 제3 양자화 파라미터의 일례이다. Δ(Q_Cb1, Q_Y1)은, 차분 정보 「3.」이며, Δ(Q_Cr1, Q_Y1)은, 차분 정보 「4.」이다. Δ(Q_Cb1, Q_Y1) 및 Δ(Q_Cr1, Q_Y1)은, 각각, 제1 차분의 일례이다.

또한, Q_Cb1 및 Q_Cr1은, 서로 같은 값이 사용되어도 되고, 공통되는 값이 사용되어도 된다. 공통되는 값이 사용되는 경우, Q_Cb1 및 Q_Cr1 중 한쪽이 사용되면 되기 때문에, 다른 쪽은 없어도 된다.

또, 슬라이스 데이터에 있어서의 제1 색의 휘도 Y1D의 부호화에 사용하는 QP값인 Q_Y1D는, Q_Y1과, 그 차분을 나타내는 Δ(Q_Y1D, Q_Y1)을 사용하여 도출된다. 슬라이스 데이터에 있어서의 제1 색의 휘도 Y1D는, 서브 공간에 포함되는 1 이상의 3차원 점의 제1 휘도의 일례이며, Q_Y1D는, 휘도 Y1D를 양자화하기 위해 사용되는 제5 양자화 파라미터의 일례이다. Δ(Q_Y1D, Q_Y1)은, 차분 정보 「10.」이며, 제2 차분의 일례이다.

마찬가지로, 슬라이스 데이터에 있어서의 제1 색의 색차 Cb1D, Cr1D의 부호화에 사용하는 QP값인 Q_Cb1D, Q_Cr1D는, 각각, Q_Cb1, Q_Cr1과, 그 차분을 나타내는 Δ(Q_Cb1D, Q_Cb1), Δ(Q_Cr1D, Q_Cr1)을 사용하여 도출된다. 슬라이스 데이터에 있어서의 제1 색의 색차 Cb1D, Cr1D는, 서브 공간에 포함되는 1 이상의 3차원 점의 제1 색차의 일례이며, Q_Cb1D, Q_Cr1D는, 색차 Cb1D, Cr1D를 양자화하기 위해 사용되는 제6 양자화 파라미터의 일례이다. Δ(Q_Cb1D, Q_Cb1)은, 차분 정보 「11.」이며, Δ(Q_Cr1D, Q_Cr1)은, 차분 정보 「12.」이다. Δ(Q_Cb1D, Q_Cb1) 및 Δ(Q_Cr1D, Q_Cr1)은, 제3 차분의 일례이다.

제1 색에 있어서의 QP값의 관계는, 제2 색에도 동일하다고 말할 수 있기 때문에, 설명을 생략한다.

반사율 R의 부호화에 사용하는 QP값인 Q_R은, 기준값인 Q_G와, 그 차분을 나타내는 Δ(Q_R, Q_G)를 사용하여 도출된다. Q_R은, 반사율 R을 양자화하기 위해 사용되는 제4 양자화 파라미터의 일례이다. Δ(Q_R, Q_G)는, 차분 정보 「8.」이다.

또, 슬라이스 데이터에 있어서의 반사율 RD의 부호화에 사용하는 QP값인 Q_RD는, Q_R과, 그 차분을 나타내는 Δ(Q_RD, Q_R)을 사용하여 도출된다. Δ(Q_RD, Q_R)은, 차분 정보 「16.」이다.

이와 같이, 차분 정보 「9.」~「16.」은, 데이터 QP와 프레임 QP의 차분 정보를 나타낸다.

또한, 예를 들면, 데이터 QP와 프레임 QP의 값이 동일한 값인 경우는, 차분 정보를 0으로 해도 되고, 차분 정보를 송출하지 않음으로써 0으로 간주하는 것으로 해도 된다.

제1 복호부(5340)는, 예를 들면, 제2 색의 색차 Cr2를 복호할 때, 도 79의 (b)의 화살표로 나타낸 기준 정보 「1.」 및 차분 정보 「5.」,「7.」 및 「15.」를 메타데이터 혹은 헤더로부터 취득하고, 하기의 (식 G7)로 나타내는 바와 같이, 기준 정보 「1.」에 차분 정보 「5.」,「7.」 및 「15.」를 가산함으로써, 색차 Cr2의 QP값을 도출한다.

Q_Cr2D=Q_G＋Δ(Q_Y2, Q_G)＋Δ(Q_Cr2, Q_Y2)＋Δ(Q_Cr2D, Q_Cr2) (식 G7)

다음에, 위치 정보 및 속성 정보를 타일로 2분할한 후에, 슬라이스로 2분할하는 경우의 예에 대해서 도 80을 사용하여 설명한다. 도 80은, 양자화 파라미터의 전송 방법의 제3 예에 대해서 설명하기 위한 도면이다. 도 80의 (a)는, 각 QP값의 기준값과 차분 정보의 관계의 제3 예를 나타내는 도면이다. 도 80의 (b)는, QP값, 위치 정보, 및, 속성 정보의 전송 순서의 제3 예를 나타내는 도면이다. 도 80의 (c)는, 제3 예에 있어서의, 차분 정보의 중간 생성값에 대해서 설명하기 위한 도면이다.

복수의 타일로 분할한 후에, 추가로 복수의 슬라이스로 분할하는 경우, 도 80의 (c)에 나타내는 바와 같이, 타일로 분할한 후에 타일마다의 QP값(Q_At1) 및 차분 정보 Δ(Q_At1, Q_A)가 중간 생성값으로서 생성된다. 그리고, 슬라이스로 분할한 후에 슬라이스마다의 QP값(Q_At1s1, Q_At1s2) 및 차분 정보(Δ(Q_At1s1, Q_At1), Δ(Q_At1s2, Q_At1))가 생성된다.

이 경우, 예를 들면, 도 80의 (a)에 있어서의, 차분 정보 「4.」는, 이하의 (식 G8)로 도출된다.

Δ(Q_At1s1, Q_A)=Δ(Q_At1, Q_A)＋Δ(Q_At1s1, Q_At1) (식 G8)

제1 복호부(5340)는, 예를 들면, 타일 2에 있어서의 슬라이스 1의 속성 정보 A_t2s1을 복호할 때, 도 80의 (b)의 화살표로 나타낸 기준 정보 「1.」 및 차분 정보 「2.」,「8.」을 메타데이터 혹은 헤더로부터 취득하고, 하기의 (식 G9)로 나타내는 바와 같이, 기준 정보 「1.」에 차분 정보 「2.」,「8.」을 가산함으로써, 속성 정보 A_t2s1의 QP값을 도출한다.

Q_At2s1=Q_G＋Δ(Q_At2s1, Q_A)＋Δ(Q_A, Q_G) (식 G9)

다음에, 본 실시 형태에 따른 점군 데이터의 부호화 처리 및 복호 처리의 흐름에 대해서 설명한다. 도 81은, 본 실시 형태에 따른 점군 데이터의 부호화 처리의 플로차트이다.

우선, 3차원 데이터 부호화 장치는, 사용하는 분할 방법을 결정한다(S5321). 이 분할 방법은, 타일 분할을 행할지 여부, 슬라이스 분할을 행할지 여부를 포함한다. 또, 분할 방법은, 타일 분할 또는 슬라이스 분할을 행하는 경우의 분할 수, 및, 분할의 종별 등을 포함해도 된다. 분할의 종별이란, 상술한 바와 같은 오브젝트 형상에 의거한 수법, 지도 정보 혹은 위치 정보에 의거한 수법, 또는, 데이터량 혹은 처리량에 의거한 수법 등이다. 또한, 분할 방법은, 미리 정해져 있어도 된다.

타일 분할이 행해지는 경우(S5322에서 Yes), 3차원 데이터 부호화 장치는, 위치 정보와 속성 정보를 타일 단위로 분할함으로써 복수의 타일 위치 정보 및 복수의 타일 속성 정보를 생성한다(S5323). 또, 3차원 데이터 부호화 장치는, 타일 분할에 관련된 타일 부가 정보를 생성한다.

슬라이스 분할이 행해지는 경우(S5324에서 Yes), 3차원 데이터 부호화 장치는, 복수의 타일 위치 정보 및 복수의 타일 속성 정보(또는 위치 정보 및 속성 정보)를 분할함으로써 복수의 분할 위치 정보 및 복수의 분할 속성 정보를 생성한다(S5325). 또, 3차원 데이터 부호화 장치는, 슬라이스 분할에 관련된 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보를 생성한다.

다음에, 3차원 데이터 부호화 장치는, 복수의 분할 위치 정보 및 복수의 분할 속성 정보 각각을 부호화함으로써, 복수의 부호화 위치 정보 및 복수의 부호화 속성 정보를 생성한다(S5326). 또, 3차원 데이터 부호화 장치는, 의존 관계 정보를 생성한다.

다음에, 3차원 데이터 부호화 장치는, 복수의 부호화 위치 정보, 복수의 부호화 속성 정보 및 부가 정보를 NAL 유닛화(다중화) 함으로써 부호화 데이터(부호화 스트림)를 생성한다(S5327). 또, 3차원 데이터 부호화 장치는, 생성한 부호화 데이터를 송출한다.

도 82는, 타일의 분할(S5323) 또는 슬라이스의 분할(S5325)에 있어서, QP값을 결정하고, 부가 정보를 갱신하는 처리의 일례를 나타내는 플로차트이다.

단계 S5323, S5325에서는, 타일 및/또는 슬라이스의 위치 정보 및 속성 정보는, 각각의 방법으로 독립적으로 개별로 분할해도 되고, 공통적으로 일괄로 분할해도 된다. 이로 인해, 타일마다 및/또는 슬라이스마다 분할된 부가 정보가 생성된다.

이 때, 3차원 데이터 부호화 장치는, 분할된 타일마다 및/또는 슬라이스마다, QP값의 기준값 및 차분 정보를 결정한다(S5331). 구체적으로는, 3차원 데이터 부호화 장치는, 도 78~도 80에서 예시한 바와 같은, 기준값 및 차분 정보를 결정한다.

그리고, 3차원 데이터 부호화 장치는, 결정한 기준값 및 차분 정보가 포함되도록 부가 정보를 갱신한다(S5332).

도 83은, 부호화(S5326)의 처리에 있어서, 결정된 QP값을 부호화하는 처리의 일례를 나타내는 플로차트이다.

3차원 데이터 부호화 장치는, 단계 S5331에서 결정된 QP값을 부호화한다(S5341). 구체적으로는, 3차원 데이터 부호화 장치는, 갱신된 부가 정보에 포함되는 QP값의 기준값 및 차분 정보를 부호화한다.

그리고, 3차원 데이터 부호화 장치는, 부호화 처리의 정지 조건이 만족될 때까지, 예를 들면, 부호화 대상의 데이터가 없어질 때까지, 부호화 처리를 계속한다(S5342).

도 84는, 본 실시 형태에 따른 점군 데이터의 복호 처리의 플로차트이다. 우선, 3차원 데이터 복호 장치는, 부호화 데이터(부호화 스트림)에 포함되는, 분할 방법에 관련된 부가 정보(타일 부가 정보, 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보)를 해석함으로써, 분할 방법을 판정한다(S5351). 이 분할 방법은, 타일 분할을 행할지 여부, 슬라이스 분할을 행할지 여부를 포함한다. 또, 분할 방법은, 타일 분할 또는 슬라이스 분할을 행하는 경우의 분할 수, 및, 분할의 종별 등을 포함해도 된다.

다음에, 3차원 데이터 복호 장치는, 부호화 데이터에 포함되는 복수의 부호화 위치 정보 및 복수의 부호화 속성 정보를, 부호화 데이터에 포함되는 의존 관계 정보를 사용하여 복호함으로써 분할 위치 정보 및 분할 속성 정보를 생성한다(S5352).

부가 정보에 의해 슬라이스 분할이 행해지고 있는 것이 나타나는 경우(S5353에서 Yes), 3차원 데이터 복호 장치는, 위치 슬라이스 부가 정보 및 속성 슬라이스 부가 정보에 의거하여, 복수의 분할 위치 정보와, 복수의 분할 속성 정보를 결합함으로써, 복수의 타일 위치 정보 및 복수의 타일 속성 정보를 생성한다(S5354).

부가 정보에 의해 타일 분할이 행해지고 있는 것이 나타나는 경우(S5355에서 Yes), 3차원 데이터 복호 장치는, 타일 부가 정보에 의거하여, 복수의 타일 위치 정보 및 복수의 타일 속성 정보(복수의 분할 위치 정보 및 복수의 분할 속성 정보)를 결합함으로써 위치 정보 및 속성 정보를 생성한다(S5356).

도 85는, 슬라이스마다 분할된 정보의 결합(S5354) 또는 타일마다 분할된 정보의 결합(S5356)에 있어서, QP값을 취득하여, 슬라이스 또는 타일의 QP값을 복호하는 처리의 일례를 나타내는 플로차트이다.

슬라이스 또는 타일의 위치 정보 및 속성 정보는, 각각의 방법을 사용하여 결합해도 되고, 동일한 방법으로 결합해도 된다.

3차원 데이터 복호 장치는, 부호화 스트림의 부가 정보로부터, 기준값 및 차분 정보를 복호한다(S5361).

다음에, 3차원 데이터 복호 장치는, 복호된 기준값 및 차분 정보를 사용하여 양자화값을 산출하고, 역양자화에 사용하는 QP값을, 산출된 QP값으로 갱신한다(S5362). 이로 인해, 타일마다 또는 슬라이스 마다의 양자화 속성 정보를 역양자화하기 위한 QP값을 도출할 수 있다.

그리고, 3차원 데이터 복호 장치는, 복호 처리의 정지 조건이 만족될 때까지, 예를 들면, 복호 대상의 데이터가 없어질 때까지, 복호 처리를 계속한다(S5363).

도 86은, GPS의 신택스 예를 나타내는 도면이다. 도 87은, APS의 신택스 예를 나타내는 도면이다. 도 88은, 위치 정보의 헤더의 신택스 예를 나타내는 도면이다. 도 89는, 속성 정보의 헤더의 신택스 예를 나타내는 도면이다.

도 86에 나타내는 바와 같이, 예를 들면, 위치 정보의 부가 정보인 GPS는, QP값의 도출의 기준이 되는 절대값을 나타내는 QP＿value를 포함한다. QPvalue는, 예를 들면, 도 78~도 80에서 예시한 Q_G에 상당한다.

또, 도 87에 나타내는 바와 같이, 예를 들면, 속성 정보의 부가 정보인 APS는, 3차원 점에 복수 시점의 복수의 색 정보가 있는 경우, 디폴트의 시점을 정의하고, 0번째는 반드시 디폴트 시점의 정보를 기재하는 것으로 해도 된다. 예를 들면, 3차원 데이터 부호화 장치는, 단일한 색 정보를 복호 또는 표시하는 경우, 0번째의 속성 정보를 복호 또는 표시하면 된다.

APS는, QP＿delta＿Attribute＿to＿Geometry를 포함한다. QP＿delta＿Attribute＿to＿Geometry는, GPS에 기재된 기준값(QP＿value)과의 차분 정보를 나타낸다. 이 차분 정보는, 예를 들면, 속성 정보가 색 정보인 경우, 휘도와의 차분 정보이다.

또, GPS는, Geometry＿header(위치 정보의 헤더)에 QP값을 산출하기 위한 차분 정보가 있는지 여부를 나타내는 플래그를 포함하고 있어도 된다. 또, APS는, Attribute＿header(속성 정보의 헤더)에 QP값을 산출하기 위한 차분 정보가 있는지 여부를 나타내는 플래그를 포함하고 있어도 된다. 플래그는, 속성 정보에 있어서, 데이터 QP를 산출하기 위한, 데이터 QP의, 프레임 QP로부터의 차분 정보가 있는지 여부를 나타내고 있어도 된다.

이와 같이, 부호화 스트림에는, 속성 정보 중의 제1 색이 제1 휘도 및 제1 색차로 나타나는 경우, 제1 휘도를 양자화하기 위한 제 2 양자화 파라미터를 사용한 양자화, 및, 제1 색차를 양자화하기 위한 제 3 양자화 파라미터를 사용한 양자화에 있어서, 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 경우, 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보(플래그)가 포함되어 있어도 된다.

또, 도 88에 나타내는 바와 같이, 위치 정보의 헤더는, GPS에 기재된 기준값(QP＿value)과의 차분 정보를 나타내는, QP＿delta＿data＿to＿frame을 포함하고 있어도 된다. 또, 위치 정보의 헤더는, 타일마다 및/또는 슬라이스마다의 정보로 나누고, 타일마다 및/또는 슬라이스마다, 대응하는 QP값이 각각 나타나도 된다.

또, 도 89에 나타내는 바와 같이, 속성 정보의 헤더는, APS에 기재된 QP값과의 차분 정보를 나타내는, QP＿delta＿data＿to＿frame을 포함하고 있어도 된다.

도 78~도 80에서는, QP값의 기준값을 PCC 프레임에 있어서의 위치 정보의 QP값인 것으로 하여 설명했는데, 이에 한정하지 않고, 그 외의 값을 기준값으로서 사용해도 된다.

도 90은, 양자화 파라미터의 전송 방법의 다른 예에 대해서 설명하기 위한 도면이다.

도 90의 (a) 및 (b)는, PCC 프레임에 있어서의 위치 정보 및 속성 정보의 QP값에서 공통의 기준값 Q를 설정하는 제4 예를 나타낸다. 제4 예에서는, 기준값 Q를 GPS에 저장하고, 기준값 Q로부터의, 위치 정보의 QP값(Q_G)의 차분 정보를 GPS에 저장하고, 속성 정보의 QP값(Q_Y 및 Q_R)의 차분 정보를 APS에 저장한다. 또한, 기준값 Q는, SPS에 저장되어도 된다.

도 90의 (c) 및 (d)는, 위치 정보 및 속성 정보마다 독립적으로 기준값을 설정하는 제5 예를 나타낸다. 제5 예에서는, GPS 및 APS에, 위치 정보 및 속성 정보의 기준의 QP값(절대값)을 각각 저장한다. 즉, 위치 정보에는, 기준값 Q_G가 설정되고, 속성 정보의 색 정보에는, 기준값 Q_Y가 설정되고, 속성 정보의 반사율에는, 기준값 Q_R이 각각 설정된다. 이와 같이, 위치 정보 및 복수 종류의 속성 정보 각각에 대해서, QP값의 기준값이 설정되어도 된다. 또한, 제5 예는, 다른 예와 조합되어도 된다. 즉, 제1 예에 있어서의 Q_A, 제2 예에 있어서의 Q_Y1, Q_Y2, Q_R은, QP값의 기준값이어도 된다.

도 90의 (e) 및 (f)는, PCC 프레임이 다수 있는 경우, 복수의 PCC 프레임에서 공통의 기준값 Q를 설정하는 제6 예를 나타낸다. 제6 예에서는, 기준값 Q를 SPS 혹은 GSPS에 저장하고, 각각의 PCC 프레임의 위치 정보의 QP값과 기준값의 차분 정보를 GPS에 저장한다. 또한, 예를 들면, GOF와 같이, 랜덤 액세스 단위의 범위 내에서는, 예를 들면, 랜덤 액세스 단위의 선두 프레임을 기준값으로서, PCC 프레임간의 차분 정보(예를 들면, Δ(Q_G(1), Q_G(0)))를 송출해도 된다.

또한, 타일 또는 슬라이스가 추가로 분할되는 경우여도, 동일한 방법으로 데이터 헤더에 분할 단위의 QP값과의 차분 정보를 저장하여 송출한다.

도 91은, 양자화 파라미터의 전송 방법의 다른 예에 대해서 설명하기 위한 도면이

도 91의 (a) 및 (b)는, PCC 프레임에 있어서의 위치 정보 및 속성 정보에서 공통의 기준값 Q_G를 설정하는 제7 예를 나타낸다. 제7 예에서는, 기준값 Q_G를 GPS에 저장하고, 위치 정보 혹은 속성 정보와의 차분 정보를 각각의 데이터 헤더에 저장한다. 기준값 Q_G는 SPS에 저장되어도 된다.

또, 도 91의 (c) 및 (d)는, 속성 정보의 QP값을, 동일한 슬라이스 및 타일에 속하는 위치 정보의 QP값과의 차분 정보로 나타내는 제8 예를 나타낸다. 제8 예에서는, 기준값 Q_G는, SPS에 저장되어도 된다.

도 92는, 양자화 파라미터의 전송 방법의 제9 예에 대해서 설명하기 위한 도면이다.

도 92의 (a) 및 (b)는, 속성 정보에서 공통의 QP값을 해석하여, 위치 정보의 QP값과의 차분 정보, 속성 정보에서 공통의 QP값과의 차분 정보를 각각 나타내는 제9 예이다.

도 93은, QP값의 제어 예를 설명하기 위한 도면이다.

양자화 파라미터의 값이 낮을수록 품질이 향상되지만, 보다 많은 비트가 필요해지기 때문에, 부호화 효율이 저하된다.

예를 들면, 3차원 점군 데이터를 타일로 분할하여 부호화할 때, 타일에 포함되는 점군 데이터가 주요 도로인 경우는, 미리 정의된 속성 정보의 QP값을 사용하여 부호화된다. 한편, 주위의 타일은 중요한 정보가 아니기 때문에, QP값의 차분 정보를 양의 값으로 설정함으로써 데이터의 품질을 저하시켜, 부호화 효율을 향상시킬 수 있을 가능성이 있다.

또한, 타일로 분할된 3차원 점군 데이터를 슬라이스로 분할하여 부호화할 때, 보도, 나무 및 건물은, 자동 운전에 있어서 위치 추정(로컬라이즈 및 맵핑)하기 위해 중요하기 때문에 QP값을 음의 값으로 설정하고, 이동체 및 그 외는, 중요성이 낮기 때문에 QP값을 양의 값으로 설정한다.

도 93(b)는, 타일이나 슬라이스에 포함되는 오브젝트에 의거하여, 미리 양자화 델타값이 설정되어 있는 경우의 차분 정보를 도출하는 예를 나타내고 있다. 예를 들면, 분할 데이터가 「주요 도로」인 타일에 포함되는 「건물」의 슬라이스 데이터인 경우, 「주요 도로」인 타일의 양자화 델타값 0과 「건물」인 슬라이스 데이터의 양자화 델타값 -5를 가산하여, 차분 정보는 -5로 도출된다.

도 94는, 오브젝트의 품질에 의거한 QP값의 결정 방법의 일례를 나타내는 플로차트이다.

3차원 데이터 부호화 장치는, 지도 정보에 의거하여, 점군 데이터를 1 이상의 타일로 분할하고, 1 이상의 타일마다 포함되는 오브젝트를 판정한다(S5371). 구체적으로는, 3차원 데이터 부호화 장치는, 예를 들면, 기계 학습에서 얻어진 학습 모델을 사용하여, 오브젝트가 무엇인지를 인식하는 물체 인식 처리를 행한다.

다음에, 3차원 데이터 부호화 장치는, 처리 대상의 타일을 높은 품질로 부호화할지 여부를 판정한다(S5372). 높은 품질로 부호화한다는 것은, 예를 들면, 소정 레이트보다 큰 비트 레이트로 부호화하는 것이다.

다음에, 3차원 데이터 부호화 장치는, 처리 대상의 타일을 높은 품질로 부호화하는 경우(S5372에서 Yes), 부호화 품질이 높아지도록 타일의 QP값을 설정한다(S5373).

한편, 3차원 데이터 부호화 장치는, 처리 대상의 타일을 높은 품질로 부호화하지 않는 경우(S5372에서 No), 부호화 품질이 낮아지도록 타일의 QP값을 설정한다(S5374).

단계 S5373 또는 단계 S5374 다음에, 3차원 데이터 부호화 장치는, 타일 내의 오브젝트를 판정하고, 1 이상의 슬라이스로 분할한다(S5375).

다음에, 3차원 데이터 부호화 장치는, 처리 대상의 슬라이스를 높은 품질로 부호화할지 여부를 판정한다(S5376).

다음에, 3차원 데이터 부호화 장치는, 처리 대상의 슬라이스를 높은 품질로 부호화하는 경우(S5376에서 Yes), 부호화 품질이 높아지도록 슬라이스의 QP값을 설정한다(S5377).

한편, 3차원 데이터 부호화 장치는, 처리 대상의 슬라이스를 높은 품질로 부호화하지 않는 경우(S5376에서 No), 부호화 품질이 낮아지도록 슬라이스의 QP값을 설정한다(S5378).

다음에, 3차원 데이터 부호화 장치는, 설정된 QP값에 의거하여, 소정의 방법으로 전송하는 기준값 및 차분 정보를 결정하고, 결정한 기준값 및 차분 정보를 부가 정보 및 데이터의 헤더 중 적어도 한쪽에 저장한다(S5379).

다음에, 3차원 데이터 부호화 장치는, 결정한 QP값에 의거하여, 위치 정보 및 속성 정보를 양자화하고, 부호화한다(S5380).

도 95는, 레이트 제어에 의거한 QP값의 결정 방법의 일례를 나타내는 플로차트이다.

3차원 데이터 부호화 장치는, 점군 데이터를 차례대로 부호화한다(S5381).

다음에, 3차원 데이터 부호화 장치는, 부호화 데이터의 부호량 및 부호화 버퍼의 점유량으로부터, 부호화 처리에 따른 레이트 제어 상황을 판정하고, 다음 번 부호화의 품질을 결정한다(S5382).

다음에, 3차원 데이터 부호화 장치는, 부호화 품질을 올릴지 여부를 판정한다(S5383).

다음에, 3차원 데이터 부호화 장치는, 부호화 품질을 올리는 경우(S5383에서 Yes), 부호화 품질이 높아지도록 타일의 QP값을 설정한다(S5384).

한편, 3차원 데이터 부호화 장치는, 부호화 품질을 올리지 않는 경우(S5383에서 No), 부호화 품질이 낮아지도록 타일의 QP값을 설정한다(S5385).

다음에, 3차원 데이터 부호화 장치는, 설정된 QP값에 의거하여, 소정의 방법으로 전송하는 기준값 및 차분 정보를 결정하고, 결정한 기준값 및 차분 정보를 부가 정보 및 데이터의 헤더 중 적어도 한쪽에 저장한다(S5386).

다음에, 3차원 데이터 부호화 장치는, 결정한 QP값에 의거하여, 위치 정보 및 속성 정보를 양자화하고, 부호화한다(S5387).

이상과 같이, 본 실시 형태에 따른 3차원 데이터 부호화 장치는, 도 96에 나타내는 처리를 행한다. 우선, 3차원 데이터 부호화 장치는, 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화한다(S5391). 3차원 데이터 부호화 장치는, 상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화한다(S5392). 3차원 데이터 부호화 장치는, 양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성한다(S5393).

이에 의하면, 비트 스트림에 있어서, 제3 양자화 파라미터를 제2 양자화 파라미터로부터의 제1 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다.

예를 들면, 3차원 데이터 부호화 장치는, 또한, 제4 양자화 파라미터를 사용하여 상기 복수의 3차원 점 각각의 상기 속성 정보 중의 반사율을 양자화한다. 또, 상기 생성에서는, 양자화된 상기 반사율, 및, 상기 제4 양자화 파라미터를 추가로 포함하는 비트 스트림을 생성한다.

예를 들면, 상기 제2 양자화 파라미터를 사용한 양자화에서는, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화하는 경우, 제5 양자화 파라미터를 추가로 사용하여 상기 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화한다. 상기 제3 양자화 파라미터를 사용한 양자화에서는, 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화하는 경우, 제6 양자화 파라미터를 추가로 사용하여 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화한다. 상기 생성에서는, 상기 제2 양자화 파라미터와 상기 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 상기 제6 양자화 파라미터의 제3 차분을 추가로 포함하는 비트 스트림을 생성한다.

이에 의하면, 비트 스트림에 있어서, 제5 양자화 파라미터를 제2 양자화 파라미터로부터의 제2 차분으로 나타내며, 또한, 제6 양자화 파라미터를 제3 양자화 파라미터로부터의 제3 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다.

예를 들면, 상기 생성에서는, 상기 제2 양자화 파라미터를 사용한 양자화, 및, 상기 제3 양자화 파라미터를 사용한 양자화에 있어서, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 경우, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 추가로 포함하는 비트 스트림을 생성한다.

이에 의하면, 비트 스트림을 취득한 3차원 데이터 복호 장치는, 식별 정보를 사용하여 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 것을 판정할 수 있기 때문에, 복호 처리의 처리 부하를 저감할 수 있다.

예를 들면, 3차원 데이터 부호화 장치는, 또한, 상기 복수의 3차원 점 각각의 속성 정보 중의 제2 색을 나타내는 제2 휘도 및 제2 색차에 대해서, 제7 양자화 파라미터를 사용하여 상기 제2 휘도를 양자화하며, 또한, 제8 양자화 파라미터를 사용하여 상기 제2 색차를 양자화한다. 상기 생성에서는, 또한, 양자화된 상기 제2 휘도, 양자화된 상기 제2 색차, 상기 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 상기 제8 양자화 파라미터의 제4 차분을 추가로 포함하는 비트 스트림을 생성한다.

이에 의하면, 비트 스트림에 있어서, 제8 양자화 파라미터를 제7 양자화 파라미터로부터의 제4 차분으로 나타내기 때문에, 부호화 효율을 향상시킬 수 있다. 또, 3차원 점의 속성 정보에 2종류의 색 정보를 포함시킬 수 있다.

예를 들면, 3차원 데이터 부호화 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

또, 본 실시 형태에 따른 3차원 데이터 복호 장치는, 도 97에 나타내는 처리를 행한다. 우선 3차원 데이터 복호 장치는, 비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득한다(S5394). 3차원 데이터 복호 장치는, 상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출한다(S5395). 3차원 데이터 복호 장치는, 상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출한다(S5396). 3차원 데이터 복호 장치는, 상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출한다(S5397).

이 때문에, 3차원 데이터 복호 장치는, 3차원 점의 위치 정보 및 속성 정보를 올바르게 복호할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로 양자화된 반사율, 및, 제4 양자화 파라미터를 취득한다. 3차원 데이터 복호 장치는, 또한, 상기 제4 양자화 파라미터를 사용하여 상기 양자화된 반사율을 역양자화함으로써, 상기 복수의 3차원 점의 반사율을 산출한다.

이 때문에, 3차원 데이터 복호 장치는, 3차원 점의 반사율을 올바르게 복호할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제2 양자화 파라미터와 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 제6 양자화 파라미터의 제3 차분을 취득한다. 상기 제1 휘도의 산출에서는, 상기 양자화된 제1 휘도가, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 제1 휘도가 양자화된 휘도인 경우, 상기 제2 양자화 파라미터 및 상기 제2 차분으로부터 얻어지는 상기 제5 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 휘도를 산출한다. 상기 제1 색차의 산출에서는, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 제1 색차가 양자화된 색차인 경우, 상기 제3 양자화 파라미터 및 상기 제3 차분으로부터 얻어지는 상기 제6 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 색차를 산출한다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 취득한다. 상기 제1 휘도의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 휘도가, 상기 1 이상의 3차원 점의 상기 제1 휘도가 양자화된 휘도인 것으로 판정한다. 상기 제1 색차의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 상기 제1 색차가 양자화된 색차인 것으로 판정한다.

이에 의하면, 3차원 데이터 복호 장치는, 식별 정보를 사용하여 제5 양자화 파라미터 및 제6 양자화 파라미터를 사용하여 양자화한 것을 판정할 수 있기 때문에, 복호 처리의 처리 부하를 저감할 수 있다.

예를 들면, 상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 양자화된 제2 휘도, 양자화된 제2 색차, 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 제8 양자화 파라미터의 제4 차분을 취득한다. 3차원 데이터 복호 장치는, 또한, 상기 제7 양자화 파라미터를 사용하여 상기 양자화된 제2 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제2 색을 나타내는 제2 휘도 및 제2 색차 중의 상기 제2 휘도를 산출한다. 또, 3차원 데이터 복호 장치는, 또한, 상기 제7 양자화 파라미터 및 상기 제4 차분으로부터 얻어지는 상기 제8 양자화 파라미터를 사용하여 상기 양자화된 제2 색차를 역양자화함으로써, 상기 제2 색차를 산출한다.

이 때문에, 3차원 데이터 복호 장치는, 3차원 점의 제2 색을 올바르게 복호할 수 있다.

예를 들면, 3차원 데이터 복호 장치는, 프로세서와, 메모리를 구비하고, 프로세서는, 메모리를 사용하여, 상기의 처리를 행한다.

이상, 본 개시의 실시 형태에 따른 3차원 데이터 부호화 장치 및 3차원 데이터 복호 장치 등에 대해서 설명했는데, 본 개시는, 이 실시 형태로 한정되는 것은 아니다.

또, 상기 실시 형태에 따른 3차원 데이터 부호화 장치 및 3차원 데이터 복호 장치 등에 포함되는 각 처리부는 전형적으로는 집적 회로인 LSI로서 실현된다. 이들은 개별적으로 1칩화되어도 되고, 일부 또는 전부를 포함하도록 1칩화되어도 된다.

또, 집적 회로화는 LSI로 한정하는 것이 아니고, 전용 회로 또는 범용 프로세서로 실현되어도 된다. LSI 제조 후에 프로그램 하는 것이 가능한 FPGA(Field Programmable Gate Array), 또는 LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리컨피규러블·프로세서를 이용해도 된다.

또, 상기 각 실시 형태에 있어서, 각 구성 요소는, 전용 하드웨어로 구성되거나, 각 구성 요소에 적합한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내어 실행함으로써 실현되어도 된다.

또, 본 개시는, 3차원 데이터 부호화 장치 및 3차원 데이터 복호 장치 등에 의해 실행되는 3차원 데이터 부호화 방법 또는 3차원 데이터 복호 방법 등으로서 실현되어도 된다.

또, 블록도에 있어서의 기능 블록의 분할은 일례이며, 복수의 기능 블록을 하나의 기능 블록으로서 실현하거나, 하나의 기능 블록을 복수로 분할하거나, 일부의 기능을 다른 기능 블록으로 옮겨도 된다. 또, 유사한 기능을 갖는 복수의 기능 블록의 기능을 단일한 하드웨어 또는 소프트웨어가 병렬 또는 시분할로 처리해도 된다.

또, 플로차트에 있어서의 각 단계가 실행되는 순서는, 본 개시를 구체적으로 설명하기 위해 예시하기 위한 것이고, 상기 이외의 순서여도 된다. 또, 상기 단계의 일부가, 다른 단계와 동시(병렬)에 실행되어도 된다.

이상, 하나 또는 복수의 양태에 따른 3차원 데이터 부호화 장치 및 3차원 데이터 복호 장치 등에 대해서, 실시 형태에 의거하여 설명했는데, 본 개시는, 이 실시 형태로 한정되는 것은 아니다. 본 개시의 취지를 일탈하지 않는 한, 당업자가 생각해 내는 각종 변형을 본 실시 형태에 실시한 것이나, 상이한 실시 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 하나 또는 복수의 양태의 범위 내에 포함되어도 된다.

본 개시는, 3차원 데이터 부호화 장치 및 3차원 데이터 복호 장치에 적용할 수 있다.

4601: 3차원 데이터 부호화 시스템 4602: 3차원 데이터 복호 시스템
4603: 센서 단말 4604: 외부 접속부
4611: 점군 데이터 생성 시스템 4612: 제시부
4613: 부호화부 4614: 다중화부
4615: 입출력부 4616: 제어부
4617: 센서 정보 취득부 4618: 점군 데이터 생성부
4621: 센서 정보 취득부 4622: 입출력부
4623: 역다중화부 4624: 복호부
4625: 제시부 4626: 유저 인터페이스
4627: 제어부 4630: 제1 부호화부
4631: 위치 정보 부호화부 4632: 속성 정보 부호화부
4633: 부가 정보 부호화부 4634: 다중화부
4640: 제1 복호부 4641: 역다중화부
4642: 위치 정보 복호부 4643: 속성 정보 복호부
4644: 부가 정보 복호부 4650: 제2 부호화부
4651: 부가 정보 생성부 4652: 위치 화상 생성부
4653: 속성 화상 생성부 4654: 영상 부호화부
4655: 부가 정보 부호화부 4656: 다중화부
4660: 제2 복호부 4661: 역다중화부
4662: 영상 복호부 4663: 부가 정보 복호부
4664: 위치 정보 생성부 4665: 속성 정보 생성부
4670: 부호화부 4671: 다중화부
4680: 복호부 4681: 역다중화부
4710: 제1 다중화부 4711: 파일 변환부
4720: 제1 역다중화부 4721: 파일 역변환부
4730: 제2 다중화부 4731: 파일 변환부
4740: 제2 역다중화부 4741: 파일 역변환부
4750: 제3 다중화부 4751: 파일 변환부
4760: 제3 역다중화부 4761: 파일 역변환부
4801: 부호화부 4802: 다중화부
4911: 분할부 4931: 슬라이스 분할부
4932: 위치 정보 타일 분할부 4933: 속성 정보 타일 분할부
5200: 제1 부호화부 5201: 분할부
5202: 위치 정보 부호화부 5203: 속성 정보 부호화부
5204: 부가 정보 부호화부 5205: 다중화부
5211: 타일 분할부 5212: 슬라이스 분할부
5221, 5231, 5251, 5261: CABAC 초기화부
5222, 5232: 엔트로피 부호화부 5240: 제1 복호부
5241: 역다중화부 5242: 위치 정보 복호부
5243: 속성 정보 복호부 5244: 부가 정보 복호부
5245: 결합부 5252, 5262: 엔트로피 복호부
5300: 제1 부호화부 5301: 분할부
5302: 위치 정보 부호화부 5303: 속성 정보 부호화부
5304: 부가 정보 부호화부 5305: 다중화부
5311: 타일 분할부 5312: 슬라이스 분할부
5321, 5331, 5351, 5361: 양자화값 산출부
5322, 5332: 엔트로피 부호화부
5323: 양자화부 5333: 역양자화부
5340: 제1 복호부 5341: 역다중화부
5342: 위치 정보 복호부 5343: 속성 정보 복호부
5344: 부가 정보 복호부 5345: 결합부
5352, 5362: 엔트로피 복호부

Claims (12)

1. 제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고,
   상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화하고,
   양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성하는,
   3차원 데이터 부호화 방법.
2. 청구항 1에 있어서,
   또한, 제4 양자화 파라미터를 사용하여 상기 복수의 3차원 점 각각의 상기 속성 정보 중의 반사율을 양자화하고,
   상기 생성에서는, 양자화된 상기 반사율, 및, 상기 제4 양자화 파라미터를 추가로 포함하는 비트 스트림을 생성하는, 3차원 데이터 부호화 방법.
3. 청구항 1 또는 청구항 2에 있어서,
   상기 제2 양자화 파라미터를 사용한 양자화에서는, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화하는 경우, 제5 양자화 파라미터를 추가로 사용하여 상기 서브 공간에 포함되는 1 이상의 3차원 점의 상기 제1 휘도를 양자화하고,
   상기 제3 양자화 파라미터를 사용한 양자화에서는, 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화하는 경우, 제6 양자화 파라미터를 추가로 사용하여 상기 1 이상의 3차원 점의 상기 제1 색차를 양자화하고,
   상기 생성에서는, 상기 제2 양자화 파라미터와 상기 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 상기 제6 양자화 파라미터의 제3 차분을 추가로 포함하는 비트 스트림을 생성하는, 3차원 데이터 부호화 방법.
4. 청구항 3에 있어서,
   상기 생성에서는, 상기 제2 양자화 파라미터를 사용한 양자화, 및, 상기 제3 양자화 파라미터를 사용한 양자화에 있어서, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 경우, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 추가로 포함하는 비트 스트림을 생성하는, 3차원 데이터 부호화 방법.
5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
   또한,
   상기 복수의 3차원 점 각각의 속성 정보 중의 제2 색을 나타내는 제2 휘도 및 제2 색차에 대해서, 제7 양자화 파라미터를 사용하여 상기 제2 휘도를 양자화하며, 또한, 제8 양자화 파라미터를 사용하여 상기 제2 색차를 양자화하고,
   상기 생성에서는, 또한, 양자화된 상기 제2 휘도, 양자화된 상기 제2 색차, 상기 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 상기 제8 양자화 파라미터의 제4 차분을 추가로 포함하는 비트 스트림을 생성하는, 3차원 데이터 부호화 방법.
6. 비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득하고,
   상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출하고,
   상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출하고,
   상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출하는,
   3차원 데이터 복호 방법.
7. 청구항 6에 있어서,
   상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로 양자화된 반사율, 및, 제4 양자화 파라미터를 취득하고,
   상기 3차원 데이터 복호 방법은, 또한,
   상기 제4 양자화 파라미터를 사용하여 상기 양자화된 반사율을 역양자화함으로써, 상기 복수의 3차원 점의 반사율을 산출하는, 3차원 데이터 복호 방법.
8. 청구항 6 또는 청구항 7에 있어서,
   상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제2 양자화 파라미터와 제5 양자화 파라미터의 제2 차분, 및, 상기 제3 양자화 파라미터와 제6 양자화 파라미터의 제3 차분을 취득하고,
   상기 제1 휘도의 산출에서는, 상기 양자화된 제1 휘도가, 상기 복수의 3차원 점이 포함되는 대상 공간을 분할한 복수의 서브 공간마다 당해 서브 공간에 포함되는 1 이상의 3차원 점의 제1 휘도가 양자화된 휘도인 경우, 상기 제2 양자화 파라미터 및 상기 제2 차분으로부터 얻어지는 상기 제5 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 휘도를 산출하고,
   상기 제1 색차의 산출에서는, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 제1 색차가 양자화된 색차인 경우, 상기 제3 양자화 파라미터 및 상기 제3 차분으로부터 얻어지는 상기 제6 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 1 이상의 3차원 점의 상기 제1 색차를 산출하는, 3차원 데이터 복호 방법.
9. 청구항 8에 있어서,
   상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 식별 정보를 취득하고,
   상기 제1 휘도의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 휘도가, 상기 1 이상의 3차원 점의 상기 제1 휘도가 양자화된 휘도인 것으로 판정하고,
   상기 제1 색차의 산출에서는, 상기 식별 정보가 상기 제5 양자화 파라미터 및 상기 제6 양자화 파라미터를 사용하여 양자화한 것을 나타내는 경우, 상기 양자화된 제1 색차가, 상기 1 이상의 3차원 점의 상기 제1 색차가 양자화된 색차인 것으로 판정하는, 3차원 데이터 복호 방법.
10. 청구항 7 내지 청구항 9 중 어느 한 항에 있어서,
    상기 취득에서는, 상기 비트 스트림을 취득함으로써 추가로, 양자화된 제2 휘도, 양자화된 제2 색차, 제7 양자화 파라미터, 및, 상기 제7 양자화 파라미터와 제8 양자화 파라미터의 제4 차분을 취득하고,
    상기 3차원 데이터 복호 방법은, 또한,
    상기 제7 양자화 파라미터를 사용하여 상기 양자화된 제2 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제2 색을 나타내는 제2 휘도 및 제2 색차 중의 상기 제2 휘도를 산출하고,
    상기 제7 양자화 파라미터 및 상기 제4 차분으로부터 얻어지는 상기 제8 양자화 파라미터를 사용하여 상기 양자화된 제2 색차를 역양자화함으로써, 상기 제2 색차를 산출하는, 3차원 데이터 복호 방법.
11. 프로세서와,
    메모리를 구비하고,
    상기 프로세서는, 상기 메모리를 사용하여,
    제1 양자화 파라미터를 사용하여 복수의 3차원 점 각각의 위치 정보를 양자화하고,
    상기 복수의 3차원 점 각각의 속성 정보 중의 제1 색을 나타내는 제1 휘도 및 제1 색차에 대해서, 제2 양자화 파라미터를 사용하여 상기 제1 휘도를 양자화하며, 또한, 제3 양자화 파라미터를 사용하여 상기 제1 색차를 양자화하고,
    양자화된 상기 위치 정보, 양자화된 상기 제1 휘도, 양자화된 상기 제1 색차, 상기 제1 양자화 파라미터, 상기 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 상기 제3 양자화 파라미터의 제1 차분을 포함하는 비트 스트림을 생성하는,
    3차원 데이터 부호화 장치.
12. 프로세서와,
    메모리를 구비하고,
    상기 프로세서는, 상기 메모리를 사용하여,
    비트 스트림을 취득함으로써 양자화된 위치 정보, 양자화된 제1 휘도, 양자화된 제1 색차, 제1 양자화 파라미터, 제2 양자화 파라미터, 및, 상기 제2 양자화 파라미터와 제3 양자화 파라미터의 제1 차분을 취득하고,
    상기 제1 양자화 파라미터를 사용하여 상기 양자화된 위치 정보를 역양자화함으로써, 복수의 3차원 점의 위치 정보를 산출하고,
    상기 제2 양자화 파라미터를 사용하여 상기 양자화된 제1 휘도를 역양자화함으로써, 상기 복수의 3차원 점의 제1 색을 나타내는 제1 휘도 및 제1 색차 중의 상기 제1 휘도를 산출하고,
    상기 제2 양자화 파라미터 및 상기 제1 차분으로부터 얻어지는 상기 제3 양자화 파라미터를 사용하여 상기 양자화된 제1 색차를 역양자화함으로써, 상기 제1 색차를 산출하는,
    3차원 데이터 복호 장치.
    

Images