KR20220122995A - 정보 처리 장치 및 방법 - Google Patents

Abstract

본 개시는 부호화 효율의 저감을 억제할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 포인트마다의 속성 정보에 대해서, 속성 정보와 그 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 예측값의 도출에 사용되는 참조 포인트의 분류를 참조 포인트에 대하여 재귀적으로 반복함으로써, 속성 정보의 계층화를 행할 때에, 참조 포인트를, 포인트의 무게 중심에 기초하여 설정한다. 본 개시는, 예를 들어 정보 처리 장치, 화상 처리 장치, 부호화 장치, 복호 장치, 전자 기기, 정보 처리 방법 또는 프로그램 등에 적용할 수 있다.

Description

정보 처리 장치 및 방법

본 개시는 정보 처리 장치 및 방법에 관한 것으로, 특히 부호화 효율의 저감을 억제할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.

종래, 예를 들어 포인트 클라우드(Point cloud)와 같은 3차원 구조를 나타내는 3D 데이터의 부호화 방법이 생각되었다(예를 들어 비특허문헌 1 참조). 포인트 클라우드의 데이터는, 각 포인트의 지오메트리 데이터(위치 정보라고도 칭한다) 및 애트리뷰트 데이터(속성 정보라고도 칭한다)에 의해 구성된다. 따라서 포인트 클라우드의 부호화는, 그 지오메트리 데이터와 애트리뷰트 데이터의 각각에 대해서 행해진다. 애트리뷰트 데이터의 부호화 방법으로서 여러가지 방법이 제안되어 있다. 예를 들어, Lifting이라고 하는 기술을 사용해서 행하는 것이 제안되었다(예를 들어 비특허문헌 2 참조). 또한, 애트리뷰트 데이터를 스케일러블하게 복호할 수 있도록 하는 방법도 제안되었다(예를 들어, 비특허문헌 3 참조).

이러한 Lifting Scheme에 있어서는, 포인트를 참조 포인트 또는 예측 포인트로 설정하는 처리를 참조 포인트에 대하여 재귀적으로 반복함으로써, 애트리뷰트 데이터가 계층화된다. 그리고 이 계층 구조에 따라서, 참조 포인트의 애트리뷰트 데이터를 사용해서 예측 포인트의 애트리뷰트 데이터의 예측값이 도출되고, 그 예측값과 애트리뷰트 데이터의 차분값이 부호화된다. 이러한 애트리뷰트 데이터의 계층화에 있어서, 참조 포인트로서, 그 참조 포인트의 후보 중, 모튼 순서에 있어서의 선두 포인트와, 마지막 포인트를, 계층마다 교호로 선택하는 방법이 제안되었다(예를 들어, 비특허문헌 4 참조).

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video", tcsvt_paper_submitted_february.pdf Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US Ohji Nakagami, Satoru Kuma, "[G-PCC] Spatial scalability support for G-PCC", ISO/IEC JTC1/SC29/WG11 MPEG2019/m47352, March 2019, Geneva, CH Hyejung Hur, Sejin Oh, "[G-PCC][New Proposal] on improved spatial scalable lifting", ISO/IEC JTC1/SC29/WG11 MPEG2019/M51408, October 2019, Geneva, CH

그러나, 비특허문헌 4에 기재된 방법이 항상 최적인 것만은 아니고, 다른 방법도 요구되고 있었다.

본 개시는 이러한 상황을 감안하여 이루어진 것으로, 부호화 효율의 저감을 억제할 수 있도록 하는 것이다.

본 기술의 일 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고, 상기 계층화부는 포인트의 무게 중심에 기초하여, 상기 참조 포인트를 설정하는 정보 처리 장치이다.

본 기술의 일 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 무게 중심에 기초하여 설정하는 정보 처리 방법이다.

본 기술의 다른 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고, 상기 계층화부는, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는 정보 처리 장치이다.

본 기술의 다른 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는 정보 처리 방법이다.

본 기술의 또 다른 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부와, 상기 계층화부에 의한 상기 참조 포인트의 설정에 관한 정보를 부호화하는 부호화부를 구비하는 정보 처리 장치이다.

본 기술의 또 다른 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하고, 상기 참조 포인트의 설정에 관한 정보를 부호화하는 정보 처리 방법이다.

본 기술의 또 다른 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고, 상기 계층화부는, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 상기 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는 정보 처리 장치이다.

본 기술의 또 다른 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는 정보 처리 방법이다.

본 기술의 일 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 포인트마다의 속성 정보에 대해서, 속성 정보와 그 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 그 예측값의 도출에 사용되는 참조 포인트의 분류를 참조 포인트에 대하여 재귀적으로 반복함으로써, 속성 정보의 계층화를 행할 때에, 참조 포인트가, 포인트의 무게 중심에 기초하여 설정된다.

본 기술의 다른 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 포인트마다의 속성 정보에 대해서, 속성 정보와 그 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 예측값의 도출에 사용되는 참조 포인트의 분류를 참조 포인트에 대하여 재귀적으로 반복함으로써, 속성 정보의 계층화를 행할 때에, 참조 포인트가, 포인트의 분포 양태에 기초하여 설정된다.

본 기술의 또 다른 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 포인트마다의 속성 정보에 대해서, 속성 정보와 그 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 예측값의 도출에 사용되는 참조 포인트의 분류를 참조 포인트에 대하여 재귀적으로 반복함으로써, 속성 정보의 계층화가 행해지고, 참조 포인트의 설정에 관한 정보가 부호화된다.

본 기술의 또 다른 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 포인트마다의 속성 정보에 대해서, 속성 정보와 그 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 예측값의 도출에 사용되는 참조 포인트의 분류를 참조 포인트에 대하여 재귀적으로 반복함으로써, 속성 정보의 계층화를 행할 때에, 참조 포인트로서, 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트가, 계층마다 교호로 선택된다.

도 1은 Lifting의 모습의 예를 설명하는 도면이다.
도 2는 모튼 순서에 기초한 참조 포인트의 설정 방법의 예를 설명하는 도면이다.
도 3은 모튼 순서에 기초한 참조 포인트의 설정 방법의 예를 설명하는 도면이다.
도 4는 모튼 순서에 기초한 참조 포인트의 설정 방법의 예를 설명하는 도면이다.
도 5는 모튼 순서에 기초한 참조 포인트의 설정 방법의 예를 설명하는 도면이다.
도 6은 참조 포인트 설정 방법의 예를 설명하는 도면이다.
도 7은 무게 중심에 기초한 참조 포인트의 설정 방법의 예를 설명하는 도면이다.
도 8은 무게 중심의 도출 방법의 예를 설명하는 도면이다.
도 9는 무게 중심의 도출 방법의 예를 설명하는 도면이다.
도 10은 무게 중심의 도출 대상의 영역 예를 나타내는 도면이다.
도 11은 포인트의 선택 방법의 예를 설명하는 도면이다.
도 12는 동일한 조건의 예를 설명하는 도면이다.
도 13은 부호화 장치의 주요 구성예를 도시하는 블록도이다.
도 14는 속성 정보 부호화부의 주요 구성예를 도시하는 블록도이다.
도 15는 계층화 처리부의 주요 구성예를 도시하는 블록도이다.
도 16은 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 17은 속성 정보 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 18은 계층화 처리의 흐름의 예를 설명하는 흐름도이다.
도 19는 참조 포인트 설정 처리의 흐름의 예를 설명하는 흐름도이다.
도 20은 복호 장치의 주요 구성예를 도시하는 블록도이다.
도 21은 속성 정보 복호부의 주요 구성예를 도시하는 블록도이다.
도 22는 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 23은 속성 정보 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 24는 역계층화 처리의 흐름의 예를 설명하는 흐름도이다.
도 25는 테이블의 예를 나타내는 도면이다.
도 26은 테이블의 예와 시그널링에 대해서 설명하는 도면이다.
도 27은 참조 포인트 설정 처리의 흐름의 예를 설명하는 흐름도이다.
도 28은 시그널링하는 정보의 예를 나타내는 도면이다.
도 29는 시그널링의 대상의 예를 나타내는 도면이다.
도 30은 시그널링되는 정보의 예를 나타내는 도면이다.
도 31은 시그널링되는 정보의 예를 나타내는 도면이다.
도 32는 고정 길이 비트의 정보를 시그널링하는 경우의 신택스의 예를 나타내는 도면이다.
도 33은 고정 길이 비트의 정보를 시그널링하는 경우의 신택스의 예를 나타내는 도면이다.
도 34는 시그널링하는 가변 길이 비트의 정보의 예를 나타내는 도면이다.
도 35는 시그널링하는 가변 길이 비트의 정보의 예를 나타내는 도면이다.
도 36은 가변 길이 비트의 정보를 시그널링하는 경우의 신택스의 예를 나타내는 도면이다.
도 37은 가변 길이 비트의 정보를 시그널링하는 경우의 신택스의 예를 나타내는 도면이다.
도 38은 참조 포인트 설정 처리의 흐름의 예를 설명하는 흐름도이다.
도 39는 탐색순의 예를 설명하는 도면이다.
도 40은 참조 포인트 설정 처리의 흐름의 예를 설명하는 흐름도이다.
도 41은 컴퓨터의 주요 구성예를 도시하는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하 실시 형태로 한다)에 대해서 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 참조 포인트의 설정

2. 제1 실시 형태(방법 1)

3. 제2 실시 형태(방법 2)

4. 제3 실시 형태(방법 3)

5. 제4 실시 형태(방법 4)

6. 부기

<1. 참조 포인트의 설정>

<기술 내용·기술 용어를 서포트하는 문헌 등>

본 기술에서 개시되는 범위에는, 실시 형태에 기재되어 있는 내용뿐만 아니라, 출원 당시에 있어서 공지되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.

비특허문헌 1: (상술)

비특허문헌 2: (상술)

비특허문헌 3: (상술)

비특허문헌 4: (상술)

즉, 상술한 비특허문헌에 기재되어 있는 내용이나, 상술한 비특허문헌에 있어서 참조되어 있는 다른 문헌의 내용 등도, 서포트 요건을 판단할 때의 근거가 된다.

<포인트 클라우드>

종래, 포인트의 위치 정보나 속성 정보 등에 의해 3차원 구조를 나타내는 포인트 클라우드(Point cloud)나, 정점, 에지, 면으로 구성되고, 다각형 표현을 사용해서 3차원 형상을 정의하는 메쉬(Mesh) 등의 3D 데이터가 존재했다.

예를 들어 포인트 클라우드의 경우, 입체 구조물(3차원 형상의 오브젝트)을 다수의 점의 집합으로서 표현한다. 포인트 클라우드의 데이터(포인트 클라우드 데이터라고도 칭한다)는, 각 점의 위치 정보(지오메트리 데이터라고도 칭한다)와 속성 정보(애트리뷰트 데이터라고도 칭한다)에 의해 구성된다. 애트리뷰트 데이터는 임의의 정보를 포함할 수 있다. 예를 들어, 각 포인트의 색 정보, 반사율 정보, 법선 정보 등이 애트리뷰트 데이터에 포함되도록 해도 된다. 이와 같이 포인트 클라우드 데이터는, 데이터 구조가 비교적 단순함과 함께, 충분히 많은 점을 사용함으로써 임의의 입체 구조물을 충분한 정밀도로 표현할 수 있다.

<복셀을 사용한 위치 정보의 양자화>

이러한 포인트 클라우드 데이터는 그 데이터양이 비교적 크므로, 부호화 등에 의한 데이터양을 압축하기 위해서, 복셀(Voxel)을 사용한 부호화 방법이 생각되었다. 복셀은 지오메트리 데이터(위치 정보)를 양자화하기 위한 3차원 영역이다.

즉, 포인트 클라우드를 내포하는 3차원 영역(바운딩 박스(Bounding box)라고도 칭한다)을 복셀이라고 칭하는 작은 3차원 영역으로 분할하고, 그 복셀마다, 포인트를 내포할지의 여부를 나타내도록 한다. 이와 같이 함으로써, 각 포인트의 위치는 복셀 단위로 양자화된다. 따라서, 포인트 클라우드(Point cloud) 데이터를 이러한 복셀의 데이터(복셀(Voxel) 데이터라고도 칭한다)로 변환함으로써, 정보량의 증대를 억제(전형적으로는 정보량을 삭감)할 수 있다.

<Octree>

또한, 지오메트리 데이터에 대해서, 이러한 복셀(Voxel) 데이터를 사용해서 Octree를 구축하는 것이 생각되었다. Octree는 복셀 데이터를 나무 구조화한 것이다. 이 Octree의 최하위의 노드의 각 비트의 값이, 각 복셀의 포인트의 유무를 나타낸다. 예를 들어, 값 「1」이 포인트를 내포하는 복셀을 나타내고, 값 「0」이 포인트를 내포하지 않는 복셀을 나타낸다. Octree에서는, 1 노드가 8개의 복셀에 대응한다. 즉, Octree의 각 노드는 8비트의 데이터에 의해 구성되고, 그 8비트가 8개의 복셀의 포인트의 유무를 나타낸다.

그리고, Octree의 상위의 노드는, 그 노드에 속하는 하위 노드에 대응하는 8개의 복셀을 하나로 통합한 영역의 포인트의 유무를 나타낸다. 즉, 하위 노드의 복셀의 정보를 통합함으로써 상위 노드가 생성된다. 또한, 값이 「0」인 노드, 즉 대응하는 8개의 복셀이 모두 포인트를 내포하지 않는 경우, 그 노드는 삭제된다.

이와 같이 함으로써, 값이 「0」이 아닌 노드로 이루어지는 나무 구조(Octree)가 구축된다. 즉, Octree는 각 해상도의 복셀의 포인트의 유무를 나타낼 수 있다. Octree화해서 부호화함으로써, 위치 정보는, 최고 해상도(최상위층)로부터 원하는 계층(해상도)까지 복호함으로써, 그 해상도의 포인트 클라우드 데이터를 복원할 수 있다. 즉, 불필요한 계층(해상도)의 정보를 복호하지 않고, 용이하게 임의의 해상도로 복호할 수 있다. 환언하자면, 복셀(해상도)의 스케일러빌리티를 실현할 수 있다.

또한, 상술한 바와 같이 값이 「0」인 노드를 생략함으로써, 포인트가 존재하지 않는 영역의 복셀을 저해상도화할 수 있으므로, 가일층의 정보량의 증대의 억제(전형적으로는 정보량의 삭감)를 행할 수 있다.

<Lifting>

이에 대해 애트리뷰트 데이터(속성 정보)를 부호화할 때는, 부호화에 의한 열화를 포함하여 지오메트리 데이터(위치 정보)를 기지인 것으로 해서, 포인트간의 위치 관계를 이용해서 부호화가 행해진다. 이러한 애트리뷰트 데이터의 부호화 방법으로서, RAHT(Region Adaptive Hierarchical Transform)나, 비특허문헌 2에 기재한 바와 같은 Lifting이라 칭하는 변환을 사용하는 방법이 생각되었다. 이들 기술을 적용함으로써, 지오메트리 데이터의 Octree와 같이, 애트리뷰트 데이터를 계층화할 수도 있다.

예를 들어 비특허문헌 2에 기재된 Lifting의 경우, 포인트를 참조 포인트 또는 예측 포인트로 설정하는 처리를 참조 포인트에 대하여 재귀적으로 반복함으로써, 애트리뷰트 데이터가 계층화된다. 그리고 이 계층 구조에 따라, 참조 포인트의 애트리뷰트 데이터를 사용해서 예측 포인트의 애트리뷰트 데이터의 예측값이 도출되고, 그 예측값과 애트리뷰트 데이터의 차분값이 부호화된다.

예를 들어, 도 1에 있어서 포인트 P5를 참조 포인트로서 선택한다고 하자. 그 경우, 예측 포인트는, 그 포인트 P5를 중심으로 하는 반경 R의 원형 영역 내에 있어서 탐색된다. 이 경우, 포인트 P9가, 그 영역 내에 위치하므로, 포인트 P5를 참조하여 예측값이 도출되는 예측 포인트(포인트 P5를 참조 포인트로 하는 예측 포인트)로서 설정된다.

이러한 처리에 의해, 예를 들어 흰 동그라미로 나타나는 포인트 P7 내지 포인트 P9의 각 차분값과, 사선 모양으로 나타나는 포인트 P1, 포인트 P3 및 포인트 P6의 각 차분값과, 회색 동그라미로 나타나는 포인트 P0, 포인트 P2, 포인트 P4 및 포인트 P5의 각 차분값이, 서로 다른 계층의 차분값으로서 도출된다.

또한, 실제로는, 포인트 클라우드는 3차원 공간에 배치되고, 상술한 처리는 3차원 공간에 있어서 행해지지만, 도 1에 있어서는, 설명의 편의상, 그 3차원 공간을, 2차원 평면을 사용해서 모식적으로 도시하고 있다. 즉, 이 도 1을 참조하여 행해진 설명은, 3차원 공간에 있어서의 처리나 현상 등에 대해서도 마찬가지로 적용할 수 있다.

이하에 있어서도, 적절히, 3차원 공간에 대한 설명을, 2차원 평면을 사용해서 행하고 있다. 특별히 언급하지 않는 한, 기본적으로, 그 설명은 3차원 공간에 있어서의 처리나 현상 등에 대해서도 마찬가지로 적용할 수 있다.

이 계층화에 있어서의 참조 포인트의 선택은, 예를 들어 모튼 순서(Morton Order)에 따라서 행해지고 있었다. 예를 들어, 도 2에 도시되는 트리 구조와 같이, 어느 계층의 복수의 노드로부터 1개의 참조 포인트를 선택하고, 그것을 1계층 상위의 노드로 하는 경우, 그 복수의 노드를 모튼 순서로 탐색하여, 처음에 출현하는 노드를 참조 포인트로 선택하고 있었다. 도 2에 있어서는, 각 동그라미가 노드를 나타내고, 검은 동그라미가 참조 포인트로 선택된(즉, 1계층 상위의 노드로서 선택된) 노드를 나타낸다. 도 2에 있어서는, 왼쪽에서 오른쪽을 향해서 각 노드가 모튼 순서로 정렬되어 있다. 즉, 도 2의 예의 경우, 좌측 단부의 노드가 항상 선택된다.

이에 대해, 비특허문헌 4에서는, 이러한 애트리뷰트 데이터의 계층화에 있어서, 참조 포인트로서, 그 참조 포인트의 후보 중, 모튼 순서에 있어서의 선두 포인트와, 마지막 포인트를, 계층마다 교호로 선택하는 방법이 제안되었다. 즉, 도 3의 예와 같이, LoD N의 계층에 있어서는, 모튼 순서에 있어서의 선두의 노드가 참조 포인트로 선택되고, 그 다음의 계층(LoD N-1)에 있어서는, 모튼 순서에 있어서의 마지막 노드가 참조 포인트로 선택된다.

도 4는 3차원 공간에 있어서의 참조 포인트의 선택의 모습의 예를, 2차원 평면을 사용해서 설명하고 있다. 도 4의 A의 각 사각은 어느 계층의 복셀을 나타낸다. 또한, 동그라미는, 처리 대상이 되는 참조 포인트의 후보를 나타낸다. 도 4의 A에 나타내는 2x2개의 포인트로부터 참조 포인트를 선택하는 경우, 예를 들어 모튼 순서의 선두 포인트(회색 포인트)가 참조 포인트로서 선택된다. 그 1개 상위의 계층에 있어서는, 도 4의 B에 나타내는 바와 같이, 2x2개의 포인트 중, 모튼 순서의 마지막 포인트(회색 포인트)가 참조 포인트로서 선택된다. 또한, 그 1개 상위의 계층에 있어서는, 도 4의 C에 도시되는 바와 같이, 2x2개의 포인트 중, 모튼 순서의 선두 포인트(회색 포인트)가 참조 포인트로서 선택된다.

도 4의 A 내지 도 4의 C의 각각에 도시되는 화살표는, 참조 포인트의 이동을 나타낸다. 이 경우, 참조 포인트의 이동 범위가 도 4의 C에 도시되는 점선 프레임과 같이 좁은 범위로 한정되므로, 예측 정밀도의 저감이 억제된다.

그러나, 도 5에 도시되는 위치에 있어서 도 4의 경우와 마찬가지로 참조 포인트가 선택되면, 참조 포인트의 위치는, 도 5의 A 내지 도 5의 C와 같이 이동한다. 도 4는 3차원 공간에 있어서의 참조 포인트의 선택의 모습의 다른 예를, 2차원 평면을 사용해서 설명하고 있다. 즉 그 참조 포인트의 이동 범위가, 도 5의 C에 도시되는 점선 프레임과 같이, 도 4의 경우에 비하여 넓어져버려서, 예측 정밀도가 저감될 우려가 있었다.

이와 같이, 비특허문헌 4에 기재된 방법에서는, 포인트의 위치에 따라 예측 정밀도가 저감하고, 부호화 효율이 저감될 우려가 있었다.

<참조 포인트의 설정 방법>

그래서, 예를 들어 도 6의 표의 맨 윗단에 나타나는 방법 1과 같이, 이 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 구하고, 그 무게 중심에 기초하여 참조 포인트를 설정하도록 해도 된다. 예를 들어, 도출한 무게 중심에 가까운 포인트를 참조 포인트로 선택하도록 해도 된다.

또한, 예를 들어 도 6의 표의 위에서부터 2번째 단에 나타나는 방법 2와 같이, 이 애트리뷰트 데이터의 계층화에 있어서, 포인트의 분포 패턴(분포 양태)에 따라서 참조 포인트를 선택하도록 해도 된다.

또한, 예를 들어 도 6의 표의 위에서부터 3번째 단에 나타나는 방법 3과 같이, 이 애트리뷰트 데이터의 계층화에 있어서, 참조 포인트의 설정에 관한 정보를 부호화측으로부터 복호측으로 전송하도록 해도 된다.

또한, 예를 들어 도 6의 표의 위에서부터 4번째 단에 나타나는 방법 4와 같이, 이 애트리뷰트 데이터의 계층화에 있어서, 참조 포인트로서, 바운딩 박스의 중심에 가까운 포인트와 먼 포인트를 계층마다 교호로 선택하도록 해도 된다.

이들의 어느 방법을 적용함으로써, 부호화 효율의 저감을 억제할 수 있다. 또한, 상술한 각 방법은 임의로 조합하여 적용할 수 있다. 또한, 상술한 각 방법은, 스케일러블한 복호에 대응한 애트리뷰트 데이터의 부호화·복호에 적용할 수도 있고, 스케일러블한 복호에 대응하지 않은 애트리뷰트 데이터의 부호화·복호에 적용할 수도 있다.

<2. 제1 실시 형태>

<방법 1>

상술한 「방법 1」을 적용하는 경우에 대해서 설명한다. 이 「방법 1」의 경우, 포인트의 무게 중심이 도출되고, 그 무게 중심에 기초하여 참조 포인트가 선택된다. 이 도출된 무게 중심에 대하여 어떤 포인트를 참조 포인트로서 설정해도 된다. 예를 들어, 도출된 무게 중심에 가까운 포인트(예를 들어 무게 중심에 대하여 보다 근방에 위치하는 포인트)를 참조 포인트로서 선택하도록 해도 된다.

도 7의 A는, 참조 포인트의 설정을 행하는 대상 영역의 예를 나타내고 있다. 도 7의 A에 있어서 사각은 복셀을 나타내고, 동그라미는 포인트를 나타낸다. 즉, 도 7의 A는, 3차원 공간 상의 복셀 구조의 예를, 2차원 평면을 사용해서 모식적으로 도시한 도면이다. 예를 들어 도 7의 A와 같이 배치된 포인트 A 내지 포인트 C가 참조 포인트의 후보라고 하면, 도 7의 B에 나타내는 바와 같이, 이들 후보의 무게 중심에 가까운 포인트 B를 참조 포인트로서 선택해도 된다. 도 7의 B는, 도 2등과 마찬가지로 애트리뷰트 데이터의 계층 구조를 나타내고 있고, 검은 동그라미가 참조 포인트를 나타내고 있다. 즉, 포인트 A 내지 포인트 C 중에서 포인트 B가 참조 포인트로서 선택되고 있다.

이와 같이 무게 중심에 가까운 포인트를 참조 포인트함으로써, 보다 많은 다른 포인트에 대하여 가까운 포인트를 참조 포인트로서 설정할 수 있다. 따라서, 즉 보다 많은 예측 포인트에 대한 예측 정밀도의 저감을 억제하도록 참조 포인트를 설정할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

<무게 중심의 도출 방법>

이 무게 중심의 도출 방법은 임의이다. 예를 들어, 참조 포인트의 선택에 사용하는 무게 중심으로서, 어느 포인트에 대한 무게 중심을 적용해도 된다. 예를 들어, 소정의 범위 내에 위치하는 포인트의 무게 중심을 도출하고, 그 무게 중심을 참조 포인트의 선택에 사용하도록 해도 된다. 이와 같이 함으로써, 무게 중심의 도출에 사용되는 포인트의 수의 증대를 억제할 수 있고, 부하의 증대를 억제할 수 있다.

이 무게 중심의 도출에 사용하는 포인트의 범위(무게 중심 도출 대상 범위라고도 칭한다)는 어떤 범위여도 된다. 예를 들어, 도 8에 도시되는 「무게 중심의 도출 방법」의 표의 위에서부터 2번째 단에 나타나는 방법 (1)과 같이, 참조 포인트의 후보의 무게 중심을 도출하도록 해도 된다. 즉, 예를 들어 도 9의 A에 나타내는 바와 같이, 참조 포인트의 후보가 되는 포인트가 존재하는 2x2x2의 복셀로 이루어지는 복셀 영역을 무게 중심 도출 대상 범위로 해도 된다. 도 9의 A에 있어서는, 3차원 공간의 2x2x2의 복셀 영역을 2차원 평면 상에서 (2x2의 사각으로서) 모식적으로 도시하고 있다. 이 경우, 도 9의 A에 있어서 동그라미로 나타나는 3개의 포인트의 무게 중심이 도출되고, 그 무게 중심이 참조 포인트의 설정에 이용된다.

이와 같이 함으로써, 처리 대상의 포인트(참조 포인트의 후보)의 무게 중심을 도출하면 되므로, 다른 포인트의 검색 등이 불필요해져서, 용이하게 그 무게 중심을 도출할 수 있다.

또한, 무게 중심 도출 대상 범위로 하는 복셀 영역은 임의이고 2x2x2로 한정되지 않는다. 예를 들어, NxNxN(N>=2)의 복셀로 이루어지는 복셀 영역 내에 위치하는 포인트의 무게 중심을 도출해도 된다. 즉, 이 NxNxN의 복셀 영역을 무게 중심 도출 대상 범위로 해도 된다.

예를 들어, 도 10의 A에 나타내는 바와 같이, 이 무게 중심 도출 대상 범위로 하는 복셀 영역(도 10의 A에 있어서 굵은 선으로 나타나는 복셀 영역)과, 참조 포인트를 도출하는 대상의 복셀 영역(도 10의 A에 있어서 회색으로 나타나는 복셀 영역)을 동일 위치로 해도 된다(양 범위를 완전 일치시켜도 된다). 또한, 도 10에 있어서는, 실제로는 3차원 공간 상에 구성되는 복셀 영역을 2차원 평면 상에 있어서 모식적으로 도시하고 있다. 또한, 도 10의 A에 있어서는, 설명의 편의상, 무게 중심 도출 대상 범위와 참조 포인트를 도출하는 대상의 복셀 영역을 서로 조금 어긋나게 해서 나타내고 있지만, 실제로는 양 범위가 완전히 일치하는 것을 나타내고 있다.

또한, 예를 들어 도 10의 B에 나타내는 바와 같이, 무게 중심 도출 대상 범위로 하는 복셀 영역(도 10의 B에 있어서 굵은 선으로 나타나는 복셀 영역)을, 참조 포인트를 도출하는 대상의 복셀 영역(도 10의 B에 있어서 회색으로 나타나는 복셀 영역)보다 넓게 해도 된다. 도 10의 B의 예에서는, 4x4x4의 복셀 영역이 무게 중심 도출 대상 범위로 되어 있다.

또한, 예를 들어 도 10의 C에 도시되는 바와 같이, 무게 중심 도출 대상 범위로 하는 복셀 영역(도 10의 C에 있어서 굵은 선으로 나타나는 복셀 영역)의 중심이, 참조 포인트를 도출하는 대상의 복셀 영역(도 10의 C에 있어서 회색으로 나타나는 복셀 영역)의 중심과 일치하지 않아도 된다. 즉, 무게 중심 도출 대상 범위가, 참조 포인트를 도출하는 대상의 복셀 영역에 대하여 소정의 방향으로 치우쳐서 넓어지도록 해도 된다. 예를 들어, 바운딩 박스의 단부 부근 등에 있어서, 무게 중심 도출 대상 범위가 바운딩 박스로부터 비어져 나오지 않도록 하기 위해서, 이와 같이 무게 중심 도출 대상 범위의 확대를 치우치게 해도 된다.

또한, 예를 들어 도 8에 도시되는 「무게 중심의 도출 방법」의 표의 위에서부터 3번째 단에 나타나는 방법 (2)와 같이, 근방 N점의 무게 중심을 구하도록 해도 된다. 즉, 예를 들어 도 9의 B에 나타나는 바와 같이, 참조 포인트의 후보가 되는 포인트가 존재하는 2x2x2의 복셀로 이루어지는 복셀 영역의 중심 좌표에 가까운 쪽부터 N개의 포인트를 탐색하고, 그 N개의 포인트 무게 중심을 도출해도 된다. 도 9의 B에 있어서는, 실제로는 3차원 공간 상에 배치되는 포인트의 분포를 2차원 평면 상에서 모식적으로 도시하고 있다. 또한, 검은 동그라미가 참조 포인트를 도출하는 대상의 복셀 영역의 중심 좌표를 나타내고 있다. 즉, 이 검은 동그라미에 가까운 쪽부터 순서대로 포인트(흰 동그라미)가 N개 선택되고, 그 무게 중심이 도출된다.

이와 같이 함으로써, 탐색하는 포인트를 N개로 한정할 수 있으므로, 그 탐색에 의한 부하의 증대를 억제할 수 있다.

또한, 예를 들어 도 8에 도시되는 「무게 중심의 도출 방법」의 표의 위에서부터 4번째 단에 나타나는 방법 (3)과 같이, 방법 (2)에 의해 도출되는 근방 N점으로부터, 참조 포인트의 후보(2x2x2의 복셀로 이루어지는 복셀 영역에 존재하는 포인트)를 제외해도 된다. 즉, 도 9의 C에 도시되는 바와 같이, 2x2x2의 복셀 영역을 무게 중심 도출 대상 범위로부터 제외하고, 이 2x2x2의 복셀 영역의 밖에 위치하는 포인트의 무게 중심을 도출하도록 해도 된다. 도 9의 C에 있어서는, 실제로는 3차원 공간 상에 배치되는 포인트의 분포를 2차원 평면 상에서 모식적으로 도시하고 있다.

또한, 예를 들어 도 8에 도시되는 「무게 중심의 도출 방법」의 표의 위에서부터 5번째 단에 나타나는 방법 (4)와 같이, 참조 포인트의 후보가 되는 포인트가 존재하는 2x2x2의 복셀로 이루어지는 복셀 영역의 중심 좌표를 중심으로 하는 반경 r의 영역 내의 포인트의 무게 중심을 도출하도록 해도 된다. 즉, 이 경우, 예를 들어 도 9의 D에 도시되는 바와 같이, 점선 프레임으로 표시되는, 2x2x2의 복셀로 이루어지는 복셀 영역의 중심 좌표를 중심으로 하는 반경 r의 영역 내에 위치하는 포인트의 무게 중심이 도출된다. 또한, 도 9의 D에 있어서는, 실제로는 3차원 공간 상에 배치되는 포인트의 분포를 2차원 평면 상에서 모식적으로 도시하고 있다. 또한, 검은 동그라미가 참조 포인트를 도출하는 대상의 복셀 영역의 중심 좌표를 나타내고, 흰 동그라미가 2x2x2의 복셀로 이루어지는 복셀 영역의 중심 좌표를 중심으로 하는 반경 r의 영역 내의 포인트를 나타내고 있다.

이와 같이 함으로써, 복셀 구조를 이용하지 않는, 스케일러블하게 비대응의 Lifting에도 본 기술을 적용할 수 있다.

<참조점의 선택 방법>

상술한 바와 같이 「방법 1」의 경우, 예를 들어 도출된 무게 중심에 가까운 포인트를 참조 포인트로 설정할 수 있다. 「무게 중심에 가까운 포인트」가 복수 존재하는 경우, 그 중 어느 하나가 참조 포인트로서 선택된다. 이 선택 방법은 임의이다. 예를 들어, 도 11의 「복수의 후보로부터의 참조점의 선택 방법」의 표에 나타나는 각 방법과 같이 참조 포인트를 설정해도 된다.

예를 들어, 도 12의 A에 나타내는 바와 같이, 무게 중심으로부터의 거리가 서로 동등한 포인트가 복수 존재하는 경우도 있을 수 있다. 또한, 예를 들어 도 12의 B에 나타내는 바와 같이, 연산에 의한 부하의 증대를 억제하기 위해서, 예를 들어 충분히 가까이에 위치하는 포인트는 모두 「무게 중심에 가까운 포인트」로 해도 된다. 도 12의 B의 경우, 무게 중심으로부터 반경 Dth의 범위 내에 위치하는 포인트는 모두 「무게 중심에 가까운 포인트」로 된다. 이 경우, 「무게 중심에 가까운 포인트」가 복수 존재할 수 있다.

이러한 경우, 예를 들어 도 11에 도시되는 「복수의 후보로부터의 참조점의 선택 방법」의 표의 위에서부터 2번째 단에 나타나는 방법 (1)과 같이, 소정의 탐색순에 있어서 가장 먼저 처리 대상이 될 포인트를 선택하도록 해도 된다.

또한, 예를 들어 도 11에 도시되는 「복수의 후보로부터의 참조점의 선택 방법」의 표의 위에서부터 3번째 단에 나타나는 방법 (2)와 같이, 소정의 탐색순에 있어서 가장 먼저 또는 가장 나중에 처리 대상이 될 포인트를 선택하도록 해도 된다. 예를 들어, 소정의 탐색순에 있어서 가장 먼저 처리 대상이 될 포인트를 선택할지, 소정의 탐색순에 있어서 가장 나중에 처리 대상이 될 포인트를 선택할지를 계층마다 전환하도록 해도 된다.

또한, 예를 들어 도 11에 도시되는 「복수의 후보로부터의 참조점의 선택 방법」의 표의 위에서부터 4번째 단에 나타나는 방법 (3)과 같이, 소정의 탐색순에 있어서 중간(개수/2)에 처리 대상이 될 포인트를 선택하도록 해도 된다.

또한, 예를 들어 도 11에 도시되는 「복수의 후보로부터의 참조점의 선택 방법」의 표의 위에서부터 5번째 단에 나타나는 방법 (4)와 같이, 소정의 탐색순에 있어서 지정된 순위에 처리 대상이 될 포인트를 선택하도록 해도 된다. 즉, 소정의 탐색순에 있어서 N번째로 처리 대상이 될 포인트를 선택하도록 해도 된다. 이 지정 순위(N)는, 미리 정해져 있어도 되고, 유저나 애플리케이션 등에 의해 설정 가능으로 해도 된다. 또한, 지정 순위를 설정 가능으로 하는 경우에는, 이 지정 순위(N)에 관한 정보를 시그널링(전송)시켜도 된다.

이상의 방법 (1) 내지 방법 (4)와 같이, 무게 중심에 대하여 대략 동일한 조건의 후보가 복수 존재하는 경우, 그 복수의 후보 중에서, 소정의 탐색순에 기초하여 참조 포인트를 설정하도록 해도 된다.

또한, 이 탐색순은 임의이다. 예를 들어, 모튼 순서여도 되고, 모튼 순서 이외여도 된다. 또한, 이 탐색순은 규격 등에 의해 미리 규정되어 있어도 되고, 유저나 애플리케이션 등에 의해 설정 가능으로 해도 된다. 이 탐색순을 설정 가능으로 하는 경우, 그 탐색순에 관한 정보를 시그널링(전송)시켜도 된다.

또한, 예를 들어 도 11에 도시되는 「복수의 후보로부터의 참조점의 선택 방법」의 표의 위에서부터 6번째 단에 나타나는 방법 (5)와 같이, 무게 중심 도출 대상 범위를 보다 광범위하다고 보고, 그 광범위한 무게 중심 도출 대상 범위 내의 포인트의 무게 중심을 도출하고, 그 새롭게 도출한 무게 중심을 사용해서 포인트를 선택하도록 해도 된다. 즉, 조건을 바꾸어서 무게 중심을 다시 도출해도 된다.

<부호화 장치>

이어서, 본 기술을 적용하는 장치에 대해서 설명한다. 도 13은 본 기술(의 「방법 1」)을 적용한 정보 처리 장치의 일 양태인 부호화 장치의 구성의 일례를 도시하는 블록도이다. 도 13에 도시되는 부호화 장치(100)는, 포인트 클라우드(3D 데이터)를 부호화하는 장치이다. 부호화 장치(100)는, 본 실시 형태에 있어서 설명한 본 기술을 적용해서 포인트 클라우드를 부호화한다.

또한, 도 13에 있어서는, 처리부와 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 13에 도시되는 것이 모든 것인 것만은 아니다. 즉, 부호화 장치(100)에 있어서, 도 13에 있어서 블록으로서 도시되어 있지 않은 처리부가 존재하거나, 도 13에 있어서 화살표 등으로서 도시되어 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 13에 도시되는 바와 같이 부호화 장치(100)는, 위치 정보 부호화부(101), 위치 정보 복호부(102), 포인트 클라우드 생성부(103), 속성 정보 부호화부(104) 및 비트 스트림 생성부(105)를 갖는다.

위치 정보 부호화부(101)는 부호화 장치(100)에 입력된 포인트 클라우드(3D 데이터)의 지오메트리 데이터(위치 정보)를 부호화한다. 이 부호화 방법은, 스케일러블한 복호에 대응한 방법이면 임의이다. 예를 들어 위치 정보 부호화부(101)는 지오메트리 데이터를 계층화해서 Octree를 생성하고, 그 Octree를 부호화한다. 또한, 예를 들어 노이즈 억제(디노이즈)를 위한 필터링이나 양자화 등의 처리가 행해지도록 해도 된다. 위치 정보 부호화부(101)는 생성한 지오메트리 데이터의 부호화 데이터를 위치 정보 복호부(102) 및 비트 스트림 생성부(105)에 공급한다.

위치 정보 복호부(102)는 위치 정보 부호화부(101)로부터 공급되는 지오메트리 데이터의 부호화 데이터를 취득하고, 그 부호화 데이터를 복호한다. 이 복호 방법은, 위치 정보 부호화부(101)에 의한 부호화에 대응하는 방법이면 임의이다. 예를 들어, 디노이즈를 위한 필터링이나 역양자화 등의 처리가 행해지게 해도 된다. 위치 정보 복호부(102)는, 생성한 지오메트리 데이터(복호 결과)를 포인트 클라우드 생성부(103)에 공급한다.

포인트 클라우드 생성부(103)는, 부호화 장치(100)에 입력되는 포인트 클라우드의 애트리뷰트 데이터(속성 정보)와, 위치 정보 복호부(102)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(103)는, 애트리뷰트 데이터를 지오메트리 데이터(복호 결과)에 맞추는 처리(리컬러 처리)를 행한다. 포인트 클라우드 생성부(103)는, 지오메트리 데이터(복호 결과)에 대응시킨 애트리뷰트 데이터를 속성 정보 부호화부(104)에 공급한다.

속성 정보 부호화부(104)는 포인트 클라우드 생성부(103)로부터 공급되는 지오메트리 데이터(복호 결과) 및 애트리뷰트 데이터를 취득한다. 속성 정보 부호화부(104)는, 그 지오메트리 데이터(복호 결과)를 사용하여, 애트리뷰트 데이터를 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다.

그 때, 속성 정보 부호화부(104)는 상술한 본 기술(방법 1)을 적용하여, 애트리뷰트 데이터를 부호화한다. 속성 정보 부호화부(104)는 생성한 애트리뷰트 데이터의 부호화 데이터를 비트 스트림 생성부(105)에 공급한다.

비트 스트림 생성부(105)는 위치 정보 부호화부(101)로부터 공급되는 지오메트리 데이터의 부호화 데이터를 취득한다. 또한, 비트 스트림 생성부(105)는 속성 정보 부호화부(104)로부터 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다. 비트 스트림 생성부(105)는, 이들의 부호화 데이터를 포함하는 비트 스트림을 생성한다. 비트 스트림 생성부(105)는, 생성한 비트 스트림을 부호화 장치(100)의 외부에 출력한다.

이러한 구성으로 함으로써, 부호화 장치(100)는 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 구하고, 그 무게 중심에 기초하여 참조 포인트를 설정할 수 있다. 이와 같이 무게 중심에 가까운 포인트를 참조 포인트함으로써, 보다 많은 다른 포인트에 대하여 가까운 포인트를 참조 포인트로서 설정할 수 있다. 따라서, 즉 보다 많은 예측 포인트에 대한 예측 정밀도의 저감을 억제하도록 참조 포인트를 설정할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

또한, 부호화 장치(100)의 이들 처리부(위치 정보 부호화부(101) 내지 비트 스트림 생성부(105))는 각각 임의의 구성을 갖는다. 예를 들어, 각 처리부가 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가 예를 들어 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖고, 그들을 사용해서 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 외를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되고, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<속성 정보 부호화부>

도 14는 속성 정보 부호화부(104)(도 13)의 주요 구성예를 도시하는 블록도이다. 또한, 도 14에 있어서는, 처리부와 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 14에 도시되는 것이 모든 것인 것만은 아니다. 즉, 속성 정보 부호화부(104)에 있어서, 도 14에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 14에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 14에 도시된 바와 같이 속성 정보 부호화부(104)는, 계층화 처리부(111), 양자화부(112) 및 부호화부(113)를 갖는다.

계층화 처리부(111)는 애트리뷰트 데이터의 계층화에 관한 처리를 행한다. 예를 들어, 계층화 처리부(111)는 포인트 클라우드 생성부(103)로부터 공급되는 애트리뷰트 데이터나 지오메트리 데이터(복호 결과)를 취득한다. 계층화 처리부(111)는, 그 지오메트리 데이터를 사용해서 애트리뷰트 데이터를 계층화한다. 그 때, 계층화 처리부(111)는 상술한 본 기술(방법 1)을 적용해서 계층화를 행한다. 즉, 계층화 처리부(111)는, 각 계층에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 선택한다. 그리고 계층화 처리부(111)는 그 계층 구조의 각 계층에 있어서 참조 관계를 설정하고, 그 참조 관계에 기초하여, 참조 포인트의 애트리뷰트 데이터를 사용하여, 각 예측 포인트의 애트리뷰트 데이터의 예측값을 도출하고, 애트리뷰트 데이터와 그 예측값의 차분값을 도출한다. 계층화 처리부(111)는, 계층화한 애트리뷰트 데이터(차분값)을 양자화부(112)에 공급한다.

그 때, 계층화 처리부(111)는 계층화에 관한 제어 정보도 생성할 수 있다. 계층화 처리부(111)는 생성한 제어 정보도, 애트리뷰트 데이터(차분값)와 함께 양자화부(112)에 공급할 수 있다.

양자화부(112)는 계층화 처리부(111)로부터 공급되는 애트리뷰트 데이터(차분값)와 제어 정보를 취득한다. 양자화부(112)는 그 애트리뷰트 데이터(차분값)을 양자화한다. 이 양자화의 방법은 임의이다. 양자화부(112)는 그 양자화된 애트리뷰트 데이터(차분값)와 제어 정보를, 부호화부(113)에 공급한다.

부호화부(113)는 양자화부(112)로부터 공급되는, 양자화된 애트리뷰트 데이터(차분값)와 제어 정보를 취득한다. 부호화부(113)는 그 양자화된 애트리뷰트 데이터(차분값)을 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다. 이 부호화 방법은 임의이다. 또한, 부호화부(113)는 생성한 부호화 데이터에, 제어 정보를 포함시킨다. 환언하자면, 제어 정보를 포함하는 애트리뷰트 데이터의 부호화 데이터를 생성한다. 부호화부(113)는, 생성한 부호화 데이터를 비트 스트림 생성부(105)에 공급한다.

이상과 같이 계층화를 행함으로써, 속성 정보 부호화부(104)는, 무게 중심에 가까운 포인트를 참조 포인트로서 설정할 수 있으므로, 보다 많은 다른 포인트에 대하여 가까운 포인트를 참조 포인트로서 설정할 수 있다. 따라서, 즉 보다 많은 예측 포인트에 대한 예측 정밀도의 저감을 억제하도록 참조 포인트를 설정할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

또한, 이들 처리부(계층화 처리부(111) 내지 부호화부(113))는, 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그들을 사용해서 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 외를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되고, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<계층화 처리부>

도 15는 계층화 처리부(111)(도 14)의 주요 구성예를 도시하는 블록도이다. 또한, 도 15에 있어서는, 처리부와 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 15에 도시되는 것이 모든 것인 것만은 아니다. 즉, 계층화 처리부(111)에 있어서, 도 15에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 15에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 15에 도시되는 바와 같이 계층화 처리부(111)는, 참조 포인트 설정부(121), 참조 관계 설정부(122), 반전부(123) 및 가중치 도출부(124)를 갖는다.

참조 포인트 설정부(121)는 참조 포인트의 설정에 관한 처리를 행한다. 예를 들어, 참조 포인트 설정부(121)는 각 포인트의 지오메트리 데이터에 기초하여, 처리 대상의 포인트군을, 애트리뷰트 데이터가 참조되는 참조 포인트와, 애트리뷰트 데이터의 예측값을 도출하는 예측 포인트로 분류한다. 즉, 참조 포인트 설정부(121)는, 참조 포인트와 예측 포인트를 설정한다. 참조 포인트 설정부(121)는, 이 처리를 참조 포인트에 대하여 재귀적으로 반복한다. 즉, 참조 포인트 설정부(121)는, 1개 전의 계층에 있어서 설정된 참조 포인트를 처리 대상으로 하여, 처리 대상의 계층 참조 포인트와 예측 포인트를 설정한다. 이와 같이 해서 계층 구조가 구축된다. 즉, 애트리뷰트 데이터가 계층화된다. 참조 포인트 설정부(121)는, 설정한 각 계층의 참조 포인트 및 예측 포인트를 나타내는 정보를 참조 관계 설정부(122)에 공급한다.

참조 관계 설정부(122)는 그 참조 포인트 설정부(121)로부터 공급되는 정보에 기초하여, 각 계층의 참조 관계의 설정에 관한 처리를 행한다. 즉, 참조 관계 설정부(122)는, 각 계층의 각 예측 포인트에 대해서, 그 예측값을 도출하는 데 참조될 참조 포인트(즉 참조처)를 설정한다. 그리고, 참조 관계 설정부(122)는, 그 참조 관계에 기초하여 각 예측 포인트의 애트리뷰트 데이터의 예측값을 도출한다. 즉, 참조 관계 설정부(122)는 참조처에 설정된 참조 포인트의 애트리뷰트 데이터를 사용해서 예측 포인트의 애트리뷰트 데이터의 예측값을 도출한다. 또한, 참조 관계 설정부(122)는, 그 도출한 예측값과 그 예측 포인트의 애트리뷰트 데이터의 차분값을 도출한다. 참조 관계 설정부(122)는 도출한 차분값(계층화된 애트리뷰트 데이터)을 계층마다 반전부(123)에 공급한다.

또한, 참조 포인트 설정부(121)는, 이상과 같은 애트리뷰트 데이터의 계층화에 관한 제어 정보 등을 생성하고, 그것을 양자화부(112)에 공급하고, 복호측에 전송시킬 수 있다.

반전부(123)는 계층의 반전에 관한 처리를 행한다. 예를 들어, 반전부(123)는, 참조 관계 설정부(122)로부터 공급되는 계층화된 애트리뷰트 데이터를 취득한다. 이 애트리뷰트 데이터는, 각 계층의 정보가, 그 생성순으로 계층화되어 있다. 반전부(123)는, 그 애트리뷰트 데이터의 계층을 반전시킨다. 예를 들어, 반전부(123)는, 애트리뷰트 데이터 각 계층에 대하여, 그 생성순과 역순으로 계층 번호(최상위층이 0, 1계층 낮아질 때마다 값이 1씩 인크리먼트되어, 최하위층이 최댓값이 되는 계층을 식별하기 위한 번호)를 붙이고, 생성순이 최하위층으로부터 최상위층을 향하는 순서가 되도록 한다. 반전부(123)는 계층을 반전시킨 애트리뷰트 데이터를 가중치 도출부(124)에 공급한다.

가중치 도출부(124)는, 가중치 부여에 관한 처리를 행한다. 예를 들어, 가중치 도출부(124)는 반전부(123)로부터 공급되는 애트리뷰트 데이터를 취득한다. 가중치 도출부(124)는 취득한 애트리뷰트 데이터의 가중치를 도출한다. 이 가중치의 도출 방법은 임의이다. 가중치 도출부(124)는 애트리뷰트 데이터(차분값)와 도출한 가중치를 양자화부(112)(도 14)에 공급한다. 또한, 가중치 도출부(124)는 도출한 가중치를 제어 정보로서 양자화부(112)에 공급하고, 복호측에 전송시키도록 해도 된다.

이상과 같은 계층화 처리부(111)에 있어서, 참조 포인트 설정부(121)는 상술한 본 기술을 적용할 수 있다. 즉, 참조 관계 설정부(122)는 상술한 「방법 1」을 적용하여, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트의 설정을 행할 수 있다. 이와 같이 함으로써, 예측 정밀도의 저감을 억제하고, 부호화 효율의 저감을 억제할 수 있다.

또한, 이 계층화의 수순은 임의이다. 예를 들어, 참조 포인트 설정부(121)의 처리와 참조 관계 설정부(122)의 처리를 병행해서 실행해도 된다. 예를 들어, 1계층마다, 참조 포인트 설정부(121)가 참조 포인트 및 예측 포인트를 설정하고, 참조 관계 설정부(122)가 참조 관계를 설정하도록 해도 된다.

또한, 이들의 처리부(참조 포인트 설정부(121) 내지 가중치 도출부(124))는, 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그들을 사용해서 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 외를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되고, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<부호화 처리의 흐름>

이어서, 이 부호화 장치(100)에 의해 실행되는 처리에 대해서 설명한다. 부호화 장치(100)는, 부호화 처리를 실행함으로써 포인트 클라우드의 데이터를 부호화한다. 이 부호화 처리의 흐름의 예를, 도 16의 흐름도를 참조하여 설명한다.

부호화 처리가 개시되면, 부호화 장치(100)의 위치 정보 부호화부(101)는 스텝 S101에 있어서, 입력된 포인트 클라우드의 지오메트리 데이터(위치 정보)를 부호화하여, 지오메트리 데이터의 부호화 데이터를 생성한다.

스텝 S102에 있어서, 위치 정보 복호부(102)는 스텝 S101에 있어서 생성된 지오메트리 데이터의 부호화 데이터를 복호하여, 위치 정보를 생성한다.

스텝 S103에 있어서, 포인트 클라우드 생성부(103)는 입력된 포인트 클라우드의 애트리뷰트 데이터(속성 정보)와, 스텝 S102에 있어서 생성된 지오메트리 데이터(복호 결과)를 사용하여, 리컬러 처리를 행하고, 애트리뷰트 데이터를 지오메트리 데이터에 대응시킨다.

스텝 S104에 있어서, 속성 정보 부호화부(104)는 속성 정보 부호화 처리를 실행함으로써, 스텝 S103에 있어서 리컬러 처리된 애트리뷰트 데이터를 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다. 그 때, 속성 정보 부호화부(104)는, 상술한 본 기술(방법 1)을 적용해서 처리를 행한다. 예를 들어, 속성 정보 부호화부(104)는, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 설정한다. 속성 정보 부호화 처리의 상세에 대해서는 후술한다.

스텝 S105에 있어서, 비트 스트림 생성부(105)는 스텝 S101에 있어서 생성된 지오메트리 데이터의 부호화 데이터와, 스텝 S104에 있어서 생성된 애트리뷰트 데이터의 부호화 데이터를 포함하는 비트 스트림을 생성하여, 출력한다.

스텝 S105의 처리가 종료되면 부호화 처리가 종료된다.

이와 같이 각 스텝의 처리를 행함으로써, 부호화 장치(100)는 예측 정밀도의 저감을 억제할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

<속성 정보 부호화 처리의 흐름>

이어서, 도 16의 스텝 S104에 있어서 실행되는 속성 정보 부호화 처리의 흐름의 예를, 도 17의 흐름도를 참조하여 설명한다.

속성 정보 부호화 처리가 개시되면, 속성 정보 부호화부(104)의 계층화 처리부(111)는, 스텝 S111에 있어서, 계층화 처리를 실행함으로써 애트리뷰트 데이터를 계층화한다. 즉, 각 계층의 참조 포인트와 예측 포인트가 설정되고, 또한 그 참조 관계가 설정된다. 그 때, 계층화 처리부(111)는, 상술한 본 기술(방법 1)을 적용해서 계층화를 행한다. 예를 들어, 속성 정보 부호화부(104)는, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 설정한다. 계층화 처리의 상세에 대해서는 후술한다.

스텝 S112에 있어서, 계층화 처리부(111)는, 스텝 S111에 있어서 계층화된 애트리뷰트 데이터 각 계층에 있어서, 각 예측 포인트에 대해서 애트리뷰트 데이터의 예측값을 도출하고, 그 예측 포인트의 애트리뷰트 데이터와 그 예측값의 차분값을 도출한다.

스텝 S113에 있어서, 양자화부(112)는, 스텝 S112에 있어서 도출된 각 차분값을 양자화한다.

스텝 S114에 있어서, 부호화부(113)는, 스텝 S112에 있어서 양자화된 차분값을 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다.

스텝 S114의 처리가 종료되면 속성 정보 부호화 처리가 종료되고, 처리는 도 16으로 되돌아간다.

이와 같이 각 스텝의 처리를 행함으로써, 계층화 처리부(111)는, 상술한 「방법 1」을 적용하여, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 설정할 수 있다. 따라서, 계층화 처리부(111)는, 예측 정밀도의 저감을 억제하도록 애트리뷰트 데이터의 계층화를 행할 수 있고, 이에 의해 부호화 효율의 저감을 억제할 수 있다.

<계층화 처리의 흐름>

이어서, 도 18의 흐름도를 참조하여, 도 17의 스텝 S111에 있어서 실행되는 계층화 처리의 흐름의 예를 설명한다.

계층화 처리가 개시되면, 계층화 처리부(111)의 참조 포인트 설정부(121)는, 스텝 S121에 있어서, 처리 대상의 계층을 나타내는 변수 LoD Index의 값을 초깃값(예를 들어 「0」)으로 설정한다.

스텝 S122에 있어서, 참조 포인트 설정부(121)는, 참조 포인트 설정 처리를 실행하여, 처리 대상의 계층에 있어서 참조 포인트를 설정한다(즉, 예측 포인트도 설정한다). 참조 포인트 설정 처리의 상세에 대해서는 후술한다.

스텝 S123에 있어서, 참조 관계 설정부(122)는, 처리 대상의 계층의 참조 관계(각 예측 포인트의 예측값의 도출에 어느 참조 포인트가 참조되는지)를 설정한다.

스텝 S124에 있어서, 참조 포인트 설정부(121)는, LoD Index를 인크리먼트하고, 처리 대상을 다음 계층으로 설정한다.

스텝 S125에 있어서, 참조 포인트 설정부(121)는, 전체 포인트를 처리하였는지의 여부를 판정한다. 미처리의 포인트가 존재한다고 판정된 경우, 즉 계층화가 종료되지 않았다고 판정된 경우, 처리는 스텝 S122로 되돌아가고, 그 이후의 처리를 반복한다. 이와 같이 스텝 S122 내지 스텝 S125의 각 처리가 각 계층에 대해서 실행되고, 스텝 S125에 있어서, 모든 포인트가 처리되었다고 판정된 경우, 처리는 스텝 S126으로 진행한다.

스텝 S126에 있어서, 반전부(123)는, 이상과 같이 생성된 애트리뷰트 데이터의 계층을 반전하고, 각 계층에, 생성순과 역방향으로 계층 번호를 붙인다.

스텝 S127에 있어서, 가중치 도출부(124)는, 각 계층의 애트리뷰트 데이터에 대해서 가중치를 도출한다.

스텝 S127의 처리가 종료되면 처리는 도 14로 되돌아간다.

이와 같이 각 스텝의 처리를 행함으로써, 계층화 처리부(111)는, 상술한 「방법 1」을 적용하여, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 설정할 수 있다. 따라서, 계층화 처리부(111)는, 예측 정밀도의 저감을 억제하도록 애트리뷰트 데이터의 계층화를 행할 수 있고, 이에 의해 부호화 효율의 저감을 억제할 수 있다.

<참조 관계 설정 처리의 흐름>

이어서, 도 18의 스텝 S122에 있어서 실행되는 참조 포인트 설정 처리의 흐름의 예를, 도 19의 흐름도를 참조하여 설명한다.

참조 포인트 설정 처리가 개시되면, 참조 포인트 설정부(121)는, 스텝 S141에 있어서, 무게 중심의 도출에 사용하는 포인트군을 특정하고, 그 처리 대상의 포인트군의 무게 중심을 도출한다. 이 무게 중심의 도출 방법은 상술한 바와 같이 임의이다. 예를 들어 도 8의 표에 나타나는 어느 방법을 사용해서 무게 중심을 도출하도록 해도 된다.

스텝 S142에 있어서, 참조 포인트 설정부(121)는 스텝 S141에 있어서 도출된 무게 중심에 가까운 포인트를 참조 포인트로서 선택한다. 이 참조 포인트의 선택 방법은 임의이다. 예를 들어 도 11의 표에 나타나는 어느 방법을 사용해서 무게 중심을 도출하도록 해도 된다.

스텝 S142의 처리가 종료되면 참조 포인트 설정 처리가 종료되고, 처리는 도 18로 되돌아간다.

이와 같이 각 스텝의 처리를 행함으로써, 참조 포인트 설정부(121)는, 상술한 「방법 1」을 적용하여, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 기초하여 참조 포인트를 설정할 수 있다. 따라서, 계층화 처리부(111)는, 예측 정밀도의 저감을 억제하도록 애트리뷰트 데이터의 계층화를 행할 수 있고, 이에 의해 부호화 효율의 저감을 억제할 수 있다.

<복호 장치>

이어서, 본 기술을 적용하는 장치의 다른 예에 대해서 설명한다. 도 20은 본 기술을 적용한 정보 처리 장치의 일 양태인 복호 장치의 구성의 일례를 도시하는 블록도이다. 도 20에 도시되는 복호 장치(200)는, 포인트 클라우드(3D 데이터)의 부호화 데이터를 복호하는 장치이다. 복호 장치(200)는 본 실시 형태에 있어서 설명한 본 기술(방법 1)을 적용해서 포인트 클라우드의 부호화 데이터를 복호한다.

또한, 도 20에 있어서는, 처리부와 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 20에 도시되는 것이 모든 것인 것만은 아니다. 즉, 복호 장치(200)에 있어서, 도 20에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 20에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 20에 도시되는 바와 같이 복호 장치(200)는 부호화 데이터 추출부(201), 위치 정보 복호부(202), 속성 정보 복호부(203) 및 포인트 클라우드 생성부(204)를 갖는다.

부호화 데이터 추출부(201)는 복호 장치(200)에 입력되는 비트 스트림을 취득하고, 보유한다. 부호화 데이터 추출부(201)는, 지오메트리 데이터(위치 정보) 및 애트리뷰트 데이터(속성 정보)의 부호화 데이터를, 그 보유하고 있는 비트 스트림으로부터 추출한다. 부호화 데이터 추출부(201)는, 추출한 지오메트리 데이터의 부호화 데이터를 위치 정보 복호부(202)에 공급한다. 부호화 데이터 추출부(201)는, 추출한 애트리뷰트 데이터의 부호화 데이터를 속성 정보 복호부(203)에 공급한다.

위치 정보 복호부(202)는 부호화 데이터 추출부(201)로부터 공급되는 지오메트리 데이터의 부호화 데이터를 취득한다. 위치 정보 복호부(202)는 그 지오메트리 데이터의 부호화 데이터를 복호하여, 지오메트리 데이터(복호 결과)를 생성한다. 이 복호 방법은 부호화 장치(100)의 위치 정보 복호부(102)의 경우와 마찬가지 방법이면 임의이다. 위치 정보 복호부(202)는 생성한 지오메트리 데이터(복호 결과)를, 속성 정보 복호부(203) 및 포인트 클라우드 생성부(204)에 공급한다.

속성 정보 복호부(203)는 부호화 데이터 추출부(201)로부터 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다. 속성 정보 복호부(203)는 위치 정보 복호부(202)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 속성 정보 복호부(203)는 그 위치 정보(복호 결과)을 사용하여, 상술한 본 기술(방법 1)을 적용한 방법에 의해 애트리뷰트 데이터의 부호화 데이터를 복호하여, 애트리뷰트 데이터(복호 결과)를 생성한다. 속성 정보 복호부(203)는 생성한 애트리뷰트 데이터(복호 결과)를 포인트 클라우드 생성부(204)에 공급한다.

포인트 클라우드 생성부(204)는 위치 정보 복호부(202)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(204)는 속성 정보 복호부(203)로부터 공급되는 애트리뷰트 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(204)는 그 지오메트리 데이터(복호 결과) 및 애트리뷰트 데이터(복호 결과)를 사용하여, 포인트 클라우드(복호 결과)을 생성한다. 포인트 클라우드 생성부(204)는 생성한 포인트 클라우드(복호 결과)의 데이터를 복호 장치(200)의 외부에 출력한다.

이러한 구성으로 함으로써, 복호 장치(200)는 역계층화에 있어서, 포인트의 무게 중심에 가까운 포인트를 참조 포인트로서 선택할 수 있다. 따라서, 복호 장치(200)는, 예를 들어 상술한 부호화 장치(100)에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 따라서, 예측 정밀도의 저감을 억제할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

또한, 이들의 처리부(부호화 데이터 추출부201 내지 포인트 클라우드 생성부204)는 임의의 구성을 갖는다. 예를 들어, 각 처리부가 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그들을 사용해서 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 외를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되고, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<속성 정보 복호부>

도 21은 속성 정보 복호부(203)(도 20)의 주요 구성예를 도시하는 블록도이다. 또한, 도 21에 있어서는, 처리부와 데이터의 흐름 등의 주요한 것을 나타내고 있고, 도 21에 도시되는 것이 모든 것인 것만은 아니다. 즉, 속성 정보 복호부(203)에 있어서, 도 21에 있어서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 21에 있어서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 21에 도시된 바와 같이 속성 정보 복호부(203)는 복호부(211), 역양자화부(212) 및 역계층화 처리부(213)를 갖는다.

복호부(211)는 애트리뷰트 데이터의 부호화 데이터의 복호에 관한 처리를 행한다. 예를 들어, 복호부(211)는, 속성 정보 복호부(203)에 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다.

복호부(211)는 그 애트리뷰트 데이터의 부호화 데이터를 복호하여, 애트리뷰트 데이터(복호 결과)를 생성한다. 이 복호 방법은 부호화 장치(100)의 부호화부(113)(도 14)에 의한 부호화 방법에 대응하는 방법이면 임의이다. 또한, 생성한 애트리뷰트 데이터(복호 결과)는 부호화 전의 애트리뷰트 데이터에 대응하고, 애트리뷰트 데이터와 그 예측값의 차분값이며, 양자화되어 있다. 복호부(211)는 생성한 애트리뷰트 데이터(복호 결과)를 역양자화부(212)에 공급한다.

또한, 애트리뷰트 데이터의 부호화 데이터에 가중치에 관한 제어 정보나 애트리뷰트 데이터의 계층화에 관한 제어 정보가 포함되어 있는 경우, 복호부(211)는, 그 제어 정보도 역양자화부(212)에 공급한다.

역양자화부(212)는 애트리뷰트 데이터의 역양자화에 관한 처리를 행한다. 예를 들어, 역양자화부(212)는 복호부(211)로부터 공급되는 애트리뷰트 데이터(복호 결과)와 제어 정보를 취득한다.

역양자화부(212)는 그 애트리뷰트 데이터(복호 결과)를 역양자화한다. 그 때, 복호부(211)로부터 가중치에 관한 제어 정보가 공급될 경우, 역양자화부(212)는, 그 제어 정보도 취득하고, 그 제어 정보에 기초해서(그 제어 정보에 기초하여 도출되는 가중치를 사용해서) 애트리뷰트 데이터(복호 결과)의 역양자화를 행한다.

또한, 역양자화부(212)는 복호부(211)로부터 애트리뷰트 데이터의 계층화에 관한 제어 정보가 공급될 경우, 그 제어 정보도 취득한다.

역양자화부(212)는 역양자화한 애트리뷰트 데이터(복호 결과)를 역계층화 처리부(213)에 공급한다. 또한, 복호부(211)로부터 애트리뷰트 데이터의 계층화에 관한 제어 정보를 취득한 경우, 역양자화부(212)는, 그 제어 정보도 역계층화 처리부(213)에 공급한다.

역계층화 처리부(213)는 역양자화부(212)로부터 공급되는, 역양자화된 애트리뷰트 데이터(복호 결과)를 취득한다. 상술한 바와 같이 이 애트리뷰트 데이터는 차분값이다. 또한, 역계층화 처리부(213)는 위치 정보 복호부(202)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 역계층화 처리부(213)는 그 지오메트리 데이터를 사용하여, 취득한 애트리뷰트 데이터(차분값)에 대하여, 부호화 장치(100)의 계층화 처리부(111)(도 14)에 의한 계층화의 역 처리인 역계층화를 행한다.

여기서 역계층화에 대해서 설명한다. 예를 들어, 역계층화 처리부(213)는 위치 정보 복호부(202)로부터 공급되는 지오메트리 데이터에 기초하여, 부호화 장치(100)(계층화 처리부(111))과 마찬가지 방법에 의해 애트리뷰트 데이터의 계층화를 행한다. 즉, 역계층화 처리부(213)는 복호된 지오메트리 데이터에 기초하여, 각 계층의 참조 포인트 및 예측 포인트를 설정하고, 애트리뷰트 데이터의 계층 구조를 설정한다. 역계층화 처리부(213)는, 또한 그 참조 포인트 및 예측 포인트를 사용하여, 그 계층 구조의 각 계층의 참조 관계(각 예측 포인트에 대한 참조처)를 설정한다.

그리고, 역계층화 처리부(213)는, 그 계층 구조와 각 계층의 참조 관계를 사용하여, 취득한 애트리뷰트 데이터(차분값)의 역계층화를 행한다. 즉, 역계층화 처리부(213)는, 참조 관계를 따라서 참조 포인트로부터 예측 포인트의 예측값을 도출하고, 그 예측값을 차분값에 가산함으로써 각 예측 포인트의 애트리뷰트 데이터를 복원한다. 역계층화 처리부(213)는 이 처리를 상위층으로부터 하위층을 향해서 계층마다 행한다. 즉, 역계층화 처리부(213)는 처리 대상의 계층보다 상위의 계층에 있어서 애트리뷰트 데이터를 복원한 예측 포인트를 참조 포인트로서 사용하여, 처리 대상의 계층 예측 포인트의 애트리뷰트 데이터를 상술한 바와 같이 복원한다.

이러한 수순으로 행해지는 역계층화에 있어서, 역계층화 처리부(213)는 복호된 지오메트리 데이터에 기초하여 애트리뷰트 데이터를 계층화할 때에 상술한 본 기술(방법 1)을 적용해서 참조 포인트를 설정한다. 즉, 역계층화 처리부(213)는, 포인트의 무게 중심을 도출하고, 그 무게 중심에 가까운 포인트를 참조 포인트로서 선택한다. 역계층화 처리부(213)는, 역계층화한 애트리뷰트 데이터를 복호 결과로서 포인트 클라우드 생성부(204)(도 20)에 공급한다.

이상과 같이 역계층화를 행함으로써, 역계층화 처리부(213)는 무게 중심에 가까운 포인트를 참조 포인트로 설정할 수 있으므로, 예측 정밀도의 저감을 억제하도록 애트리뷰트 데이터의 계층화를 행할 수 있다. 즉, 속성 정보 복호부(203)는 마찬가지 방법으로 부호화된 부호화 데이터를 올바르게 복호할 수 있다. 예를 들어, 속성 정보 복호부(203)는, 상술한 속성 정보 부호화부(104)에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 따라서, 부호화 효율의 저감을 억제할 수 있다.

또한, 이들 처리부(복호부(211) 내지 역계층화 처리부(213))는 임의의 구성을 갖는다. 예를 들어, 각 처리부가 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그들을 사용해서 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 그 외를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되고, 예를 들어 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<복호 처리의 흐름>

이어서, 이 복호 장치(200)에 의해 실행되는 처리에 대해서 설명한다. 복호 장치(200)는, 복호 처리를 실행함으로써 포인트 클라우드의 부호화 데이터를 복호한다. 이 복호 처리의 흐름의 예를, 도 22의 흐름도를 참조하여 설명한다.

복호 처리가 개시되면, 복호 장치(200)의 부호화 데이터 추출부(201)는, 스텝 S201에 있어서, 비트 스트림을 취득해서 보유하고, 그 비트 스트림으로부터 지오메트리 데이터의 부호화 데이터와 애트리뷰트 데이터의 부호화 데이터를 추출한다.

스텝 S202에 있어서, 위치 정보 복호부(202)는 추출된 지오메트리 데이터의 부호화 데이터를 복호하여, 지오메트리 데이터(복호 결과)를 생성한다.

스텝 S203에 있어서, 속성 정보 복호부(203)는 속성 정보 복호 처리를 실행하고, 스텝 S201에 있어서 추출된 애트리뷰트 데이터의 부호화 데이터를 복호하여, 애트리뷰트 데이터(복호 결과)를 생성한다. 그 때, 속성 정보 복호부(203)는, 상술한 본 기술(방법 1)을 적용해서 처리를 행한다. 예를 들어, 속성 정보 복호부(203)는, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 가까운 포인트를 참조 포인트로서 설정한다. 속성 정보 복호 처리의 상세에 대해서는 후술한다.

스텝 S204에 있어서, 포인트 클라우드 생성부(204)는 스텝 S202에 있어서 생성된 지오메트리 데이터(복호 결과)와, 스텝 S203에 있어서 생성된 애트리뷰트 데이터(복호 결과)를 사용해서 포인트 클라우드(복호 결과)를 생성하여, 출력한다.

스텝 S204의 처리가 종료되면, 복호 처리가 종료된다.

이와 같이 각 스텝의 처리를 행함으로써, 복호 장치(200)는, 마찬가지 방법에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 예를 들어, 복호 장치(200)는, 상술한 부호화 장치(100)에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 따라서, 예측 정밀도의 저감을 억제할 수 있고, 부호화 효율의 저감을 억제할 수 있다.

<속성 정보 복호 처리의 흐름>

이어서, 도 22의 스텝 S203에 있어서 실행되는 속성 정보 복호 처리의 흐름의 예를, 도 23의 흐름도를 참조하여 설명한다.

속성 정보 복호 처리가 개시되면, 속성 정보 복호부(203)의 복호부(211)는, 스텝 S211에 있어서, 애트리뷰트 데이터의 부호화 데이터를 복호하여, 애트리뷰트 데이터(복호 결과)를 생성한다. 이 애트리뷰트 데이터(복호 결과)는 상술한 바와 같이 양자화되어 있다.

스텝 S212에 있어서, 역양자화부(212)는, 역양자화 처리를 실행함으로써, 스텝 S211에 있어서 생성된 애트리뷰트 데이터(복호 결과)를 역양자화한다.

스텝 S213에 있어서, 역계층화 처리부(213)는, 역계층화 처리를 실행함으로써, 스텝 S212에 있어서 역양자화된 애트리뷰트 데이터(차분값)을 역계층화하고, 각 포인트의 애트리뷰트 데이터를 도출한다. 그 때, 역계층화 처리부(213)는, 상술한 본 기술(방법 1)을 적용해서 역계층화를 행한다. 예를 들어, 역계층화 처리부(213)는, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심을 도출하고, 그 무게 중심에 가까운 포인트를 참조 포인트로서 설정한다. 역계층화 처리의 상세에 대해서는 후술한다.

스텝 S213의 처리가 종료되면 속성 정보 복호 처리가 종료되고, 처리는 도 22로 되돌아간다.

이와 같이 각 스텝의 처리를 행함으로써, 속성 정보 복호부(203)는, 상술한 「방법 1」을 적용하여, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 무게 중심에 가까운 포인트를 참조 포인트로서 설정할 수 있다. 따라서, 역계층화 처리부(213)는, 예측 정밀도의 저감을 억제하도록 애트리뷰트 데이터의 계층화를 행할 수 있다. 즉, 속성 정보 복호부(203)는, 마찬가지 방법으로 부호화된 부호화 데이터를 올바르게 복호할 수 있다. 예를 들어, 속성 정보 복호부(203)는, 상술한 속성 정보 부호화부(104)에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 따라서, 부호화 효율의 저감을 억제할 수 있다.

<역계층화 처리의 흐름>

이어서, 도 23의 스텝 S213에 있어서 실행되는 역계층화 처리의 흐름의 예를, 도 24의 흐름도를 참조하여 설명한다.

역계층화 처리가 개시되면, 역계층화 처리부(213)는, 스텝 S221에 있어서, 지오메트리 데이터(복호 결과)를 사용해서 애트리뷰트 데이터(복호 결과)의 계층화 처리를 행하고, 부호화측에 있어서 설정된, 각 계층의 참조 포인트 및 예측 포인트를 복원하고, 또한 각 계층의 참조 관계를 복원한다. 즉, 역계층화 처리부(213)는, 계층화 처리부(111)가 행하는 계층화 처리와 마찬가지 처리를 행하고, 각 계층의 참조 포인트 및 예측 포인트를 설정하고, 또한 각 계층의 참조 관계를 설정한다.

예를 들어, 역계층화 처리부(213)는, 계층화 처리부(111)와 마찬가지로, 상술한 「방법 1」을 적용하여, 포인트의 무게 중심을 도출하고, 그 무게 중심에 가까운 포인트를 참조 포인트로서 설정한다.

스텝 S222에 있어서, 역계층화 처리부(213)는, 이 계층 구조 및 참조 관계를 사용해서 애트리뷰트 데이터(복호 결과)의 역계층화를 행하고, 각 포인트의 애트리뷰트 데이터를 복원한다. 즉, 역계층화 처리부(213)는, 참조 관계에 기초하여 참조 포인트의 애트리뷰트 데이터로부터 예측 포인트의 애트리뷰트 데이터의 예측값을 도출하고, 그 예측값을 애트리뷰트 데이터(복호 결과)의 차분값에 가산해서 애트리뷰트 데이터를 복원한다.

스텝 S222의 처리가 종료되면 역계층화 처리가 종료되고, 처리는 도 23으로 되돌아간다.

이와 같이 각 스텝의 처리를 행함으로써, 역계층화 처리부(213)는, 부호화 시와 마찬가지인 계층화를 실현할 수 있다. 즉, 속성 정보 복호부(203)는 마찬가지 방법으로 부호화된 부호화 데이터를 올바르게 복호할 수 있다. 예를 들어, 속성 정보 복호부(203)는, 상술한 속성 정보 부호화부(104)에 의해 부호화된 애트리뷰트 데이터의 부호화 데이터를 올바르게 복호할 수 있다. 따라서, 부호화 효율의 저감을 억제할 수 있다.

<3. 제2 실시 형태>

<방법 2>

이어서, 도 6을 참조하여 상술한 「방법 2」를 적용하는 경우에 대해서 설명한다. 이 「방법 2」의 경우, 애트리뷰트 데이터의 계층화에 있어서, 포인트의 분포 패턴(분포 양태)에 따라서 참조 포인트가 선택된다.

예를 들어, 도 25에 나타내는 표(테이블 정보)에 있어서는, 참조 포인트를 설정하는 처리 대상의 영역에 있어서의 포인트의 분포 패턴(분포 양태)과, 그 경우에 선택되는 포인트를 나타내는 정보(인덱스)가 서로 관련지어져 있다. 예를 들어, 이 표의 위에서부터 2번째 단에 있어서는, 참조 포인트를 설정하는 2x2x2의 복셀 영역에 있어서의 포인트의 분포 패턴이 「10100001」일 경우, 인덱스가 「2」의 포인트, 즉 2번째로 출현하는 포인트가 선택된다는 것이 나타나 있다. 분포 패턴 「10100001」의 각 비트 값은, 2x2x2의 각 복셀의 포인트의 유무를 나타내고 있고, 값 「1」이 그 비트가 할당된 복셀에 포인트가 존재한다는 것을 나타내고, 값 「0」이 그 비트가 할당된 복셀에 포인트가 존재하지 않는다는 것을 나타낸다.

이 표에 있어서는, 마찬가지로, 분포 패턴마다, 선택되는 포인트의 인덱스가 나타나 있다. 즉, 애트리뷰트 데이터의 계층화에 있어서, 이 표를 참조하여, 참조 포인트를 설정하는 처리 대상의 영역에 있어서의 포인트의 분포 패턴에 대응하는 인덱스의 포인트를 참조 포인트로 선택한다.

이와 같이 함으로써, 보다 용이하게 참조 포인트를 선택할 수 있다.

<테이블 정보>

이 테이블 정보는, 포인트의 분포 패턴과 선택할 포인트를 나타내는 정보를 연관짓는 것이면 어떤 정보여도 된다. 예를 들어, 도 26의 A에 나타내는 「테이블」의 표의 위에서부터 2번째 단에 나타나는 방법 (1)과 같이, 포인트의 분포 양태마다, 무게 중심에 가까운 포인트를 선택하는 테이블 정보여도 된다. 즉, 각 분포 패턴에 대하여, 그 분포 패턴의 경우 무게 중심 위치에 가까운 포인트의 인덱스가 연관지어지도록 해도 된다.

또한, 예를 들어 도 26의 A에 나타내는 「테이블」의 표의 위에서부터 3번째 단에 나타나는 방법 (2)와 같이, 포인트의 분포 양태마다, 임의의 포인트를 선택하는 테이블 정보여도 된다. 또한, 예를 들어 이 「테이블」의 표의 위에서부터 4번째 단에 나타나는 방법 (3)과 같이, 복수의 테이블 중에서 사용할 테이블을 선택하도록 해도 된다. 예를 들어, 계층(LoD의 깊이)에 의해 사용할 테이블을 전환하도록 해도 된다.

<테이블 정보의 시그널링>

또한, 이 테이블 정보는, 미리 준비되어 있어도 된다. 예를 들어, 규격에 의해 소정의 테이블 정보가 규정되어 있어도 된다. 그 경우, 테이블 정보의 시그널링(부호화측으로부터 복호측으로의 전송)은 불필요하다.

또한, 이 테이블 정보는, 위치 정보 복호부(102)가 지오메트리 데이터로부터 도출해도 된다. 또한, 위치 정보 복호부(202)도 지오메트리 데이터(복호 결과)로 이 테이블 정보를 도출해도 된다. 그 경우, 테이블 정보의 시그널링(부호화측으로부터 복호측으로의 전송)은 불필요하다.

물론, 이 테이블 정보가 유저나 애플리케이션 등에 의해 생성 가능(또는 갱신 가능)으로 해도 된다. 그 경우, 그 생성된(또는 갱신된) 테이블 정보를 시그널링해도 된다. 즉, 예를 들어 부호화부(113)가 이 테이블 정보에 관한 정보를 부호화하고, 그 부호화 데이터를 비트 스트림에 포함시키거나 하여, 시그널링하도록 해도 된다.

또한, 상술한 바와 같이 이 테이블 정보를 계층(LoD의 깊이)에 의해 전환해도 된다. 그 경우, 도 26의 B에 나타내는 「테이블」의 표의 위에서부터 2번째 단에 나타나는 방법 (1)과 같이, 그 전환 방법을 규격 등에 있어서 미리 규정하고, 그 전환 방법을 나타내는 정보를 시그널링하지 않도록 해도 된다.

또한, 도 26의 B에 나타내는 「테이블」의 표의 위에서부터 3번째 단에 나타나는 방법 (2)와 같이, 선택된 테이블을 나타내는 인덱스(식별 정보)를 시그널링해도 된다. 예를 들어, 애트리뷰트 파라미터 세트(Attribute Parameter Set)에 있어서, 이 인덱스를 시그널링해도 된다.

또한, 예를 들어 도 26의 B에 나타내는 「테이블」의 표의 위에서부터 4번째 단에 나타나는 방법 (3)과 같이, 선택된 테이블 정보 그 자체를 시그널링해도 된다. 예를 들어, 애트리뷰트 브릭 헤더(Attribute Brick Header)에 있어서, 이 테이블 정보를 시그널링해도 된다.

또한, 도 26의 B에 나타내는 「테이블」의 표의 위에서부터 5번째 단에 나타나는 방법 (4)와 같이, 선택된 테이블 정보의 일부를 시그널링해도 된다. 즉, 테이블 정보를 부분 갱신할 수 있도록 해도 된다. 예를 들어, 애트리뷰트 브릭 헤더(Attribute Brick Header)에 있어서, 이 테이블 정보를 시그널링해도 된다.

이 방법 2를 적용하는 경우도, 부호화 장치(100) 및 복호 장치(200)의 구성은, 상술한 방법 1을 적용하는 경우와 기본적으로 마찬가지이다. 따라서, 부호화 장치(100)는, 부호화 처리, 속성 정보 부호화 처리 및 계층화 처리 등의 각 처리를, 제1 실시 형태의 경우와 마찬가지 흐름으로 실행할 수 있다.

<참조 포인트 설정 처리의 흐름>

이 경우의 참조 포인트 설정 처리의 흐름의 예를 도 27의 흐름도를 참조하여 설명한다. 참조 포인트 설정 처리가 개시되면, 참조 포인트 설정부(121)는, 스텝 S301에 있어서, 테이블 정보를 참조하고, 포인트 분포 패턴에 따라서 참조 포인트를 선택한다.

스텝 S302에 있어서, 참조 포인트 설정부(121)는, 사용한 테이블에 관한 정보를 시그널링할지의 여부를 판정한다. 시그널링하는 것으로 판정된 경우, 처리는 스텝 S303으로 진행한다.

스텝 S303에 있어서, 참조 포인트 설정부(121)는, 사용한 테이블에 관한 정보를 시그널링한다. 스텝 S303의 처리가 종료되면 참조 포인트 설정 처리가 종료되고, 처리는 도 18로 되돌아간다.

이와 같이 부호화 장치(100)가 테이블 정보를 전송함으로써, 복호 장치(200)는, 그 테이블 정보를 사용하여, 복호를 행할 수 있다.

또한, 복호 장치(200)는, 복호 처리, 속성 정보 복호 처리 및 역계층화 처리 등의 각 처리를, 제1 실시 형태의 경우와 마찬가지 흐름으로 실행할 수 있다.

<4. 제3 실시 형태>

<방법 3>

이어서, 도 6을 참조하여 상술한 「방법 3」을 적용하는 경우에 대해서 설명한다. 이 「방법 3」의 경우, 애트리뷰트 데이터의 계층화에 있어서 설정되는 참조 포인트에 대해서 시그널링해도 된다.

예를 들어, 도 28에 나타내는 「시그널링의 대상」의 표의 위에서부터 2번째 단에 나타나는 방법 (1)과 같이, 전체 노드(전체 포인트)에 대해서, 참조할지의 여부, 즉 참조 포인트로 할지 예측 포인트로 할지를 나타내는 정보를 시그널링해도 된다. 예를 들어, 도 29의 A에 나타내는 바와 같이, 전 계층의 전체 노드를 모튼 순서로 정렬하고, 각 노드에 대하여 인덱스(인덱스 0 내지 인덱스 K)을 부여해도 된다. 환언하자면, 이 인덱스 0 내지 인덱스 K에 의해 각 노드(및 각 노드에 대하여 부여되는 정보)를 식별할 수 있다.

또한, 예를 들어 도 28에 나타내는 「시그널링의 대상」의 표의 위에서부터 3번째 단에 나타나는 방법 (2)와 같이, 일부 계층에 대해서, 어느 노드(포인트)를 참조 포인트해서 선택하는지를 나타내는 정보를 시그널링해도 된다. 예를 들어, 도 29의 B에 나타내는 바와 같이, 시그널링의 대상으로 하는 계층(LoD)을 지정하고, 그 계층의 전체 노드를 모튼 순서로 정렬하고, 각 노드에 대하여 인덱스를 부여해도 된다.

예를 들어, 애트리뷰트 데이터가 도 30의 A에 나타낸 바와 같은 계층 구조를 갖는 것으로 한다. 즉, LoD2의 #0의 포인트, LoD2의 #1의 포인트, 및 LoD2의 #2의 포인트로부터 1개씩 포인트가 참조 포인트로서 선택되어, LoD1의 #0의 각 포인트를 형성하고 있다. 이 경우에 있어서, LoD2의 포인트에 대하여, 도 30의 B에 나타낸 바와 같은 탐색순으로 인덱스를 할당하는 것으로 하면, LoD1#0의 각 포인트는, 도 30의 C에 나타낸 바와 같은 LoD2의 인덱스에 의해 표시된다. 환언하자면, 「LoD2 0,1,0」으로 지정함으로써, LoD1#0의 포인트 분포 양태를 나타낼 수 있다.

이와 같이, LoD N-1의 인덱스로 LoD N의 2x2x2의 복셀 영역을 지정할 수 있다. 즉, LoD(계층 지정)와 순번(m번째)에 의해 1개의 2x2x2의 복셀을 지정할 수 있다. 이와 같이, 계층 및 인덱스에 의해 지정을 행함으로써, 필요에 따라 일부 계층에 대해서만 시그널링을 행할 수 있으므로, 방법 (1)의 경우에 비하여 부호량의 증대를 억제하고, 부호화 효율의 저감을 억제할 수 있다.

또한, 예를 들어 도 28에 나타내는 「시그널링의 대상」의 표의 위에서부터 4번째 단에 나타나는 방법 (3)과 같이, 시그널링의 대상으로 하는 포인트를, 하위의 NxNxN의 복셀 영역 내의 포인트의 수에 의해 제한하도록 해도 된다. 즉, 소정의 조건을 충족하는 포인트에 대한 참조 포인트의 설정에 관한 정보를 시그널링해도 된다. 이와 같이 함으로써, 도 29의 C에 나타낸 바와 같이, 더욱 시그널링의 대상이 되는 노드를 저감시킬 수 있다. 이에 의해, 부호화 효율의 저감을 억제할 수 있다.

예를 들어, 애트리뷰트 데이터가 도 31의 A에 나타낸 바와 같은 계층 구조를 갖는 것으로 한다. 이 경우에 있어서, 시그널링의 대상을 3개 이상의 포인트를 포함하는 2x2x2 복셀 영역에 제한하는 것으로 한다. LoD2의 포인트에 대하여, 도 31의 B에 나타낸 바와 같은 탐색순으로 인덱스를 할당하는 것으로 하면, LoD2의 우측에 나타내는 복셀 영역은, 시그널링의 대상으로부터 제외된다. 따라서, 이 복셀 영역에는 인덱스가 할당되지 않는다. 따라서, 도 31의 C에 나타내는 바와 같이, 도 30의 C의 경우보다 시그널링의 데이터양을 저감시킬 수 있고, 부호량의 증대를 억제할 수 있다.

또한, 예를 들어 도 28에 도시되는 「시그널링의 대상」의 표의 위에서부터 5번째 단에 나타나는 방법 (4)와 같이, 방법 (2)와 방법 (3)을 조합해서 적용해도 된다.

<고정 길이 시그널링>

이상과 같은 시그널링을 고정 길이의 데이터로 행하도록 해도 된다. 예를 들어, 도 32의 A에 나타낸 바와 같은 신택스로 시그널링을 행하도록 해도 된다. 도 32의 A의 신택스에 있어서, num_Lod는 시그널링하는 LoD의 수를 나타내는 파라미터이다. lodNo[i]은 Lod 번호를 나타내는 파라미터이다. voxelType[i]은 signalling하는 voxel의 타입을 나타내는 파라미터이다. 이 파라미터를 지정하는 것에 의해 Lod 내에서의 전송 대상을 한정할 수 있다. num_node는 실제로 시그널 하는 수를 나타내는 파라미터이다. 이 num_node는 지오메트리 데이터로부터 도출할 수 있다. node[k]는 2x2x2의 복셀 영역마다 시그널되는 정보를 나타낸다. k는 노드의 모튼 순서에서의 번호를 나타낸다.

또한, 병렬 처리 등을 위해서 지오메트리 데이터가 얻어지기 전에 파싱을 행할 필요가 있는 경우, 도 32의 B에 나타내는 신택스로 시그널링을 행하도록 해도 된다. 이와 같이 파싱이 필요한 경우, num_node를 시그널링하면 된다.

또한, 시그널링을 고정 길이의 데이터로 행하는 경우, 도 33의 A에 나타내는 신택스를 적용해도 된다. 이 경우, 시그널을 제어하는 플래그 Flag[k]가 시그널링된다. 이 경우도, 병렬 처리 등을 위해서 지오메트리 데이터가 얻어지기 전에 파싱을 행할 필요가 있을 때는, 도 33의 B에 나타내는 신택스로 시그널링을 행하도록 해도 된다. 이와 같이 파싱이 필요한 경우, num_node를 시그널링하면 된다.

<가변 길이 시그널링>

또한, 이상과 같은 시그널링을 가변 길이의 데이터로 행하도록 해도 된다. 예를 들어, 도 34의 예와 같이, 2x2x2 복셀 영역 내의 노드의 위치를 시그널링하도록 해도 된다. 그 경우, 그 시그널링의 비트 길이가, 예를 들어 도 34의 A에 나타내는 테이블 정보에 기초하여, 2x2x2 복셀 영역 내의 노드의 수에 따라서 설정되도록 해도 된다.

복호측에 있어서는, 2x2x2 복셀 영역에 포함되는 노드수는, 지오메트리 데이터로 구할 수 있다. 따라서, 도 34의 B에 나타내는 예와 같이, 「10111010…」과 같은 비트열이 입력되어도, 지오메트리 데이터로부터 2x2x2 복셀 영역에 포함되는 노드수를 파악할 수 있으므로, 적절한 비트 길이로 분할하여, 각 복셀 영역에 대한 정보를 올바르게 얻을 수 있다.

또한, 도 35의 예와 같이, 사용하는 테이블 정보의 인덱스를 시그널링하도록 해도 된다. 그 경우, 그 시그널링의 비트 길이를, 예를 들어 도 35의 A에 나타내는 바와 같이, 2x2x2 복셀 영역 내의 노드의 수에 따라서 가변으로 하도록 해도 된다.

예를 들어, 도 35의 A에 나타내는 테이블 정보에 기초하여, 노드수가 5 내지 8의 경우, 2비트가 할당되고, 도 35의 B의 테이블 정보가 선택된다. 이 경우, 비트열 「00」은, 소정의 탐색순(예를 들어 모튼 순서)에 있어서의 1번째의 노드를 선택한다는 것을 나타낸다. 또한, 비트열 「01」은, 소정의 탐색순(예를 들어 모튼 순서)의 역순(reverce)에 있어서의 1번째의 노드를 선택한다는 것을 나타낸다. 또한, 비트열 「10」은, 소정의 탐색순(No reverce)에 있어서의 2번째의 노드를 선택한다는 것을 나타낸다. 또한, 비트열 「11」은, 소정의 탐색순의 역순(reverce)의 2번째의 노드를 선택한다는 것을 나타낸다.

또한, 예를 들어 도 35의 A에 나타내는 테이블 정보에 기초하여, 노드수가 3 또는 4인 경우, 1비트가 할당되고, 도 35의 C의 테이블 정보가 선택된다. 이 경우, 비트열 「0」은 소정의 탐색순(예를 들어 모튼 순서)에 있어서의 1번째의 노드를 선택한다는 것을 나타낸다. 또한, 비트열 「1」은 소정의 탐색순(예를 들어 모튼 순서)의 역순(reverce)에 있어서의 1번째의 노드를 선택한다는 것을 나타낸다.

복호측에 있어서는, 2x2x2 복셀 영역에 포함되는 노드수는, 지오메트리 데이터로부터 구할 수 있다. 따라서, 도 35의 D에 도시되는 예와 같이, 「10111010…」과 같은 비트열이 입력되어도, 지오메트리 데이터로부터 2x2x2 복셀 영역에 포함되는 노드수를 파악할 수 있으므로, 적절한 비트 길이로 분할하여, 각 복셀 영역에 대한 정보를 올바르게 얻을 수 있다.

가변 길이의 경우의 신택스의 예를 도 36에 도시한다. 도 36의 신택스에 있어서, bitLength는 비트 길이를 나타내는 파라미터이다. 또한, signalType[i]은 LoD마다의 가변 길이 부호화의 방법을 나타내는 파라미터이다.

또한, 이 가변 길이의 경우도, 병렬 처리 등을 위해서 지오메트리 데이터가 얻어지기 전에 파싱을 행할 필요가 있을 때는, 도 37에 도시되는 신택스와 같이, num_node를 시그널링하거나, flag[j]를 시그널링하거나 해도 된다.

<참조 포인트 설정 처리의 흐름>

이 경우의 참조 포인트 설정 처리의 흐름의 예를 도 38의 흐름도를 참조하여 설명한다. 참조 포인트 설정 처리가 개시되면, 참조 포인트 설정부(121)는, 스텝 S321에 있어서, 참조 포인트를 선택한다.

스텝 S322에 있어서, 참조 포인트 설정부(121)는, 스텝 S321에 있어서 설정된 참조 포인트에 관한 정보를 시그널링한다. 스텝 S322의 처리가 종료되면 참조 포인트 설정 처리가 종료되고, 처리는 도 18로 되돌아간다. 이와 같이 부호화 장치(100)가 테이블 정보를 전송함으로써, 복호 장치(200)는, 그 테이블 정보를 사용하여, 복호를 행할 수 있다.

<5. 제4 실시 형태>

<방법 4>

이어서, 도 6을 참조하여 상술한 「방법 4」를 적용하는 경우에 대해서 설명한다. 이 「방법 4」의 경우, 참조 포인트로서, 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하도록 해도 된다.

예를 들어, 도 39에 도시되는 위치에 있어서 참조 포인트를 선택하는 경우, 도 39의 A 내지 도 39의 C와 같이, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트가, 계층마다 교호로 선택된다. 이와 같이 함으로써, 도 39의 C에 도시되는 바와 같이, 참조 포인트의 이동 범위가 점선 프레임과 같이 좁은 범위에 한정되므로, 예측 정밀도의 저감이 억제된다.

이와 같이 포인트의 선택 방향을 바운딩 박스의 중심을 기준으로 함으로써, 바운딩 박스 내의 위치에 구애되지 않고, 예측 정밀도의 저감을 억제시킬 수 있다.

또한, 포인트의 탐색순을 바운딩 박스 내의 위치에 따라서 변화시킴으로써, 이러한 포인트의 선택을 실현해도 된다. 예를 들어, 이 탐색순을 바운딩 박스의 중심으로부터의 거리순으로 해도 된다. 이와 같이 함으로써, 탐색순을 바운딩 박스 내의 위치에 따라서 변화시킬 수 있다. 또한, 예를 들어 바운딩 박스를 8분할(xyz의 각 방향으로 2분할)한 8분할 영역마다 이 탐색순을 변화시켜도 된다.

<참조 포인트 설정 처리의 흐름>

이 경우의 참조 포인트 설정 처리의 흐름의 예를 도 40의 흐름도를 참조하여 설명한다. 참조 포인트 설정 처리가 개시되면, 참조 포인트 설정부(121)는, 스텝 S341에 있어서, 1개 전의 계층의 참조 포인트로서 바운딩 박스의 중심에 가까운 쪽의 포인트를 선택했는지의 여부를 판정한다.

가까운 쪽의 포인트를 선택했다고 판정된 경우, 처리는 스텝 S342로 진행한다.

스텝 S342에 있어서, 참조 포인트 설정부(121)는, 참조 포인트의 후보 중, 바운딩 박스의 중심으로부터 가장 먼 포인트를 참조 포인트로서 선택한다. 스텝 S342의 처리가 종료되면 참조 포인트 설정 처리가 종료되고, 처리는 도 18로 되돌아간다.

또한, 스텝 S341에 있어서, 가까운 쪽의 포인트를 선택하지 않았다고 판정된 경우, 처리는 스텝 S343으로 진행한다.

스텝 S343에 있어서, 참조 포인트 설정부(121)는, 참조 포인트의 후보 중, 바운딩 박스의 중심으로부터 가장 가까운 포인트를 참조 포인트로서 선택한다. 스텝 S343의 처리가 종료되면 참조 포인트 설정 처리가 종료되고, 처리는 도 18로 되돌아간다.

이와 같이 참조 포인트를 선택함으로써, 부호화 장치(100)는 참조 포인트의 예측 정밀도의 저감을 억제할 수 있다. 이에 의해, 부호화 효율의 저감을 억제할 수 있다.

<6. 부기>

<계층화·역계층화 방법>

이상에 있어서는, 속성 정보의 계층화·역계층화 방법으로서 Lifting을 예로 들어 설명했지만, 본 기술은 속성 정보를 계층화하는 임의의 기술에 적용할 수 있다. 즉, 속성 정보의 계층화·역계층화의 방법은, Lifting 이외여도 된다. 또한, 속성 정보의 계층화·역계층화의 방법은, 비특허문헌 3에 기재한 바와 같은 스케일러블한 방법이어도 되고, 비스케일러블의 방법이어도 된다.

<제어 정보>

이상의 각 실시 형태에 있어서 설명한 본 기술에 관한 제어 정보를 부호화측으로부터 복호측으로 전송하도록 해도 된다. 예를 들어, 상술한 본 기술을 적용하는 것을 허가(또는 금지)할지의 여부를 제어하는 제어 정보(예를 들어 enabled_flag)를 전송하도록 해도 된다. 또한, 예를 들어 상술한 본 기술을 적용하는 것을 허가(또는 금지)하는 범위(예를 들어 블록 사이즈의 상한 혹은 하한, 또는 그 양쪽, 슬라이스, 픽처, 시퀀스, 컴포넌트, 뷰, 레이어 등)를 지정하는 제어 정보를 전송하도록 해도 된다.

<주변·근방>

또한, 본 명세서에 있어서, 「근방」이나 「주변」 등의 위치 관계는, 공간적인 위치 관계뿐만 아니라, 시간적인 위치 관계도 포함할 수 있다.

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 41은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.

도 41에 도시되는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은 버스(904)를 통해 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들어 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들어 하드 디스크, RAM 디스크, 불휘발성이 메모리 등으로 이루어진다. 통신부(914)는, 예를 들어 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해, RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.

컴퓨터가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록해서 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해, 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에서 수신하여, 기억부(913)에 인스톨할 수 있다.

기타, 이 프로그램은 ROM(902)이나 기억부(913)에, 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

이상에 있어서는, 포인트 클라우드 데이터의 부호화·복호에 본 기술을 적용하는 경우에 대해서 설명했지만, 본 기술은, 이들의 예에 한하지 않고, 임의의 규격의 3D 데이터의 부호화·복호에 대하여 적용할 수 있다. 즉, 상술한 본 기술과 모순되지 않는 한, 부호화·복호 방식 등의 각종 처리, 그리고, 3D 데이터나 메타데이터 등의 각종 데이터의 사양은 임의이다. 또한, 본 기술과 모순되지 않는 한, 상술한 일부의 처리나 사양을 생략해도 된다.

또한, 이상에 있어서는, 본 기술의 적용예로서 부호화 장치(100) 및 복호 장치(200)에 대해서 설명했지만, 본 기술은 임의의 구성에 적용할 수 있다.

예를 들어, 본 기술은, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신 및 셀룰러 통신에 의한 단말기에의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나, 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 레코더나 카메라) 등의, 여러가지 전자 기기에 적용될 수 있다.

또한, 예를 들어 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 더 기타 기능을 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부 구성으로서 실시할 수도 있다.

또한, 예를 들어 본 기술은, 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어, 본 기술을, 네트워크를 통해서 복수의 장치에서 분담, 공동해서 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 안에 있는지의 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해서 접속되어 있는 복수의 장치, 및 1개의 하우징 안에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.

<본 기술을 적용 가능한 분야·용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

<기타>

또한, 본 명세서에 있어서 「플래그」란, 복수의 상태를 식별하기 위한 정보이며, 참(1) 또는 거짓(0)의 두 상태를 식별할 때에 사용하는 정보뿐만 아니라, 3 이상의 상태를 식별하는 것이 가능한 정보도 포함된다. 따라서, 이 「플래그」가 취할 수 있는 값은, 예를 들어 1/0의 2치여도 되고, 3치 이상이어도 된다. 즉, 이 「플래그」를 구성하는 bit수는 임의이고, 1bit나 복수bit여도 된다. 또한, 식별 정보(플래그도 포함한다)는, 그 식별 정보를 비트 스트림에 포함시키는 형뿐만 아니라, 어느 기준이 되는 정보에 대한 식별 정보의 차분 정보를 비트 스트림에 포함시키는 형도 상정되기 때문에, 본 명세서에 있어서는, 「플래그」나 「식별 정보」는, 그 정보뿐만 아니라, 기준이 되는 정보에 대한 차분 정보도 포함한다.

또한, 부호화 데이터(비트 스트림)에 관한 각종 정보(메타데이터 등)는, 부호화 데이터에 관련지어져 있으면, 어떤 형태로 전송 또는 기록되도록 해도 된다. 여기서, 「관련짓는다」라고 하는 용어는, 예를 들어 한쪽의 데이터를 처리할 때에 다른 쪽의 데이터를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 관련지어진 데이터는, 1개의 데이터로서 통합되어도 되고, 각각 개별 데이터로 해도 된다. 예를 들어, 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들어 부호화 데이터(화상)에 관련지어진 정보는, 그 부호화 데이터(화상)와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「관련지음」은, 데이터 전체가 아니고, 데이터의 일부여도 된다. 예를 들어, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1 프레임 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련짓도록 해도 된다.

또한, 본 명세서에 있어서, 「합성하다」, 「다중화하다」, 「부가하다」, 「일체화하다」, 「포함시키다」, 「저장하다」, 「집어 넣다」, 「끼워 넣다」, 「삽입하다」 등의 용어는, 예를 들어 부호화 데이터와 메타데이터를 1개의 데이터로 통합한다고 하는, 복수의 물품을 하나로 통합하는 것을 의미하고, 상술의 「관련짓는다」의 1개의 방법을 의미한다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

또한, 예를 들어 상술한 프로그램은, 임의의 장치에 있어서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들어 1개의 흐름도의 각 스텝을, 1개의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 또한, 1개의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 1개의 장치가 실행하도록 해도 되고, 복수의 장치가 분담해서 실행하도록 해도 된다. 환언하자면, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 통합해서 실행할 수도 있다.

또한, 예를 들어 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라서 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 발생하지 않는 한, 각 스텝의 처리가 상술한 순서와 상이한 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합해서 실행되도록 해도 된다.

또한, 예를 들어 본 기술에 관한 복수의 기술은, 모순이 발생하지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용해서 실시할 수도 있다. 예를 들어, 어느 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합해서 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용해서 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,

상기 계층화부는, 포인트의 무게 중심에 기초하여, 상기 참조 포인트를 설정하는

정보 처리 장치.

(2) 상기 계층화부는, 후보가 되는 포인트 중, 상기 무게 중심에 대하여 보다 근방의 포인트를 상기 참조 포인트로서 설정하는

(1)에 기재된 정보 처리 장치.

(3) 상기 계층화부는, 소정의 범위 내에 위치하는 포인트의 무게 중심에 기초하여, 상기 참조 포인트를 설정하는

(1) 또는 (2)에 기재된 정보 처리 장치.

(4) 상기 계층화부는, 상기 무게 중심에 대하여 대략 동일한 조건의 복수의 후보 중에서, 소정의 탐색순에 기초하여 상기 참조 포인트를 설정하는

(1) 내지 (3)의 어느 것에 기재된 정보 처리 장치.

(5) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 무게 중심에 기초하여 설정하는

정보 처리 방법.

(6) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,

상기 계층화부는, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는

정보 처리 장치.

(7) 상기 계층화부는, 상기 포인트의 분포 양태마다, 포인트의 무게 중심에 가까운 포인트를 지정하는 테이블 정보에 기초하여, 상기 참조 포인트를 설정하는

(6)에 기재된 정보 처리 장치.

(8) 상기 계층화부는, 상기 포인트의 분포 양태마다 소정의 포인트를 지정하는 테이블 정보에 기초하여, 상기 참조 포인트를 설정하는

(6) 또는 (7)에 기재된 정보 처리 장치.

(9) 상기 테이블 정보에 관한 정보를 부호화하는 부호화부를 더 구비하는

(8)에 기재된 정보 처리 장치.

(10) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는

정보 처리 방법.

(11) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부와,

상기 계층화부에 의한 상기 참조 포인트의 설정에 관한 정보를 부호화하는 부호화부

를 구비하는 정보 처리 장치.

(12) 상기 부호화부는, 모든 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는

(11)에 기재된 정보 처리 장치.

(13) 상기 부호화부는, 일부 계층 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는

(11)에 기재된 정보 처리 장치.

(14) 상기 부호화부는, 추가로 소정의 조건을 충족하는 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는

(13)에 기재된 정보 처리 장치.

(15) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하고,

상기 참조 포인트의 설정에 관한 정보를 부호화하는

정보 처리 방법.

(16) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,

상기 계층화부는, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 상기 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는

정보 처리 장치.

(17) 상기 계층화부는, 상기 바운딩 박스 내의 위치에 따른 탐색순에 기초하여, 상기 후보 중 상기 바운딩 박스의 중심에 가까운 쪽의 포인트와, 상기 바운딩 박스의 중심으로부터 먼 쪽의 포인트를 선택하는

(16)에 기재된 정보 처리 장치.

(18) 상기 탐색순은, 상기 바운딩 박스의 중심으로부터의 거리순인

(17)에 기재된 정보 처리 장치.

(19) 상기 탐색순은, 상기 바운딩 박스를 8분할한 영역마다 설정되는

(17)에 기재된 정보 처리 장치.

(20) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는

정보 처리 방법.

100: 부호화 장치
101: 위치 정보 부호화부
102: 위치 정보 복호부
103: 포인트 클라우드 생성부
104: 속성 정보 부호화부
105: 비트 스트림 생성부
111: 계층화 처리부
112: 양자화부
113: 부호화부
121: 참조 포인트 설정부
122: 참조 관계 설정부
123: 반전부
124: 가중치 도출부
200: 복호 장치
201: 부호화 데이터 추출부
202: 위치 정보 복호부
203: 속성 정보 복호부
204: 포인트 클라우드 생성부
211: 복호부
212: 역양자화부
213: 역계층화 처리부

Claims (20)

1. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,
   상기 계층화부는, 포인트의 무게 중심에 기초하여, 상기 참조 포인트를 설정하는,
   정보 처리 장치.
2. 제1항에 있어서,
   상기 계층화부는, 후보가 되는 포인트 중, 상기 무게 중심에 대하여 보다 근방의 포인트를 상기 참조 포인트로서 설정하는, 정보 처리 장치.
3. 제1항에 있어서,
   상기 계층화부는, 소정의 범위 내에 위치하는 포인트의 무게 중심에 기초하여, 상기 참조 포인트를 설정하는, 정보 처리 장치.
4. 제1항에 있어서,
   상기 계층화부는, 상기 무게 중심에 대하여 대략 동일한 조건의 복수의 후보 중에서, 소정의 탐색순에 기초하여 상기 참조 포인트를 설정하는, 정보 처리 장치.
5. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 무게 중심에 기초하여 설정하는,
   정보 처리 방법.
6. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,
   상기 계층화부는, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는,
   정보 처리 장치.
7. 제6항에 있어서,
   상기 계층화부는, 상기 포인트의 분포 양태마다, 포인트의 무게 중심에 가까운 포인트를 지정하는 테이블 정보에 기초하여, 상기 참조 포인트를 설정하는, 정보 처리 장치.
8. 제6항에 있어서,
   상기 계층화부는, 상기 포인트의 분포 양태마다 소정의 포인트를 지정하는 테이블 정보에 기초하여, 상기 참조 포인트를 설정하는, 정보 처리 장치.
9. 제8항에 있어서,
   상기 테이블 정보에 관한 정보를 부호화하는 부호화부를 더 구비하는, 정보 처리 장치.
10. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트를, 포인트의 분포 양태에 기초하여 설정하는,
    정보 처리 방법.
11. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부와,
    상기 계층화부에 의한 상기 참조 포인트의 설정에 관한 정보를 부호화하는 부호화부
    를 구비하는, 정보 처리 장치.
12. 제11항에 있어서,
    상기 부호화부는, 모든 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는, 정보 처리 장치.
13. 제11항에 있어서,
    상기 부호화부는, 일부 계층 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는, 정보 처리 장치.
14. 제13항에 있어서,
    상기 부호화부는, 추가로 소정의 조건을 충족하는 포인트에 대한 상기 참조 포인트의 설정에 관한 정보를 부호화하는, 정보 처리 장치.
15. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하고,
    상기 참조 포인트의 설정에 관한 정보를 부호화하는,
    정보 처리 방법.
16. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행하는 계층화부를 구비하고,
    상기 계층화부는, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 상기 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는,
    정보 처리 장치.
17. 제16항에 있어서,
    상기 계층화부는, 상기 바운딩 박스 내의 위치에 따른 탐색순에 기초하여, 상기 후보 중 상기 바운딩 박스의 중심에 가까운 쪽의 포인트와, 상기 바운딩 박스의 중심으로부터 먼 쪽의 포인트를 선택하는, 정보 처리 장치.
18. 제17항에 있어서,
    상기 탐색순은, 상기 바운딩 박스의 중심으로부터의 거리순인, 정보 처리 장치.
19. 제17항에 있어서,
    상기 탐색순은, 상기 바운딩 박스를 8분할한 영역마다 설정되는, 정보 처리 장치.
20. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 상기 포인트마다의 속성 정보에 대해서, 상기 속성 정보와 상기 속성 정보의 예측값의 차분값을 도출하는 예측 포인트와, 상기 예측값의 도출에 사용되는 참조 포인트의 분류를 상기 참조 포인트에 대하여 재귀적으로 반복함으로써, 상기 속성 정보의 계층화를 행할 때에, 상기 참조 포인트로서, 상기 참조 포인트의 후보 중, 바운딩 박스의 중심에 가까운 쪽의 포인트와, 바운딩 박스의 중심으로부터 먼 쪽의 포인트를, 계층마다 교호로 선택하는,
    정보 처리 방법.

Images