KR20230125186A

KR20230125186A - 정보 처리 장치 및 방법

Info

Publication number: KR20230125186A
Application number: KR1020237019457A
Authority: KR
Inventors: 사토루 구마; 오지 나카가미
Original assignee: 소니그룹주식회사
Priority date: 2020-12-28
Filing date: 2021-12-14
Publication date: 2023-08-29
Also published as: JPWO2022145214A1; CN116670721A; WO2022145214A1; US20240056604A1; EP4270323A4; EP4270323A1

Abstract

본 개시는, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있도록 하는 정보 처리 장치 및 방법에 관한 것이다. 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행한다. 본 개시는, 예를 들어, 정보 처리 장치, 부호화 장치, 복호 장치, 전자 기기, 정보 처리 방법, 또는 프로그램 등에 적용할 수 있다.

Description

정보 처리 장치 및 방법

본 개시는, 정보 처리 장치 및 방법에 관한 것으로, 특히, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있도록 한 정보 처리 장치 및 방법에 관한 것이다.

종래, 예를 들어 포인트 클라우드(Point cloud)와 같은 3차원 구조를 나타내는 3D 데이터의 부호화 방법이 생각되었다(예를 들어 비특허문헌 1 참조). 또한, 이 포인트 클라우드의 지오메트리 데이터(위치 정보)에 대해서, Octree를 노드 그룹(node group)으로 분할하는 플래그를 시그널함으로써, 디코드의 병렬화 등을 실현하는 방법이나, 일부 노드 그룹을 복호하는 방법이 생각되었다(예를 들어 비특허문헌 2 참조).

또한, 포인트 클라우드의 애트리뷰트 데이터(속성 정보)에 대해서, 주변의 포인트의 애트리뷰트 데이터를 사용하여 처리 대상의 포인트의 예측값을 도출하고, 처리 대상의 포인트의 애트리뷰트 데이터와 그 예측값의 차분값을 부호화하는 방법이 생각되었다. 이러한 부호화 방식으로서, 예를 들어, Lifting이라고 칭하는 방법이 생각되었다(예를 들어 비특허문헌 3 참조). 이러한 부호화 방식의 경우, 예측값을 도출하기 위하여 애트리뷰트 데이터를 참조하는 포인트를 설정하기 위해서, 근방 점 탐색이 실행된다.

R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-I㎜ersive Video", tcsvt_paper_submitted_february.pdf David Flynn, Khaled Mammou, "G-PCC: A hierarchical geometry slice structure", ISO/IEC JCTC1/SC29/WG11 MPEG/m54677, April 2020, Online Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US

그러나, 비특허문헌 3에 기재된 방법에서는, 탐색 대상으로 하는 포인트가 제한되어 있지 않았다. 그 때문에, 예를 들어, 애트리뷰트 데이터의 나무 구조에 있어서 노드 그룹을 형성하는 경우, 복호하지 않는 노드 그룹에 속하는 노드도 탐색의 대상으로 될 우려가 있었다. 그에 의해, 애트리뷰트 데이터의 복호가 파탄될 우려가 있었다.

본 개시는, 이러한 상황을 감안하여 이루어진 것으로, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있도록 하는 것이다.

본 기술의 일 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와, 상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는 부호화부를 구비하는 정보 처리 장치이다.

본 기술의 일 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고, 상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는 정보 처리 방법이다.

본 기술의 다른 측면의 정보 처리 장치는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하는 복호부와, 상기 나무 구조의 상기 노드 중, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와, 상기 복호부에 의해 도출된 상기 차분값과, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하는 복원부와, 상기 복원부에 의해 복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는 대응짓기부를 구비하는 정보 처리 장치이다.

본 기술의 다른 측면의 정보 처리 방법은, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하고, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고, 도출된 상기 차분값과, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하고, 복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는 정보 처리 방법이다.

본 기술의 일 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색이 실행되고, 그 처리 대상 노드의 애트리뷰트 데이터와, 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값의 차분값이 부호화된다.

본 기술의 다른 측면의 정보 처리 장치 및 방법에 있어서는, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 애트리뷰트 데이터와 그 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터가 복호되어, 그 처리 대상 노드의 차분값이 도출되고, 그 나무 구조의 노드 중, 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색이 실행되고, 그 도출된 차분값과, 그 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값이 가산됨으로써, 처리 대상 노드의 애트리뷰트 데이터가 복원되고, 복원된 복호 대상 영역의 포인트의 애트리뷰트 데이터와, 그 포인트의 지오메트리 데이터가 대응지어진다.

도 1은 나무 구조 및 슬라이스 구조의 예에 대하여 설명하는 도면이다.
도 2는 애트리뷰트 데이터의 계층화 방법의 예를 설명하는 도면이다.
도 3은 지오메트리 데이터의 슬라이스 구조의 예에 대하여 설명하는 도면이다.
도 4는 애트리뷰트 데이터의 참조 대상의 예에 대하여 설명하는 도면이다.
도 5는 근방 점 탐색의 방법의 예에 대하여 설명하는 도면이다.
도 6은 LoD간 참조용 탐색 대상의 예에 대하여 설명하는 도면이다.
도 7은 LoD간 참조용 탐색 대상의 예에 대하여 설명하는 도면이다.
도 8은 LoD 내 참조용 탐색 대상의 예에 대하여 설명하는 도면이다.
도 9는 지오메트리 데이터의 일부의 슬라이스를 복호하는 경우의 예에 대하여 설명하는 도면이다.
도 10은 애트리뷰트 데이터의 일부의 슬라이스를 복호하는 경우의 예에 대하여 설명하는 도면이다.
도 11은 대응짓기의 방법의 예에 대하여 설명하는 도면이다.
도 12는 대응짓기의 방법의 예에 대하여 설명하는 도면이다.
도 13은 대응짓기의 방법의 예에 대하여 설명하는 도면이다.
도 14는 부호화 장치의 주된 구성예를 나타내는 블록도이다.
도 15는 애트리뷰트 데이터 부호화부의 주된 구성예를 나타내는 블록도이다.
도 16은 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 17은 애트리뷰트 데이터 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 18은 복호 장치의 주된 구성예를 나타내는 블록도이다.
도 19는 애트리뷰트 데이터 복호부의 주된 구성예를 나타내는 블록도이다.
도 20은 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 21은 애트리뷰트 데이터 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 22는 포인트 클라우드 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 23은 포인트 클라우드 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 24는 컴퓨터의 주된 구성예를 나타내는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하, 실시 형태로 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 근방 점 탐색의 제한

2. 대응짓기의 제한

3. 제1 실시 형태(부호화 장치)

4. 제2 실시 형태(복호 장치)

5. 부기

<1. 근방 점 탐색의 제한>

<기술 내용과 기술 용어를 서포트하는 문헌 등>

본 기술에서 개시되는 범위는, 실시 형태에 기재되어 있는 내용뿐만 아니라, 출원 당시에 있어서 공지로 되어 있는 이하의 비특허문헌에 기재되어 있는 내용도 포함된다.

비특허문헌 1: (상술)

비특허문헌 2: (상술)

비특허문헌 3: (상술)

즉, 상술한 비특허문헌에 기재되어 있는 내용이나, 상술한 비특허문헌에서 참조되어 있는 다른 문헌의 내용 등도, 서포트 요건을 판단할 때의 근거가 된다.

<포인트 클라우드>

종래, 3D 데이터로서, 입체 구조물(3차원 형상의 오브젝트)을 다수의 포인트의 집합으로서 표현하는 포인트 클라우드가 존재하였다. 포인트 클라우드의 데이터(포인트 클라우드 데이터라고도 칭함)는, 각 점의 위치 정보(지오메트리라고도 칭함)와 속성 정보(애트리뷰트라고도 칭함)에 의해 구성된다. 애트리뷰트는 임의의 정보를 포함할 수 있다. 예를 들어, 각 포인트의 색 정보, 반사율 정보, 법선 정보 등을 포함할 수 있다. 이와 같이 포인트 클라우드는, 데이터 구조가 비교적 단순함과 함께, 충분히 많은 점을 사용함으로써 임의의 입체 구조물을 충분한 정밀도로 표현할 수 있다.

포인트 클라우드 데이터는 그 데이터양이 비교적 크다. 또한, 포인트수의 증대에 비례하여 그 데이터양도 증대한다. 그 때문에, 예를 들어 포인트 클라우드 데이터를 전송하거나, 기억하거나 할 때의 부하가 증대한다. 그래서, 데이터양 저감을 위해서, 복셀(Voxel)화가 생각되었다. 복셀은, 지오메트리(위치 정보)를 양자화하기 위한 3차원 영역이다.

즉, 포인트 클라우드를 내포하는 3차원 영역(바운딩 박스(Bounding box)라고도 칭함)을 복셀이라고 칭하는 작은 3차원 영역으로 분할하고, 그 복셀마다, 포인트를 내포할지 여부를 나타내도록 한다. 이와 같이 함으로써, 각 포인트의 위치는 복셀 단위로 양자화된다. 따라서, 정보량의 증대를 억제(전형적으로는 정보량을 삭감)할 수 있다.

지오메트리의 해상도(즉, 포인트의 수)는, 이 복셀의 크기(환언하면, 복셀의 수)에 의존한다. 복셀 사이즈가 작을수록(복셀이 많을수록), 포인트수가 증대하므로, 지오메트리의 해상도는 높아진다.

이러한 특성을 이용해서, 복셀을 재귀적으로 분할할 수 있도록 하여, 지오메트리를 나무 구조화하는 것이 생각되었다. 이러한 방법에 의해 지오메트리의 해상도를 가변으로 할 수 있다. 즉, 나무 구조의 최하위층에 대응하는 최고 해상도뿐만 아니라, 나무 구조의 중간 계층에 대응하는 저해상도로도 지오메트리를 표현할 수 있다.

또한, 포인트 클라우드 데이터를 전송할 때나, 기억하거나 할 때의 부하 증대를 억제하기 위해서, 포인트 클라우드 데이터를 부호화·복호하는 방법이 생각되었다. 예를 들어, 포인트 클라우드 데이터를 전송할 때, 송신측에서 포인트 클라우드 데이터를 부호화하여 비트 스트림을 생성하여, 그 비트 스트림을 전송하고, 수신측에서 그 비트 스트림을 복호하여 포인트 클라우드 데이터를 생성한다. 이와 같이 함으로써, 전송 시의 데이터양을 저감시킬 수 있어, 부하의 증대를 억제할 수 있다. 포인트 클라우드 데이터를 기억하는 경우도 마찬가지이다.

상술한 바와 같이, 포인트 클라우드는 지오메트리와 애트리뷰트에 의해 구성된다. 즉, 지오메트리와 애트리뷰트 각각의 데이터가 부호화·복호된다.

지오메트리의 데이터(지오메트리 데이터라고도 칭함)는, 상술한 나무 구조에 따라서 부호화함으로써, 지오메트리의 부호화 데이터를 해상도에 대하여 스케일러블하게 복호할 수 있다. 즉, 복호 처리에 있어서 해상도에 관한 스케일러빌리티를 실현할 수 있다. 예를 들어, 나무 구조의 최상위층부터 임의의 계층까지의 노드만을 복호한다는(그것보다 하위층의 노드를 복호하지 않는다는) 부분적인 복호가 가능해진다. 즉, 지오메트리의 모든 부호화 데이터를 복호하지 않아도, 필요한 부분만을 복호함으로써, 원하는 해상도의 지오메트리를 얻을 수 있다.

<노드 그룹화>

그런데, 비특허문헌 2에서, 이 포인트 클라우드의 나무 구조(Octree)를 노드 그룹(node group)으로 분할하는 플래그를 시그널하는 방법이 개시되었다. 이 방법에 의해, 노드 그룹마다 독립적으로 복호가 가능해진다. 따라서, 예를 들어, 디코드 처리를 노드 그룹마다 나누어서 병렬화할 수 있다. 또한, 일부의 노드 그룹만을 디코드할 수도 있다. 예를 들어, 3차원 영역의 부분 영역마다 노드 그룹을 나눔으로써, 일부 영역의 지오메트리만을 복호할 수 있다. 즉, 복호 처리에 있어서, 영역에 관한 스케일러빌리티를 실현할 수 있다. 즉, 지오메트리의 모든 부호화 데이터를 복호하지 않아도, 필요한 부분만을 복호함으로써, 원하는 영역의 지오메트리를 얻을 수 있다.

이 노드 그룹을 슬라이스라고도 칭한다. 즉, 슬라이스는, 지오메트리의 나무 구조의 노드를 그룹화한 것이다. 지오메트리 데이터는, 이 슬라이스마다 독립적으로 부호화될 수 있다. 환언하면, 지오메트리 데이터의 부호화 데이터는, 이 슬라이스마다 독립적으로 복호될 수 있다. 지오메트리의 나무 구조는, 어떤 나무 구조이어도 된다. 예를 들어, Octree나 KD Tree이어도 되고, 그 이외이어도 된다.

지오메트리 데이터에 설정된 슬라이스 구조의 다른 예를 도 1에 나타낸다. 도 1에서, 세선의 실선이 나무 구조를 나타내고, 그 실선의 분기점이 노드를 나타낸다. 굵은 선으로 둘러싸이는 노드군이 하나의 슬라이스를 형성하고 있다. LoD는, 나무 구조의 계층을 나타낸다.

즉, LoD0 내지 LoD4의 전체 노드가 슬라이스 1에 속한다. LoD5 내지 LoD7의 영역 1(그레이 바탕 영역)의 노드가 슬라이스 2에 속한다. LoD5 내지 LoD7의 영역 2(백색 바탕 영역)의 노드가 슬라이스 3에 속한다. LoD5 내지 LoD7의 영역 3(그레이 바탕 영역)의 노드가 슬라이스 4에 속한다. LoD5 내지 LoD7의 영역 4(백색 바탕 영역)의 노드가 슬라이스 5에 속한다.

점선 화살표는, 부호화나 복호의 순을 나타내고 있다. 예를 들어, LoD0 내지 LoD4의 각 노드는, 영역 전체에 대하여 상위층으로부터 하위층을 향하는 순으로 계층마다 부호화된다. LoD5 내지 LoD7의 각 노드는, 영역 1 내지 영역 4의 영역마다, 상위층으로부터 하위층을 향하는 순으로 계층마다 부호화된다. 복호순도 마찬가지이다.

이러한 슬라이스 구조가 형성되는 경우, 일부 슬라이스만을 복호할 수 있다. 예를 들어, LoD7의 해상도로 영역 3의 포인트의 지오메트리 데이터가 필요한 경우, 슬라이스 1과 슬라이스 4의 노드를 복호하면 된다. 환언하면, 그 경우, 슬라이스 2, 슬라이스 3 및 슬라이스 5의 노드의 복호는 불필요하다. 이와 같이 함으로써, LoD7의 전체 노드를 복호하는 경우에 비하여, 복호 처리의 처리량을 저감시킬 수 있다.

<리프팅>

이에 반해 애트리뷰트에 대해서, 부호화에 의한 열화를 포함시켜 지오메트리를 기지인 것으로 해서, 점간의 위치 관계를 이용하여 부호화하거나, 복호하거나 하는 방법이 생각되었다. 이러한 애트리뷰트의 부호화 방법으로서, RAHT(Region Adaptive Hierarchical Transform)나, 비특허문헌 2에 기재된 바와 같은 Lifting이라고 칭하는 변환을 사용하는 방법이 생각되었다. 이러한 기술을 적용함으로써, 지오메트리의 Octree와 같이, 애트리뷰트를 계층화할 수도 있다.

예를 들어 Lifting의 경우, 각 포인트의 애트리뷰트 데이터는, 다른 포인트의 애트리뷰트 데이터를 참조하여 도출되는 예측값과의 차분값으로서 부호화된다. 예를 들어 2차원으로서 설명한다. 도 2의 A에서 각 원이 포인트를 나타내고 있다. 포인트군이, 이러한 위치 관계에 있다고 하자. 각 포인트의 애트리뷰트 데이터는, 도 2의 B에 도시되는 화살표와 같이, 다른 포인트의 애트리뷰트 데이터를 참조하여 도출한 예측값과의 차분값으로서 부호화되거나, 복호되거나 한다.

지오메트리 데이터의 경우와 마찬가지로, 각 포인트의 애트리뷰트 데이터를 계층화(나무 구조화)함으로써, 애트리뷰트 데이터의 스케일러블한 복호를 실현할 수 있다. 또한, 이 애트리뷰트의 나무 구조를 지오메트리의 나무 구조에 대응시킴으로써, 포인트 클라우드 데이터의 스케일러블한 복호를 실현할 수 있다. 그 경우, 지오메트리를 사용하여 각 포인트의 애트리뷰트 데이터를 계층화하면 된다.

예를 들어, 도 2의 C에 도시되는 바와 같이, 포인트가 존재하는 복셀이 속하는 하나 상위의 계층(LoD)의 복셀에 속성 정보가 남도록 예측 포인트를 선택한다. 도 2의 C에서 사각이 복셀을 나타내고, 원이 포인트를 나타낸다. 복셀(20)이 4분할되어 하나 하위층의 복셀이 형성되고, 그 우측 하단의 복셀이 4분할되어서 또 하나 하위층의 복셀이 형성되어 있다. 그 가장 아래의 계층의 복셀의 4개의 포인트(3개의 백색 포인트와 1개의 그레이 포인트) 중 어느 하나의 복셀의 포인트(그레이 포인트)를 하나 상위의 계층의 복셀에 남긴다. 즉, 복셀(20)을 4분할한 복셀에서는, 1개의 흑색 포인트와 3개의 그레이 포인트가 남는다. 마찬가지로, 그 중 1개(흑색 포인트)를 하나 상위의 계층의 복셀(즉 복셀(20))에 남긴다. 이와 같이 애트리뷰트 데이터를 계층화함으로써, 애트리뷰트 데이터에 대해서도, 지오메트리 데이터와 마찬가지의 계층 구조(나무 구조)를 형성할 수 있다.

<근방 점 탐색>

도 2의 B와 같이 다른 포인트(근방 점)의 애트리뷰트 데이터를 참조하여 처리 대상 포인트의 애트리뷰트 예측값을 도출하기 위해서, 애트리뷰트 데이터를 참조하는 근방 점의 탐색(근방 점 탐색이라고도 칭함)이 실행된다. 또한, 이 예측값 도출을 위한 참조 방법으로서, 처리 대상 포인트가 속하는 LoD와 다른 LoD에 속하는 포인트를 참조하는 인터 참조(LoD간 참조라고도 칭함)와, 처리 대상 포인트와 동일한 LoD에 속하는 포인트를 참조하는 인트라 참조(LoD 내 참조라고도 칭함)가 있다.

<애트리뷰트의 노드 그룹화>

그런데, 상술한 바와 같이, 지오메트리 데이터는 나무 구조를 노드 그룹화(슬라이스 분할)할 수 있다. 도 3에 그 슬라이스 구조의 예를 나타낸다. 도 3의 예의 경우, 상위의 2LoD는, 전체 영역이 하나로 슬라이스화되어 있다(슬라이스 #1). 이에 반해 하위의 2LoD는, 2영역으로 분할되어, 각 영역이 슬라이스화되어 있다(슬라이스 #2, 슬라이스 #3). 예를 들어, 최하위층의 노드 A 내지 노드 D는, 슬라이스 #2에 속하고, 노드 E 내지 노드 G는, 슬라이스 #3에 속해 있다.

이러한 슬라이스 분할과 마찬가지로, 애트리뷰트 데이터에 있어서도 노드 그룹화(슬라이스 분할)하는 것이 생각된다. 이에 의해, 애트리뷰트 데이터를, 부호화 처리나 복호 처리를 병렬화하거나, 일부 슬라이스만을 복호하거나 할 수 있도록 할 것이 기대된다. 도 4에 그 경우의 애트리뷰트 데이터의 슬라이스 구조의 예를 나타낸다. 도 4에서 노드 A 내지 노드 G는, 각각 도 3에 대응한다. 도 4의 예의 경우, 도 3의 지오메트리 데이터의 경우와 마찬가지로, 상위의 2LoD는, 전체 영역이 하나로 슬라이스화되어 있다(슬라이스 #4). 이에 반해 하위의 2LoD는, 2영역으로 분할되어, 각 영역이 슬라이스화되어 있다(슬라이스 #5, 슬라이스 #6).

그러나, 비특허문헌 2에 기재된 애트리뷰트의 부호화 방법 및 복호 방법은, 그러한 슬라이스 구조에 대응하고 있지 않았다.

예를 들어, 각 노드의 애트리뷰트 데이터는 LoD마다 복호되어, 근방 점 탐색의 대상이 제한되어 있지 않으므로, 전체 영역의 포인트의 애트리뷰트 데이터가 근방 점 탐색의 대상으로 된다. 그 때문에, 복호 대상이 아닌 영역의 포인트(즉, 복호하지 않는 슬라이스에 속하는 노드)의 애트리뷰트 데이터를 참조해버릴 우려가 있었다.

예를 들어, 도 4의 예에서 노드 F를 복호 대상으로 한 경우, 비특허문헌 2에 기재된 방법에서는, 인터 참조 시의 근방 점 탐색의 대상은, 1점 쇄선의 프레임 내의 노드가 된다. 즉, 노드 A 내지 노드 G 중에서는, 노드 A, 노드 D, 노드 E 및 노드 G가 탐색 대상이 된다. 또한, 인트라 참조 시의 근방 점 탐색의 대상은, 2점 쇄선의 프레임 내의 노드가 된다. 즉, 노드 A 내지 노드 G 중에서는, 노드 B 및 노드 C가 탐색 대상이 된다.

도 4와 같이 슬라이스 분할되어 있는 경우, 노드 F를 복호하기 위해서는, 적어도 슬라이스 #4 및 슬라이스 #6을 복호하면 된다. 환언하면, 슬라이스 #5를 복호하지 않아도 된다. 그러나, 비특허문헌 2에 기재된 방법의 경우, 상술한 바와 같이, 슬라이스 #5의 노드도 참조할 우려가 있었다. 그 경우, 슬라이스마다의 독립된 복호를 할 수 없게 되어, 애트리뷰트 데이터를 복호할 수 없게 될 우려가 있었다.

그래서, 도 5의 표의 최상단에 나타내는 바와 같이, 슬라이스 분할이 적용된 애트리뷰트 데이터의 나무 구조(애트리뷰트 트리라고도 칭함)에 있어서, 복호 완료된 노드만을 대상으로 해서 근방 점 탐색을 하도록 한다(방법 1). 이 복호 완료된 노드란, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드를 말한다. 또한, 「복호 완료된 노드만을 대상으로 해서 근방 점 탐색을 한다」란, 나무 구조의 노드 중, 「복호 완료된 노드」를 근방 점 탐색의 대상으로 하고, 그 밖의 노드(복호 완료되지 않은 노드)를 근방 점 탐색의 대상으로 하지 않는 것을 나타낸다.

예를 들어, 정보 처리 방법에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 그 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하여, 그 처리 대상 노드의 애트리뷰트 데이터와, 그 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값의 차분값을 부호화하도록 한다.

예를 들어, 정보 처리 장치에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 그 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와, 그 처리 대상 노드의 애트리뷰트 데이터와, 그 근방 점 탐색부에 의한 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값의 차분값을 부호화하는 부호화부를 구비하도록 한다.

예를 들어, 정보 처리 방법에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 애트리뷰트 데이터와 그 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 그 처리 대상 노드의 차분값을 도출하고, 그 나무 구조의 노드 중, 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하여, 그 도출된 차분값과, 그 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값을 가산함으로써, 그 처리 대상 노드의 애트리뷰트 데이터를 복원하도록 한다.

예를 들어, 정보 처리 장치에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 애트리뷰트 데이터와 그 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 그 처리 대상 노드의 차분값을 도출하는 복호부와, 그 나무 구조의 노드 중, 그 복호부에 의해 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와, 그 복호부에 의해 도출된 차분값과, 그 근방 점 탐색부에 의한 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값을 가산함으로써, 처리 대상 노드의 애트리뷰트 데이터를 복원하는 복원부를 구비하도록 한다.

또한, 「처리 대상 노드보다도 먼저 복호되는(또는 복호된) 노드만을 대상으로 해서,」「근방 점 탐색을 실행한다」란, 「나무 구조의 노드 중,」「처리 대상 노드보다도 먼저 복호되는(또는 복호된) 노드」를 대상으로 하고, 그 밖의 노드를 대상에서 제외하여, 근방 점 탐색을 행하는 것을 나타낸다. 근방 점 탐색의 대상을 이상과 같이 제한함으로써, 애트리뷰트 데이터를 슬라이스마다 독립적으로 복호할 수 있어, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

또한, 애트리뷰트 데이터의 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 애트리뷰트 데이터를 노드로 하도록 해도 된다.

예를 들어, 애트리뷰트 데이터의 나무 구조는, 지오메트리 데이터에 기초하여, 처리 대상 계층의 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 복셀에도 포인트가 존재하도록 계층화된 각 포인트의 애트리뷰트 데이터를 노드로 하도록 해도 된다.

또한, 지오메트리 데이터가, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고, 애트리뷰트 데이터의 나무 구조의 각 노드가, 그 지오메트리 데이터의 나무 구조의 각 노드에 대응해도 된다. 또한, 지오메트리 데이터의 나무 구조에, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되고, 애트리뷰트 데이터의 나무 구조에 형성되는 슬라이스의 구조가, 그 지오메트리 데이터의 나무 구조에 형성되는 슬라이스의 구조에 대응하도록 해도 된다.

이와 같이 애트리뷰트 데이터의 나무 구조를 지오메트리 데이터의 나무 구조에 대응시킴으로써, 포인트 클라우드 데이터의 스케일러블한 복호를 실현할 수 있다. 또한, 애트리뷰트 데이터의 슬라이스 구조를 지오메트리 데이터의 슬라이스 구조에 대응시킴으로써, 포인트 클라우드 데이터를 슬라이스마다 독립적으로 복원할 수 있다.

<인터 참조>

도 5의 표의 위에서 2단째에 나타나는 바와 같이, LoD간 참조(인터 참조)를 위한 근방 점 탐색을, 복호 완료된 노드를 대상으로 해서 실행하도록 해도 된다(방법 1-1). 예를 들어, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드보다도 상위 계층의, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다. 또는, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드보다도 상위 계층의, 복호부에 의해 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다.

이와 같이 함으로써, 복호 시에 인터 참조가 적용되는 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있어, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<슬라이스 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>

그 인터 참조를 위한 근방 점 탐색으로서, 도 5의 표의 위에서 3단째에 나타나는 바와 같이, 복호 완료된 슬라이스에 속하는 노드를 대상으로 해서 근방 점 탐색을 실행하도록 해도 된다(방법 1-1-1). 이 복호 완료된 슬라이스란, 복호 시에 처리 대상 노드보다도 먼저 복호되는 슬라이스(의 노드)를 말한다.

예를 들어, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는, 그 처리 대상 노드보다도 상위 계층의 노드와, 복호 시에 처리 대상 노드가 속하는 슬라이스보다도 먼저 복호되는 슬라이스에 속하는 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다. 또는, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호부에 의해 그 처리 대상 노드보다도 먼저 복호된, 그 처리 대상 노드보다도 상위 계층의 노드와, 복호부에 의해 그 처리 대상 노드가 속하는 슬라이스보다도 먼저 복호된 슬라이스에 속하는 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다.

이 경우, 예를 들어, 도 4의 나무 구조에 있어서 노드 F를 복호 대상으로 하면, 도 6에 도시되는 1점 쇄선의 프레임 내의 노드를 대상으로 해서, 인터 참조를 위한 근방 점 탐색이 실행된다. 즉, 노드 A 내지 노드 G 중에서는, 노드 A, 노드 E 및 노드 G가 탐색 대상이 된다. 환언하면, 노드 B 내지 노드 D, 즉, 슬라이스 #5에 속하는 노드가, 근방 점 탐색의 대상 외가 된다(애트리뷰트 데이터를 참조하는 노드로 설정하지 않게 됨).

따라서, 이 경우, 애트리뷰트 데이터를 슬라이스마다 독립적으로 복호할 수 있어, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<나무 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>

또한, 인터 참조를 위한 근방 점 탐색으로서, 도 5의 표의 위에서 4단째에 나타내는 바와 같이, 애트리뷰트 데이터의 나무 구조의 선조 노드를 대상으로 해서 근방 점 탐색을 실행하도록 해도 된다(방법 1-1-2). 여기서 선조 노드란, 애트리뷰트 데이터의 나무 구조에 있어서, 처리 대상 노드가 직접적 또는 간접적으로 속하는 상위 LoD의 노드이다. 예를 들어, 도 7에 도시되는 나무 구조의 경우, 노드간의 직선이 노드끼리의 친자 관계를 나타내고 있다. 어떤 노드(기준 노드)로부터 보다 상위 LoD를 향하는 방향으로, 이 직선에 의해 직접적 또는 간접적으로 처리 대상 노드에 접속되는 노드를, 기준 노드의 선조 노드라고 칭한다.

직접적으로 접속되는 노드란, 어떤 노드에 대하여, 그 직선에 의해 다른 노드를 통하지 않고 접속되는 노드를 나타낸다. 예를 들어, 노드 E가 노드 F에 직접적으로 접속되는 노드이다. 간접적으로 접속되는 노드란, 어떤 노드에 대하여, 그 직선에 의해 다른 노드를 통해서 접속되는 노드를 나타낸다. 예를 들어, 노드 G가 노드 F에 간접적으로 접속되는 노드이다(노드 E 등을 통해서 접속되어 있음). 즉, 이 노드 E나 노드 G는, 노드 F의 선조 노드이다.

또한, 노드 A 내지 노드 D 등도 간접적으로 노드 F에 접속되어 있다고 할 수 있는데(노드 G 등을 통해서 접속되어 있음), 이들 노드는, 노드 G에 대하여 보다 하위 LoD에 속한다. 즉, 노드 F에서 보아 상위 LoD를 향하는 방향으로(간접적으로) 접속된 노드가 아니므로, 노드 F의 선조 노드가 아니다.

예를 들어, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드의 선조 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다.

즉, 이 경우, 예를 들어 도 4의 나무 구조에 있어서 노드 F를 복호 대상으로 하면, 도 7에 도시되는 1점 쇄선의 프레임 내의 노드를 대상으로 해서, 인터 참조를 위한 근방 점 탐색이 실행된다. 즉, 노드 A 내지 노드 G 중에서는, 노드 E 및 노드 G가 탐색 대상이 된다. 환언하면, 노드 A 내지 노드 D가 근방 점 탐색의 대상 외가 된다(애트리뷰트 데이터를 참조하는 노드로 설정하지 않게 됨). 즉 이 경우도, 슬라이스 #5에 속하는 노드가, 근방 점 탐색의 대상 외가 된다. 또한, 예를 들어, 슬라이스 #5에 속하는 노드 C를 복호 대상으로 하면, 도 7에 도시되는 2점 쇄선의 프레임 내의 노드를 대상으로 해서, 인터 참조를 위한 근방 점 탐색이 실행된다. 즉, 노드 A 내지 노드 G 중에서는, 노드 A, 노드 D 및 노드 G가 탐색 대상이 된다. 환언하면, 노드 B, 노드 E 및 노드 F가 근방 점 탐색의 대상 외가 된다(애트리뷰트 데이터를 참조하는 노드로 설정하지 않게 됨). 즉 이 경우, 슬라이스 #6에 속하는 노드가, 근방 점 탐색의 대상 외가 된다.

<인트라 참조>

도 5의 표의 위에서 5단째에 나타내는 바와 같이, LoD 내 참조(인트라 참조)를 위한 근방 점 탐색을, 복호 완료된 노드를 대상으로 해서 실행하도록 해도 된다(방법 1-2). 예를 들어, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의, 처리 대상 노드와 동일 계층의 노드 중, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다. 또는, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일 계층의, 복호부에 의해 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다.

이와 같이 함으로써, 복호 시에 인트라 참조가 적용되는 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있어, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<슬라이스 구조에 기초하는 인트라 참조를 위한 근방 점 탐색 대상 제한>

그 인트라 참조를 위한 근방 점 탐색으로서, 도 5의 표의 최하단에 나타내는 바와 같이, 처리 대상 슬라이스의 처리 대상 LoD 내의 복호 완료 노드를 대상으로 해서 근방 점 탐색을 실행하도록 해도 된다(방법 1-2-1). 처리 대상 슬라이스란, 처리 대상 노드가 속하는 슬라이스를 말한다. 처리 대상 LoD란, 처리 대상 노드가 속하는 LoD를 말한다. 복호 완료 노드란, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드를 말한다.

예를 들어, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는, 그 처리 대상 노드와 동일 계층의 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다. 또는, 정보 처리 장치에 있어서, 근방 점 탐색부가, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호부에 의해 그 처리 대상 노드보다도 먼저 복호된, 그 처리 대상 노드와 동일 계층의 노드만을 대상으로 해서, 근방 점 탐색을 실행하도록 해도 된다.

이 경우, 예를 들어, 도 4의 나무 구조에 있어서 노드 F를 복호 대상으로 하면, 도 8에 도시되는 2점 쇄선의 프레임 내의 노드를 대상으로 해서, 인트라 참조를 위한 근방 점 탐색이 실행된다. 즉, 이 경우, 슬라이스 #6 내의 최하위 LoD의 노드가 탐색 대상이 된다. 환언하면, 노드 B 및 노드 C, 즉, 슬라이스 #5에 속하는 노드가, 근방 점 탐색의 대상 외가 된다(애트리뷰트 데이터를 참조하는 노드로 설정하지 않게 됨).

<2. 대응짓기의 제한>

<지오메트리와 애트리뷰트의 대응짓기>

그런데, 지오메트리 데이터가 복호되고, 애트리뷰트 데이터가 복호되면, 그 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기가 실행된다. 즉, 포인트마다 지오메트리와 애트리뷰트가 합쳐져서(결부되어), 포인트 클라우드 데이터가 생성된다.

그러나, 애트리뷰트 데이터를 복호할 때, 상술한 바와 같이 슬라이스 분할하여 복호하면, 지오메트리와의 대응을 취할 수 없을 우려가 있었다.

예를 들어, 도 9에 도시되는 바와 같이, 지오메트리 데이터의 슬라이스 #1 및 슬라이스 #3을 복호하고, 슬라이스 #2를 복호하지 않는다고 하자. 이 경우, 복호되는 지오메트리 데이터의 수는, 도 9에 도시되는 바와 같이, 상위 LoD로부터 하위 LoD를 향하여, 1점, 2점, 2점, 3점이 된다.

이에 반해, 도 10에 도시되는 바와 같이, 애트리뷰트 데이터의 슬라이스 #4 및 슬라이스 #6을 복호하고, 슬라이스 #5를 복호하지 않는다고 하자. 이 경우, 복호되는 애트리뷰트 데이터의 수는, 도 10에 도시되 바와 같이, 상위 LoD로부터 하위 LoD를 향하여, 1색, 2색, 3색, 4색이 된다. 즉, 하위 2LoD에 있어서, 복호된 지오메트리 데이터의 수와 애트리뷰트 데이터의 수가 일치하지 않는다. 그 때문에, 하위 2LoD에 대해서는, 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 할 수 없어, 포인트 클라우드 데이터를 생성할 수 없을 우려가 있었다.

<슬라이스 구조에 기초하는 대응짓기 제한>

그래서, 도 11의 표의 최상단에 나타내는 바와 같이, 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기(즉, 포인트 클라우드 데이터의 생성)에 있어서, 복호 대상 영역의 애트리뷰트를 지오메트리와 대응짓도록 한다(방법 2). 복호 대상 영역이란, 복호 대상의 슬라이스에 대응하는 영역(그 슬라이스에 속하는 노드에 대응하는 포인트가 위치하는 영역)을 말한다.

예를 들어, 정보 처리 방법에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 애트리뷰트 데이터와 그 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 그 처리 대상 노드의 차분값을 도출하고, 그 나무 구조의 노드 중, 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하여, 그 도출된 차분값과, 그 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값을 가산함으로써, 처리 대상 노드의 애트리뷰트 데이터를 복원하고, 그 복원된 복호 대상 영역의 포인트의 애트리뷰트 데이터와, 그 포인트의 지오메트리 데이터를 대응짓도록 한다.

예를 들어, 정보 처리 장치에 있어서, 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 애트리뷰트 데이터와 그 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 그 처리 대상 노드의 차분값을 도출하는 복호부와, 그 나무 구조의 노드 중, 그 복호부에 의해 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와, 그 복호부에 의해 도출된 차분값과, 그 근방 점 탐색부에 의한 근방 점 탐색에 의해 설정된 참조 포인트의 애트리뷰트 데이터를 사용하여 도출된 예측값을 가산함으로써, 처리 대상 노드의 애트리뷰트 데이터를 복원하는 복원부와, 그 복원부에 의해 복원된 복호 대상 영역의 포인트의 애트리뷰트 데이터와, 그 포인트의 지오메트리 데이터를 대응짓는 대응짓기부를 구비하도록 한다.

이와 같이 함으로써, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

<대응짓기 후에 제거>

도 11의 표의 위에서 2단째에 나타내는 바와 같이, 비복호 대상 영역의 지오메트리 데이터도 포함시켜 대응짓기하고, 그 후, 지오메트리에 기초하여 비복호 대상 영역의 포인트를 제거하도록 해도 된다(방법 2-1). 여기서, 비복호 대상 영역이란, 복호 대상이 아닌 슬라이스에 속하는 노드에 대응하는 포인트가 위치하는 영역을 나타낸다. 환언하면, 비복호 대상 영역이란, 복호 대상의 슬라이스에 속하는 노드에 대응하는 포인트가 위치하지 않는 영역을 나타낸다. 또한, 복호 대상의 슬라이스에 속하는 노드에 대응하는 포인트가 위치하는 영역은, 복호 대상 영역이라고 칭한다.

예를 들어, 도 11의 표의 위에서 3단째에 나타내는 바와 같이, 지오메트리 데이터와 애트리뷰트 데이터를 대응지은 후, 즉, 포인트 클라우드 데이터의 생성 후, 복호 완료된 지오메트리를 사용하여 비복호 대상 영역의 포인트를 제거하도록 해도 된다(방법 2-1-1).

예를 들어, 정보 처리 장치에 있어서, 대응짓기부가, 복원부에 의해 복원된 모든 포인트의 애트리뷰트 데이터와 지오메트리 데이터를 대응짓고, 그 애트리뷰트 데이터와 지오메트리 데이터가 대응지어진 포인트 중, 비복호 대상 영역의 포인트를 제거하도록 해도 된다.

이 경우, 예를 들어, 도 10과 같이 슬라이스 #4 및 슬라이스 #6이 복호된 애트리뷰트 데이터에 대하여, 도 12에 도시되는 바와 같이 노드 A도 포함시킨 지오메트리 데이터를 대응짓는다. 이와 같이 함으로써, 도 12에 도시되는 바와 같이, 하위의 2LoD에서도 지오메트리 데이터와 애트리뷰트 데이터의 수가 일치하므로, 그것들의 대응짓기가 가능해진다. 그리고, 대응짓기 후, 지오메트리 데이터에 기초하여 비복호 대상 영역의 포인트를 제거함으로써, 이 노드 A를 제거할 수 있다.

즉, 이와 같이 함으로써, 복호 대상 영역의 포인트만이 남는다. 따라서, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

<대응짓기 전에 제거>

도 11의 표의 위에서 4단째에 나타내는 바와 같이, 비복호 대상 영역의 애트리뷰트 데이터를 제거하고 나서, 지오메트리 데이터와 애트리뷰트 데이터를 대응짓도록 해도 된다(방법 2-2). 예를 들어, 도 11의 표의 최하단에 나타내는 바와 같이, LoD Generation 시에 노드와 대응지은 지오메트리를 사용하여, 비복호 대상 영역의 애트리뷰트 데이터를 제거하고 나서, 지오메트리 데이터와 애트리뷰트 데이터를 대응짓도록 해도 된다(방법 2-2-1).

예를 들어, 정보 처리 장치에 있어서, 대응짓기부가, 복원부에 의해 복원된 비복호 대상 영역의 포인트의 애트리뷰트 데이터를 제거하고, 그 복호 대상 영역의 포인트의 애트리뷰트 데이터와 지오메트리 데이터를 대응짓도록 해도 된다.

이 경우, 예를 들어, 애트리뷰트 데이터의 나무 구조를 구축할 때, 애트리뷰트 데이터의 각 노드에 지오메트리가 대응지어진다. 최하위의 LoD의 각 노드에는, 중간 해상도의 지오메트리 데이터(즉, 동일한 LoD의 지오메트리 데이터)가 대응지어진다. 그리고, 애트리뷰트 데이터와 지오메트리 데이터를 대응짓기(즉, 포인트 클라우드 데이터를 생성하기) 전에, 그 각 노드의 지오메트리를 사용하여, 도 13과 같이, 비복호 대상 영역의 포인트의 애트리뷰트 데이터를 제거한다. 도 13의 예의 경우, 노드 A의 지오메트리가 복호 대상 영역에 위치하므로, 노드 A가 제거된다. 이에 의해, 최하위층이 3색으로 되어, 지오메트리 데이터와 애트리뷰트 데이터의 수가 일치한다.

따라서, 지오메트리 데이터와 애트리뷰트 데이터를 대응지을 수 있다. 즉, 이와 같이 함으로써, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

<3. 제1 실시 형태>

<부호화 장치>

도 14는, 본 기술을 적용한 정보 처리 장치의 일 양태인 부호화 장치의 구성의 일례를 나타내는 블록도이다. 도 14에 도시되는 부호화 장치(100)는, 포인트 클라우드(3D 데이터)를 부호화하는 장치이다. 부호화 장치(100)에는, 본 기술(예를 들어 도 1 내지 도 13을 참조하여 설명한 각종 방법 등)을 적용할 수 있다.

또한, 도 14에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있고, 도 14에 도시되는 것이 전부인 것만은 아니다. 즉, 부호화 장치(100)에 있어서, 도 14에서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 14에서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 14에 도시되는 바와 같이 부호화 장치(100)는, 지오메트리 데이터 부호화부(101), 지오메트리 데이터 복호부(102), 포인트 클라우드 생성부(103), 애트리뷰트 데이터 부호화부(104) 및 비트 스트림 생성부(105)를 갖는다.

지오메트리 데이터 부호화부(101)는, 부호화 장치(100)에 입력된 포인트 클라우드(3D 데이터)의 위치 정보를 부호화하여, 지오메트리 데이터의 부호화 데이터를 생성한다. 이 부호화 방법은 임의이다. 예를 들어, 노이즈 억제(디노이즈)를 위한 필터링이나 양자화 등의 처리가 행해지도록 해도 된다. 지오메트리 데이터 부호화부(101)는, 생성한 부호화 데이터를 지오메트리 데이터 복호부(102) 및 비트 스트림 생성부(105)에 공급한다.

지오메트리 데이터 복호부(102)는, 지오메트리 데이터 부호화부(101)로부터 공급되는 부호화 데이터를 취득한다. 지오메트리 데이터 복호부(102)는, 그 부호화 데이터를 복호하여, 지오메트리 데이터를 생성한다. 이 복호 방법은, 지오메트리 데이터 부호화부(101)에 의한 부호화에 대응하는 방법이면 임의이다. 예를 들어, 디노이즈를 위한 필터링이나 역양자화 등의 처리가 행해지도록 해도 된다. 지오메트리 데이터 복호부(102)는, 생성한 지오메트리 데이터(복호 결과)를 포인트 클라우드 생성부(103)에 공급한다.

포인트 클라우드 생성부(103)는, 부호화 장치(100)에 입력되는 포인트 클라우드의 애트리뷰트 데이터와, 지오메트리 데이터 복호부(102)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(103)는, 그 애트리뷰트 데이터를 지오메트리 데이터(복호 결과)에 합치는 처리(리컬러 처리)를 행한다. 포인트 클라우드 생성부(103)는, 지오메트리 데이터(복호 결과)에 대응시킨 애트리뷰트 데이터를 애트리뷰트 데이터 부호화부(104)에 공급한다.

애트리뷰트 데이터 부호화부(104)는, 포인트 클라우드 생성부(103)로부터 공급되는 포인트 클라우드 데이터(지오메트리 데이터(복호 결과) 및 애트리뷰트 데이터)를 취득한다. 애트리뷰트 데이터 부호화부(104)는, 그 지오메트리 데이터(복호 결과)를 사용하여 애트리뷰트 데이터를 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다. 애트리뷰트 데이터 부호화부(104)는, 생성한 부호화 데이터를 비트 스트림 생성부(105)에 공급한다.

비트 스트림 생성부(105)는, 지오메트리 데이터 부호화부(101)로부터 공급되는 지오메트리 데이터의 부호화 데이터를 취득한다. 또한, 비트 스트림 생성부(105)는, 애트리뷰트 데이터 부호화부(104)로부터 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다. 비트 스트림 생성부(105)는, 이들 부호화 데이터를 다중화하여, 이들 부호화 데이터를 포함하는 비트 스트림을 생성한다. 비트 스트림 생성부(105)는, 생성한 비트 스트림을 부호화 장치(100)의 외부로 출력한다. 이 비트 스트림은, 예를 들어, 임의의 통신 매체나 임의의 기억 매체를 통하여, 복호측 장치(예를 들어 후술하는 복호 장치)에 공급된다.

이러한 부호화 장치(100)에 있어서, 애트리뷰트 데이터 부호화부(104)에는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 애트리뷰트 데이터 부호화부(104)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용한 방법에 의해, 애트리뷰트 데이터를 부호화한다.

이러한 구성으로 함으로써, 부호화 장치(100)는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있도록 부호화할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

또한, 이들 처리부(지오메트리 데이터 부호화부(101) 내지 비트 스트림 생성부(105))는 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 갖고, 그것들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론, 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 나머지를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어, 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또한 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<애트리뷰트 데이터 부호화부>

도 15는, 애트리뷰트 데이터 부호화부(104)(도 14)의 주된 구성예를 나타내는 블록도이다. 또한, 도 15에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있어, 도 15에 도시된 것이 전부인 것만은 아니다. 즉, 애트리뷰트 데이터 부호화부(104)에 있어서, 도 15에서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 15에서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 15에 도시되는 바와 같이 애트리뷰트 데이터 부호화부(104)는, 계층화부(131), 슬라이스 구조 생성부(132), 근방 점 탐색부(133), 예측 처리부(134), 양자화부(135) 및 부호화부(136)를 갖는다.

계층화부(131)는, 애트리뷰트 데이터의 계층화(LoD Generation)에 관한 처리를 실행한다. 예를 들어, 계층화부(131)는, 포인트 클라우드 생성부(103)로부터 공급되는 애트리뷰트 데이터 및 지오메트리 데이터(복호 결과)를 취득한다. 계층화부(131)는, 그 지오메트리 데이터를 사용하여 애트리뷰트 데이터를 계층화한다. 예를 들어, 계층화부(131)는, 지오메트리 데이터와 마찬가지의 나무 구조를 생성하도록, 애트리뷰트 데이터를 계층화한다. 계층화부(131)는, 계층화한 애트리뷰트 데이터를, 지오메트리 데이터와 함께 슬라이스 구조 생성부(132)에 공급한다.

슬라이스 구조 생성부(132)는, 슬라이스 구조의 생성에 관한 처리를 실행한다. 예를 들어, 슬라이스 구조 생성부(132)는, 계층화부(131)로부터 공급되는 애트리뷰트 데이터 및 지오메트리 데이터를 취득한다. 슬라이스 구조 생성부(132)는, 애트리뷰트 데이터에 대하여 슬라이스 분할을 실행하여, 슬라이스 구조를 생성한다. 즉, 슬라이스 구조 생성부(132)는, 애트리뷰트 데이터의 나무 구조의 노드를 나누어 그루핑하여, 노드 그룹을 형성한다. 그 때, 슬라이스 구조 생성부(132)는, 지오메트리 데이터를 사용해서(즉, 포인트의 지오메트리에 기초하여), 각 노드를 영역마다 나누도록 슬라이스 분할을 행한다. 예를 들어, 슬라이스 구조 생성부(132)는, 지오메트리 데이터와 마찬가지의 슬라이스 구조가 되도록, 애트리뷰트 데이터의 슬라이스 구조를 생성한다. 슬라이스 구조 생성부(132)는, 슬라이스 구조를 생성한 애트리뷰트 데이터를, 지오메트리 데이터와 함께 근방 점 탐색부(133)에 공급한다.

근방 점 탐색부(133)는, 처리 대상 포인트의 예측값을 도출하기 위하여 애트리뷰트 데이터를 참조하는 근방 점의 탐색에 관한 처리를 실행한다. 예를 들어, 근방 점 탐색부(133)는, 슬라이스 구조 생성부(132)로부터 공급되는 애트리뷰트 데이터와 지오메트리 데이터를 취득한다. 또한, 근방 점 탐색부(133)는, 그 지오메트리 데이터에 기초하여 근방 점 탐색을 실행한다.

근방 점 탐색부(133)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용하여, 근방 점 탐색을 실행한다. 예를 들어, 근방 점 탐색부(133)가, <애트리뷰트의 노드 그룹화>에서 상술한 바와 같이, 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 그 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행해도 된다.

또한, 애트리뷰트 데이터의 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 애트리뷰트 데이터를 노드로 하도록 해도 된다. 예를 들어, 애트리뷰트 데이터의 나무 구조는, 지오메트리 데이터에 기초하여, 처리 대상 계층의 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 복셀에도 포인트가 존재하도록 계층화된 각 포인트의 애트리뷰트 데이터를 노드로 하도록 해도 된다. 또한, 지오메트리 데이터가, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고, 애트리뷰트 데이터의 나무 구조의 각 노드가, 그 지오메트리 데이터의 나무 구조의 각 노드에 대응해도 된다. 또한, 지오메트리 데이터의 나무 구조에, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되고, 애트리뷰트 데이터의 나무 구조에 형성되는 슬라이스의 구조가, 그 지오메트리 데이터의 나무 구조에 형성되는 슬라이스의 구조에 대응해도 된다.

또한, 근방 점 탐색부(133)가, <인터 참조>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의, 처리 대상 노드보다도 상위 계층의 노드 중, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(133)가, <슬라이스 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는, 그 처리 대상 노드보다도 상위 계층의 노드와, 복호 시에 처리 대상 노드가 속하는 슬라이스보다도 먼저 복호되는 슬라이스에 속하는 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

또한, 그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(133)가, <나무 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드의 선조 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

또한, 근방 점 탐색부(133)가, <인트라 참조>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의, 처리 대상 노드와 동일 계층의 노드 중, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(133)가, <슬라이스 구조에 기초하는 인트라 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호 시에 그 처리 대상 노드보다도 먼저 복호되는, 그 처리 대상 노드와 동일 계층의 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

근방 점 탐색부(133)는, 그 탐색 결과를, 애트리뷰트 데이터 및 지오메트리 데이터와 함께 예측 처리부(134)에 공급한다.

예측 처리부(134)는, 애트리뷰트 데이터의 예측에 관한 처리를 실행한다. 예를 들어, 예측 처리부(134)는, 근방 점 탐색부(133)로부터 공급되는 근방 점 탐색의 탐색 결과, 애트리뷰트 데이터 및 지오메트리 데이터를 취득한다. 예측 처리부(134)는, 그러한 정보를 사용하여, 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다. 예를 들어, 예측 처리부(134)는, 탐색된 근방 점을 부모 노드 또는 조부모 노드로 설정하고, 그들 노드의 애트리뷰트 데이터를 사용하여 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다.

또한, 예측 처리부(134)는, 처리 대상 노드에 대해서, 그 애트리뷰트 데이터와, 도출한 예측값의 차분값을 도출한다. 그리고, 예측 처리부(134)는, 도출한 차분값을 양자화부(135)에 공급한다.

양자화부(135)는, 예측 처리부(134)로부터 공급되어 차분값을 취득한다. 양자화부(135)는, 그 차분값을 양자화한다. 양자화부(135)는, 양자화된 차분값을, 부호화부(136)에 공급한다.

부호화부(136)는, 양자화부(135)로부터 공급되는, 양자화된 차분값을 취득한다. 부호화부(136)는, 그 양자화된 차분값을 부호화하여, 애트리뷰트 데이터(차분값)의 부호화 데이터를 생성한다. 이 부호화 방법은 임의이다. 부호화부(136)는, 생성한 부호화 데이터를 비트 스트림 생성부(105)(도 14)에 공급한다.

이상과 같이, 근방 점 탐색부(133)가, 본 기술을 적용하여 근방 점 탐색을 실행함으로써, 부호화 장치(100)(애트리뷰트 데이터 부호화부(104))는, 애트리뷰트 데이터를 슬라이스마다 독립적으로 복호할 수 있도록 부호화할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

또한, 이들 처리부(계층화부(131) 내지 부호화부(136))는 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그것들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론 각 처리부가, 그 양쪽 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 나머지를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어, 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<부호화 처리의 흐름>

이어서, 이 부호화 장치(100)에 의해 실행되는 처리에 대하여 설명한다. 부호화 장치(100)는, 부호화 처리를 실행함으로써 포인트 클라우드의 데이터를 부호화한다. 이 부호화 처리의 흐름의 예를, 도 16의 흐름도를 참조하여 설명한다.

부호화 처리가 개시되면, 부호화 장치(100)의 지오메트리 데이터 부호화부(101)는, 스텝 S101에서, 입력된 포인트 클라우드의 지오메트리 데이터를 부호화하여, 지오메트리 데이터의 부호화 데이터를 생성한다.

스텝 S102에서, 지오메트리 데이터 복호부(102)는, 스텝 S101에서 생성된 부호화 데이터를 복호하여, 지오메트리 데이터를 생성한다.

스텝 S103에서, 포인트 클라우드 생성부(103)는, 입력된 포인트 클라우드의 애트리뷰트 데이터와, 스텝 S102에서 생성된 지오메트리 데이터(복호 결과)를 사용하여, 리컬러 처리를 행하고, 애트리뷰트 데이터를 지오메트리 데이터에 대응시킨다.

스텝 S104에서, 애트리뷰트 데이터 부호화부(104)는, 애트리뷰트 데이터 부호화 처리를 실행함으로써, 스텝 S103에서 리컬러 처리된 애트리뷰트 데이터를 부호화하여, 애트리뷰트 데이터의 부호화 데이터를 생성한다.

스텝 S105에서, 비트 스트림 생성부(105)는, 스텝 S101에서 생성된 지오메트리 데이터의 부호화 데이터와, 스텝 S104에서 생성된 애트리뷰트 데이터의 부호화 데이터를 포함하는 비트 스트림을 생성하여, 출력한다.

스텝 S105의 처리가 종료되면 부호화 처리가 종료된다.

이러한 부호화 처리의 스텝 S104에서 실행되는 애트리뷰트 데이터 부호화 처리에는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 애트리뷰트 데이터 부호화부(104)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용한 방법에 의해 애트리뷰트 데이터 부호화 처리를 실행하여, 애트리뷰트 데이터를 부호화한다.

이와 같이 각 스텝의 처리를 행함으로써, 부호화 장치(100)는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있도록 부호화할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<애트리뷰트 데이터 부호화 처리의 흐름>

이어서, 도 16의 스텝 S104에서 실행되는 애트리뷰트 데이터 부호화 처리의 흐름의 예를, 도 17의 흐름도를 참조하여 설명한다.

애트리뷰트 데이터 부호화 처리가 개시되면, 애트리뷰트 데이터 부호화부(104)의 계층화부(131)는, 스텝 S131에서, 지오메트리 데이터의 계층 구조에 대응하도록, 애트리뷰트 데이터를 계층화한다.

스텝 S132에서, 슬라이스 구조 생성부(132)는, 애트리뷰트 데이터의 슬라이스 구조를 생성한다.

스텝 S133에서, 근방 점 탐색부(133)는, 지오메트리 데이터에 기초하여, 처리 대상 포인트의 예측값을 도출하기 위하여 애트리뷰트 데이터를 참조하는 근방 점을 탐색한다.

그 때, 근방 점 탐색부(133)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용하여, 근방 점 탐색을 실행한다. 예를 들어, 근방 점 탐색부(133)가, <애트리뷰트의 노드 그룹화>에서 상술한 바와 같이, 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 노드만을 대상으로 해서, 그 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행해도 된다.

스텝 S134에서, 예측 처리부(134)는, 스텝 S133의 근방 점 탐색의 결과에 대응하는 노드간의 참조 구조에 기초하여 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출하고, 그 애트리뷰트 데이터와 예측값의 차분값을 도출한다.

스텝 S135에서, 양자화부(135)는, 스텝 S134에서 도출된 차분값을 양자화한다.

스텝 S136에서, 부호화부(136)는, 스텝 S135에서 양자화된 차분값을 부호화한다.

스텝 S136의 처리가 종료되면, 애트리뷰트 데이터 부호화 처리가 종료된다.

이와 같이 각 스텝의 처리를 행함으로써, 부호화 장치(100)(애트리뷰트 데이터 부호화부(104))는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있도록 부호화할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<4. 제2 실시 형태>

<복호 장치>

도 18은, 본 기술을 적용한 정보 처리 장치의 일 양태인 복호 장치의 구성의 일례를 나타내는 블록도이다. 도 18에 도시되는 복호 장치(200)는, 포인트 클라우드(3D 데이터)의 부호화 데이터를 복호하는 장치이다. 복호 장치(200)에는, 본 기술(예를 들어 도 1 내지 도 13을 참조하여 설명한 각종 방법 등)을 적용할 수 있다.

또한, 도 18에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있어, 도 18에 도시된 것이 전부인 것만은 아니다. 즉, 복호 장치(200)에 있어서, 도 18에서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 18에서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 18에 도시되는 바와 같이 복호 장치(200)는, 복호 대상 설정부(201), 부호화 데이터 추출부(202), 지오메트리 데이터 복호부(203), 애트리뷰트 데이터 복호부(204) 및 포인트 클라우드 생성부(205)를 갖는다.

복호 대상 설정부(201)는, 복호 대상으로 하는 계층(LoD)이나 슬라이스(노드 그룹)의 설정에 관한 처리를 행한다. 예를 들어, 복호 대상 설정부(201)는, 부호화 데이터 추출부(202)에 보유되어 있는 포인트 클라우드의 부호화 데이터에 대해서, 어느 계층까지 복호할 것인지, 어느 슬라이스를 복호할 것인지 등, 복호 대상으로 하는 계층이나 영역에 대하여 설정한다. 이 복호 대상으로 하는 계층이나 슬라이스의 설정 방법은 임의이다.

예를 들어, 복호 대상 설정부(201)가, 유저나 애플리케이션 등의 외부로부터 공급되는 계층이나 슬라이스에 관한 지시에 기초하여 설정하도록 해도 된다. 또한, 복호 대상 설정부(201)가, 출력 화상 등, 임의의 정보에 기초하여 복호 대상으로 하는 계층이나 슬라이스를 구하여, 설정하도록 해도 된다.

예를 들어, 복호 대상 설정부(201)가, 포인트 클라우드로부터 생성하는 2차원 화상의 시점 위치, 방향, 화각, 시점의 움직임(이동, 팬, 틸트, 줌) 등에 기초하여, 복호 대상으로 하는 계층이나 슬라이스를 설정하도록 해도 된다.

또한, 이 복호 대상의 설정의 데이터 단위는 임의이다. 예를 들어, 복호 대상 설정부(201)는, 포인트 클라우드 전체에 대하여 계층이나 슬라이스를 설정할 수도 있다. 또한, 복호 대상 설정부(201)는, 오브젝트마다 계층이나 슬라이스를 설정할 수도 있다. 또한, 복호 대상 설정부(201)는, 오브젝트 내의 부분 영역마다 계층이나 슬라이스를 설정할 수도 있다. 물론, 이들 예 이외의 데이터 단위로 계층이나 슬라이스를 설정할 수도 있다.

부호화 데이터 추출부(202)는, 복호 장치(200)에 입력되는 비트 스트림을 취득하여, 보유한다. 부호화 데이터 추출부(202)는, 복호 대상 설정부(201)에 의해 지정된 복호 대상 범위 내에 대응하는 지오메트리 데이터 및 애트리뷰트 데이터의 부호화 데이터를, 그 보유하고 있는 비트 스트림으로부터 추출한다. 부호화 데이터 추출부(202)는, 추출한 지오메트리 데이터의 부호화 데이터를 지오메트리 데이터 복호부(203)에 공급한다. 부호화 데이터 추출부(202)는, 추출한 애트리뷰트 데이터의 부호화 데이터를 애트리뷰트 데이터 복호부(204)에 공급한다.

지오메트리 데이터 복호부(203)는, 부호화 데이터 추출부(202)로부터 공급되는 지오메트리 데이터의 부호화 데이터를 취득한다. 지오메트리 데이터 복호부(203)는, 그 부호화 데이터를 복호하여, 지오메트리 데이터(복호 결과)를 생성한다. 이 복호 방법은, 부호화 장치(100)의 지오메트리 데이터 복호부(102)의 경우와 마찬가지의 방법이면 임의이다. 지오메트리 데이터 복호부(203)는, 생성한 지오메트리 데이터(복호 결과)를 애트리뷰트 데이터 복호부(204) 및 포인트 클라우드 생성부(205)에 공급한다.

애트리뷰트 데이터 복호부(204)는, 부호화 데이터 추출부(202)로부터 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다. 애트리뷰트 데이터 복호부(204)는, 지오메트리 데이터 복호부(203)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 애트리뷰트 데이터 복호부(204)는, 그 지오메트리 데이터(복호 결과)를 사용하여 부호화 데이터를 복호하여, 애트리뷰트 데이터(복호 결과)를 생성한다. 애트리뷰트 데이터 복호부(204)는, 생성한 애트리뷰트 데이터(복호 결과)를 포인트 클라우드 생성부(205)에 공급한다.

포인트 클라우드 생성부(205)는, 지오메트리 데이터 복호부(203)로부터 공급되는 지오메트리 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(205)는, 애트리뷰트 데이터 복호부(204)로부터 공급되는 애트리뷰트 데이터(복호 결과)를 취득한다. 포인트 클라우드 생성부(205)는, 그 지오메트리 데이터(복호 결과) 및 애트리뷰트 데이터(복호 결과)를 대응지어, 포인트 클라우드 데이터(복호 결과)를 생성한다. 포인트 클라우드 생성부(205)는, 생성한 포인트 클라우드 데이터(복호 결과)를 복호 장치(200)의 외부로 출력한다.

이러한 복호 장치(200)에 있어서, 애트리뷰트 데이터 복호부(204)에는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 애트리뷰트 데이터 복호부(204)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용한 방법에 의해, 애트리뷰트 데이터의 부호화 데이터를 복호한다.

이러한 구성으로 함으로써, 복호 장치(200)는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있도록 부호화할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

또한, 포인트 클라우드 생성부(205)에는, <2. 대응짓기의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 포인트 클라우드 생성부(205)는, <2. 대응짓기의 제한>에서 상술한 본 기술을 적용한 방법에 의해, 포인트 클라우드 데이터를 생성한다.

예를 들어, 포인트 클라우드 생성부(205)가, <슬라이스 구조에 기초하는 대응짓기 제한>에서 상술한 바와 같이, 애트리뷰트 데이터 복호부(204)(후술하는 복원부(236))에 의해 복원된 복호 대상 영역의 포인트의 애트리뷰트 데이터와, 그 포인트의 지오메트리 데이터를 대응지어도 된다.

또한, 포인트 클라우드 생성부(205)가, <대응짓기 후에 제거>에서 상술한 바와 같이, 애트리뷰트 데이터 복호부(204)(후술하는 복원부(236))에 의해 복원된 모든 포인트의 애트리뷰트 데이터와 지오메트리 데이터를 대응짓고, 그 애트리뷰트 데이터와 지오메트리 데이터가 대응지어진 포인트 중, 비복호 대상 영역의 포인트를 제거해도 된다.

또한, 포인트 클라우드 생성부(205)가, <대응짓기 전에 제거>에서 상술한 바와 같이, 애트리뷰트 데이터 복호부(204)(후술하는 복원부(236))에 의해 복원된 비복호 대상 영역의 포인트의 애트리뷰트 데이터를 제거하고, 그 복호 대상 영역의 포인트의 애트리뷰트 데이터와 지오메트리 데이터를 대응지어도 된다.

이러한 구성으로 함으로써, 복호 장치(200)는, 지오메트리 데이터와 애트리뷰트 데이터를 대응지을 수 있다. 즉, 이와 같이 함으로써, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

또한, 이들 처리부(복호 대상 설정부(201) 내지 포인트 클라우드 생성부(205))는 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그것들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 나머지를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어, 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<애트리뷰트 데이터 복호부>

도 19는, 애트리뷰트 데이터 복호부(204)(도 18)의 주된 구성예를 나타내는 블록도이다. 또한, 도 19에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있어, 도 19에 도시된 것이 전부인 것만은 아니다. 즉, 애트리뷰트 데이터 복호부(204)에 있어서, 도 19에서 블록으로서 나타나 있지 않은 처리부가 존재하거나, 도 19에서 화살표 등으로서 나타나 있지 않은 처리나 데이터의 흐름이 존재하거나 해도 된다.

도 19에 도시되는 바와 같이 애트리뷰트 데이터 복호부(204)는, 복호부(231), 역양자화부(232), 계층화부(233), 슬라이스 구조 생성부(234), 근방 점 탐색부(235) 및 복원부(236)를 갖는다.

복호부(231)는, 복호에 관한 처리를 실행한다. 예를 들어, 복호부(231)는, 부호화 데이터 추출부(202)(도 18)로부터 공급되는 애트리뷰트 데이터의 부호화 데이터를 취득한다. 복호부(231)는, 그 부호화 데이터를 복호한다. 이 복호에 의해, 애트리뷰트 데이터와 그 예측값의 차분값이 얻어진다. 또한, 이 차분값은, 양자화되어 있다. 또한, 이 복호 방법은, 부호화 장치(100)의 부호화부(136)(도 15)에 의한 부호화 방법에 대응하는 방법이면 임의이다. 복호부(231)는, 생성한 차분값(양자화된 차분값)을 역양자화부(232)에 공급한다.

역양자화부(232)는, 복호부(231)로부터 공급되는, 양자화된 차분값을 취득한다. 역양자화부(232)는, 그 양자화된 차분값을 역양자화하여, 차분값을 도출한다. 역양자화부(232)는, 그 차분값을 계층화부(233)에 공급한다.

계층화부(233)는, 역양자화부(232)로부터 공급되는 차분값을 취득한다. 계층화부(233)는, 지오메트리 데이터 복호부(203)로부터 공급되는 지오메트리 데이터에 기초하여, 애트리뷰트 데이터를 계층화(나무 구조화)한다. 이에 의해, 계층화부(233)는, 애트리뷰트 데이터에 대해서, 부호화 장치(100)의 경우와 마찬가지의 나무 구조를 형성한다. 계층화부(233)는, 계층화한 차분값을 슬라이스 구조 생성부(234)에 공급한다.

슬라이스 구조 생성부(234)는, 계층화부(233)로부터 공급되는, 계층화된 차분값(애트리뷰트 데이터)을 취득한다. 슬라이스 구조 생성부(234)는, 그 계층화된 차분값(애트리뷰트 데이터)에 대하여, 슬라이스 구조 생성부(132)와 마찬가지로 슬라이스 분할을 실행하여, 슬라이스 구조를 생성한다. 그 때, 슬라이스 구조 생성부(234)는, 지오메트리 데이터를 사용해서(즉, 포인트의 지오메트리에 기초하여), 각 노드를 영역마다 나누도록 슬라이스 분할을 행한다. 예를 들어, 슬라이스 구조 생성부(234)는, 지오메트리 데이터와 마찬가지의 슬라이스 구조로 되도록, 차분값(애트리뷰트 데이터)의 슬라이스 구조를 생성한다. 슬라이스 구조 생성부(234)는, 슬라이스 구조를 생성한 차분값(애트리뷰트 데이터)을 지오메트리 데이터와 함께 근방 점 탐색부(235)에 공급한다.

근방 점 탐색부(235)는, 처리 대상 포인트의 예측값을 도출하기 위하여 애트리뷰트 데이터를 참조하는 근방 점의 탐색에 관한 처리를 실행한다. 예를 들어, 근방 점 탐색부(235)는, 슬라이스 구조 생성부(234)로부터 공급되는 차분값(애트리뷰트 데이터)과 지오메트리 데이터를 취득한다. 또한, 근방 점 탐색부(235)는, 그 지오메트리 데이터에 기초하여 근방 점 탐색을 실행한다.

근방 점 탐색부(235)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용하여, 근방 점 탐색을 실행한다. 예를 들어, 근방 점 탐색부(235)가, <애트리뷰트의 노드 그룹화>에서 상술한 바와 같이, 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호부(231)에 의해 처리 대상 포인트보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행해도 된다.

또한, 근방 점 탐색부(235)가, <인터 참조>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드보다도 상위 계층의, 복호부(231)에 의해 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(235)가, <슬라이스 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호부(231)에 의해 그 처리 대상 노드보다도 먼저 복호된, 그 처리 대상 노드보다도 상위 계층의 노드와, 복호부(231)에 의해 그 처리 대상 노드가 속하는 슬라이스보다도 먼저 복호된 슬라이스에 속하는 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

또한, 그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(235)가, <나무 구조에 기초하는 인터 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드의 선조 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

또한, 근방 점 탐색부(235)가, <인트라 참조>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의, 처리 대상 노드와 동일 계층의 노드 중, 복호부(231)에 의해 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

그 인터 참조를 위한 근방 점 탐색으로서, 근방 점 탐색부(235)가, <슬라이스 구조에 기초하는 인트라 참조를 위한 근방 점 탐색 대상 제한>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의 노드 중, 처리 대상 노드와 동일한 슬라이스에 속하고, 복호부(231)에 의해 그 처리 대상 노드보다도 먼저 복호된, 그 처리 대상 노드와 동일 계층의 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

근방 점 탐색부(235)는, 그 탐색 결과를, 애트리뷰트 데이터 및 지오메트리 데이터와 함께 복원부(236)에 공급한다.

복원부(236)는, 애트리뷰트 데이터의 복원에 관한 처리를 실행한다. 예를 들어, 복원부(236)는, 근방 점 탐색부(235)로부터 공급되는 근방 점 탐색의 탐색 결과, 차분값(애트리뷰트 데이터) 및 지오메트리 데이터를 취득한다. 복원부(236)는, 그러한 정보를 사용하여, 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다. 예를 들어, 복원부(236)는, 탐색된 근방 점을 부모 노드 또는 조부모 노드로 설정하고, 그들 노드의 애트리뷰트 데이터를 사용하여 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다.

또한, 복원부(236)는, 처리 대상 노드에 대해서, 도출한 예측값을 차분값에 가산하여, 애트리뷰트 데이터를 복원한다. 그리고, 복원부(236)는, 도출한 애트리뷰트 데이터를 포인트 클라우드 생성부(205)에 공급한다.

이상과 같이, 근방 점 탐색부(235)가, 본 기술을 적용하여 근방 점 탐색을 실행함으로써, 복호 장치(200)(애트리뷰트 데이터 복호부(204))는, 애트리뷰트 데이터를 슬라이스마다 독립적으로 복호할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

또한, 이들 처리부(복호부(231) 내지 복원부(236))는 임의의 구성을 갖는다. 예를 들어, 각 처리부가, 상술한 처리를 실현하는 논리 회로에 의해 구성되도록 해도 된다. 또한, 각 처리부가, 예를 들어 CPU, ROM, RAM 등을 갖고, 그것들을 사용하여 프로그램을 실행함으로써, 상술한 처리를 실현하도록 해도 된다. 물론 각 처리부가, 그 양쪽의 구성을 갖고, 상술한 처리의 일부를 논리 회로에 의해 실현하고, 나머지를, 프로그램을 실행함으로써 실현하도록 해도 된다. 각 처리부의 구성은 서로 독립되어 있어도 되며, 예를 들어, 일부의 처리부가 상술한 처리의 일부를 논리 회로에 의해 실현하고, 다른 일부의 처리부가 프로그램을 실행함으로써 상술한 처리를 실현하고, 또 다른 처리부가 논리 회로와 프로그램의 실행 양쪽에 의해 상술한 처리를 실현하도록 해도 된다.

<복호 처리의 흐름>

이어서, 이 복호 장치(200)에 의해 실행되는 처리에 대하여 설명한다. 복호 장치(200)는, 복호 처리를 실행함으로써 포인트 클라우드의 부호화 데이터를 복호한다. 이 복호 처리의 흐름의 예를, 도 20의 흐름도를 참조하여 설명한다.

복호 처리가 개시되면, 복호 장치(200)의 복호 대상 설정부(201)는, 스텝 S201에서, 복호 대상으로 하는 LoD나 슬라이스를 설정한다.

스텝 S202에서, 부호화 데이터 추출부(202)는, 비트 스트림을 취득하여 보유하고, 스텝 S201에서 설정된 LoD나 슬라이스(즉 복호 대상)의 지오메트리 데이터 및 애트리뷰트 데이터(차분값)의 부호화 데이터를 추출한다.

스텝 S203에서, 지오메트리 데이터 복호부(203)는, 스텝 S202에서 추출된 부호화 데이터를 복호하여, 지오메트리 데이터(복호 결과)를 생성한다.

스텝 S204에서, 애트리뷰트 데이터 복호부(204)는, 애트리뷰트 데이터 복호 처리를 실행함으로써, 스텝 S202에서 추출된 부호화 데이터를 복호하여, 차분값(애트리뷰트 데이터)을 생성한다.

스텝 S205에서, 포인트 클라우드 생성부(205)는, 포인트 클라우드 생성 처리를 실행하여, 스텝 S203에서 생성된 지오메트리 데이터와, 스텝 S204에서 생성된 차분값(애트리뷰트 데이터)을 대응지음으로써, 포인트 클라우드(복호 결과)를 생성한다.

스텝 S205의 처리가 종료되면, 복호 처리가 종료된다.

이러한 복호 처리의 스텝 S204에서 실행되는 애트리뷰트 데이터 복호 처리에는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 애트리뷰트 데이터 복호부(204)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용한 방법에 의해 애트리뷰트 데이터 복호 처리를 실행하여, 차분값(애트리뷰트 데이터)의 부호화 데이터를 복호한다.

또한, 스텝 S205에서 실행되는 포인트 클라우드 생성 처리에는, <2. 대응짓기의 제한>에서 상술한 본 기술을 적용할 수 있다. 즉, 그 경우, 포인트 클라우드 생성부(205)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용한 방법에 의해 포인트 클라우드 생성 처리를 실행하여, 복원된 복호 대상 영역의 포인트의 애트리뷰트 데이터와, 그 포인트의 지오메트리 데이터를 대응지어, 포인트 클라우드 데이터를 생성한다.

이와 같이 각 스텝의 처리를 행함으로써, 복호 장치(200)는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있다. 또한, 복호 장치(200)는, 지오메트리 데이터와 애트리뷰트 데이터를 대응지을 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<애트리뷰트 데이터 복호 처리의 흐름>

이어서, 도 20의 스텝 S204에서 실행되는 애트리뷰트 데이터 복호 처리의 흐름의 예를, 도 21의 흐름도를 참조하여 설명한다.

애트리뷰트 데이터 복호 처리가 개시되면, 애트리뷰트 데이터 복호부(204)의 복호부(231)는, 스텝 S231에서, 애트리뷰트 데이터(차분값)의 부호화 데이터를 복호하여, 차분값을 생성한다. 이 차분값은, 양자화되어 있다.

스텝 S232에서, 역양자화부(232)는, 스텝 S231에서 얻어진, 양자화된 차분값을 역양자화하여, 차분값을 얻는다.

스텝 S233에서, 계층화부(233)는, 스텝 S232에서 얻어진 차분값(애트리뷰트 데이터)을 계층화한다. 예를 들어, 계층화부(233)는, 지오메트리 데이터의 계층 구조에 대응하도록 그 차분값을 계층화한다.

스텝 S234에서, 슬라이스 구조 생성부(234)는, 스텝 S233에서 계층화된 차분값(애트리뷰트 데이터)에 대하여, 슬라이스 구조 생성부(132)와 마찬가지로 슬라이스 분할을 실행하여, 슬라이스 구조를 생성한다. 그 때, 슬라이스 구조 생성부(234)는, 지오메트리 데이터를 사용해서(즉, 포인트의 지오메트리에 기초하여), 각 노드를 영역마다 나누도록 슬라이스 분할을 행한다. 예를 들어, 슬라이스 구조 생성부(234)는, 지오메트리 데이터와 마찬가지의 슬라이스 구조로 되도록, 차분값(애트리뷰트 데이터)의 슬라이스 구조를 생성한다.

스텝 S235에서, 근방 점 탐색부(235)는, 처리 대상 포인트의 예측값을 도출하기 위하여 애트리뷰트 데이터를 참조하는 근방 점의 탐색을 실행한다.

그 때, 근방 점 탐색부(235)는, <1. 근방 점 탐색의 제한>에서 상술한 본 기술을 적용하여, 근방 점 탐색을 실행한다. 예를 들어, 근방 점 탐색부(235)가, <애트리뷰트의 노드 그룹화>에서 상술한 바와 같이, 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 노드 중, 복호부(231)에 의해 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 그 처리 대상 노드의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행해도 된다.

또한, 근방 점 탐색부(235)가, <인터 참조>에서 상술한 바와 같이, 애트리뷰트 데이터의 나무 구조의, 처리 대상 노드보다도 상위 계층의 노드 중, 복호부(231)에 의해 그 처리 대상 노드보다도 먼저 복호된 노드만을 대상으로 해서, 근방 점 탐색을 실행해도 된다.

스텝 S236에서, 복원부(236)는, 스텝 S235에서 실행되는 근방 점 탐색의 탐색 결과, 스텝 S232에서 얻어지는 차분값(애트리뷰트 데이터) 및 지오메트리 데이터를 사용하여, 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다. 예를 들어, 복원부(236)는, 탐색된 근방 점을 부모 노드 또는 조부모 노드로 설정하고, 그들 노드의 애트리뷰트 데이터를 사용하여 처리 대상 노드의 애트리뷰트 데이터의 예측값을 도출한다. 또한, 복원부(236)는, 처리 대상 노드에 대해서, 도출한 예측값을 차분값에 가산하여, 애트리뷰트 데이터를 복원한다.

스텝 S236의 처리가 종료되면, 애트리뷰트 데이터 복호 처리가 종료된다.

이와 같이 각 스텝의 처리를 행함으로써, 복호 장치(200)(애트리뷰트 데이터 복호부(204))는, 애트리뷰트 데이터를, 슬라이스마다 독립적으로 복호할 수 있다. 따라서, 보다 확실하게 애트리뷰트 데이터를 복호할 수 있다.

<포인트 클라우드 생성 처리의 흐름 1>

이어서, 도 20의 스텝 S205에서 실행되는 포인트 클라우드 생성 처리의 흐름의 예를, 도 22의 흐름도를 참조하여 설명한다. 또한, 이 흐름도는, <2. 대응짓기의 제한>의 <대응짓기 후에 제거>에서 설명한 예에 대응한다.

포인트 클라우드 생성 처리가 개시되면, 포인트 클라우드 생성부(205)는, 스텝 S251에서, 출력 대상 외의 영역도 포함시켜 지오메트리 데이터와 애트리뷰트 데이터를 대응짓는다.

그리고, 스텝 S252에서, 포인트 클라우드 생성부(205)는, 지오메트리 데이터에 기초하여 출력 대상 외의 영역의 포인트를 삭제한다.

스텝 S252의 처리가 종료되면, 처리는 도 20으로 돌아간다.

이와 같이 함으로써, 포인트 클라우드 생성부(205)는, <대응짓기 후에 제거>에서 상술한 바와 같이, 비복호 대상 영역의 포인트를 제거하고, 복호 대상 영역의 포인트를 남길 수 있다. 따라서, 복호 장치(200)(포인트 클라우드 생성부(205))는, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

<포인트 클라우드 생성 처리의 흐름 2>

이어서, 도 20의 스텝 S205에서 실행되는 포인트 클라우드 생성 처리의 흐름의 다른 예를, 도 23의 흐름도를 참조하여 설명한다. 또한, 이 흐름도는, <2. 대응짓기의 제한>의 <대응짓기 전에 제거>에서 설명한 예에 대응한다.

포인트 클라우드 생성 처리가 개시되면, 포인트 클라우드 생성부(205)는, 스텝 S271에서, 저해상도의 지오메트리 데이터에 기초하여 출력 대상 외의 영역의 애트리뷰트 데이터를 삭제한다.

스텝 S272에서, 포인트 클라우드 생성부(205)는, 출력 대상 영역의 지오메트리 데이터와 애트리뷰트 데이터를 대응짓는다.

스텝 S272의 처리가 종료되면, 처리는 도 20으로 돌아간다.

이와 같이 함으로써, 포인트 클라우드 생성부(205)는, <대응짓기 전에 제거>에서 상술한 바와 같이, 지오메트리 데이터와 애트리뷰트 데이터를 대응지을 수 있다. 즉, 이와 같이 함으로써, 복호 장치(200)(포인트 클라우드 생성부(205))는, 보다 확실하게 지오메트리 데이터와 애트리뷰트 데이터의 대응짓기를 실행할 수 있어, 보다 확실하게 포인트 클라우드 데이터를 생성할 수 있다.

<5. 부기>

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 24는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.

도 24에 도시되는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통해서 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914) 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들어, 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등을 포함한다. 출력부(912)는, 예를 들어, 디스플레이, 스피커, 출력 단자 등을 포함한다. 기억부(913)는, 예를 들어, 하드 디스크, RAM 디스크, 불휘발성 메모리 등을 포함한다. 통신부(914)는, 예를 들어, 네트워크 인터페이스를 포함한다. 드라이브(915)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들어, 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해서, RAM(903)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(903)에는 또한, CPU(901)가 각종 처리를 실행하는 데에 있어서 필요한 데이터 등도 적절히 기억된다.

컴퓨터가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 미디어(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해서 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에서 수신하고, 기억부(913)에 인스톨할 수 있다.

그 밖에, 이 프로그램은, ROM(902)이나 기억부(913)에 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

이상에서는, 포인트 클라우드 데이터의 부호화나 복호에 본 기술을 적용하는 경우에 대하여 설명했지만, 본 기술은, 이들 예에 한하지 않고, 임의의 규격의 3D 데이터의 부호화나 복호에 대하여 적용할 수 있다. 예를 들어, 메시(Mesh) 데이터의 부호화나 복호에 있어서, 메시 데이터를 포인트 클라우드 데이터로 변환하여, 본 기술을 적용해서 부호화·복호를 행하도록 해도 된다. 즉, 상술한 본 기술과 모순되지 않는 한, 부호화나 복호 방식 등의 각종 처리, 그리고, 3D 데이터나 메타 데이터 등의 각종 데이터의 사양은 임의이다. 또한, 본 기술과 모순되지 않는 한, 상술한 일부 처리나 사양을 생략해도 된다.

본 기술은, 임의의 구성에 적용할 수 있다. 예를 들어, 본 기술은, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷 상에서의 배신 및 셀룰러 통신에 의한 단말기에의 배신 등에 있어서의 송신기나 수신기(예를 들어 텔레비전 수상기나 휴대 전화기), 또는, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하거나, 이들 기억 매체로부터 화상을 재생하거나 하는 장치(예를 들어 하드 디스크 레코더나 카메라) 등의, 다양한 전자 기기에 적용될 수 있다.

또한, 예를 들어, 본 기술은, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들어 비디오 프로세서), 복수의 프로세서 등을 사용하는 모듈(예를 들어 비디오 모듈), 복수의 모듈 등을 사용하는 유닛(예를 들어 비디오 유닛), 또는 유닛에 또한 기타 기능을 부가한 세트(예를 들어 비디오 세트) 등, 장치의 일부 구성으로서 실시할 수도 있다.

또한, 예를 들어, 본 기술은, 복수의 장치에 의해 구성되는 네트워크 시스템에도 적용할 수도 있다. 예를 들어, 본 기술을, 네트워크를 통해서 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅으로서 실시하도록 해도 된다. 예를 들어, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말기, IoT(Internet of Things) 디바이스 등의 임의의 단말기에 대하여, 화상(동화상)에 관한 서비스를 제공하는 클라우드 서비스에 있어서 본 기술을 실시하도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 묻지 않는다. 따라서, 별개의 하우징에 수납되어, 네트워크를 통해서 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.

<본 기술을 적용 가능한 분야와 용도>

본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들어, 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

<기타>

본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 하나의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 하나의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

또한, 예를 들어, 상술한 프로그램은, 임의의 장치에서 실행되도록 해도 된다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 갖고, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들어, 하나의 흐름도의 각 스텝을, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 또한, 하나의 스텝에 복수의 처리가 포함되는 경우, 그 복수의 처리를, 하나의 장치가 실행하도록 해도 되고, 복수의 장치가 분담하여 실행하도록 해도 된다. 환언하면, 하나의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 하나의 스텝으로서 통합하여 실행할 수도 있다.

또한, 예를 들어, 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라 시계열로 실행되도록 해도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 또한, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합하여 실행되도록 해도 된다.

또한, 예를 들어, 본 기술에 관한 복수의 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들어, 어느 실시 형태에서 설명한 본 기술의 일부 또는 전부를, 다른 실시 형태에서 설명한 본 기술의 일부 또는 전부와 조합하여 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와,

상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는 부호화부

를 구비하는 정보 처리 장치.

(2) 상기 근방 점 탐색부는, 상기 나무 구조의, 상기 처리 대상 노드보다도 상위 계층의 상기 노드 중, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (1)에 기재된 정보 처리 장치.

(3) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중,

상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는, 상기 처리 대상 노드보다도 상위 계층의 상기 노드와,

상기 복호 시에 상기 처리 대상 노드가 속하는 상기 슬라이스보다도 먼저 복호되는 상기 슬라이스에 속하는 상기 노드

만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (2)에 기재된 정보 처리 장치.

(4) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드의 선조 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (2)에 기재된 정보 처리 장치.

(5) 상기 근방 점 탐색부는, 상기 나무 구조의, 상기 처리 대상 노드와 동일 계층의 상기 노드 중, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (1)에 기재된 정보 처리 장치.

(6) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는, 상기 처리 대상 노드와 동일 계층의 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (5)에 기재된 정보 처리 장치.

(7) 상기 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, (1) 내지 (6)의 어느 것에 기재된 정보 처리 장치.

(8) 상기 나무 구조는, 상기 지오메트리 데이터에 기초하여, 처리 대상 계층의 상기 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 상기 복셀에도 상기 포인트가 존재하도록 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, (7)에 기재된 정보 처리 장치.

(9) 상기 지오메트리 데이터는, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고,

상기 애트리뷰트 데이터의 상기 나무 구조의 각 노드는, 상기 지오메트리 데이터의 상기 나무 구조의 각 노드에 대응하고,

상기 지오메트리 데이터의 상기 나무 구조에는, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되고,

상기 애트리뷰트 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조는, 상기 지오메트리 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조에 대응하는, (8)에 기재된 정보 처리 장치.

(10) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고,

상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는, 정보 처리 방법.

(11) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하는 복호부와,

상기 나무 구조의 상기 노드 중, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와,

상기 복호부에 의해 도출된 상기 차분값과, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하는 복원부와,

상기 복원부에 의해 복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는 대응짓기부

를 구비하는 정보 처리 장치.

(12) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중,

상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된, 상기 처리 대상 노드보다도 상위 계층의 상기 노드와,

상기 복호부에 의해 상기 처리 대상 노드가 속하는 상기 슬라이스보다도 먼저 복호된 상기 슬라이스에 속하는 상기 노드

만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (11)에 기재된 정보 처리 장치.

(13) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드의 선조 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (11)에 기재된 정보 처리 장치.

(14) 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된, 상기 처리 대상 노드와 동일 계층의 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, (11)에 기재된 정보 처리 장치.

(15) 상기 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 상기 애트리뷰트 데이터를 노드로 하는, (11) 내지 (14)의 어느 것에 기재된 정보 처리 장치.

(16) 상기 나무 구조는, 상기 지오메트리 데이터에 기초하여, 처리 대상 계층의 상기 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 상기 복셀에도 상기 포인트가 존재하도록 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, (15)에 기재된 정보 처리 장치.

(17) 상기 지오메트리 데이터는, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고,

상기 애트리뷰트 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조는, 상기 지오메트리 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조에 대응하는, (16)에 기재된 정보 처리 장치.

(18) 상기 대응짓기부는,

상기 복원부에 의해 복원된 모든 상기 포인트의 상기 애트리뷰트 데이터와 상기 지오메트리 데이터를 대응짓고,

상기 애트리뷰트 데이터와 상기 지오메트리 데이터가 대응지어진 비복호 대상 영역의 상기 포인트를 제거하는, (17)에 기재된 정보 처리 장치.

(19) 상기 대응짓기부는,

상기 복원부에 의해 복원된 비복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터를 제거하고,

상기 복호 대상 영역의 포인트의 상기 애트리뷰트 데이터와 상기 지오메트리 데이터를 대응짓는, (17)에 기재된 정보 처리 장치.

(20) 3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하고,

상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고,

도출된 상기 차분값과, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하고,

복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는, 정보 처리 방법.

100: 부호화 장치 101: 지오메트리 데이터 부호화부
102: 지오메트리 데이터 복호부 103: 포인트 클라우드 생성부
104: 애트리뷰트 데이터 부호화부 105: 비트 스트림 생성부
131: 계층화부 132: 슬라이스 구조 생성부
133: 근방 점 탐색부 134: 예측 처리부
135: 양자화부 136: 부호화부
200: 복호 장치 201: 복호 대상 설정부
202: 부호화 데이터 추출부 203: 지오메트리 데이터 복호부
204: 애트리뷰트 데이터 복호부 205: 포인트 클라우드 생성부
231: 복호부 232: 역양자화부
233: 계층화부 234: 슬라이스 구조 생성부
235: 근방 점 탐색부 236: 복원부
900: 컴퓨터

Claims

3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와,
상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는 부호화부
를 구비하는 정보 처리 장치.
제1항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의, 상기 처리 대상 노드보다도 상위 계층의 상기 노드 중, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제2항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중,
상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는, 상기 처리 대상 노드보다도 상위 계층의 상기 노드와,
상기 복호 시에 상기 처리 대상 노드가 속하는 상기 슬라이스보다도 먼저 복호되는 상기 슬라이스에 속하는 상기 노드
만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제2항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드의 선조 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의, 상기 처리 대상 노드와 동일 계층의 상기 노드 중, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제5항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호 시에 상기 처리 대상 노드보다도 먼저 복호되는, 상기 처리 대상 노드와 동일 계층의 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제1항에 있어서, 상기 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, 정보 처리 장치.
제7항에 있어서, 상기 나무 구조는, 상기 지오메트리 데이터에 기초하여, 처리 대상 계층의 상기 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 상기 복셀에도 상기 포인트가 존재하도록 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, 정보 처리 장치.
제8항에 있어서, 상기 지오메트리 데이터는, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고,
상기 애트리뷰트 데이터의 상기 나무 구조의 각 노드는, 상기 지오메트리 데이터의 상기 나무 구조의 각 노드에 대응하고,
상기 지오메트리 데이터의 상기 나무 구조에는, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되고,
상기 애트리뷰트 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조는, 상기 지오메트리 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조에 대응하는, 정보 처리 장치.
3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 상기 노드 중, 복호 시에 처리 대상 노드보다도 먼저 복호되는 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 애트리뷰트 데이터의 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고,
상기 처리 대상 노드의 상기 애트리뷰트 데이터와, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값의 차분값을 부호화하는, 정보 처리 방법.
3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하는 복호부와,
상기 나무 구조의 상기 노드 중, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하는 근방 점 탐색부와,
상기 복호부에 의해 도출된 상기 차분값과, 상기 근방 점 탐색부에 의한 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하는 복원부와,
상기 복원부에 의해 복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는 대응짓기부
를 구비하는 정보 처리 장치.
제11항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중,
상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된, 상기 처리 대상 노드보다도 상위 계층의 상기 노드와,
상기 복호부에 의해 상기 처리 대상 노드가 속하는 상기 슬라이스보다도 먼저 복호된 상기 슬라이스에 속하는 상기 노드
만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제11항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드의 선조 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제11항에 있어서, 상기 근방 점 탐색부는, 상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드와 동일한 상기 슬라이스에 속하고, 상기 복호부에 의해 상기 처리 대상 노드보다도 먼저 복호된, 상기 처리 대상 노드와 동일 계층의 상기 노드만을 대상으로 해서, 상기 근방 점 탐색을 실행하는, 정보 처리 장치.
제11항에 있어서, 상기 나무 구조는, 지오메트리 데이터에 기초하여 계층화된 각 포인트의 상기 애트리뷰트 데이터를 노드로 하는, 정보 처리 장치.
제15항에 있어서, 상기 나무 구조는, 상기 지오메트리 데이터에 기초하여, 처리 대상 계층의 상기 포인트가 존재하는 복셀이 속하는 하나 상위 계층의 상기 복셀에도 상기 포인트가 존재하도록 계층화된 각 포인트의 상기 애트리뷰트 데이터를 상기 노드로 하는, 정보 처리 장치.
제16항에 있어서, 상기 지오메트리 데이터는, 지오메트리의 해상도에 기초하여 계층화된 나무 구조를 형성하고,
상기 애트리뷰트 데이터의 상기 나무 구조의 각 노드는, 상기 지오메트리 데이터의 상기 나무 구조의 각 노드에 대응하고,
상기 지오메트리 데이터의 상기 나무 구조에는, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되고,
상기 애트리뷰트 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조는, 상기 지오메트리 데이터의 상기 나무 구조에 형성되는 상기 슬라이스의 구조에 대응하는, 정보 처리 장치.
제17항에 있어서, 상기 대응짓기부는,
상기 복원부에 의해 복원된 모든 상기 포인트의 상기 애트리뷰트 데이터와 상기 지오메트리 데이터를 대응짓고,
상기 애트리뷰트 데이터와 상기 지오메트리 데이터가 대응지어진 비복호 대상 영역의 상기 포인트를 제거하는, 정보 처리 장치.
제17항에 있어서, 상기 대응짓기부는,
상기 복원부에 의해 복원된 비복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터를 제거하고,
상기 복호 대상 영역의 포인트의 상기 애트리뷰트 데이터와 상기 지오메트리 데이터를 대응짓는, 정보 처리 장치.
3차원 형상의 오브젝트를 포인트의 집합으로서 표현하는 포인트 클라우드의 각 포인트의 애트리뷰트 데이터를 노드로 하고, 서로 독립적으로 부호화 가능한 노드 그룹인 슬라이스가 형성되는 나무 구조의 처리 대상 노드의, 상기 애트리뷰트 데이터와 상기 애트리뷰트 데이터의 예측값의 차분값이 부호화된 부호화 데이터를 복호하여, 상기 처리 대상 노드의 상기 차분값을 도출하고,
상기 나무 구조의 상기 노드 중, 상기 처리 대상 노드보다도 먼저 복호된 상기 노드만을 대상으로 해서, 상기 처리 대상 노드의 상기 예측값을 도출할 때 참조하는 참조 포인트를 설정하기 위한 근방 점 탐색을 실행하고,
도출된 상기 차분값과, 상기 근방 점 탐색에 의해 설정된 상기 참조 포인트의 상기 애트리뷰트 데이터를 사용하여 도출된 상기 예측값을 가산함으로써, 상기 처리 대상 노드의 상기 애트리뷰트 데이터를 복원하고,
복원된 복호 대상 영역의 상기 포인트의 상기 애트리뷰트 데이터와, 상기 포인트의 지오메트리 데이터를 대응짓는, 정보 처리 방법.