KR20240026233A - 점군 부호화 및 복호화 방법(method for encoding and decoding a point cloud) - Google Patents

Abstract

비트 스트림에서 점군의 점에 관련된 점 속성을 부호화 및 복호화하는 방법, 인코더 및 디코더이다. 상기 부호화 방법은 비트 스트림 부호화 대상 점 P에 대해, 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적 위치에 따라, 선택된 점군 중 부호화 대상 점 P에 가장 가까운 점을 포함함 -; 및 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 부호화를 통해 부호화 대상 점 P에 관련된 점수 속성을 부호화하는 단계를 포함한다.

Description

점군 부호화 및 복호화 방법(METHOD FOR ENCODING AND DECODING A POINT CLOUD)

본 출원은 일반적으로 점군에서의 점 속성의 압축에 관한 것으로, 바람직하게, 본 출원은 점군의 속성의 부호화 복호화를 개선하기 위한 부호화 및 복호화 방법과 인코더와 디코더에 관한 것이다.

3D 데이터를 나타내기 위한 포맷으로서, 점군은 최근 모든 유형의 3D 오브젝트 또는 장면을 나타내는 능력에 공통적이므로, 주목받고 있다. 따라서 많은 사용 사례는 점군을 통해 해결할 수 있고, 그 중 많은 사용 사례는,

ㆍ 영화 후기 제작,

ㆍ 실시간 3D 몰입형 원격 렌더링 또는 가상 현실 VR/증강 현실 AR 애플리케이션,

ㆍ 자유 시점 비디오(예를 들면, 스포츠 관람용),

ㆍ 지리 정보 시스템(일명 제도),

ㆍ 문화 유산(희귀한 오브젝트의 스캔를 디지털 형식으로 보존),

ㆍ 환경의 3D 매핑과 실시간 레이저 레이더 Lidar 데이터 수집을 포함하는 자율 주행이 있다.

점군은 3D 공간 내에 위치한 하나의 그룹의 점이고, 선택적으로 그 중 각 점에 부가된 부가치를 갖는다. 이러한 부가치는 일반적으로 점 속성이라고 불린다. 따라서 점군은 기하학적 형태(각 점의 3D 위치)와 속성의 조합이다.

속성은 예를 들어, 3성분 색, 반사율 등의 재료 속성 및/또는 당해 점에 관련된 표면의 2성분 법선 벡터(two-component normal vectors)일 수 있다.

점군은 카메라 어레이, 심도 센서, 레이저 레이더, 스캐너 등의 다양한 유형의 장치에서 캡처될 수 있고, 또는 컴퓨터에 의해 (예를 들어 영화 후기 제작에서) 생성될 수 있다. 사용예에 따라, 점군은 제도 응용에 사용되는 수천에서 수십억까지의 점이 포함될 가능성이 있다.

점군의 원래 표현은 각 점에 대해 매우 높은 비트 수를 요구하고, 각 공간 성분 X, Y 또는 Z에는 적어도 십여 개의 비트가 있고, 나아가 선택적으로 속성에 사용되는 비트, 예를 들어 10비트의 3배수가 색상에 사용된다. 점군에 기반한 애플리케이션의 실제 배치는 점군의 저장과 배포에 합리적인 저장 및 전송 기초 구조를 구비하도록 하는 압축 기술이 필요하다.

압축은 손실이 있을 수 있고, (예를 들어 비디오 압축에서) 최종 사용자에게 할당되어 최종 사용자에 의해 시각화되는데 사용되고, 예를 들어 AR/VR 안경 또는 다른 3D 기능을 갖는 장치에서 사용된다. 다른 사용예는 압축되어 전송된 점군을 분석함으로써 획득된 결정 결과의 변화를 피하기 위해, 의료 애플리케이션 또는 자율 주행 등의 손실 없는 압축이 필요하다.

최근까지, 점군 압축(PCC라고도 불린다)은 대중 시장에서 해결되지 않았고, 상용 가능한 표준화된 점군 코덱이 없다. 2017년 표준화된 워크 그룹 ISO/JCT1/SC29/WG11은 동영상 전문가 그룹 또는 MPEG라고도 불리며, 점군 압축에 관한 작업 프로젝트가 이미 시작되었다. 이에 따라 2가지 표준이 생성되고, 즉 다음과 같다.

ㆍ MPEG-I 제5 부분(ISO/IEC 23090-5) 또는 비디오 기반의 점군 압축 V-PCC

ㆍ MPEG-I 제9 부분(ISO/IEC 23090-9) 또는 기하학에 기반의 점군 압축 G-PCC

V-PCC와 G-PCC 표준은 모두 2020년 말에 첫 버전이 결정되고, 인차 시장에 투입된다.

V-PCC 부호화 복호화 방법은 3D 오브젝트의 복수회의 투영을 실행하는 것을 통해, 점군을 압축하여, 화상(또는 이동 점군을 처리할 때의 비디오)에 패키지화된 2D 패치(patch)를 획득한다. 그 후에, 이미 존재하는 화상/비디오 코덱을 사용하여 획득된 화상 또는 비디오를 압축하고, 이에 따라 배치된 화상과 비디오 해결 방안의 이용할 수 있게 한다. 본질상에서, V-PCC는 밀집된 점군 또한 연속된 점군에서만 효율적이고, 화상/비디오 코덱은 예를 들어 레이저 라이더에서 획득된 희소 기하학적 데이터의 투영으로부터 획득된 그러한 비평활한 패치를 압축할 수 없기 때문이다.

G-PCC 부호화 복호화 방법은 기하학적 형태 압축을 위한 두 가지 방안을 구비한다.

첫 번째 방안은 점군 기하학적 형태 구성의 점유 트리(옥트리 트리/쿼드 트리/바이너리 트리) 표현에 기반한 것이다. 점유된 노드는 특정 크기에 도달할 때까지 아래로 분할되고, 점유된 리프 노드에 의해 점의 위치가 제공되고, 일반적으로 이러한 노드의 중심에 있다. 이웃 기반 예측 기술을 사용하는 것을 통해, 밀도된 점군에 대한 높은 레벨의 압축을 획득할 수 있다. 희소한 점군은 최소 크기가 아닌 노드 내 점의 위치를 직접 부호화 복호화하고, 단지 고립된 점만이 노드에 존재할 경우 트리 구축을 정지함으로써 해결되고, 당해 기술은 직접 부호화 복호화 모드 DCM이라고 불린다.

두 번째 방안은 각 노드가 하나의 점의 3D 위치를 나타내고, 노드 사이의 관계가 부모 노드에서 자녀 노드까지의 공간 예측을 나타내는 예측 트리에 기반한다. 당해 방법은 희소한 점군만 해결하여, 점유 트리보다 지연이 낮고 복호화가 간단한 이점이 있다. 그러나, 첫 번째 점유에 기반한 방법에 비해, 예측 트리를 구축할 때(긴 열의 잠재 예측 인자 중에서) 최적의 예측 인자를 찾는데 집중하여, 압축 성능은 약간 좋고, 부호화는 복잡하다.

이 두 가지 방안에서, 속성 부호화/복호화는 기하학적 부호화/복호화가 완료된 후에 실행되기 때문에, 이중 부호화 복호화가 발생한다. 따라서, 슬라이스(slice)를 사용하는 것을 토??, 3D 공간을 독립적으로 부호화 복호화 가능한 서브 볼륨(sub-volume)으로 분해함으로써 서브 볼륨 사이의 예측이 필요하지 않고, 저지연을 얻는다. 많은 슬라이스를 사용할 경우, 압축 성능에 심각한 영향을 줄 수 있다.

이미 부호화 복호화된 기하학적 좌표에 기반하여 점 속성을 부호화 복호화하고, 상기 기하학적 좌표는 점 사이의 공간 관계/거리에 기반하여 속성 정보에 대해 비상관화하는데 사용된다. G-PCC에서, 주로 속성을 비상관화 및 부호화 복호화하는 두 가지 방법이 존재한다. 첫 번째는 RAHT라고 불리고, 영역 적응 계층 변환에 사용되고, 두 번째는 하나 또는 복수의 세부 계층(LOD)을 사용하고, 이는 LOD 또는 예측 향상 (pridlift)이라고 불릴 수 있고, 따라서 예측 비상관화 방법 또는 향상에 기반한 비상관화 방법으로 사용된다.

LOD 예측 방안을 이용하여, k개의 (기하학적 좌표를 사용하여) 가장 가까운 앞의 복호화 점 속성값으로부터의 가중치 예측을 사용하여 현재 복호화 점의 속성값(예를 들어 3채널/분량 색상 또는 단일 채널/분량 반사율, 투명도)의 예측을 실행한다. 예측에서의 가중치는 현재 점과 예측에 사용되는 가장 가까운 앞의 복호화 점 중 각 점 사이(기하학적 좌표에 기반하여)의 공간 거리에 따라 결정된다.

현재의 G-PCC에서, 현재 점과 동일한 LOD(즉 내부 LOD 예측) 및 보다 높은 LOD(LOD 사이의 예측) 중 k개(맨해튼 거리에 기반하여)의 가장 가까운 이웃 사이에서 속성 예측을 실행된다.

3D점의 복잡한 분포를 고려하면, 예측 인자로서 k개의 가장 가까운 점을 선택하는(즉 거리를 유일한 표준으로 사용한다)것이 최적이 아닐 가능성이 있다. 이론적으로, 일반적인 상황에서 k개(거리으로)의 가장 가까운 이웃은 속성값에 대한 k개의 가장 가까운 이웃이 아니다.

본 발명의 하나의 목적은 점군의 속성의 개선된 압축을 제공하도록, 효과적인 부호화 및 복호화 방법, 인코더 및 디코더를 제공하는 것이다.

본 발명의 일 측면에서, 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하는 방법을 제공한다. 당해 방법은,

상기 비트 스트림 부호화 대상 점 P에 대해, 상기 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적 위치에 따라 선택된, 상기 점군 중 상기 부호화 대상 점 P에 가장 가까운 점을 포함함 -; 및

상기 예측 인자 리스트의 상기 예측 인자 점의 속성에 기반하여, 예측 부호화를 통해 상기 부호화 대상 점 P에 관련된 점 속성을 부호화하는 단계를 포함한다.

따라서 속성이 비트 스트림으로 부호화되는 점 P에 대해, k개의 예측 인자 점의 예측 인자 리스트를 결정한다. 일반적으로 k는 3과 같다. 예측 인자 리스트는 점군 중 상기 부호화 대상 점 P에 가장 가까운 k개의 점을 포함하고, 당해 k개의 점은 또한 그것들이 상기 부호화 대상 점 P를 둘러싼 서로의 상대적인 지리적 위치에 기반하여 선택된다. 따라서, 예측 인자 리스트는 점군 중 k개의 가장 가까운 점을 포함하지 않을 수 있고, 하지만 본 발명의 방법을 통해, 점군 중 상기 부호화 대상 점P로부터 멀리하는 점이 예측 인자 리스트에 포함될 수 있고, 이에 따라 예측 인자 리스트의 예측 인자 점이 상기 부호화 대상 점P 주위에 분산 또는 충분히 분포된다. 따라서, k개의 가장 가까운 점 중 상기 부호화 대상 점 P에 가장 가까운 점 중 하나 또는 복수는 무시되고, 점군 중(기하학적으로)의 더 멀지만 점 P 속성의 개선 예측을 제공하는 점으로 대체될 수 있다.

다음 단계에서, 예측 인자 리스트의 예측 인자 점의 속성에 기반하여 예측 부호화를 수행하는 것을 통해, 상기 부호화 대상 점 P에 관련된 점 속성을 부호화한다. 따라서 예측 인자 리스트는 점 P의 속성을 예측 부호화하는데 사용된다.

선택된 예측 인자 리스트의 점을 통해, 점 P의 속성을 더 잘 예측하는 것을 구현할 수 있으며, 이에 따라 부호화 대상의 잔차를 감소시키고, 나아가 비트 스트림의 크기를 감소시킬 수 있다.

바람직하게, 예측 인자 리스트를 결정하는 단계는,

상기 점군의 k개의 예측 인자 점 P0, ??, P(k-1)의 초기 리스트를 결정하는 단계 - 상기 초기 리스트가 상기 점군 중 상기 부호화 대상 점 P의 지리적 위치에 가장 가까운 k개의 점을 포함함 -;

상기 초기 리스트의 예측 인자 점의 서로의 상대적 위치에 따라, 상기 예측 인자 점을 예측 인자 리스트로 선택하기로 결정하는 단계를 포함한다. 따라서, 제1 단계에서, 점군의 k개의 예측 인자 점 P0, ??, P(k-1)의 초기 리스트를 결정하고, 초기 리스트가 점군 중의 상기 부호화 대상 점 P에 가장 가까운 k개의 점을 포함하다. 다음 단계에서, 초기 리스트의 예측 인자 점은 그것들의 상기 부호화 대상 점 P에 대한 서로의 상대적 위치에 따라 선택된다. 초기 리스트의 분산 또는 분포가 충분할 경우, 초기 리스트 즉 점군 중 k개의 가장 가까운 예측 인자 점이 선택되고, 이에 따라 점 P의 속성을 예측 부호화하는 동안, 상기 부호화 대상 점 P의 속성을 예측하는 정확도가 충분히 높아진다.

바람직하게, 상기 부호화 대상 점 P까지의 거리에 따라, 가장 가까운 점 P0로부터 가장 먼 점 P(k-1)까지 초기 리스트를 정렬한다.

바람직하게, 상기 방법은,

초기 리스트의 예측 인자 점이 선택되지 않은 경우:

점군 중 k부터 k+n-1개까지의 가장 가까운 점 Pk, ??, P(k+n-1)에 의해 n개의 예측 인자 점의 후보 리스트를 결정하는 단계;

상기 초기 리스트의 적어도 하나의 예측 인자 점을 상기 후보 리스트의 예측 인자 점으로 대체하여, 상기 예측 인자 리스트를 획득하는 단계; 및

획득된 리스트의 예측 인자 점의 서로의 상대적 위치에 따라, 상기 예측 인자 점을 예측 인자 리스트로 선택하는 단계를 포함한다.

바람직하게, n은 1과 10 사이이고, 보다 바람직하게, 1과 5 사이이며, 가장 바람직하게, n=3이다.

따라서, 초기 리스트의 적어도 하나의 예측 인자 점은 후보 리스트의 예측 인자 점으로 대체되어, 리스트를 획득한다. 획득된 리스트의 예측 인자 점의 서로의 상대적인 지리적 위치에 기반하여, 예측 부호화를 통해 부호화 대상 점 P에 관련된 점 속성을 부호화하기 위해, 획득된 리스트를 선택한다. 따라서, 초기 리스트의 k개의 가장 가까운 예측 인자 점 중 하나는 부호화 대상 점 P의 속성의 개선 예측을 획득하도록, 부호화 대상 점에서 보다 멀리하는 예측 인자 점으로 대체된다.

바람직하게, 상기 방법은,

획득된 예측 인자 리스트가 선택되지 않은 경우, 획득된 리스트의 예측 인자 점의 서로의 상대적 위치에 따라, 대응하는 리스트의 예측 인자 점이 선택될 때까지, 리스트를 획득하기 위해 적어도 하나의 예측 인자 점을 사용하여 후보 리스트의 각 예측 인자 점으로 단계적으로 반복적으로 대체하는 단계를 포함한다.

따라서, 후보 리스트의 각 예측 인자 점이 후보 리스트의 대응되는 예측 인자 점을 통해 초기 리스트의 분산 또는 분포를 증가할 수 있는지 여부를 연속적으로 고려하고, 이에 따라 부호화 대상 점 P의 속성에 더 좋은 예측 결과를 제공한다. 후보 리스트의 하나의 예측 인자 점을 찾으면, 당해 프로세스를 정지하여, 결과 리스트의 예측 인자 점을 선택할 수 있다.

바람직하게, 후보 리스트의 예측 인자 점은 그것들이 부호화 대상 점 P까지의 거리에 따라, 증가된 거리로 정렬되고, 점 Pk가 후보 리스트 내의 가장 가까운 점(그러나 초기 리스트의 마지막 점보다 멀다)이고, P(k+n-1)가 후보 리스트 내의 가장 먼 예측 인자 점이다.

바람직하게, 초기 리스트 내의 마지막 예측 인자 점만을 대체한다. 따라서 초기 리스트의 예측 인자 점이 선택되지 않은 경우, 초기 리스트 내의 마지막 예측 인자 점만이 후보 리스트의 예측 인자 점 중 하나로 대체된다. 특히, 초기 리스트 내의 마지막 예측 인자 점을 대체하여 획득된 이미 획득된 리스트 또는 반복 중에 이전 단계의 획득된 리스트 내의 마지막 예측 인자 점을 대체하여 획득된 이미 획득된 리스트에 대해, 마지막 예측 인자 점만이 후보 리스트의 예측 인자 점 중 하나로 대체된다.

바람직하게, k는 2이상이고, 더 바람직하게, 3과 같다. 특히, k=3은 k의 수를 증가하기 위한 구현 복잡도와 충분한 예측 가능성 사이의 충분한 트레이드오프이고, 상기 충분한 예측 가능성은 즉 예측 시 각 잔차의 충분한 감소이다.

바람직하게, 상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된(점의 지리적 위치/좌표에 사용된다) X, Y 및 Z축을 따라 옥탄트(octant)로 분할되고, 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치할 경우, 예측 인자 점이 선택되고, 반대 옥탄트는 부호화 대상의 공통점 P만을 공유한다.

따라서, 초기 리스트 또는 예측 인자 리스트로 하는 예측 인자 점의 리스트가 상기 부호화 대상 점 P 주위에 충분히 분산 또는 분포하는 예측 인자 점을 포함하는 것으로 간주되고, 따라서, 예측 인자 점의 당해 대응하는 리스트 내의 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치하는 경우, 당해 리스트가 선택된다. 각 예측 인자 점의 서로의 상대적 위치를 고려하여 획득된 예측 인자 리스트 또는 초기 리스트의 예측 인자 점을 선택할 때, 각 리스트가 적어도 2개의 반대인 예측 인자 점을 포함하는지 여부, 즉 반대 옥탄트에 위치하는지 여부를 결정한다.

바람직하게, 상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된 X, Y 및 Z축을 따라 옥탄트로 분할되고, 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치할 경우, 예측 인자 점이 선택되고, 느슨한 반대 옥탄트가 하나의 공통 에지만을 공유한다.

따라서, 초기 리스트 또는 예측 인자 리스트로 하는 예측 인자 점의 리스트가 상기 부호화 대상 점 P 주위에 충분히 분산 또는 분포하는 예측 인자 점을 포함하는 것으로 간주되고, 따라서 예측 인자 점의 당해 대응하는 리스트 내의 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는 경우, 당해 리스트가 선택된다. 각 예측 인자 점의 서로의 상대적 위치를 고려하여 획득된 예측 인자 리스트 또는 초기 리스트의 예측 인자 점을 선택할 때, 각 리스트가 적어도 2개의 느슨한 반대 예측 인자 점을 포함하는지 여부, 즉 느슨한 반대 옥탄트 내의 적어도 2개의 예측 인자 점에 위치하는지 여부를 결정한다.

바람직하게, 초기 리스트 및/또는 예측 인자 리스트의 예측 인자 점을 선택하는 단계는,

상기 초기 리스트 또는 상기 예측 인자 리스트의 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치하는지 여부를 결정하는 단계; 이후에 상기 초기 리스트 또는 상기 예측 인자 리스트의 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는지 여부를 결정하는 단계를 포함한다. 또는 후보 리스트의 특정 예측 인자 점에 대해 초기 리스트의 1개 예측 인자 점을 대체하는 경우, 예측 인자 리스트의 적어도 2개 예측 인자 점이 반대 옥턴트에 위치하는지 여부를 결정하고, 이후에 초기 리스트 또는 예측 인자 리스트의 적어도 2개 예측 인자 점이 느슨한 반대 옥턴트에 위치하는지 여부를 결정한다. 이후 후보 리스트의 다음 예측 인자 점을 고려할 수 있다.

바람직하게, 초기 리스트의 마지막 두 점이 같은 옥턴트에 있는 경우에만, 초기 리스트 또는 예측 인자 리스트의 적어도 2개의 예측 인자 점이 느슨한 반대 옥턴트에 위치하는지 여부에 대한 후속 결정을 실행한다.

바람직하게, 적어도 하나의 역치 Ti는 Ti=WХdist(P, Pi)에 의해 정의되고, 가중치 W>1이고, 또한 Pi가 초기 리스트의 예측 인자 점이고, 후보 리스트 내의 예측 인자 점으로부터 부호화/복호화 대상 점 P까지의 거리가 Ti보다 작을 경우, 후보 리스트의 예측 인자 점은 초기 리스트의 적어도 하나의 예측 인자 점을 대체할 자격이 있다.

따라서, 후보 리스트의 대응하는 예측 인자 점으로부터 상기 부호화 대상 점 P까지의 거리가 역치 Ti보다 작을 경우, 초기 리스트 또는 임의의 이전에 획득된 예측 인자 리스트 내의 예측 인자 점 중 하나 또는 복수를 대체하기 위해 후보 리스트의 그러한 예측 인자 점만이 고려된다. 각 역치 Ti는 후보 항목을 충분히 필터링할 수 있도록, 점 P와 초기 리스트의 점 Pi 사이의 거리에 따라 정의될 수 있다. 가중치 W는 특정 점군에 대해 고정적인 것이 바람직하다. 바람직하게, W는 점군의 점 밀도에 따라 결정되고, 희소한 점군에 대해 큰 가중치 W가 선택된다.

바람직하게, 가중치 정보 W 및 n 중의 적어도 하나는 비트 스트림에 포함된다.

바람직하게, 비트 스트림은 MPEG G-PCC에 부합되는 비트 스트림이고, 가중치 정보 W 및 n 중의 적어도 하나는 G-PCC 비트 스트림의 속성 파라미터 세트 APS에 존재한다.

본 발명의 일 측면에서, 비트 스트림으로부터 점군의 점에 관련된 점 속성을 복호화하는 방법을 제공하고, 상기 방법은,

상기 비트 스트림의 복호화 대상 점 P에 대해, 상기 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적 위치에 따라 선택된, 상기 점군 중 상기 복호화 대상 점 P에 가장 가까운 점을 포함함 -; 및

상기 예측 인자 리스트의 상기 예측 인자 점의 속성에 기반하여, 예측 복호화를 통해 상기 복호화 대상 점 P에 관련된 점 속성을 복호화하는 단계를 포함한다.

바람직하게, 복호화를 위한 방법은 상기 부호화를 위한 방법에 관해 설명된 특징과 함께 더 구축된다. 특히, 부호화와 복호화의 프로세스는 같다. 복호화를 위한 방법은 동일한 방법의 단계를 구현할 수 있다.

본 발명의 일 측면에서, 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하기 위한 인코더를 제공하고, 프로세서와 메모리 저장 디바이스를 포함하고, 상기 메모리 저장 디바이스에는 상기 프로세서의 실행 가능한 명령이 저장되고, 상기 명령이 실행될 경우, 상기 프로세서로 하여금 상기 부호화를 위한 방법을 실행시킨다.

본 발명의 일 측면에서, 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하기 위한 디코더를 제공하고, 프로세서와 메모리 저장 디바이스를 포함하고, 상기 메모리 저장 디바이스에는 상기 프로세서의 실행 가능한 명령이 저장되고, 상기 명령이 실행될 경우, 상기 프로세서로 하여금 상기 방법을 실행시킨다.

본 발명의 일 측면에서, 프로세서 실행 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 프로세서 실행 명령이 프로세서에 의해 실행될 경우, 상기 프로세서에 상기 기재된 방법을 실행시킨다.

예시적인 방식을 통해 본 출원의 예시적인 실시예를 나타내는 도면을 참조하고, 도면은 다음과 같이 설명된다.
도 1은 본 발명에 따른 부호화를 위한 방법의 흐름도이다.
도 2는 점군 중 예측 인자 점의 개략도이다.
도 3은 본 발명에 따른 방법의 다른 실시예의 흐름도이다.
도 4는 부호화 대상 점 P 주위의 특정 순서의 도이다.
도 5는 본 발명에 따른 방법의 다른 실시예의 흐름도이다.
도 6은 본 발명에 따른 방법의 다른 실시예의 흐름도이다.
도 7은 본 발명에 따른 복호화를 위한 흐름도이다.
도 8은 본 발명에 따른 인코더이다.
도 9는 본 발명에 따른 디코더이다.

본 출원에서는 점군 중 점의 속성을 부호화 및 복호화하는 방법, 점군 중 점의 속성을 부호화 및 복호화하기 위한 인코더 및 디코더에 대해 설명한다.

본 발명은 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하는 방법에 관한 것으로, 상기 방법은,

비트 스트림 부호화 대상 점 P에 대해, 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 그것들의 서로의 상대적인 위치에 따라 선택된 점군 중 부호화 대상 점 P에 가장 가까운 점을 포함함 -; 및

상기 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 부호화를 통해 부호화 대상 점 P에 관련된 점 속성을 부호화하는 단계를 포함한다.

또한, 본 발명은 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하는 방법에 관한 것으로, 상기 방법은,

상기 비트 스트림 복호화 대상 점 P에 대해, 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적인 위치에 따라 선택된 점군 중 상기 복호화 대상 점 P에 가장 가까운 점을 포함함 -; 및

상기 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 복호화를 통해 당해 복호화 대상 점 P에 관련된 점 속성을 복호화하는 단계를 포함한다.

당업자는 도면과 결합하여 아래 예의 설명을 회고함으로써, 본 명세서의 다른 측면와 특징을 이해된다.

점군은 3차원 좌표계에서의 점 세트이다. 이러한 점들은 일반적으로, 하나 또는 복수의 오브젝트의 외측 표면을 나타내는 것을 목적으로 한다. 각 점은 3차원 좌표계에서의 위치를 갖는다. 당해 위치는 3개의 좌표(X, Y, Z)로 나타낼 수 있으며, 데카르트 좌표계 또는 다른 임의의 좌표계일 수 있다. 이러한 점은 또한 색상 등과 같은 관련된 속성을 가지고, 일부 경우에 R, G, B, 또는 Y, Cb, Cr와 같은 3성분 값일 수 있다. 다른 관련 속성은 점군 데이터의 원하는 응용에 따라 투명도, 반사율, 법 벡터 등을 포함할 수 있다.

점군은 정적이거나 동적일 수 있다. 예를 들어 오브젝트 또는 지형의 상세한 스캔 또는 제도는 정적인 점군 데이터일 수 있다. 기계 시각 목적을 위한 환경에 대한 레이저 레이더에 기반한 스캔은 점군(적어도 잠재적으로)이 시간적으로 변화하기 때문에, 예를 들어 볼륨에 대한 매번 연속적인 스캔일 수 있다. 따라서 동적인 점군은 점의 시간적 순서이다.

점군 데이터는 보호(역사적 또는 문화재 스캔), 지도 제작, 기계 시각(자율 주행 또는 반자율 주행 자동차 등), 및 가상 현실 시스템을 포함한 많은 애플리케이션에 사용될 수 있으며, 몇 가지 예가 제공된다. 기계 시각 등 애플리케이션에 사용하는 동적 점군 데이터는 보호 목적 등을 위한 정적 점군 데이터와는 완전히 다를 수 있다. 예를 들어, 자동차 시각은 일반적으로 높은 캡처 주파수를 갖는 레이저 레이더(또는 유사한) 센서에서 획득된 비교적 작은 해상도, 비칼라 및 고도로 동적인 점군에 관한 것이다. 당해 점군의 목적은 사람이 사용하거나 보기 위해서가 아니라, 결책 과정에서 기계 오브젝트의 검출/분류에 사용된다. 일례로 전형적인 레이저 레이더 프레임은 약 수만개의 점을 포함하고 고품질의 가상 현실 애플리케이션에는 수백만개의 점이 필요하다. 계산 속도가 증가하고 새로운 애플리케이션이 발견됨과 함께, 시간이 지남에 따라 더 높은 해상도의 데이터에 대한 수요가 존재할 것으로 예상될 수 있다.

비록 점군 데이터는 유용하지만, 이러한 점군의 속성과 기하학적 형태의 효율적이고 높은 효과적인 압축, 즉 부호화와 복호화 프로세스가 부족하여, 채용과 배치를 방해할 수 있다.

점군 데이터를 부호화 복호화하기 위한 보다 일반적인 메커니즘 중 하나는 트리에 기반한 구성을 사용하는 것이다. 트리에 기반한 구성에서 점군의 경계 3차원 볼륨은 재귀적으로 하위 볼륨으로 분할된다. 트리 노드는 서브 볼륨에 대응한다. 서브 볼륨을 더 분할할지 여부의 결정은 트리의 해상도 및/또는 서브 볼륨에 포함된 임의의 점이 존재하는지 여부에 기반할 수 있다. 리프 노드는 관련된 서브 볼륨이 점을 포함하는지 여부를 지시하는 점유 플래그를 가질 수 있다. 분할 플래그는 신호를 송신함으로써 노드가 서브 노드를 갖는지 여부(즉 현재 볼륨이 더 서브 볼륨으로 분할되는지 여부)를 통지할 수 있다. 이러한 플래그는 경우에 따라 엔트로피 부호화 복호화를 할 수 있고, 경우에 따라 예측 부호화 복호화를 사용할 수 있다. 일반적인 트리 구성은 옥트리이다. 당해 구조에서 볼륨/서브 볼륨은 입방체이고, 서브 볼륨을 분할할 때마다 8개의 다른 서브 볼륨/서브 입방체가 생성된다.

옥트리 트리를 작성하여 점군을 부호화 복호화하는 기본 프로세스는,

좌표계 내의 점군을 포함하는 경계 볼륨(입방체)부터 시작하는 것;

1. 볼륨을 8개의 서브 볼륨(8개의 서브 입방체)으로 분할하는 것;

2. 각 서브 볼륨에 대해, 당해 서브 볼륨이 비어 있는 경우, 당해 서브 볼륨을 0으로 표시하고, 그 중에 적어도 하나의 점이 존재하는 경우, 당해 서브 볼륨을 1로 표시하는 것;

3. 1로서 마크된 모든 서브 볼륨에 대해, 그러한 서브 볼륨을 분할하기 위해, 최대 분할 깊이에 도달할 때까지, 반복(2)하는 것;

4. 최대 깊이의 모든 리프 서브 볼륨(서브 입방체)에 대해, 입방체가 비어 있지 않은 경우, 1로 표시하고, 그렇지 않은 경우, 0으로 표시하는 것; 을 포함한다.

각 노드의 점유 모드를 나타내는 비트 시퀀스를 생성하기 위해, 미리 정의된 순서(폭 우선 또는 깊이 우선, 각 분할된 서브 볼륨 내의 조작 모드/순서에 기반한다)로 트리를 트래버스할 수 있다.

상술한 바와 같이 점군 중 점은 속성을 포함할 수 있다. 이러한 속성은 점군의 기하학적 형태의 부호화 복호화는 독립적으로 부호화 복호화된다. 따라서, 각 점유된 노드, 즉 점군의 적어도 하나의 점을 포함하는 노드는 하나 또는 복수의 속성에 관련되어, 점군의 속성을 더 지정할 수 있다.

본 발명은 비트 스트림에서 점군의 점 속성을 비교하여 부호화하는 방법을 제공한다. 방법은 도 1에 도시된 바와 같다.

단계 S01에서, 비트 스트림 부호화 대상 점 P에 대해, 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하고, 상기 예측 인자 리스트가 그것들의 서로의 상대적 위치에 따라 선택된, 점군 중 부호화 대상 점 P에 가장 가까운 점을 포함한다.

단계 S02에서, 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 부호화를 통해 부호화 대상 점 P에 관련된 점 속성을 부호화한다.

본 발명은 부호화측과 복호화측 모두에서, 최종적으로 좋은 예측(더 낮은 잔차)을 제공하는 k개의 예측 인자의 다른 리스트에서 LoD속성의 부호복호화를 위한 k개의 가장 가까운 예측 인자의 리스트를 대체 가능한 메커니즘을 도입한다.

이렇게 하기 위해, "더 먼" 점의 공간에서의 위치가 더 유리한 경우, 본 발명에서는 이러한 것을 사용하여 k개의 가장 가까운 예측 인자 점 중 하나 또는 복수의 예측 인자 점을 대체하는 것, 즉 예측 인자 점이 예측 대상 점 주위에 더 분산 또는 분포하는 것을 고려한다.

도 2를 참조하여 점 P의 속성을 부호화하기 위해, 예측 인자 점 P0, P1 및 P3가 3개의 가장 가까운 예측 인자 점 P0, P1, P2보다 더 잘 P 주위에 분산 또는 충분히 분포하므로, 보다 가까운 점P2가 아닌 도 2의 P3에 의해 지시되는 보다 먼 점을 사용하는 것이 바람직하고, 따라서 점P의 속성을 더 잘 예측하는 것을 제공할 수 있다.

이하에서 참조예는 부호화 대상 점 P의 속성, 즉 k=3을 예측하기 위해, 3개의 예측 인자 점을 사용한다. 물론, 본 발명은 고려되는 예측 인자 점의 수에 한정되지 않는다. 그러나 MPEG 표준에서의 일반적인 애플리케이션은 구현의 복잡성과 비트 스트림에서의 잔차를 감소하는데 사용되는 정확도 사이의 양호한 트레이드오프를 제공하기 위해, 모두 LOD 예측 방안에서 당해 수의 예측 인자를 사용한다. 따라서 이하에 나타내는 실시예에서는 k=3을 채용한다.

도 3을 참조하면, 본 발명에 관련된 다른 실시예의 흐름도이다.

단계 S10에서, 부호화 대상 점 P에 가장 가까운 k개의 점 P0, ??, P(K-1)에 포함되는 k개의 예측 인자 점의 초기 리스트를 결정한다.

단계 S11에서, 점군 중 k부터 (k+n-1)개까지의 가장 가까운 점 Pk, ??, P(k+n-1)에 의해 n개의 예측 인자 점의 후보 리스트를 결정한다.

단계 S12에서, 초기 리스트의 적어도 하나의 예측 인자 점을 후보 리스트의 예측 인자 점으로 대체하여 예측 인자 리스트를 획득한다.

단계 S13에서, 그것들의 서로의 상대적 위치에 따라, 획득된 리스트의 예측 인자 점을 예측 인자 리스트로 선택한다.

따라서, 초기 리스트는 점군 중 지리적으로 부호화 대상 점 P에 가장 가까운 k개의 점을 포함한다. 후보 리스트는 부호화 대상 점 P에 가장 가까운 후속 n개의 점을 포함한다. 후보 리스트에는 이러한 예측 인자 점을 포함하고, 이러한 예측 인자 점이 점 P의 속성을 예측 부호화하기 위한 최종 예측 인자 리스트를 획득하도록 고려될 수 있다. 예를 들어 k=3이기 때문에, 초기 리스트는 P0, P1 및 P2를 포함한다. n이 5와 동일하게 설정될 수 있기 때문에, 후보 리스트는 P3, P4, P5, P6 및 P7을 포함할 수 있고, P0-P7은 부호화 대상 점 P까지의 거리를 증가하는 것을 통해 정렬하고, 점군 중 부호화 대상 점 P에 가장 가까운 8개의 점이다. 단계 S12에 따라, 적어도 하나의 예측 인자 점 P0, P1 또는 P2가 후보 리스트의 예측 인자 점 중 하나로 대체된다. 바람직하게, 단지 초기 리스트의 하나의 예측 인자 점만을 대체한다. 바람직하게, 초기 리스트의 마지막 하나의 예측 인자 점은 후보 리스트의 예측 인자 점 중 하나로 대체된다. 상기 예에서, P2는 P3 내지 P7 중 하나로 대체되어, 새로운 예측 인자 점 리스트를 획득할 수 있다. 그 후에, 단계 S13에 따라, 각각의 예측 인자 리스트의 예측 인자 점이 분산 또는 충분히 분포하는지 여부를 테스트한다. 새로운 리스트의 예측 인자 점은 그것들의 서로의 상대적인 위치에 따라 예측 인자 리스트로 선택되고, 당해 예측 인자 리스트는 최종 예측 인자 리스트로 간주되며, 또한 도 3의 화살표 102에 따라 점 P의 속성의 예측 부호화에 사용된다. 획득된 예측 인자 리스트의 예측 인자 점이 선택되지 않은 경우, 도 3의 화살표 100에 따라, 반복 과정에, 후보 리스트의 모든 예측 인자 점이 동그라미 표시되고, 후보 리스트의 각 예측 인자 점으로 초기 리스트의 하나 또는 복수의 예측 인자 점을 대체하는지 여부를 각각 테스트하고, 이에 따라 그것들의 서로의 상대적인 위치에 따라 예측 인자 점 리스트를 선택하여예측 부호화 102에 사용하여, 선택된 예측 인자 점에 기반하여 부호화 대상 점 P의 속성에 대한 예측을 개선한다. 예를 들어, 제1 단계에서, 점 P2는 P3로 대체되고, 획득된 예측 인자 리스트(P0, P1, P3)가 분산되는지 여부를 테스트한다. 그렇지 않을 경우, 다음 단계에서는 분산될 예측 인자 리스트를 찾거나 또는 후보 리스트의 마지막에 도달할 때까지, 예측 인자 리스트(P0, P1, P4) 등을 테스트한다. 전자에서는, 대응하는 예측 인자 리스트를 선택하여 예측 부호화에 사용하지만, 후자에서는, 초기 리스트를 사용할 수 있다.

도 4를 참조하면, 부호화 대상 점 P 주위의 공간을 나타나고, X, Y 및 Z 방향에서의 축이 부호화/복호화 방향과 일치한다. 따라서, 점 P 주위에 8개의 옥탄트가 정의되고 0, ..., 7에 의해 지시된다. 예측 인자 점 리스트의 적어도 2개의 점이 서로 반대일 경우, 예측 인자 점 리스트를 선택한다.

이는 엄격하게 반대하는 옥탄트가 다음과 같은 것을 의미한다:

0과 7,

1과 6,

2랑 5,

3과 4.

이 2개의 예측 인자 점을 찾을 수 없는 경우, 적어도 2개의 예측 인자 점이 반대인 요구인 것은 완화되고, 적어도 2개의 예측 인자 점이 느슨하거나 반대되어야 하는 경우, 예측 인자 점을 선택한다. 느슨한 반대 옥탄트는 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는지 여부로 정의되고, 느슨한 반대 옥탄트가 하나의 공통 에지만을 공유한다. 이는 느슨한 반대 옥탄트가 다음과 같은 것을 의미한다:

0, 3, 5 및 6,

4, 1, 2 및 7,

1, 2, 4 및 7,

5, 0, 3 및 6,

2, 1, 4 및 7,

6, 0, 3 및 5,

3, 0, 5 및 6,

7, 1, 2 및 4.

도 5를 참조한다. 단계 S10-단계 S12는 도 3을 참조하여 설명한 것과 같다.

단계 S131에서, 획득된 예측 인자 리스트의 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치하는지 여부를 결정한다.

이 경우, 화살표 104에 따라, 획득된 예측 인자 리스트의 예측 인자 점은 부호화 대상 점 P 주위에 충분히 분포하는 것으로 간주되고, 즉 분산되어 예측 부호화를 위해 선택된다.

그렇지 않은 경우, 화살표 100에 따라, 상기 도 3에 도시된 바와 같이 후보 리스트의 각 요소가 반복적으로 고려된다.

단계 S12와 S131에서 예측 인자 점이 선택되지 않은 경우, 단계 S132에서, 초기 리스트의 적어도 하나의 예측 인자 점을 후보 리스트의 예측 인자 점으로 대체하여, 상기 단계 12와 유사하게 예측 인자 리스트를 획득한다.

단계 S133에서, 획득된 예측 인자 리스트의 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는지 여부를 결정한다.

이 경우, 화살표 106에 따라, 획득된 예측 인자 리스트의 예측 인자 점은 부호화 대상 점 P 주위에 충분히 분포하는 것으로 간주되고, 즉 분산되어 예측 부호화를 위해 선택된다.

그렇지 않을 경우, 상술한 바와 같이 단계 S132와 S133에서 후보 리스트의 각 요소를 반복적으로 고려한다.

도 5에서, 후보 리스트의 모든 예측 인자 점을 먼저 체크하고, 이는 획득된 예측 인자 리스트에서 적어도 2개의 반대 옥탄트에 위치한 예측 인자 점을 제공하는지 여부이고, 실패할 경우, 최소 2개의 느슨한 반대 옥탄트에 위치한 예측 인자 점을 제공할 수 있는지 여부에 대해, 후보 리스트의 모든 예측 인자 점을 다시 체크하는 것이 설명되었다. 그러나 단계의 순서를 다시 배치할 수 있고, 이에 따라 먼저 후보 리스트의 제1 예측 인자 점에 대해 테스트하여, 당해 후보가 적어도 2개의 반대 옥탄트에 위치하는 예측 인자 점을 제공할 수 있는지 여부를 볼 수 있고, 그 후에, 후보 리스트의 동일한 예측 인자 점을 테스트하여, 적어도 2개의 느슨한 반대 옥탄트에 위치하는 예측 인자 점을 제공할 수 있는지 여부를 볼 수 있다.

k=3의 예에서, 당해 방법의 단계는 다음과 같을 수 있다.

1. 3개의 가장 가까운 예측 인자 P0, P1 및 P2의 초기 리스트과 그 후의 점 P에 가장 가까운 n개의 예측 인자 P3에서 Pn+2까지의 후보 리스트으로 인식한다.

2. 초기 리스트의 예측 인자 점이 점 P 주위에 충분히 분산되어 있지 않은 경우, 후보 리스트의 각 요소는 제1 리스트의 모든 요소가 점 P 주위에 충분히 분산되거나 또는 더 많은 후보 항목이 평가되지 않을 때까지, 초기 리스트의 마지막 요소 P2를 대체하기 위해, 하나씩 계속해서 고려된다. 예측 인자 점 중 적어도 2개가 서로 반대 옥탄트에 위치하는 한, 예측 인자 점 리스트가 충분히 분산된 것으로 간주된다.

3. 당해 과정이 초기 리스트를 위해 충분히 분산된 요소의 리스트를 선택하지 못한 경우, 프로세스 전체가 다시 시작되고, 하지만 당해 경우, 예측 인자 점 중 적어도 2개가 서로 느슨한 반대 옥탄트에 위치할 경우, 후보 리스트의 예측 인자 점은 P2를 대체하기에 적합한 것으로 간주된다.

도 6을 참조하면, k=3의 경우를 예를 들어 설명한다. 2개의 거리 역치 F(먼 역치)와 C(가까운 역치)를 정의하고, 후보 리스트의 대응하는 예측 인자 점의 P0과 P1에 대한 공간 위치(반대 방향, 그리고 느슨한 반대 방향)를 평가하는 것을 통해, 충분히 가까우면, 즉 P0에 대한 역치 F와 P1에 대한 역치 C에서, 후보 리스트의 예측 인자 점이 P2를 대체할 자격에 도달한다.

본 발명의 바람직한 실시예에서, 당해 2개의 역치는 다음과 같이 선택된다:

ㆍ F=WХdist(P，P2)

ㆍ C=WХdist(P，P1)

W는 후보 항목의 필터링에 영향을 미치는 가중치 계수이다. 가중치 W는 미리 설정될 수 있고, 특정 점군에 대해서는 고정된 것이다. 동일한 판정 프로세스는 인코더 측과 디코더 측에서 모두 수행해야 하고, 그 결과는 가중치 W의 값에 의해 결정되므로, 당해 값은 비트 스트림에서의 이미 부호화된 데이터와 함께 전송/신호로 송신될 수 있다.

본 발명의 바람직한 실시예에서, k=3에 대해 부호화 측에서 이하의 단계를 실행한다.

단계 S10과 S12는 상술한 것과 유사하고, 여기에서는 중복 설명을 생략한다.

단계 S120에서, 먼 역치 F=WХdist(P, P2)와 가까운 역치 C=WХdist(P, P1)를 설정한다.

다른 선택적인 단계에서, P1과 P2가 반대 옥탄트에 있고 (P0, P1, P2)가 P를 중심으로 잘 분산될 경우, 당해 프로세스를 정지하고 최종 예측 인자 리스트로 (P0, P1, P2)를 선택한다.

단계 S121에서, 후보 리스트 내의 각 점 Pi에 대해, 그것들의 P까지의 거리의 순서에 따라:

a. dist(Pi, P)≤F이고 Pi가 P0과 반대되는 옥탄트에 위치할 경우, 예측 인자 리스트 내의 P2를 Pi로 대체하고, 화살표 108로 지시한 바와 같이 (P0, P1, Pi)를 최종적인 예측 인자 리스트로 선택하는 것을 통해 당해 프로세스를 정지한다.

b. dist(Pi, P)≤C이고 Pi가 P1과 반대되는 옥탄트에 위치할 경우, 예측 인자 리스트 내의 P2를 Pi로 대체하고, 화살표 108로 지시한 바와 같이 (P0, P1, Pi)를 최종적인 예측 인자 리스트로 선택하는 것을 통해 프로세스를 정지한다.

단계 S122에서, 적어도 P1 또는 P2가 P0와 같은 방향에 있는 경우, 후보 리스트 내의 각 점 Pi에 대해 그것들의 P까지의 거리 순서에 따라:

a. dist(Pi, P)≤F이고 Pi가 P0와 느슨한 반대 옥탄트에 위치할 경우, 예측 인자 리스트 내의 P2를 Pi로 대체하고, (P0, P1, Pi)를 최종적인 예측 인자 리스트로 선택하는 것을 통해 당해 프로세스를 정지한다.

b. dist(Pi, P)≤C이고 Pi가 P1과 느슨한 반대 옥탄트에 위치할 경우, 예측 인자 리스트 내의 P2를 Pi로 대체하고, (P0, P1, Pi)를 최종적인 예측 인자 리스트로 선택하는 것을 통해 당해 프로세스를 정지한다.

그렇지 않을 경우, 더 좋은 후보 항목을 찾을 수 없기 때문에, 최종 예측 인자 리스트로 (P0, P1, P2)를 선택한다.

본 발명은 또한 비트 스트림에서 점군의 점 속성을 복호화하는 방법을 제공한다. 방법은 도 7에 도시되어 있다. 도 7을 참조하면 다음과 같다.

단계 S03에서, 비트 스트림 복호화 대상 점 P에 대해, 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하고, 상기 예측 인자 리스트가 그것들의 서로의 상대적 위치에 따라 선택된, 점군 중 복호화 대상 점 P에 가장 가까운 점을 포함한다.

단계 S04에서, 예측 인자 리스트의 예측 인자 점의 속성을 예측 복호화하는 것을 통해, 점 P에 관련된 점 속성을 복호화한다.

복호화 방법은 상기 상세하게 설명된 부호화 방법과 함께 설명된 특징 및 단계에 따라 구축된다.

인코더와 디코더 사이에 W값과 n값을 공유하면, 예측 인자 점을 선택하기 위한 완전히 동일한 프로세스를 양측에서 동일한 결과로 수행할 수 있다. 따라서, 복호화 방법은 부호화 복호화된 점군 비트 스트림으로부터 W(거리 자격성을 위한 가중치)와 n(후보 항목의 최대 수)의 값을 판독하는 추가 단계를 갖는다. 그 후의 단계는 상기 상세하게 설명된 부호화 방법과 같다.

본 발명의 바람직한 실시예에서, MPEG G-PCC에서 이미 부호화 복호화된 점군의 속성 파라미터 세트(APS) 내에서 가중치 W와 n 파라미터 값을 신호로 송신한다.

도 8을 참조하면, 인코더(10)의 예시적인 실시예의 간소화된 블록도를 나타낸다. 인코더(10)는 프로세서(12)와 메모리 저장 디바이스(14)를 포함한다. 메모리 저장 디바이스(14)는 명령을 포함하는 컴퓨터 프로그램 또는 애플리케이션을 저장할 수 있고, 상기 명령은 실행될 경우 프로세서(12)가 본 명세서에서 설명한 바와 같은 동작을 실행시킨다. 예를 들어, 명령은 본 명세서에서 설명된 방법에 따른 부호화된 비트 스트림을 부호화하고 출력할 수 있다. 또한, 명령은 광 디스크, 플래시 메모리 디바이스, 랜덤 액세스 메모리, 하드 디스크 드라이브와 같은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다. 명령이 실행될 경우, 프로세서(12)는 상기 프로세스를 구현하는 전용 프로세서로 동작하도록, 명령이 지정된 동작과 기능을 수행한다. 일부 예에서, 이러한 프로세서는 "프로세서 회로" 또는 "프로세서 회로 시스템"이라고 불릴 수 있다.

도 9를 더 참조하면, 디코더(16)의 예시적인 실시예의 간소화된 블록도를 나타낸다. 디코더(16)는 프로세서(18)와 메모리 저장 디바이스(20)를 포함한다. 메모리 저장 디바이스(20)는 명령을 포함하는 컴퓨터 프로그램 또는 애플리케이션을 포함할 수 있고, 상기 명령은 실행될 경우 프로세서(18)가 본 명세서에서 설명한 바와 같은 동작을 실행시킨다. 또한, 명령은 광 디스크, 플래시 메모리 디바이스, 랜덤 액세스 메모리, 하드 디스크 드라이브와 같은 컴퓨터 판독 가능 매체에 저장될 수 있다. 명령이 실행될 경우, 프로세서(18)는 설명된 프로세스 및 방법을 구현하는 전용 프로세서로 동작하도록, 명령이 지정된 동작과 기능을 수행한다. 일부 예에서, 이러한 프로세서는 "프로세서 회로" 또는 "프로세서 회로 시스템"이라고 불릴 수 있다.

또한, 본 출원의 디코더 및/또는 인코더는 복수의 컴퓨팅 디바이스에서 구현될 수 있고, 서버, 적절하게 프로그래밍된 범용 컴퓨터, 머신 비전 시스템 및 모바일 디바이스를 포함하지만 이에 한정되지 않는다. 디코더 또는 인코더는 하나 또는 복수의 프로세서를 설정하여 본 명세서에 설명된 기능을 수행하는데 사용되는 명령을 포함하는 소프트웨어를 통해 구현될 수 있다. 소프트웨어 명령은 임의의 적절한 비일시적 컴퓨터 판독 가능 메모리에 저장될 수 있고, CD, RAM, ROM 및 플래시 메모리 등을 포함한다.

이해하여야 하는 바로는, 본 명세서에 설명된 디코더 및/또는 인코더, 및 인코더 또는 디코더를 설정하는 방법/프로세스를 구현하는 설명된 모듈, 루틴, 프로세스, 스레드 또는 기타 소프트웨어 컴포넌트는 표준 컴퓨터 프로그래밍 기술과 언어를 사용하여 구현될 수 있다. 본 출원은 특정 프로세서, 컴퓨터 언어, 컴퓨터 프로그래밍 관례, 데이터 구성 및 기타 이러한 구현 세부 사항에 한정되지 않는다. 당업자라면, 설명된 프로세스는 전용 집적 칩(ASIC)의 일부분 등으로 휘발성 또는 비휘발성 메모리에 저장된 컴퓨터 실행 가능한 코드의 일부로서 구현될 수 있는 것을 인식한다.

본 출원은 본 출원에 관련된 부호화 프로세스를 적용하는 것을 통해 생성된 데이터를 부호화하는 컴퓨터 판독 가능 신호를 더 제공한다.

설명된 실시예에 대해 몇 가지 조정 및 수정을 수행할 수 있다. 따라서 상기 토론된 실시예는 한정적인 것이 아니라 예시적인 것으로 간주된다. 특히 실시예는 서로 자유롭게 조합할 수 있다.

Claims (27)

1. 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하는 방법에 있어서,
   상기 방법은,
   상기 비트 스트림 부호화 대상 점 P에 대해, 상기 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적 위치에 따라 선택된, 상기 점군 중 상기 부호화 대상 점 P에 가장 가까운 점을 포함함 -; 및
   상기 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 부호화를 통해 상기 부호화 대상 점 P에 관련된 상기 점 속성을 부호화하는 단계를 포함하는,
   것을 특징으로 하는 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하는 방법.
2. 제1항에 있어서,
   상기 예측 인자 리스트를 결정하는 단계는,
   상기 점군의 k개의 예측 인자 점 P0, …, P(k-1)의 초기 리스트를 결정하는 단계 - 상기 초기 리스트가 상기 점군의 상기 부호화 대상 점 P에 가장 가까운 k개의 점을 포함함 -; 및
   서로의 상대적 위치에 따라, 상기 초기 리스트의 예측 인자 점을 예측 인자 리스트로 선택하는 단계를 포함하는,
   것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 초기 리스트의 예측 인자 점이 선택되지 않은 경우,
   상기 점군의 k부터 k+n-1개까지의 가장 가까운 점 Pk, …, P(k+n-1)에 의해 n개의 예측 인자 점의 후보 리스트를 결정하고,
   상기 후보 리스트의 예측 인자 점에서 상기 초기 리스트의 적어도 하나의 예측 인자 점을 대체하고,
   획득된 리스트의 예측 인자 점의 서로의 상대적 위치에 따라, 획득된 리스트의 예측 인자 점을 예측 인자 리스트로 선택하는,
   것을 특징으로 하는 방법.
4. 제3항에 있어서,
   획득된 예측 인자 리스트가 선택되지 않은 경우, 상기 예측 인자 리스트의 예측 인자 점이 선택될 때까지, 예측 인자 리스트를 획득하도록 적어도 하나의 예측 인자 점을 상기 후보 리스트의 각 예측 인자 점에서 반복적으로 대체하는,
   것을 특징으로 하는 방법.
5. 제2항에 있어서,
   상기 초기 리스트를 대체하거나 또는 상기 예측 인자 리스트의 마지막 예측 인자 점만을 대체하는 것 중 적어도 하나를 수행하는,
   것을 특징으로 하는 방법.
6. 제1항에 있어서,
   k는 3이상인,
   것을 특징으로 하는 방법.
7. 제1항에 있어서,
   상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된 X, Y 및 Z축을 따라 옥탄트로 분할되고, 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치할 경우, 상기 예측 인자 점이 선택되고, 반대 옥탄트가 부호화 대상의 공통점만을 공유하는,
   것을 특징으로 하는 방법.
8. 제1항에 있어서,
   상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된 X, Y 및 Z축을 따라 옥탄트로 분할되고, 적어도 2개의 예측 인자 점이 느슨한 반대 옥턴트에 위치할 경우, 예측 인자 점이 선택되고 느슨한 반대 옥턴트가 하나의 공통 에지만을 공유하는,
   것을 특징으로 하는 방법.
9. 제7항에 있어서,
   초기 리스트 또는 상기 예측 인자 리스트의 예측 인자 점 중 적어도 하나를 선택하는 단계는,
   적어도 2개의 예측 인자 점이 반대 옥탄트에 위치하는지 여부를 결정하고, 그 후에 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는지 여부를 결정하는 단계를 포함하는,
   것을 특징으로 하는 방법.
10. 제3항에 있어서,
    Ti=WХdist(P, Pi)에 의해 적어도 하나의 역치 Ti를 정의하고, 가중치 W>1이고, 또한 Pi가 초기 리스트의 예측 인자 점이고, 상기 후보 리스트의 예측 인자 점으로부터 상기 부호화/복호화 대상 점 P까지의 거리가 Ti보다 작을 경우, 상기 후보 리스트의 예측 인자 점은 상기 초기 리스트의 적어도 하나의 예측 인자 점을 대체할 자격이 있는,
    것을 특징으로 하는 방법.
11. 제2항에 있어서,
    가중치 정보 W 및 n 중의 적어도 하나는 상기 비트 스트림에 포함되는,
    것을 특징으로 하는 방법.
12. 제2항에 있어서,
    상기 비트 스트림은 MPEG G-PCC에 부합되는 비트 스트림이고, 가중치 정보 W 및 n 중의 적어도 하나는 G-PCC 비트 스트림의 속성 파라미터 세트 APS에 존재하는,
    것을 특징으로 하는 방법.
13. 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하는 방법에 있어서,
    상기 방법은,
    상기 비트 스트림의 복호화 대상 점 P에 대해, 상기 점군의 k개의 예측 인자 점의 예측 인자 리스트를 결정하는 단계 - 상기 예측 인자 리스트가 서로의 상대적 위치에 따라 선택된, 상기 점군 중 상기 복호화 대상 점 P에 가장 가까운 점을 포함함 -; 및
    상기 예측 인자 리스트의 예측 인자 점의 속성에 기반하여, 예측 복호화를 통해 상기 복호화 대상 점 P에 관련된 상기 점 속성을 복호화하는 단계를 포함하는,
    것을 특징으로 하는 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하는 방법.
14. 제13항에 있어서,
    상기 예측 인자 리스트를 결정하는 단계는,
    상기 점군의 k개의 예측 인자 점 P0, …, P(k-1)의 초기 리스트를 결정하는 단계 - 상기 초기 리스트가 상기 점군의 상기 부호화 대상 점 P에 가장 가까운 k개의 점을 포함함 -; 및
    서로의 상대적 위치에 따라, 상기 초기 리스트의 예측 인자 점을 예측 인자 리스트로 선택하는 단계를 포함하는,
    것을 특징으로 하는 방법.
15. 제14항에 있어서,
    상기 초기 리스트의 예측 인자 점이 선택되지 않은 경우,
    상기 점군의 k부터 k+n-1개까지의 가장 가까운 점 Pk, …, P(k+n-1)에 의해 n개의 예측 인자 점의 후보 리스트를 결정하고,
    상기 후보 리스트의 예측 인자 점에서 상기 초기 리스트의 적어도 하나의 예측 인자 점을 대체하고,
    획득된 리스트의 예측 인자 점의 서로의 상대적 위치에 따라, 획득된 리스트의 예측 인자 점을 예측 인자 리스트로 선택하는,
    것을 특징으로 하는 방법.
16. 제15항에 있어서,
    획득된 예측 인자 리스트가 선택되지 않은 경우, 상기 예측 인자 리스트의 예측 인자 점이 선택될 때까지, 예측 인자 리스트를 획득하도록 적어도 하나의 예측 인자 점을 상기 후보 리스트의 각 예측 인자 점에서 반복적으로 대체하는,
    것을 특징으로 하는 방법.
17. 제14항에 있어서,
    초기 리스트를 대체하거나 또는 상기 예측 인자 리스트의 마지막 예측 인자 점만을 대체하는 것 중 적어도 하나를 수행하는,
    것을 특징으로 하는 방법.
18. 제13항에 있어서,
    k는 3이상인,
    것을 특징으로 하는 방법.
19. 제13항에 있어서,
    상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된 X, Y 및 Z축을 따라 옥탄트로 분할되고, 적어도 2개의 예측 인자 점이 반대 옥탄트에 위치할 경우, 상기 예측 인자 점이 선택되고, 반대 옥탄트가 부호화 대상의 공통점만을 공유하는,
    것을 특징으로 하는 방법.
20. 제13항에 있어서,
    상기 부호화 대상 점 P 주위의 공간은 부호화/복호화된 X, Y 및 Z축을 따라 옥탄트로 분할되고, 적어도 2개의 예측 인자 점이 느슨한 반대 옥턴트에 위치할 경우, 예측 인자 점이 선택되고 느슨한 반대 옥턴트가 하나의 공통 에지만을 공유하는,
    것을 특징으로 하는 방법.
21. 제19항에 있어서,
    초기 리스트 또는 상기 예측 인자 리스트의 예측 인자 점 중 적어도 하나를 선택하는 단계는,
    적어도 2개의 예측 인자 점이 반대 옥탄트에 위치하는지 여부를 결정하고, 그 후에 적어도 2개의 예측 인자 점이 느슨한 반대 옥탄트에 위치하는지 여부를 결정하는 단계를 포함하는,
    것을 특징으로 하는 방법.
22. 제15항에 있어서,
    Ti=WХdist(P, Pi)에 의해 적어도 하나의 역치 Ti를 정의하고, 가중치 W>1이고, 또한 Pi가 초기 리스트의 예측 인자 점이고, 상기 후보 리스트의 예측 인자 점으로부터 상기 부호화/복호화 대상 점 P까지의 거리가 Ti보다 작을 경우, 상기 후보 리스트의 예측 인자 점은 상기 초기 리스트의 적어도 하나의 예측 인자 점을 대체할 자격이 있는,
    것을 특징으로 하는 방법.
23. 제14항에 있어서,
    가중치 정보 W 및 n 중의 적어도 하나는 상기 비트 스트림에 포함되는,
    것을 특징으로 하는 방법.
24. 제14항에 있어서,
    상기 비트 스트림은 MPEG G-PCC에 부합되는 비트 스트림이고, 가중치 정보 W 및 n 중의 적어도 하나는 G-PCC 비트 스트림의 속성 파라미터 세트 APS에 존재하는,
    것을 특징으로 하는 방법.
25. 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하기 위한 인코더에 있어서,
    프로세서와 메모리 저장 디바이스를 포함하고, 상기 메모리 저장 디바이스에는, 상기 프로세서의 실행 가능한 명령이 저장되고, 상기 명령이 실행될 경우, 상기 프로세서로 하여금 제1항 내지 제12항 중 어느 한 항에 따른 방법을 실행하도록 하는,
    것을 특징으로 하는 비트 스트림에서 점군의 점에 관련된 점 속성을 부호화하기 위한 인코더.
26. 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하기 위한 디코더에 있어서,
    프로세서와 메모리 저장 디바이스를 포함하고, 상기 메모리 저장 디바이스에는 상기 프로세서의 실행 가능한 명령이 저장되고, 상기 명령이 실행될 경우, 상기 프로세서로 하여금 제13항 내지 제24항 중 어느 한 항에 따른 방법을 실행하도록 하는,
    것을 특징으로 하는 비트 스트림에서 점군의 점에 관련된 점 속성을 복호화하기 위한 디코더.
27. 프로세서 실행 가능한 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    프로세서에 의해 실행될 경우, 상기 프로세서 실행 가능한 명령이, 상기 프로세서로 하여금 제1항 내지 제24항 중 어느 한 항에 따른 방법을 실행하도록 하는,
    것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체.