KR20220047189A - 조인트 비트 할당을 통한 포인트 클라우드 압축 방법 및 장치 - Google Patents

Abstract

조인트 비트 할당을 통한 포인트 클라우드 압축 방법 및 장치가 개시된다. 포인트 클라우드 압축 방법은, 입력 포인트 클라우드 프레임의 포인트 클라우드 압축을 위한 장치의 기하 데이터 양자화 파라미터의 기본값과 속성 데이터 양자화 파라미터의 기본값에 기초하여 포인트 당 기하 데이터 비트 수와 포인트 당 속성 데이터 비트 수를 산출하는 단계, 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 입력 포인트 클라우드 프레임에 대한 목표 압축 비트율에 따라 미리 설정된 규칙하에서 가변시키는 단계, 가변시키는 단계의 수행 결과, 최소 RMSE를 갖거나 레이트 왜곡 성능이 가장 좋은 경우의 특정 가중치 인자를 제1 가중치 인자로 결정하는 단계, 및 제1 가중치 인자를 토대로 포인트 당 속성 데이터 비트 수에 곱할 제2 가중치 인자를 획득하는 단계를 포함한다.

Description

조인트 비트 할당을 통한 포인트 클라우드 압축 방법 및 장치{METHOD AND APPRATUS FOR POINT CLOUD COMPRESSION BASED ON JOINT BIT ALLOCATION}

본 발명은 포인트 클라우드 압축에 관한 것으로, 더욱 상세하게는 기하 데이터와 속성 데이터의 비트 수 비율과 연관되는 조인트 비트의 할당을 통해 압축 성능을 향상시킬 수 있는 포인트 클라우드 압축 방법 및 장치에 관한 것이다.

현재 MPEG(moving picture experts group) 포인트 클라우드 압축(point cloud compression, PCC)의 카테고리 1(category 1) 또는 카테고리 3 데이터셋을 위한 앵커 소프트웨어인 기하 정보 기반 포인트 클라우드 압축(geometry based point cloud compression, G-PCC)이 알려져 있다.

통상적으로 G-PCC는 양자화 파라미터(quantization parameter, QP) 설정에 따라 레이트 왜곡(rate distortion, RD) 성능이 다르게 나타나는데, 현재 MPEG G-PCC 앵커 소프트웨어에서는 목표 압축 비트율의 단계들(R1~R6)에 따라 기하 데이터와 속성 데이터 각각에 대한 별도의 양자화 파라미터(QP)를 미리 지정해 둔다.

그러나, 목표 비트율은 통신 환경, 단말 성능, 응용 분야 등에 따라 다양한 값을 가져야 하므로 실제로 몇 개의 지정된 단계로 대응될 수 없다는 것은 자명하다. 따라서, 입력 포인트 클라우드 프레임에 대한 G-PCC에서 목표 비트율의 설정된 단계와 맞지 않는 경우 압축 성능이 크게 저하되므로, 최적의 RD 성능을 제공하는 기하 데이터와 속성 데이터의 QP 조합을 도출해야 할 필요가 있다.

이에 대한 해결방안으로 기하 데이터와 속성 데이터에 대해 가능한 모든 QP 조합으로 압축을 수행한 후 각각의 압축 결과를 비교하여 최적의 RD 성능을 제공하는 조합을 선택할 수 있다. 하지만, 이러한 과정은 높은 복잡도 요구, 많은 압축 시간 필요, 오랜 초기 지연 발생 등의 문제점이 있다. 따라서, 이러한 종래의 문제점을 해결할 수 있는 효과적인 방법이 요구된다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해 도출된 것으로 본 발명의 목적은 G-PCC(geometry based point cloud compression)를 위한 레이트 왜곡 최적화(rate distortion optimization, RDO) 모델을 제공하는 데 있다.

본 발명의 다른 목적은, 계산 복잡도 문제를 해결하기 위해 기하 데이터와 속성 데이터의 압축 시 효율적인 조인트 비트 할당을 통해 목표 압축 비트율을 토대로 기하 데이터 QP를 정한 후 이로부터 바로 속성 데이터의 QP를 도출할 수 있는 RDO 모델을 제공하는 데 있다.

본 발명의 또 다른 목적은, RDO 모델에 기초한 조인트 비트 할당을 이용하는 포인트 클라우드 압축 방법 및 장치를 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 포인트 클라우드 압축 방법은, 3차원 그래픽스, 3차원 렌더링, 비디오 렌더링, 증강 현실, 가상 현실, 스테레오스코픽 화상 통화, 애니메이션, 게임, 방송 또는 이들의 조합을 위한 N차원 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 포인트 클라우드 압축 방법으로서, 입력 포인트 클라우드 프레임의 포인트 클라우드 압축을 위한 장치의 기하 데이터 양자화 파라미터의 기본값과 속성 데이터 양자화 파라미터의 기본값에 기초하여 포인트 당 기하 데이터 비트 수와 포인트 당 속성 데이터 비트 수를 산출하는 단계; 상기 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 상기 입력 포인트 클라우드 프레임에 대한 목표 압축 비트율에 따라 미리 설정된 규칙하에서 가변시키는 단계; 상기 가변시키는 단계의 수행 결과, 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 특정 가중치 인자를 제1 가중치 인자로 결정하는 단계; 및 상기 제1 가중치 인자를 토대로 상기 포인트 당 속성 데이터 비트 수에 곱할 제2 가중치 인자를 획득하는 단계를 포함한다.

일실시예에서, 상기 산출하는 단계는, 포인트 당 비트 수와 양자화 파라미터 간의 관계를 선형 관계로 모델링한 선형 모델을 이용할 수 있다.

일실시예에서, 상기 획득하는 단계는 하기의 [수학식 3]에 기초한 조인트 비트 할당에 따라 상기 제2 가중치 인자를 획득하며, 상기 조인트 비트 할당에서 상기 제1 가중치 인자와 상기 제2 가중치 인자의 합은 1이다:

[수학식 3]

상기 [수학식 3]에서, T는 목표 압축 비트율로 정해지는 비트스트림의 비트의 총 개수 또는 비트스트림 총 크기를, N은 포인트 클라우드의 총 포인트 개수를, G는 포인트 당 기하 데이터 비트 수를, C는 포인트 당 속성 데이터 비트 수를, λ는 G와 C를 조정할 수 있는 가중치 인자를 각각 나타낸다.

일실시예에서, 포인트 클라우드 압축 방법은 상기 제1 가중치 인자에 따라 정해지는 기하 데이터 양자화 파라미터의 보정값과 상기 제2 가중치 인자에 따라 정해지는 속성 데이터 양자화 파라미터의 보정값에 기초하여 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터를 각각 압축하는 단계를 더 포함할 수 있다.

일실시예에서, 포인트 클라우드 압축 방법은, 상기 압축하는 단계 전에, 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터에 대하여 요구되는 품질 정도에 따라 상기 제1 가중치 인자 또는 상기 제2 가중치 인자를 가변시키는 단계를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 포인트 클라우드 압축 방법은, 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 포인트 클라우드 압축 방법으로서, 입력 포인트 클라우드 프레임에 대하여 미리 설정되는 목표 압축 비트율을 획득하는 단계; 상기 목표 압축 비트율에 의한 비트스트림 총 크기에 따라, 그리고 상기 입력 포인트 클라우드 프레임에 대한 통신 환경, 단말 성능, 입력 데이터 종류 또는 이들의 조합에 따라 제1 가중치 인자를 선택하는 단계; 상기 입력 포인트 클라우드 프레임을 포인트 클라우드 압축하는데 사용되는 기하 데이터 양자화 파라미터의 기본값, 상기 비트스트림 총 크기, 상기 제1 가중치 인자, 및 상기 제1 가중치 인자에 기초한 제2 가중치 인자를 토대로 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미티의 보정값을 결정하는 단계; 및 상기 기하 데이터 양자화 파라미터의 보정값과 상기 속성 데이터 양자화 파라미터의 보정값을 토대로 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터를 각각 압축하는 단계를 포함한다.

일실시예에서, 상기 제1 가중치 인자는 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 기하 데이터 양자화 파라미터에 대응하도록 학습되거나 설정되거나 저장된 것일 수 있다.

일실시예에서, 상기 결정하는 단계는 포인트 당 기하 데이터 비트 수와 기하 데이터 양자화 파라미터 간의 선형 관계 모델에 기초하여 수행될 수 있다.

일실시예에서, 포인트 클라우드 압축 방법은, 상기 압축하는 단계 전에, 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터에 대하여 요구되는 품질 정도에 따라 상기 가중치 인자를 가변시키는 단계를 더 포함할 수 있다.

상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 포인트 클라우드 압축 장치는, 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 포인트 클라우드 압축 장치로서, 프로세서; 상기 프로세서에 의해 실행되는 명령어들; 및 상기 명령어들을 저장하는 메모리를 포함한다. 여기서, 상기 프로세서에 의해 실행될 때, 상기 명령어들은 상기 프로세서가: 입력 포인트 클라우드 프레임에 대하여 미리 설정되는 목표 압축 비트율을 획득하는 단계; 상기 목표 압축 비트율에 의한 비트스트림 총 크기에 따라, 그리고 상기 입력 포인트 클라우드 프레임에 대한 통신 환경, 단말 성능, 입력 데이터 종류 또는 이들의 조합에 따라 제1 가중치 인자를 선택하는 단계; 상기 입력 포인트 클라우드 프레임을 포인트 클라우드 압축하는데 사용되는 기하 데이터 양자화 파라미터의 기본값, 상기 비트스트림 총 크기, 상기 제1 가중치 인자, 및 상기 제1 가중치 인자에 기초한 제2 가중치 인자를 토대로 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 결정하는 단계; 및 상기 기하 데이터 양자화 파라미터의 보정값과 상기 속성 데이터 양자화 파라미터의 보정값을 토대로 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터를 각각 압축하는 단계를 수행하도록 한다.

일실시예에서, 상기 제1 가중치 인자는 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 기하 데이터 양자화 파라미터에 대응하도록 학습되거나 설정되거나 저장된 것일 수 있다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 결정하는 단계를 포인트 당 기하 데이터 비트 수와 기하 데이터 양자화 파라미터 간의 선형 관계 모델에 기초하여 수행하도록 할 수 있다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 압축하는 단계 전에, 상기 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터에 대하여 요구되는 품질 정도에 따라 상기 가중치 인자를 가변시키는 단계를 더 수행하도록 할 수 있다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 입력 포인트 클라우드 프레임의 포인트 클라우드 압축을 위한 장치의 기하 데이터 양자화 파라미터의 기본값과 속성 데이터 양자화 파라미터의 기본값에 기초하여 포인트 당 기하 데이터 비트 수와 포인트 당 속성 데이터 비트 수를 산출하는 단계를 더 수행하도록 할 수 있다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 산출하는 단계 후에, 상기 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 상기 입력 포인트 클라우드 프레임에 대한 목표 압축 비트율에 따라 미리 설정된 규칙하에서 가변시키는 단계를 더 수행하도록 할 수 있다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 제1 가중치 인자를 선택하는 단계에서, 상기 가변시키는 단계의 수행 결과에 기초하여 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 특정 가중치 인자를 제1 가중치 인자로 결정하도록 할 수 ldT다

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 제1 가중치 인자를 토대로 상기 포인트 당 속성 데이터 비트 수에 곱할 제2 가중치 인자를 획득하는 단계를 더 수행하도록 할 수 있다.

일실시예에서, 상기 제1 가중치 인자와 상기 제2 가중치 인자의 합은 1이다.

일실시예에서, 상기 명령어들은 상기 프로세서가, 상기 결정하는 단계에서, 하기의 [수학식 1] 내지 [수학식 3]을 토대로 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 결정하도록 할 수 있다:

[수학식 1]

[수학식 2]

[수학식 3]

[수학식 1] 내지 [수학식 3]에서, G는 포인트 당 기하 데이터 비트 수를, C는 포인트 당 속성 데이터 비트 수를, λ는 G와 C를 조정할 수 있는 가중치 인자를,

는 기하 데이터의 양자화 파라미터(QP) 값을,

는

의 계수를,

는

의 상수를,

는 속성 데이터의 QP 값을,

는

의 계수를,

는

의 상수를, T는 목표 압축 비트율로 정해지는 비트스트림의 비트의 총 개수 또는 비트스트림 총 크기, N은 포인트 클라우드의 총 포인트 개수를 각각 나타낸다.

일실시예에서, 상기 프로세서에 탑재되고 상기 명령어들에 의해 해당 기능을 수행하는 구성부들로써, 상기 입력 포인트 클라우드 프레임을 입력 받는 데이터 입력부; 상기 입력 포인트 클라우드 프레임 중 기하 데이터의 좌표를 변환하는 좌표계 변환부; 상기 기하 데이터를 복셀화하는 복셀화 처리부; 상기 복셀화된 기하 데이터의 옥트리를 생성하는 옥트리 생성부; 상기 옥트리 생성부에서 나오는 기하 데이터를 부호화하는 제1 산술부호화부; 상기 입력 포인트 클라우드 프레임 중 속성 데이터의 색상을 변환하는 색상 변환 처리부; 상기 속성 데이터의 속성을 예측하거나 리프링하거나 지역-적응적 계층 변환을 수행하는 속성 변환 처리부; 상기 속성 데이터의 속성을 양자화하는 속성 양자화 처리부; 및 상기 속성 양자화 처리된 속성 데이터를 부호화하는 제2 산술부호화부를 포함할 수 있다.

여기서, 상기 제1 산술부호화부는 상기 기하 데이터 양자화 파라미터의 보정값을 토대로 상기 기하 데이터를 압축하여 압축된 기하 데이터를 생성하고, 상기 제2 산술부호화부는 상기 속성 데이터 양자화 파라미터의 보정값을 토대로 상기 속성 데이터를 압축하여 압축된 속성 데이터를 생성하며, 상기 압축된 기하 데이터와 상기 압축된 속성 데이터는 압축된 포인트 클라우드이고, 상기 압축된 포인트 클라우드는 비트스트림 형태로 변환되어 외부로 전송되는데 이용될 수 있다.

본 발명에 의하면, 종래의 MPEG의 G-PCC(geometry based point cloud compression) 기술에서 지원하지 않았던 레이트 왜곡 최적화(rate distortion optimization, RDO)에 기반하여 조인트 비트를 할당하고 이를 토대로 인코더 등에서 포인트 클라우드 압축 성능을 크게 향상시킬 수 있다.

또한, 본 발명에 의하면, 비디오 기반의 3차원(3D) 그래픽스, 증강현실, 가상현실, 렌더링, 애니메이션, 게임, 방송 등에서의 실감콘텐트 또는 실감미디어를 위한 새로운 포인트 클라우드 압축 기술을 제공할 수 있다.

또한, 본 발명에 의하면, 3차원 그래픽스, 3차원 렌더링, 비디오 렌더링, 증강 현실, 가상 현실, 스테레오스코픽 화상 통화, 애니메이션, 게임, 방송 또는 이들의 조합을 위한 N차원 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 통신 환경, 단말 성능, 입력 데이터 종류 등의 환경이나 조건에 따라 효과적으로 압축할 수 있는 장점이 있다.

또한, 본 발명에 의하면, 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터에 대하여 요구되는 품질 정도에 따라 가중치 인자를 임의로 가변시켜 포인트 클라우드를 원하는 품질로 손쉽게 압축하거나 부호화할 수 있는 장점이 있다.

도 1은 카테고리 1(Category 1) 데이터셋과 카테고리 3 데이터셋의 압축을 위한 본 실시예의 MPEG G-PCC 부호화기를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 방법에 대한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 장치에 대한 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 방법에 대한 흐름도이다.
도 5는 본 실시예의 레이트 왜곡 최적화 모델을 생성하는 과정을 설명하기 위한 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 장치에 대한 블록도이다.
도 7a 내지 도 7i는 본 발명의 실시예에 따른 RDO 모델을 기반으로 한 압축 결과와 MPEG G-PCC의 범용 테스트 조건(common test condition, CTC)에 기반한 압축 결과의 RD 성능을 비교한 제1 내지 제9 예시도들이다.
도 8은 본 발명의 또 다른 실시예에 따른 포인트 클라우드 압축 방법을 이용하는 인코더에 대한 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 카테고리 1(category 1) 데이터셋과 카테고리 3 데이터셋의 압축을 위한 본 실시예의 MPEG G-PCC(geometry based point cloud compression) 부호화기를 설명하기 위한 개략도이다.

도 1을 참조하면, G-PCC 부호화기(10)는 입력 포인트 클라우드 프레임(input point cloud frame)을 부호화(encoding)하여 비트스트림(bitstream)을 출력한다. 입력 포인트 클라우드 프레임은 3차원 공간 상의 위치를 나타내는 기하 데이터와 색상 데이터, 반사(reflectance) 데이터 등을 포함한 속성 데이터를 갖춘 포인트들로 구성될 수 있다. 기하 데이터는 X축, Y축 및 Z축을 가진 3차원 공간의 위치 정보를 가진 데이터를 포함하고, 색상 데이터는 적색(R), 녹색(G) 및 청색(B)에 대한 값들을 가진 데이터를 포함할 수 있다.

입력 포인트 클라우드 프레임은 MPEG에서 사용하는 G-PCC 부호화기(10)를 사용하여 부호화될 수 있는데, 부호화 과정을 수행하고 나면, 출력 값으로 비트스트림을 출력할 수 있다. 비트스트림은 압축된 기하 데이터와 압축된 속성 데이터가 포함될 수 있다.

G-PCC 부호화기(10)는 기하 데이터와 속성 데이터 각각에 대해 별도의 기 지정된 양자화 파라미터(quantization parameter, QP)를 토대로 기하 데이터를 압축한 후 속성 데이터를 압축함으로써 압축 과정을 수행할 수 있다.

특히, 본 실시예에서 G-PCC 부호화기(10)는 조인트 비트 할당을 통한 포인트 클라우드 압축 방법을 이용하도록 구성되거나 포인트 클라우드 압축 장치를 포함하도록 구성된다.

이러한 구성에 의하면, G-PCC 부호화기(10)는, 3차원 그래픽스, 3차원 렌더링, 비디오 렌더링, 증강 현실, 가상 현실, 스테레오스코픽 화상 통화, 애니메이션, 게임, 방송 또는 이들의 조합을 위한 데이터로써 3차원이나 N차원 좌표 공간에 있는 포인트 클라우드의 입력 포인트 클라우드 프레임을 압축하거나 부호화할 때, 통신 환경, 단말 성능, 입력 데이터 종류 등의 환경이나 조건에 따라 입력 포인트 클라우드 프레임의 포인트 당 기하 데이터의 비트 수에 대한 가중치 인자와 포인트 당 속성 데이터의 비트 수에 대한 가중치 인자를 별도로 설정하고, 그에 따라 보정되는 양자화 파라미터에 기초하여 기하 데이터를 압축하고 속성 데이터를 압축할 수 있다.

도 2는 본 발명의 일 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 방법에 대한 흐름도이다.

본 실시예의 포인트 클라우드 압축 방법을 채용할 수 있는 G-PCC 부호화기 또는 G-PCC 부호화기에 탑재되는 포인트 클라우드 압축 장치는, 개별 양자화 파라미터(QP)에 의해 제어되는 부호화 과정을 통해 압축된 기하 데이터 및 압축된 속성 데이터에 대해 미리 결정된 크기를 갖는 비트스트림을 출력할 수 있다.

구체적으로, 도 2에 도시한 바와 같이, 개별 양자화 파라미터를 획득하기 위한 포인트 클라우드 압축 방법은, 먼저 기하 데이터의 포인트 당 비트 수를 계산하고, 속성 데이터의 포인터 당 비트 수를 계산한다(S21).

본 단계(S21)에서는 입력 포인트 클라우드 프레임의 포인트 클라우드 압축을 위한 장치의 기하 데이터 양자화 파라미터의 기본값과 속성 데이터 양자화 파라미터의 기본값에 기초하여 포인트 당 기하 데이터 비트 수와 포인트 당 속성 데이터 비트 수를 산출할 수 있다.

다음, 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 목표 압축 비트율에 기초하여 가변한다(S23).

본 단계(S23)는 입력 포인트 클라우드 프레임에 대한 목표 압축 비트율에 따라 미리 설정된 규칙하에서 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 가변시키도록 실행될 수 있다.

목표 압축 비트율은 통상 미리 설정되어 저장 장치에 저장될 수 있으나, 이에 한정되지 않고 실시간 네트워크를 통해 획득하는 것도 가능하다.

다음, 가변 단계(S23)의 수행 결과, 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우에 대응하는 특정 가중치 인자를 제1 가중치 인자로 결정한다(S25).

다음, 제1 가중치 인자를 토대로 포인트 당 속성 데이터 비트 수에 곱할 제2 가중치 인자를 획득한다(S27).

본 실시예에서 제1 가중치 인자는 포인트 당 기하 데이터 비트 수와 기하 데이터의 양자화 파라미터 간의 관계를 선형 관계로 모델링한 결과에 기초하여 사용된 것이다. 이와 유사하게, 제2 가중치 인자는 포인트 당 속성 데이터 비트 수와 속성 데이터의 양자화 파라미터 간의 관계를 선형 관계로 모델링한 결과에 기초하여 사용된 것이다. 그리고, 본 실시예에서는 제1 가중치 인자와 제2 가중치 인자의 합을 1로 설정함으로써 제2 가중치 인자를 간단히 계산하여 도출할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 장치에 대한 블록도이다. 도 4는 본 발명의 또 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 방법에 대한 흐름도이다.

도 3을 참조하면, 포인트 클라우드 압축 장치(100)는 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 장치로서, 적어도 하나의 프로세서(processor, 110) 및 적어도 하나의 프로세서(110)가 일련의 단계들을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(120)를 포함한다.

즉, 명령어들에 의해 프로세서는, 입력 포인트 클라우드 프레임에 대하여 미리 설정되는 목표 압축 비트율을 획득하는 단계; 목표 압축 비트율에 의한 비트스트림 총 크기에 따라, 그리고 입력 포인트 클라우드 프레임에 대한 통신 환경, 단말 성능, 입력 데이터 종류 또는 이들의 조합에 따라 제1 가중치 인자를 선택하는 단계; 입력 포인트 클라우드 프레임을 포인트 클라우드 압축하는데 사용되는 기하 데이터 양자화 파라미터의 기본값, 비트스트림 총 크기, 제1 가중치 인자, 및 제1 가중치 인자에 기초한 제2 가중치 인자를 토대로 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 결정하는 단계; 및 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 토대로 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터를 각각 압축하는 단계를 수행하도록 구성될 수 있다.

또한, 포인트 클라우드 압축 장치(100)는 유선, 무선 또는 유무선 네트워크를 통해 기지국과 통신을 수행하는 송수신 장치(transceiver, 130)를 포함할 수 있고, 입력, 출력 또는 입출력을 위한 인터페이스 장치(140), 저장 장치(150) 등을 더 포함할 수 있다. 포인트 클라우드 압축 장치(100)의 구성 요소들은 버스(bus, 160)에 의해 서로 연결되어 신호 및 데이터를 주고받을 수 있다.

프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 포함할 수 있다.

메모리(120) 및 저장 장치(150) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 형성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 어느 하나로 구성될 수 있다.

또한, 전술한 프로세서(110)는 전자적으로 연결되는 메모리(120)에 저장되는 명령어들이나 이 명령어들에 의해 구현되는 프로그램이나 소프트웨어 모듈들을 탑재하고, 상기의 명령어들에 의해, 본 실시예의 포인트 클라우드 압축 방법을 구현하는 일련의 단계들을 수행할 수 있다.

이러한 소프트웨어 모듈들은, 본 실시예의 포인트 클라우드 압축 장치에 채용할 수 있고 프로세서(110)에 탑재가능한 기능부 혹은 구성부로써, 도 4에 나타낸 바와 같이, 비트 수 산출부(111), 가중치 인자 가변부(112), 가중치 인자 결정부(113) 및 QP 값 계산부(114)를 포함할 수 있다. 이러한 소프트웨어 모듈들(111 내지 114)은 도 2를 참조하여 앞서 설명한 단계들(S21 내지 S27) 중 적어도 일부에 각각 대응하는 기능을 수행할 수 있다.

또한, 비트 수 산출부(111)에서 산출되는 포인트 당 비트 수는 부호화 후 생성되는 비트스트림의 목표 크기(T)를 원본 포인트 클라우드의 총 포인트 개수(N)로 나눈 값으로 설정될 수 있다(수학식 3 참조). 하나의 포인트에 대한 비트 수는 기하 데이터에 대한 비트 수와 속성 데이터에 대한 비트 수로 구성될 수 있다.

도 5는 본 실시예의 레이트 왜곡 최적화(rate distortion optimization, RDO) 모델을 생성하는 과정을 설명하기 위한 블록도이다.

도 5를 참조하면, 본 실시예에서는 카테고리 1(Category 1) 데이터셋 중 8개의 3차원(3D) 포인트 클라우드 데이터를 선택하여 훈련 데이터(training sequences)로서 활용한다.

QP 값과 포인트 당 비트 수(bits per point) 간의 상관 관계를 살펴보고자 훈련 데이터에 대해 QP 값을 변경해가며 포인트 당 비트 수의 변화를 관찰할 수 있다. 실험 결과, 포인트 당 비트 수와 QP 값 간에 대략적인 선형 관계가 존재함을 확인하였다.

이를 토대로, 기하 데이터 및 속성 데이터의 RD(rate distortion) 모델을 수학식 1 및 수학식 2와 같이 설계할 수 있다.

수학식 1 및 수학식 2에서, G는 포인트 당 기하 데이터 비트 수를, C는 포인트 당 속성 데이터 비트 수를,

는 기하 데이터의 양자화 파라미터(QP) 값을,

는

의 계수를,

는

의 상수를,

는 속성 데이터의 QP 값을,

는

의 계수를,

는

의 상수를 각각 나타낸다.

수학식 1과 수학식 2에서 알 수 있듯이, 본 실시예에서는 포인트 당 비트 수와 QP 값 간의 관계를 선형 관계로 모델링한다. 또한, 본 실시예에서는 양자화 파라미터의 계수

및

와 상수

및

를 훈련 데이터를 통해 실험적으로 도출한 값을 이용하였는데, 본 발명은 이에 한정되지 않고, 임의의 다양한 다른 방법들 중 적어도 어느 하나를 사용하여 양자화 파라미터의 계수와 상수를 지정하거나 결정하는 것이 가능하다.

본 실시예에서는 최종 RDO 모델을 수학식 3과 같이 설계할 수 있다.

위의 수학식 3에서, T는 목표 압축 비트율로 정해지는 비트스트림의 비트의 총 개수 또는 비트스트림 총 크기, N은 포인트 클라우드의 총 포인트 개수를 각각 나타내고, λ는 G와 C를 조정할 수 있는 가중치 인자를 나타낸다.

RDO 모델을 위한 훈련 데이터셋을 나타내면 다음의 표 1과 같다.

본 실시예에 의하면, 가중치 인자(λ)를 고려하여 포인트 당 기하 데이터 비트 수(G)와 포인트 당 속성 데이터 비트 수(C)를 계산할 수 있다. 그리고, 계산된 포인트 당 기하 데이터 비트 수(G)와 포인트 당 속성 데이터 비트 수(C)로부터 기하 데이터의 QP 값(Qg)과 속성 데이터의 QP 값(Qc)를 계산할 수 있다. 이 과정은 수학식 1과 수학식 2를 이용할 수 있고, 미리 설정된 양자화 파라미터의 계수와 상수가 이용될 수 있다.

또한, 본 실시예의 구성에 의하면, 기대하거나 요구되는 기하 데이터와 속성 데이터의 품질 정도에 따라 가중치 인자를 가변적으로 적용할 수 있다.

이와 같이, 본 실시예에 의하면, 종래 기술의 문제 즉, 기하 데이터와 속성 데이터에 대해 가능한 모든 QP 조합으로 압축을 수행한 후 각각의 압축 결과를 비교하여 최적의 RD 성능을 제공하는 조합을 선택함으로써 발생하는 높은 복잡도 요구, 많은 압축 시간 필요, 오랜 초기 지연 발생 등의 문제를 크게 개선할 수 있다.

즉, 기존의 MPEG G-PCC 압축 기술은 목표 압축 비트율 단계(R1~R6)에 따라 기하 데이터와 속성 데이터 각각에 대해 별도의 기지정된 QP를 토대로 기하 데이터를 압축한 후 속성 데이터를 압축함으로써 압축 과정을 수행하게 되지만, 통신 환경, 단말 성능, 응용 분야 등에 따라 다양한 목표 비트율이 제시될 필요가 있고, 따라서 목표 비트율에 대해 최적의 RD 성능을 제시하는 QP 조합을 도출하기 위한 계산 복잡도 측면에서 효율적인 방법이 필수적으로 요구된다. 이에, 본 발명에서는 기하 데이터와 속성 데이터에 대한 QP 조합을 이용한 RDO 모델에 근거하여 간단한 계산식을 통해 양자화 파라미터를 도출함으로써, 전술한 종래의 문제점을 해결할 수 있다.

도 6은 본 발명의 또 다른 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 장치에 대한 블록도이다.

도 6을 참조하면, 포인트 클라우드 압축 장치는, 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 장치로서, 목표 비트 압축율 획득부(115), 가중치 인자 선택부(116), 가중치 인자 조정부(117), 양자화 파라미터(QP) 보정값 결정부(118) 및 데이터 압축부(119)를 포함한다.

목표 비트 압축율 획득부(115)는 입력 포인트 클라우드 프레임에 대하여 미리 설정되는 목표 압축 비트율을 획득할 수 있다.

가중치 인자 선택부(116)는 목표 압축 비트율에 의한 비트스트림 총 크기에 따라, 그리고 입력 포인트 클라우드 프레임에 대한 통신 환경, 단말 성능, 입력 데이터 종류 또는 이들의 조합에 따라 제1 가중치 인자를 선택할 수 있다.

제1 가중치 인자는 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 기하 데이터 양자화 파라미터에 대응하도록 학습되거나 설정되거나 저장된 것일 수 있다.

가중치 인자 조정부(117)는 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터에 대하여 요구되는 품질 정도에 따라 앞서 선택된 제1 가중치 인자를 다른 가중치 인자로 변경시킬 수 있다. 가중치 인자 조정부(117)는 미리 설정된 범위나 단계들에서 앞서 선택된 제1 가중치 인자를 다른 가중치 인자로 대체할 수 있다.

QP 보정값 결정부(118)는 입력 포인트 클라우드 프레임을 포인트 클라우드 압축하는데 사용되는 기하 데이터 양자화 파라미터의 기본값, 비트스트림 총 크기, 제1 가중치 인자, 및 제1 가중치 인자에 기초한 제2 가중치 인자를 토대로 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 결정할 수 있다.

양자화 파라미터의 결정은 포인트 당 기하 데이터 비트 수와 기하 데이터 양자화 파라미터 간의 선형 관계 모델에 기초하여 수행될 수 있다. 또한, 이와 유사하게, 포인트 당 속성 데이터 비트 수와 속성 데이터의 양자화 파라미터 간의 선형 관계 모델에 기초하여 수행될 수 있다.

데이터 압축부(119)는 기하 데이터 양자화 파라미터의 보정값과 속성 데이터 양자화 파라미터의 보정값을 토대로 입력 포인트 클라우드 프레임의 기하 데이터와 속성 데이터를 각각 압축할 수 있다.

본 실시예에 의하면, 통신 환경, 단말 성능, 응용 분야 등에 따라 미리 설정되는 목표 비트율에 대해 최적의 RD 성능을 제시하는 QP 조합을 도출하기 위하여, 기하 데이터와 속성 데이터에 대한 QP 조합 즉, 조인트 비트 할당을 기반으로 하는 레이트 왜곡 최적화(RDO) 모델을 이용하여 간단한 계산식에 의해 각 데이터의 양자화 파라미터를 도출할 수 있고 그에 의해 종래의 문제점을 해결할 수 있다.

도 7a 내지 도 7i는 본 발명의 실시예에 따른 RDO 모델을 기반으로 한 압축 결과와 MPEG G-PCC의 common test condition(CTC)에 기반한 압축 결과의 RD 성능을 비교한 제1 내지 제9 예시도들이다.

도 7a 내지 도 7i를 참조하면, 본 실시예에 따른 조인트 비트 할당을 통한 포인트 클라우드 압축 방법은 범용 테스트 압축(CTC)에 기반하는 결과와 매우 유사한 결과를 제시함을 확인할 수 있다.

즉, 본 실시예(proposed)의 압축 결과(주황색 곡선)가 압축 성능 면에서 범용 테스트 압축(CTC)의 압축 결과와 유사하거나 조금 더 우수한 것으로 나타났다.

도 7a 내지 도 7i의 압축 결과 비교를 위한 테스트 데이터셋을 나타내면 다음의 표 2와 같다.

도 7a 내지 도 7i와 표 2에서 볼 수 있듯이, 즉 카테고리 1의 데이터셋 8개를 훈련 데이터로 사용한 압축 실험 결과에서와 같이, 본 실시예의 선형 근사 모델들은 모든 실험 대상 모델들 중에서 최소 RMSE(root mean square error)를 보여준다. 여기서, 비교예들의 가중치 인자는 0.5로 설정되었다.

본 실험에서 사용한 양자화 파라미터의 계수와 상수를 나타내면 다음의 표 3과 같다.

실험 결과, 본 실시예의 인코더의 RD(rate distortion) 성능은 CTC를 이용하는 TMC13의 성능에 근접한 것을 알 수 있다.

이와 같이, 본 실시예에 따른 포인트 클라우드 압축 방법은 함수화(function approximation)를 통한 최소 RMSE를 찾고 이를 통해 RDO 모델을 형성한 후, RDO 모델에 기초하여 QP를 유의미하게 결정하는 것으로 표현될 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 포인트 클라우드 압축 방법을 이용하는 인코더에 대한 블록도이다.

도 8을 참조하면, 포인트 클라우드 압축 장치는 데이터 입력부(310), 좌표계 변화부(320), 복셀화 처리부(340), 옥트리 생성부(360; 362), 제1 산술부호화부(380), 색상 변환 처리부(330), 제1 속성 변환 처리부(350), 제2 속성 변환 처리부(352), 속성 양자화 처리부(370), 제2 산술부호화부(390), 제어부(110), 제1 저장부(122) 및 제2 저장부(220)를 포함한다.

데이터 입력부(310)는 입력 포인트 클라우드 프레임을 입력 받는다. 데이터 입력부(310)는 기하 데이터(G, 311)와 속성 데이터(A, 312)를 분리할 수 있다.

좌표계 변환부(320)는 입력 포인트 클라우드 프레임 중 기하 데이터의 좌표를 변환한다.

복셀화 처리부(340)는 기하 데이터를 복셀화한다.

옥트리 생성부(360)(이하 제1 옥트리 생성부)는 복셀화된 기하 데이터의 옥트리를 생성한다. 또한, 옥트리 생성부(362)(이하 제2 옥트리 생성부)는 가지치기된 옥트리(pruned octree)를 생성하는 옥트리부(364)와 표면 모델을 생성하는 표면 모델부(366)를 포함한 구조를 가질 수 있다.

제1 산술부호화부(380)는 옥트리 생성부(360; 362)에 연결되어 옥트리 생성부에서 나오는 기하 데이터를 압축한다. 제1 산술부호화부(380)는 기하 데이터 양자화 파라미터의 보정값을 토대로 기하 데이터를 압축하여 압축된 기하 데이터를 생성할 수 있다.

색상 변환 처리부(330)는 입력 포인트 클라우드 프레임 중 속성 데이터의 색상을 변환한다.

제1 속성 변환 처리부(350) 및 제2 속성 변환 처리부(352)는 속성 데이터의 속성을 예측(predict)하거나 리프링(lifting)하거나 지역-적응적 계층 변환(RAHT)을 수행한다.

속성 양자화 처리부(370)는 속성 데이터의 속성을 양자화(quantize)한다.

제2 산술부호화부(390)는 속성 양자화 처리된 속성 데이터를 압축한다. 제2 산술부호화부(390)는 속성 데이터 양자화 파라미터의 보정값을 토대로 속성 데이터를 압축하여 압축된 속성 데이터를 생성할 수 있다.

압축된 기하 데이터와 압축된 속성 데이터는 압축된 포인트 클라우드이고, 압축된 포인트 클라우드는 비트스트림 형태로 변환되어 외부로 전송되는데 이용될 수 있다.

이를 위해, 포인트 클라우드 압축 장치의 제어 장치 혹은 프로세서(110)가 소정의 결합 수단 혹은 제어 수단(102, 104) 등을 통해 데이터 입력부(310), 산술부호화부(380, 390) 등의 부호화기의 구성부들에 결합될 수 있다.

프로세서(110)는 부호화기의 내부 혹은 외부에 설치되는 제1 저장부(122)에서 목표 비트율에 대한 정보를 획득할 수 있고, 제2 저장부(220)에서 훈련 결과(training results)를 획득할 수 있다.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 정보가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 좌표 공간에 있는 포인트 클라우드에 대한 입력 포인트 클라우드 프레임을 압축하는 포인트 클라우드 압축 방법으로서,
   입력 포인트 클라우드 프레임의 포인트 클라우드 압축을 위한 장치의 기하 데이터 양자화 파라미터의 기본값과 속성 데이터 양자화 파라미터의 기본값에 기초하여 포인트 당 기하 데이터 비트 수와 포인트 당 속성 데이터 비트 수를 산출하는 단계;
   상기 포인트 당 기하 데이터 비트 수에 곱할 가중치 인자를 상기 입력 포인트 클라우드 프레임에 대한 목표 압축 비트율에 따라 미리 설정된 규칙하에서 가변시키는 단계;
   상기 가변시키는 단계의 수행 결과, 최소 RMSE(root mean square error)를 갖거나 레이트 왜곡(rate distortion) 성능이 가장 좋은 경우의 특정 가중치 인자를 제1 가중치 인자로 결정하는 단계; 및
   상기 제1 가중치 인자를 토대로 상기 포인트 당 속성 데이터 비트 수에 곱할 제2 가중치 인자를 획득하는 단계;
   를 포함하는 포인트 클라우드 압축 방법.

Images