KR20230073972A

KR20230073972A - 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치

Info

Publication number: KR20230073972A
Application number: KR1020220119086A
Authority: KR
Inventors: 안용조; 이종석; 허진; 박승욱
Original assignee: 현대자동차주식회사; 기아 주식회사; 디지털인사이트 주식회사
Priority date: 2021-11-19
Filing date: 2022-09-21
Publication date: 2023-05-26

Abstract

포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치에 관한 개시로서, 본 실시예는, 라이다 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공한다.

Description

포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치{Method and Apparatus for Lidar Point Cloud Coding Using Point-by-point Prediction}

본 개시는 포인트 단위 예측을 이용하는 라이다 포인트 클라우드 코딩 방법 및 장치에 관한 것이다.

이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

종래의 포인트 클라우드 압축 기술은 일정 시간 동한 획득한 포인트들을 모아서 부호화 및 복호화를 수행한다. 라이다(lidar)로부터 획득된 포인트 클라우드에 대해 특정 응용에 따라서 고속 획득, 압축 및 전송이 필요하다. 이를 위하여 포인트 단위로 부호화/복호화가 수행될 수 있는데, FIFO(First-In-Frist-Out) 버퍼를 이용하여 부호화된 포인트들이 저장되고, 이후 포인트들을 부호화 시 저장된 포인트들이 사용될 수 있다. 또한, 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 포인트들의 부호화 방법이 개선될 필요가 있다.

본 개시는, 라이다 포인트 클라우드 코딩의 부호화 효율을 향상시키기 위해, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공하는 데 목적이 있다.

본 개시의 실시예에 따르면, 포인트 클라우드(point cloud) 복호화 장치가 수행하는, 현재 포인트를 복호화하는 방법에 있어서, 비트스트림으로부터 양자화된 잔차 포인트(residual point), 양자화 파라미터, 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 복호화하는 단계; 상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및 상기 복원 현재 포인트를 버퍼에 저장하는 단계를 포함하는 것을 특징으로 하는, 방법을 제공한다.

본 개시의 다른 실시예에 따르면, 포인트 클라우드(point cloud) 부호화 장치가 수행하는, 현재 포인트를 부호화하는 방법에 있어서, 상기 현재 포인트를 획득하는 단계; 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계; 양자화 파라미터를 결정하는 단계; 상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및 상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 방법을 제공한다.

본 개시의 다른 실시예에 따르면, 포인트 클라우드 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드 부호화 방법은, 현재 포인트를 획득하는 단계; 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계; 상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계; 상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계; 상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계; 양자화 파라미터를 결정하는 단계; 상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및 상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는, 기록매체를 제공한다.

이상에서 설명한 바와 같이 본 실시예에 따르면, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공함으로써, 라이다 포인트 클라우드 내 시공간의 중복성을 제거하여 부호화 효율을 향상시키는 것이 가능해지는 효과가 있다.

도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화 장치를 나타내는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화 장치를 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드의 부호화/복호화 순서를 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른, 예측 후보 리스트를 사용하는 포인트 예측을 나타내는 예시도이다.
도 5는 본 개시의 일 실시예에 따른, 두 개의 예측 후보 리스트들을 사용하는 포인트 예측을 나타내는 예시도이다.
도 6은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 부호화하는 방법을 나타내는 순서도이다.
도 7은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 복호화하는 방법을 나타내는 순서도이다.

이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 실시예는 포인트 단위 예측을 이용하는 라이다(lidar) 포인트 클라우드 코딩 방법 및 장치에 관한 내용을 개시한다. 보다 자세하게는, 이전에 복호화된 포인트 클라우드를 이용하여 현재 부호화/복호화하고자 하는 포인트를 예측하는 포인트 클라우드 코딩 장치 및 방법을 제공한다.

도 1은 본 개시의 일 실시예에 따른 포인트 클라우드 부호화 장치를 나타내는 블록도이다.

본 실시예에 따른 포인트 클라우드 부호화 장치(이하, '부호화 장치'와 호환적으로 사용)는 이전에 복호화된 포인트 클라우드에 기초하는 현재 포인트의 예측을 이용하여 현재 포인트를 부호화한다. 부호화 장치는 좌표계 변환부(102), 감산부(106), 잔차 좌표계 변환부(108), 양자화부(110), 엔트로피 부호화부(112), 예측부(114), 저장부(116), 합산부(118), 잔차 좌표계 역변환부(120) 및 역양자화부(122)의 전부 또는 일부를 포함할 수 있다.

좌표계 변환부(102)는 일정 시간 동안 포인트 클라우드를 획득한다. 포인트 클라우드 내 각 포인트는 포인트별 위치를 나타내는 기하 정보, 및 포인트의 값을 나타내는 속성 정보를 가질 수 있다. 포인트의 기하 정보는 라이다의 출력 형태에 따라 상이한 좌표계를 가질 수 있다. 예를 들어, 원통 형태의 라이다는 일반적으로 원통 좌표계를 이용하여 포인트 클라우드를 획득할 수 있다. 또는, 직사각형의 판형 라이다는 직교 좌표계를 사용할 수 있다. 따라서, 포인트 클라우드에 대해 포인트 클라우드의 좌표계로부터 부호화 장치 내부에서 사용하는 좌표계로 기하 정보의 좌표계를 변환하는 것이 필요할 수 있다. 좌표계 변환부(102)는 부호화 장치에 적합하도록 좌표계를 변환한 후, 변환된 포인트를 감산부(106)로 전달한다.

한편, 포인트 클라우드 내 각 포인트는 라이다에 따라 다양한 속성 정보를 가질 수 있다. 예를 들어, 가장 일반적인 라이다는 반사 계수(reflection coefficient)를 측정하므로, 속성 정보는 반사 계수 값을 포함할 수 있다. 반사 계수는 물체의 표면 특성마다 상이하므로, 동일한 물체는 유사한 반사 계수를 가질 수 있다. 다른 예로서, 라이다가 다수의 레이저들 외에 CCD 센서들을 같이 포함하는 경우, 속성 정보는 RGB, YCbCr, YCoCg 등과 같은 다수의 채널들의 색상 정보를 포함할 수 있다.

예측부(114)는 저장된 복원된 포인트들을 이용하여 현재 포인트를 예측함으로써 예측 포인트를 생성할 수 있다. 생성된 예측 포인트는 감산부(106) 및 합산부(118)로 전달될 수 있다. 예측부(114)는 고속 부호화를 위하여, 최근 부호화된 일정 개수의 포인트들만을 이용하여 현재 포인트를 예측할 수 있다. 이때, 예측에 사용할 포인트의 최대 개수는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.

또한, 현재 포인트와 공간적으로 인접한 포인트들을 이용하여 현재 포인트를 예측할 수 있다. 공간적으로 인접한 포인트들은 현재 포인트와 이미 복원된 포인트들의 기하 정보를 기반으로 결정될 수 있다. 또는, 예측부(114)는 시간적으로 인접한 포인트들과 공간적으로 인접한 포인트들 중 어느 포인트들을 사용할지를 결정한 후, 결정된 포인트들을 예측에 사용할 수 있다. 이러한 결정을 위한 플래그는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.

또는, 예측부(114)는 예측에 사용될 포인트들을 구별하고 이들을 저장한 후, 이후 예측에 사용할 수 있다. 저장될 포인트들의 개수는 엔트로피 부호화부(104)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전송될 수 있다.

한편, 포인트 클라우드 내 포인트들 중 백그라운드(background) 또는 백그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측부(114)는 예측을 수행할 수 있다. 즉, 포어그라운드(foreground) 또는 포어그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측이 생략될 수 있다. 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그는 부호화 장치에 의해 포인트 클라우드 복호화 장치로 시그널링될 수 있다.

감산부(106)는 현재 포인트로부터 예측 포인트(predicted point)을 감산하여 잔차 포인트(residual point)를 생성할 수 있다. 감산부(106)는 잔차 포인트 생성 시, 기하 정보 및 속성 정보 모두에 대해 감산을 적용할 수 있다. 이때, 이전 포인트와 현재 포인트 간 거리에 대한 오프셋이 더해진 후, 기하 정보에 대해 감산이 적용될 수 있다. 감산부(106)는 잔차 포인트를 잔차 좌표계 변환부(108)로 전달할 수 있다. 예측 포인트는 예측부(114)로부터 전달될 수 있다.

잔차 좌표계 변환부(108)는 부호화 측면에서 효율적인 좌표계로 잔차 포인트의 좌표계를 변환할 수 있다. 이때, 잔차 포인트의 기하 정보에 대해 그 잔차 값들만의 좌표계가 변환될 수 있다. 또는, 기하 정보의 잔차 값들을 좌표계 변환하고, 변환된 기하 정보를 기반으로 잔차 포인트의 속성 정보를 다시 계산하거나 필터링하여, 속성 정보가 수정될 수 있다. 좌표계 변환된 잔차 포인트는 양자화부(110)로 전달될 수 있다. 이때, 잔차 좌표계 변환을 위한 정보는 엔트로피 부호화부(112)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전달될 수 있다.

양자화부(110)는 양자화 파라미터를 이용하여 잔차 포인트를 양자화한 후, 양자화된 포인트를 엔트로피 부호화부(112) 및 역양자화부(122)로 전달할 수 있다. 양자화 파라미터는 부호화 효율 최적화 측면에서 결정될 수 있다. 한편, 양자화부(110)는 기하 정보와 속성 정보에 대해 별도로(separately) 양자화를 수행할 수 있다. 이를 위해, 기하 정보 및 속성 정보에 대해 별도의 양자화 파라미터가 이용될 수 있다. 양자화 파라미터는 엔트로피 부호화부(112)에 의해 부호화된 후, 포인트 클라우드 복호화 장치로 전달될 수 있다. 또는, 부호화 장치는 기하 정보와 속성 정보에 대해 동일한 양자화 파라미터를 사용할지 여부를 지시하는 플래그를 결정한 후, 이를 포인트 클라우드 복호화 장치로 전달할 수 있다. 포인트 클라우드 복호화 장치는 해당 플래그를 복원한 후, 해당 플래그에 기초하여 하나 또는 두 개의 양자화 파라미터들을 복호화할 수 있다.

엔트로피 부호화부(112)는 양자화된 잔차 포인트를 엔트로피 부호화하여 비트스트림을 생성할 수 있다. 또는, 엔트로피 부호화부(112)는 고속처리를 위하여 부호화를 수행하지 않고, 바이트(byte) 단위로 부호화 정보를 패킹(packing)하여 비트스트림을 생성할 수 있다. 또는, 엔트로피 부호화를 위해, 컨텍스트에 적응적인 다수의 심볼들에 기초하는 산술 부호화가 사용될 수 있다. 또는, CABAC(Context Adaptive Binary Arithmetic Coding)을 이용하여 양자화된 잔차 포인트가 부호화될 수 있다. 또는 허프만 코딩(Huffman coding)과 같은 엔트로피 부호화 방법이 사용될 수 있다. 또는, 다수의 학습용 데이터를 이용하여 학습된 심층신경망이 사용될 수 있다.

엔트로피 부호화부(112)는 포인트의 부호화와 관련된 파라미터들을 부호화하여 비트스트림에 추가할 수 있다. 여기서, 파라미터들은 예측의 적용 여부를 지시하는 플래그, 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보를 포함한다. 포인트의 부호화 방법에 따라 파라미터들은 추가적인 정보를 포함할 수 있는데, 이는 추후 기술된다.

역양자화부(122)는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원할 수 있다. 복원된 잔차 포인트는 잔차 좌표계 역변환부(120)로 전달될 수 있다.

잔차 좌표계 역변환부(120)는 복원된 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한 후, 합산부(118)로 전달할 수 있다.

합산부(118)는 좌표계 역변환된 잔차 포인트과 예측부(114)로부터 전달받은 예측 포인트를 합산하여 현재 포인트를 복원할 수 있다. 복원된 포인트는 저장부(116)로 전달될 수 있다.

저장부(116)는 복원된 포인트를 버퍼에 저장할 수 있다. 저장부(116)는 저장된 하나 또는 다수의 포인트들을 예측부(114)로 전달할 수 있다.

도 2는 본 개시의 일 실시예에 따른 포인트 클라우드 복호화 장치를 나타내는 블록도이다.

본 실시예에 따른 포인트 클라우드 복호화 장치(이하, '복호화 장치'와 호환적으로 사용)는 포인트를 복호화하여 라이다 포인트 클라우드를 생성한다. 복호화 장치는 엔트로피 복호화부(202), 역양자화부(204), 잔차 좌표계 역변환부(206), 합산부(208), 저장부(210), 좌표계 변환부(212) 및 예측부(214)의 전부 또는 일부를 포함한다.

엔트로피 복호화부(202)는 부호화 장치로부터 전달받은 비트스트림을 엔트로피 복호화하여 양자화된 잔차 포인트를 생성할 수 있다. 생성된 잔차 포인트는 역양자화부(204)로 전달될 수 있다. 또한, 복호화 장치에서 사용될 수 있도록 하기 위해, 엔트로피 복호화부(202)는 부호화 장치에서 사용된 다양한 파라미터들을 복호화한다. 파라미터들은, 예컨대, 양자화 파라미터, 잔차 좌표계 변환을 위한 정보 등을 포함한다. 파라미터들이 포함하는 다른 정보는 추후 기술된다.

역양자화부(204)는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원할 수 있다. 복원된 잔차 포인트는 잔차 좌표계 역변환부(206)로 전달될 수 있다.

잔차 좌표계 역변환부(206)는, 잔차 좌표계 변환을 위한 정보를 이용하여 전달받은 복원된 잔차 포인트에 대해 기하 정보의 좌표계를 역변환할 수 있다. 역변환된 잔차 포인트는 합산부(208)로 전달될 수 있다.

예측부(214)는 저장된 복원된 포인트들을 이용하여 현재 포인트를 예측함으로써 예측 포인트를 생성할 수 있다. 생성된 예측 포인트는 합산부(208)로 전달될 수 있다.

전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드(background) 또는 백그라운드에 해당하는 객체들에 포함된 포인트들에 대해 예측부(214)는 예측을 수행할 수 있다. 예측부(214)는 부호화 장치에 의해 전달된 예측의 적용 여부를 지시하는 플래그에 기초하여 각 포인트에 대해 예측 여부를 결정할 수 있다.

합산부(208)는 좌표계 역변환된 잔차 포인트와 예측부(214)로부터 전달받은 예측 포인트를 합산하여 현재 포인트를 복원할 수 있다. 복원된 포인트는 저장부(210)로 전달될 수 있다.

저장부(210)는 복원된 포인트를 버퍼에 저장할 수 있다. 저장된 포인트는 이후 포인트들의 복원을 위하여 예측부(214)로 전달될 수 있다. 또한, 저장된 포인트 클라우드는 출력을 위하여 좌표계 변환부(212)로 전달될 수 있다.

좌표계 변환부(212)는 저장된 포인트들을 출력하기 위하여 좌표계 변환을 수행할 수 있다. 이때, 좌표계 변환부(212)는 포인트 클라우드의 프레임에 대해 기하 정보만의 좌표계를 복호화 장치 내부 좌표계로부터 세계 좌표계로 변환할 수 있다.

도 3은 본 개시의 일 실시예에 따른, 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드의 부호화/복호화 순서를 나타내는 예시도이다.

일반적으로 원통 좌표계로 표현된 기하 정보를 갖는 포인트 클라우드는, 특정 개수의 세로 방향 레이저들을 포함하는 원통형의 라이다에 의해 생성될 수 있다. 이때, 세로 방향의 레이저들은 회전하면서 포인트들을 획득할 수 있다. 획득된 포인트들의 기하 정보를 원통 좌표계로부터 회전각과 높이로 표현된 평면에 사영하면, 도 3의 예시와 같이 표현될 수 있다. 여기서, 높이는 레이저의 개수에 의해 결정될 수 있다. 각 포인트들의 부호화/복호화 순서는 도 3의 예시와 같이 화살표로 표시된 순서일 수 있다. 라이다가 회전하면서 포인트들을 획득하므로 회전 축을 중심으로 우측으로 이동하면서 포인트들이 획득될 수 있다. 고속 부호화/복호화가 필요한 경우, 도 3의 예시와 같은 해당 순서에 따라 순차적으로 포인트들이 부호화/복호화될 수 있다.

도 4는 본 개시의 일 실시예에 따른, 예측 후보 리스트를 사용하는 포인트 예측을 나타내는 예시도이다.

부호화 장치 또는 복호화 장치는 획득 시간에 따라 순차적으로 포인트들을 부호화/복호화할 수 있다. 부호화 장치 또는 복호화 장치는 부호화된 포인트들에 대한 정보를 저장하고 현재 포인트를 예측하기 위해 예측 후보 리스트(prediction candidate list)를 이용할 수 있다. 부호화 장치는 현재 포인트와 가장 유사한 포인트를 예측 후보 리스트에서 선택하여 예측 포인트를 생성할 수 있다. 또한, 부호화 장치는 선택된 포인트에 대해 예측 후보 리스트 내부의 예측자 인덱스(predictor index)를 부호화한 후, 복호화 장치로 전달할 수 있다. 복호화 장치는 예측자 인덱스를 전달받아, 예측 후보 리스트로부터 번호에 해당되는 포인트를 선택함으로써 예측 포인트를 생성할 수 있다.

부호화 장치 또는 복호화 장치는 복원된 현재 포인트를 이용하여 예측 후보 리스트를 갱신할 수 있다. 예를 들어, 현재 포인트가 후보 리스트에 포함된 포인트들이 포함된 객체들과 상이한 객체로부터 획득된 경우, 현재 포인트는 리스트의 가장 앞에 추가되고, 리스트의 마지막 후보는 제거될 수 있다. 반면, 현재 포인트가 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일한 객체에서 획득된 경우, 현재 포인트와 가장 유사한 포인트가 리스트로부터 제거되고, 현재 포인트가 리스트의 가장 앞에 추가될 수 있다.

이때, 동일 객체에서 획득된 포인트들인지 여부는 기하 정보에 따라 결정될 수 있다. 예를 들어, 공간적으로 근접한 위치의 포인트들은 동일한 객체로부터 획득된 것으로 결정될 수 있다. 또는, 동일 객체에서 획득된 포인트인지 여부가 속성 정보를 따라 결정될 수 있다. 예를 들어, 속성 정보가 반사 계수를 포함하는 경우, 반사 계수를 비교하여 동일 객체의 표면에서 반사된 포인트들인지가 확인될 수 있다. 또는, 속성 정보가 색상 정보를 포함하는 경우, 동일 객체에서 획득된 포인트인지 여부가 색상 정보의 차이에 따라 결정될 수 있다. 부호화 장치 또는 복호화 장치는 갱신된 후보 리스트를 이용하여 다음 포인트를 예측할 수 있다.

이하, 현재 포인트와 유사한 포인트들을 포함하고, 복원 현재 포인트를 이용하여 갱신되는 리스트를 제1 예측 후보 리스트로 명칭한다.

도 5는 본 개시의 일 실시예에 따른, 두 개의 예측 후보 리스트들을 사용하는 포인트 예측을 나타내는 예시도이다.

전술한 바와 같이, 부호화 장치 또는 복호화 장치는 획득 시간에 따라 라이다 포인트 클라우드 내 포인트들을 부호화/복호화할 수 있다. 부호화 장치 또는 복호화 장치는 두 개의 예측 후보 리스트들을 이용하여 현재 포인트를 예측함으로써, 부호화 효율을 향상시킬 수 있다. 두 개의 상이한 예측 후보 리스트는 상이한 목적으로 사용될 수 있다. 도 5의 예시와 같이, 부호화 장치 또는 복호화 장치는 현재 포인트의 부호화/복호화가 종료된 후 제1 예측 후보 리스트(prediction candidate list 0)를 갱신하고, 각 포인트를 예측할 때 제2 예측 후보 리스트(prediction candidate list 1)를 새로 구성할 수 있다.

전술한 바와 같이 제1 예측 후보 리스트에는 시간적으로 근접한 포인트들이 저장될 수 있으므로, 부호화 장치 또는 복호화 장치는 제1 예측 후보 리스트를 이용하여 시간적인 중복성에 기초하는 예측을 수행할 수 있다. 또한, 제1 예측 후보 리스트에는 공간적으로 근접한 포인트들이 저장될 수 있으므로, 부호화 장치 또는 복호화 장치는 제1 예측 후보 리스트를 이용하여 공간적인 중복성에 기초하는 예측을 수행할 수 있다.

제2 예측 후보 리스트는 다양한 방식에 따라 구성될 수 있다. 예를 들어, 라이다 센서들의 특성을 나타내는 라이다 파라미터들로부터 추정된 값이 제2 예측 후보 리스트의 구성에 활용될 수 있다. 즉, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들이 제2 예측 후보 리스트로 구성될 수 있다. 또는, 양자화된 현재 포인트와 동일한 위치 및 주변 위치들에 대해 이전 프레임에 포함된 포인트들을 탐색한 후, 기설정된 개수의 포인트들이 제2 예측 후보 리스트로 구성될 수 있다. 여기서, 프레임은 특정 시간 동안 획득된 포인트 클라우드를 나타낸다. 또한, 라이다 파라미터들은 라이다 센서들의 회전속도, 개수, 센싱 각도 등을 포함하고, 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.

한편, 부호화 장치 또는 복호화 장치는 하나 또는 다수의 예측 후보 리스트들을 사용할 수 있다. 부호화 장치는 현재 포인트의 예측 시, 2 개의 예측 후보 리스트들 중 어느 리스트를 사용할지를 결정한 후, 결정된 리스트 인덱스(list_index)를 복호화 장치로 전달할 수 있다. 또한, 부호화 장치는 결정된 리스트에 대해 예측에 사용하기 위한 포인트를 지시하는 예측자 인덱스를 결정한 후, 결정된 예측자 인덱스를 복호화 장치로 전달할 수 있다. 또한, 부호화 장치는 예측 후보 리스트들의 개수, 및 리스트 길이를 상위 레벨에서 복호화 장치로 전달할 수 있다. 이때, 각 리스트는 상이한 길이를 가질 수 있다.

전술한 바와 같이, 도 4에 예시된 바는 제1 예측 후보 리스트를 이용하는 경우에 해당될 수 있다, 따라서, 부호화 장치는 제1 예측 후보 리스트를 지시하는 인덱스를 복호화 장치로 전송하고, 복호화 장치는 리스트 인덱스에 따라 제1 예측 후보 리스트를 생성한 후, 이후의 예측을 수행할 수 있다.

이하, 도 6 및 도 7의 도시를 이용하여, 부호화 장치 또는 복호화 장치가 포인트 단위로 라이다 포인트 클라우드를 부호화 또는 복호화하는 방법을 기술한다.

도 6은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 부호화하는 방법을 나타내는 순서도이다.

포인트 클라우드는 라이다의 출력 형태에 따라 상이한 좌표계를 가질 수 있다. 따라서, 현재 포인트에 대해 포인트 클라우드의 좌표계로부터 부호화 장치 내부에서 사용하는 좌표계로 기하 정보의 좌표계를 변환하는 것이 필요할 수 있다.

부호화 장치는 부호화 장치 내부 좌표계로 현재 포인트의 좌표계를 변환한다(S600).

부호화 장치는 라이다 포인트 클라우드 내 현재 포인트를 획득한다(S602).

전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드에 포함된 포인트들에 대해 부호화 장치는 예측을 수행할 수 있다. 즉, 포어그라운드에 포함된 포인트들에 대해 예측이 생략될 수 있다. 부호화 장치는 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그를 결정한 후, 복호화 장치로 시그널링할 수 있다. 또한, 전술한 플래그가 거짓인 경우, 이하의 단계들 중 일부는 생략될 수 있다.

부호화 장치는 예측 후보 리스트 인덱스, 및 예측자 인덱스를 결정한다(S604).

부호화 장치는 예측 후보 리스트 인덱스에 따라 예측 후보 리스트를 결정한다(S606). 부호화 장치는 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 예측 후보 리스트로 결정한다. 제1 예측 후보 리스트는 현재 포인트와 유사한 포인트들을 포함하되, 추후 복원 현재 포인트를 이용하여 갱신될 수 있다. 제2 예측 후보 리스트는 현재 포인트를 예측할 때 새로 구성될 수 있다. 부호화 장치는, 전술한 바와 같이, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들을 제2 예측 후보 리스트로 구성할 수 있다.

부호화 장치는 예측자 인덱스를 이용하여 예측 후보 리스트로부터 예측 포인트를 결정한다(S608).

부호화 장치는 현재 포인트로부터 예측 포인트를 감산하여 잔차 포인트를 생성한다(S610).

부호화 장치는 잔차 좌표계 변환을 위한 정보를 결정한다(S612). 부호화 장치는 부호화 측면에서 효율적인 좌표계로 잔차 포인트의 좌표계를 변환하기 위해 잔차 좌표계 변환을 위한 정보를 결정한다.

부호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 잔차 포인트에 대해 기하 정보의 좌표계를 변환한다(S614).

부호화 장치는 양자화 파라미터를 결정한다(S616).

부호화 장치는 양자화 파라미터를 이용하여 잔차 포인트를 양자화한다(S618).

부호화 장치는 양자화된 잔차 포인트, 파라미터들을 부호화하여 비트스트림을 생성한다(S620). 여기서, 파라미터들은 예측의 적용 여부를 지시하는 플래그, 예측 후보 리스트 인덱스, 예측자 인덱스, 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보를 포함한다.

부호화 장치는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 복원 잔차 포인트를 생성한다(S622).

부호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 복원 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한다(S624).

부호화 장치는 복원 잔차 포인트와 예측 포인트를 합산하여 현재 포인트를 복원한다(S626).

전술한 바와 같이 부호화 장치는 복원 현재 포인트를 이용하여 제1 예측 후보 리스트를 갱신할 수 있다. 예를 들어, 현재 포인트가 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들과 상이한 객체로부터 획득된 경우, 현재 포인트는 리스트의 가장 앞에 추가되고, 리스트의 마지막 후보는 제거될 수 있다. 반면, 현재 포인트가 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일한 객체에서 획득된 경우, 현재 포인트와 가장 유사한 포인트가 리스트로부터 제거되고, 현재 포인트가 리스트의 가장 앞에 추가될 수 있다. 이때, 동일 객체에서 획득된 포인트들인지 여부는 기하 정보에 따라 결정될 수 있다. 예를 들어, 공간적으로 근접한 위치의 포인트들은 동일한 객체로부터 획득된 것으로 결정될 수 있다.

부호화 장치는 복원 현재 포인트를 버퍼에 저장한다(S628).

도 7은 본 개시의 일 실시예에 따른, 라이다 포인트 클라우드를 복호화하는 방법을 나타내는 순서도이다.

복호화 장치는 비트스트림으로부터 양자화된 잔차 포인트, 및 파라미터들을 복호화한다(S700). 여기서, 파라미터들은 양자화 파라미터, 잔차 좌표계 변환을 위한 정보, 예측 후보 리스트 인덱스, 및 예측자 인덱스를 포함한다.

전술한 바와 같이, 포인트 클라우드 내 포인트들 중 백그라운드에 포함된 포인트들에 대해 복호화 장치는 예측을 수행할 수 있다. 즉, 포어그라운드에 포함된 포인트들에 대해 예측이 생략될 수 있다. 복호화 장치는 각 포인트에 대해 예측의 적용 여부를 지시하는 플래그를 복호화한다. 복호화된 플래그가 참인 경우, 복호화 장치는 양자화 파라미터 및 잔차 좌표계 변환을 위한 정보 외에 예측 후보 리스트 인덱스 및 예측자 인덱스를 추가로 복호화할 수 있다. 복호화된 플래그가 거짓인 경우, 이하의 단계들 중 일부는 생략될 수 있다.

복호화 장치는 양자화 파라미터를 이용하여 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원한다(S702).

복호화 장치는 잔차 좌표계 변환을 위한 정보를 이용하여 잔차 포인트에 대해 기하 정보의 좌표계를 역변환한다(S704).

복호화 장치는 예측 후보 리스트 인덱스에 따라 예측 후보 리스트를 결정한다(S706). 복호화 장치는 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 예측 후보 리스트로 결정한다. 제1 예측 후보 리스트는 현재 포인트와 유사한 포인트들을 포함하되, 추후 복원 현재 포인트를 이용하여 갱신될 수 있다. 제2 예측 후보 리스트는 현재 포인트를 예측할 때 새로 구성될 수 있다. 복호화 장치는, 전술한 바와 같이, 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 그 위치를 추정하고, 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 복원 포인트들로부터 탐색한 후, 기설정된 개수의 포인트들을 제2 예측 후보 리스트로 구성할 수 있다.

복호화 장치는 예측자 인덱스를 이용하여 예측 후보 리스트로부터 예측 포인트를 결정한다(S708).

복호화 장치는 잔차 포인트와 예측 포인트를 합산하여 현재 포인트를 복원한다(S710).

부호화 장치와 유사한 방식에 기초하여, 복호화 장치는 복원 현재 포인트를 이용하여 제1 예측 후보 리스트를 갱신할 수 있다.

복호화 장치는 복원 현재 포인트를 버퍼에 저장한다(S712).

복호화 장치는 버퍼에 저장된 복원 포인트들의 좌표계를 변환한다(S714). 복호화 장치는 복원 포인트들에 대해 기하 정보만의 좌표계를 복호화 장치 내부 좌표계로부터 세계 좌표계로 변환할 수 있다.

본 명세서의 흐름도/타이밍도에서는 각 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 개시의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 개시의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 흐름도/타이밍도에 기재된 순서를 변경하여 실행하거나 각 과정들 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 흐름도/타이밍도는 시계열적인 순서로 한정되는 것은 아니다.

이상의 설명에서 예시적인 실시예들은 많은 다른 방식으로 구현될 수 있다는 것을 이해해야 한다. 하나 이상의 예시들에서 설명된 기능들 혹은 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 본 명세서에서 설명된 기능적 컴포넌트들은 그들의 구현 독립성을 특히 더 강조하기 위해 "...부(unit)" 로 라벨링되었음을 이해해야 한다.

한편, 본 실시예에서 설명된 다양한 기능들 혹은 방법들은 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 비일시적 기록매체에 저장된 명령어들로 구현될 수도 있다. 비일시적 기록매체는, 예를 들어, 컴퓨터 시스템에 의하여 판독가능한 형태로 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, 비일시적 기록매체는 EPROM(erasable programmable read only memory), 플래시 드라이브, 광학 드라이브, 자기 하드 드라이브, 솔리드 스테이트 드라이브(SSD)와 같은 저장매체를 포함한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다

202: 엔트로피 복호화부
204: 역양자화부
206: 잔차 좌표계 역변환부
208: 합산부
210: 저장부
212: 좌표계 변환부
214: 예측부

Claims

포인트 클라우드(point cloud) 복호화 장치가 수행하는, 현재 포인트를 복호화하는 방법에 있어서,
비트스트림으로부터 양자화된 잔차 포인트(residual point), 양자화 파라미터, 예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 복호화하는 단계;
상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 잔차 포인트를 복원하는 단계;
상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
상기 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및
상기 복원 현재 포인트를 버퍼에 저장하는 단계
를 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서,
잔차 좌표계 변환을 위한 정보를 상기 비트스트림으로부터 복호화하고, 상기 정보를 이용하여 상기 잔차 블록에 대해 기하 정보의 좌표계를 역변환하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 버퍼에 저장된 복원 포인트들의 좌표계를 변환하는 단계를 더 포함하되,
상기 좌표계를 변환하는 단계는,
상기 저장된 복원 포인트들을 포함하는 포인트 클라우드에 대해 기하 정보의 좌표계를 상기 포인트 클라우드 복호화 장치 내부 좌표계에서 세계 좌표계로 변환하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 복호화하는 단계는,
원통형 라이다가 생성하는 포인트 클라우드에 대해, 상기 원통형 라이다의 회전 축을 중심으로 이동하면서 상기 잔차 포인트를 복호화하는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 예측 후보 리스트를 결정하는 단계는,
상기 예측 후보 리스트 인덱스에 따라 제1 예측 후보 리스트 또는 제2 예측 후보 리스트를 상기 예측 후보 리스트로 결정하는 것을 특징으로 하는, 방법.
제5항에 있어서,
상기 복원 현재 포인트를 이용하여 상기 제1 예측 후보 리스트를 갱신하는 단계를 더 포함하되,
상기 제1 예측 후보 리스트를 갱신하는 단계는,
상기 복원 현재 포인트가 상기 제1 예측 후보 리스트에 포함된 포인트들이 포함된 객체들 중 하나와 동일 객체에서 획득된 경우, 상기 복원 현재 포인트와 가장 유사한 포인트가 상기 제1 예측 후보 리스트로부터 제거하고, 상기 현재 포인트를 상기 제1 예측 후보 리스트의 가장 앞에 추가하는 것을 특징으로 하는, 방법.
제6항에 있어서,
상기 제1 예측 후보 리스트를 갱신하는 단계는,
상기 제1 예측 후보 리스트에 포함된 포인트들의 기하 정보와 상기 복원 현재 포인트의 기하 정보를 이용하여 상기 동일 객체에서 획득된 포인트들인지를 확인하는 것을 특징으로 하는, 방법.
제5항에 있어서,
라이다 파라미터들을 복호화하는 단계;
상기 라이다 파라미터들을 이용하여 양자화된 현재 포인트 및 상기 양자화된 현재 포인트의 위치를 추정하는 단계; 및
상기 양자화된 현재 포인트를 이용하여 상기 제2 예측 후보 리스트를 생성하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
제8항에 있어서,
상기 제2 예측 후보 리스트를 생성하는 단계는,
상기 양자화된 현재 포인트와 거리 측면에서 가장 인접한 포인트들을 상기 버퍼에 저장된 복원 포인트들로부터 탐색한 후, 기설정된 개수의 탐색된 포인트들을 이용하여 생성하는 것을 특징으로 하는, 방법.
제8항에 있어서,
상기 제2 예측 후보 리스트를 생성하는 단계는,
상기 양자화된 포인트와 동일한 위치 및 주변 위치들에 대해 이전 프레임에 포함된 포인트들을 탐색한 후, 기설정된 개수의 탐색된 포인트들을 이용하여 생성하는 것을 특징으로 하는, 방법.
포인트 클라우드(point cloud) 부호화 장치가 수행하는, 현재 포인트를 부호화하는 방법에 있어서,
상기 현재 포인트를 획득하는 단계;
예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계;
상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계;
양자화 파라미터를 결정하는 단계;
상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및
상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계
를 포함하는 것을 특징으로 하는, 방법.
제11항에 있어서,
잔차 좌표계 변환을 위한 정보를 결정하는 단계;
상기 잔차 좌표계 변환을 위한 정보를 이용하여 상기 잔차 포인트에 대해 기하 정보의 좌표계를 변환하는 단계; 및
상기 잔차 좌표계 변환을 위한 정보를 부호화하는 단계
를 더 포함하는 것을 특징으로 하는, 방법.
제12항에 있어서,
상기 양자화 파라미터를 이용하여 상기 양자화된 잔차 포인트를 역양자화함으로써 복원 잔차 포인트를 생성하는 단계;
상기 잔차 좌표계 변환을 위한 정보를 이용하여 상기 복원 잔차 포인트에 대해 상기 기하 정보의 좌표계를 역변환하는 단계;
상기 복원 잔차 포인트와 상기 예측 포인트를 합산하여 상기 현재 포인트를 복원하는 단계; 및
상기 복원 현재 포인트를 버퍼에 저장하는 단계
를 포함하는 것을 특징으로 하는, 방법.
포인트 클라우드 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 포인트 클라우드 부호화 방법은,
현재 포인트를 획득하는 단계;
예측 후보 리스트 인덱스, 및 예측자 인덱스(predictor index)를 결정하는 단계;
상기 예측 후보 리스트 인덱스에 따라 예측 후보 리스트(prediction candidate list)를 결정하는 단계;
상기 예측자 인덱스를 이용하여 상기 예측 후보 리스트로부터 예측 포인트(predicted point)를 결정하는 단계;
상기 현재 포인트로부터 상기 예측 포인트를 감산하여 잔차 포인트(residual point)를 생성하는 단계;
양자화 파라미터를 결정하는 단계;
상기 양자화 파라미터를 이용하여 상기 잔차 포인트를 양자화하는 단계; 및
상기 양자화된 잔차 포인트, 예측 후보 리스트 인덱스, 예측자 인덱스, 및 양자화 파라미터를 부호화하여 비트스트림을 생성하는 단계
를 포함하는 것을 특징으로 하는, 기록매체.