KR20220002106A - 3차원 포인트 클라우드의 점유 지도 압축 방법 - Google Patents

Abstract

본 발명은 3차원 공간 상에 존재하는 포인트 클라우드에 대한 점유 지도 영상의 압축 품질 또는 패치 별 검사 방법에 기반하여 점유 지도 영상을 압축함으로써, 압축된 점유 지도 영상 복원 시 압축 왜곡을 최소화하여 복원된 점유 지도 영상의 품질을 획기적으로 높일 수 있는 3차원 포인트 클라우드의 점유 지도 압축 방법에 관한 것이다.

Description

3차원 포인트 클라우드의 점유 지도 압축 방법{METHOD FOR COMPRESSING OCCUPANCY MAP OF THREE-DIMENSIONAL POINT CLOUD}

본 발명은 3차원 포인트 클라우드의 점유 지도 압축 방법에 관한 것으로서, 보다 구체적으로는, 3차원 공간 상에 존재하는 포인트 클라우드에 대한 점유 지도 영상의 압축 품질 또는 패치 별 검사 방법에 기반하여 점유 지도 영상을 압축함으로써, 압축된 점유 지도 영상 복원 시 압축 왜곡을 최소화하여 복원된 점유 지도 영상의 품질을 획기적으로 높일 수 있는 3차원 포인트 클라우드의 점유 지도 압축 방법에 관한 것이다.

일반적으로, MPEG V-PCC는 3차원 포인트 클라우드 압축을 위한 기술로서, 3차원 공간 상에 존재하는 포인트 클라우드(점 구름 데이터)를 비디오 코덱을 이용하여 압축한다.

이때, 점유 지도의 압축 과정에서 발생하는 압축 왜곡이 점유 지도를 복원하고 더 나아가 기하 영상의 압축 과정에 미치는 영향을 최소화하기 위해서는 offsetLossyOM 파라메터와 thresholdLossyOM 파라메터의 값을 적절히 설정할 필요가 있다.

이를 위해 종래 기술(MPEG M46049 입력 기고문)은 HEVC 코덱을 사용한 V-PCC 압축에서 손실 압축으로 점유 지도를 압축할 시 OffsetLossyOM 파라메터와 thresholdLossyOM 파라메터에 대한 권고값을 제안한 바 있다. V-PCC 표준은 HEVC 외에 다양한 비디오 코덱을 허용하고 있는데 EVC, AVC, VVC와 같이 HEVC 외의 다른 비디오 코덱 적용 시 OffsetLossyOM과 thresholdLossyOM 값에 대한 적절한 설정 값은 알려진 바가 없어 압축 후 점유 지도 영상이 어떻게 복원될 지 예측이 불가능하다.

또한, 점유 지도의 압축 왜곡에 따른 손실이 많을 경우 기하 영상 압축 처리 과정에서 부호화기가 중단되는 오류가 발생할 수 있다. 예를 들어, 점유 지도의 하나의 패치에서 occupied signal의 일부분이 사라진 경우에는 부호화기가 정상 작동하더라도, 점유 지도의 모든 패치에 대해 occupied signal이 사라졌을 경우에는 부호화기가 중단되는 현상이 발생하였다.

따라서, 압축 왜곡의 정도를 예측 불가능하고 비디오 코덱 별로 파라메터들에 대한 권고 설정 값을 모르는 상황에서, 다양한 코덱에 일괄적으로 적용 가능한 대응 방법이 필요한 실정이다.

한국공개특허 제10-2021-0031456호

본 발명은 상기의 문제점을 해결하기 위함으로써, 3차원 공간 상에 존재하는 포인트 클라우드에 대한 점유 지도 영상의 압축 품질 또는 패치 별 검사 방법에 기반하여 점유 지도 영상을 압축함으로써, 압축된 점유 지도 영상 복원 시 압축 왜곡을 최소화하여 복원된 점유 지도 영상의 품질을 획기적으로 높일 수 있는 3차원 포인트 클라우드의 점유 지도 압축 방법을 제공하고자 한다.

본 발명의 일면에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계; 및 (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행하는 단계를 포함한다.

상기 (a) 단계는 점유 지도에 점유되어 있는 픽셀에 설정된 강도값을 나타내는 offsetLossyOM 파라미터를 기반으로 상기 점유 지도 영상을 생성한다.

상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우 상기 압축복원된 점유 지도 영상에 대한 양자화 파라미터(QP)값을 기 설정된 수치 이하로 하향시킨 후, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행한다.

또는, 상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, 상기 압축복원된 점유 지도 영상에 대한 양자화 파라미터(QP)값을 기 설정된 수치 이하로 하향시킨 후, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행한다.

본 발명의 다른 면에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계 및 (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축하는 단계를 포함한다.

상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우, offsetLossyOM 파라미터를 기 설정된 수치로 상향시켜 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축한다.

또는, 상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, offsetLossyOM 파라미터를 기 설정된 수치로 상향시켜 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축한다.

본 발명의 또 다른 면에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계 및 (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정하는 단계를 포함한다.

상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우, 상기 thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정한다.

또는, 상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, 상기 thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정한다.

본 발명에 따르면, 압축된 점유 지도 영상 복원 시 압축 왜곡을 최소화하여 복원된 점유 지도 영상의 품질을 획기적으로 높일 수 있는 이점을 가진다.

EVC, AVC, VVC와 같이 다양한 비디오 코덱을 적용하는 과정에서 점유 지도의 압축 손실 수준을 예측할 수 없고, 비디오 코덱 별로 offsetLossyOM 파라메터와 thresholdLossyOM 파라메터에 대한 권고 설정 값을 모르는 상황에서, 점유 지도의 압축 품질 저하로 인해 발생하는 문제점을 최소화하기 위해 다양한 코덱에 일괄적으로 적용될 수 있는 이점을 가진다.

도 1은 종래의 MPEG V-PCC에서 3차원 포인트 클라우드를 바운딩 박스화 한 상태를 나타낸 도면이다.
도 2는 3차원 포인트 클라우드의 패치를 획득하는 상태를 도시한 도면이다.
도 3은 3차원 포인트 클라우드 하나의 프레임에 대한 기하 영상, 색상 영상 및 점유 지도 영상을 각각 나타낸 도면이다.
도 4는 V-PCC를 통한 부호화 구조를 나타낸 도면이다.
도 5는 EVC 코덱을 이용하여 점유 지도 영상을 압축한 경우 점유 지도 영상이 복원되는 예들을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면으로, 패치 별 검사에 기반한 점유 지도 영상 재압축 방법을 적용한 예를 도시한다.
도 8은 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면으로, 압축 품질에 기반한 점유 지도 영상의 재생성 및 재압축 방법을 적용한 예를 도시한다.
도 9는 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면으로, 패치 별 검사에 기반한 점유 지도 영상의 재생성 및 재압축 방법을 적용한 예를 도시한다.
도 10은 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면으로, 압축 품질에 기반한 점유 지도 영상 압축 방법을 도시한다.
도 11은 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면으로, 패치 별 검사에 기반한 점유 지도 영상의 압축 방법을 도시한다.

이하, 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시한다. 그러나 하기의 실시예는 본 발명을 보다 쉽게 이해하기 위하여 제공되는 것일 뿐, 실시예에 의해 본 발명의 내용이 한정되는 것은 아니다.

도 1은 종래의 MPEG V-PCC에서 3차원 포인트 클라우드를 바운딩 박스화 한 상태를 나타낸 도면이고, 도 2는 3차원 포인트 클라우드의 패치를 획득하는 상태를 도시한 도면이며, 도 3은 3차원 포인트 클라우드 하나의 프레임에 대한 기하 영상, 색상 영상 및 점유 지도 영상을 각각 나타낸 도면이고, 도 4는 V-PCC를 통한 부호화 구조를 나타낸 도면이며, 도 5는 EVC 코덱을 이용하여 점유 지도 영상을 압축한 경우 점유 지도 영상이 복원되는 예들을 나타낸 도면이다.

도 1은 종래의 MPEG에서 사용하는 테스트 데이터인 longdress로 3차원 포인트 클라우드의 일 예를 나타낸다. 먼저 도 1을 살펴보면, MPEG V-PCC는 3차원 포인트 클라우드 압축을 위해 매 프레임 마다 3차원 포인트 클라우드에 대한 육면체의 바운딩 박스(bounding box)를 결정한다.

그 후 도 2와 같이 3차원 포인트 클라우드를 구성하는 각 점은 바운딩 박스의 각 면 중 자신과 가장 가까이에 위치한 면으로 정사영 형태로 투영되고 이를 통해 패치를 획득한다.

이렇게 획득한 패치들은 하나의 영상으로 모아진 후 도 3과 같이 점에 대한 삼차원 좌표 값을 담고 있는 기하 영상, 점에 대한 색상 정보를 담고 있는 색상(속성) 영상, 그리고 해당 영역이 패치에 해당되는 지의 여부를 담고 있는 점유 지도 영상 등 총 세 가지의 영상이 생성된다. 이 때, 획득한 패치들에 대한 투영된 면의 종류, 패치의 크기, 패치의 상대적 위치 등의 정보는 별도의 메타 데이터로 기록된다.

이러한 세 가지의 영상은 도 4와 같이 비디오 코덱(Video compression)을 통해 최종적으로 압축된다.

한편, V-PCC는 점유 지도 영상의 손실 압축과 무손실 압축 모두를 지원한다. V-PCC에서 사용하는 offsetLossyOM 파라메터는 무손실 압축 또는 손실 압축 중 어떤 압축을 적용할 것인가에 대한 정보와 점유 지도 영상을 생성할 때 점유되어 있는 영역의 픽셀 설정 값을 나타내며 0부터 255까지의 값을 가질 수 있다.

무손실 압축을 하고 싶다면 offsetLossyOM 값을 0으로, 압축 비트 스트림의 크기를 줄이기 위해 손실 압축을 하고 싶다면 1 이상의 값을 설정한다. 또한, offsetLossyOM 파라메터는 점유 지도 영상을 생성할 때 점유되어 있는 픽셀에 설정되는 강도 값을 나타내므로, offsetLossyOM이 255라면 점유 지도 영상 생성 시 도 5(a)의 흰색으로 나타내어진 영역의 픽셀 값을 255로 설정한다.

이렇게 offsetLossyOM 값에 의해 픽셀 값이 설정된 점유 지도 영상은 앞서 도 4에 나타낸 것과 같이 부호화 과정 중에 비디오 코덱에 의해 압축되고 압축 결과를 복원하여 "Reconstructed occupancy map" 정보(이하, "복원된 점유 지도"라 칭함)를 생성한다.

V-PCC는 복원된 점유 지도를 생성할 때 thresholdLossyOM 파라메터의 임계치를 사용한다. 손실 압축으로 압축된 점유 지도 영상의 경우 압축 후 압축 왜곡에 의해 픽셀 값이 달라질 수 있으므로, V-PCC는 압축 왜곡에 의한 영향을 최소화하여 점유 여부를 식별한 복원된 점유 지도를 생성하기 위해 thresholdLossyOM라는 임계치를 적용한다.

보다 구체적으로는 압축 복원된 점유 지도 영상의 픽셀 값이 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1'또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다.

이렇듯, 압축 왜곡이 점유 지도 영상의 복원에 미치는 영향을 최소화하기 위해서는 offsetLossyOM 파라메터와 thresholdLossyOM 파라메터의 값을 적절히 설정할 필요가 있다.

한편, 도 4에 나타낸 바와 같이 V-PCC는 복원된 점유 지도를 기하 영상과 색상 영상 압축 과정 중에 사용한다. 이 때, 복원된 점유 지도의 압축 왜곡이 상당할 경우 기하 영상의 압축 과정에서 오류가 발생할 수 있다.

예를 들어, MPEG의 참조 소프트웨어인 TMC2에서 HEVC 코덱을 사용하여 부호화 과정을 수행하던 중 기하 영상 압축 과정에서 오류가 발생하여 중단된 바 있다. 더욱 상세하게는 HEVC 메인 프로파일(HM 버전 16.20)을 사용한 V-PCC 부호화기(TMC2 v7.2)가 부호화 도중 예기치 않게 종료된 사례가 발생하였다. 매개 변수를 포함한 실험 당시의 환경설정은 "occupancy-map-ld -main10-lossy.cfg" 를 수정한 HM 프로파일, frameCount=32, occupancyMapQP=41, offsetLossyOM=1, sequence=Cat2-a,b, use3DMC=0, ctc-r4 로 설정하였다.

중단 원인을 분석하고자 압축과정에 복원된 점유 지도를 살펴본 결과, 점유된 픽셀이 전혀 없는 것으로 복원되었음이 관찰되었다. 앞서 122개의 패치를 갖는 점유 지도 영상이 입력되었는데 과다한 압축 왜곡으로 인해 0개의 패치를 갖는 점유 지도가 복원되었고, 기하 영상 압축 과정의 'generatepointcloud' 함수에서 122번째 패치를 처리하는 도중 부호화 프로그램이 오류로 인해 종료되었다.

이에 대한 예시로, 도 5에 EVC 코덱을 사용하여 압축하였을 때 점유 지도 영상이 복원되는 예들을 도시하였다. 도 5(a)와 같은 원본 점유 지도 영상이 입력되고, 부호화 파라메터인 QP 값을 38로 설정하고 EVC 코덱을 적용하여 점유 지도 영상을 압축하였을 때 도 5(b)와 같은 복원된 점유 지도가 확인되었다.

이때, 부호화 파라메터인 QP 값을 48로 설정하고 EVC 코덱을 적용하여 점유 지도 영상을 압축하였을 때 도 5(c)와 같은 복원된 점유 지도가 확인되었다. 이 경우, 상당한 압축 왜곡이 발생하여 복호화기에서 극히 일부의 점들만 복호화되어 복원되거나 복호화기가 중단될 수는 있겠지만 부호화 과정이 중단되지는 않을 수 있다. 부호화 파라메터인 QP 값을 49로 설정하고 EVC 코덱을 적용하여 압축하였을 때 도 5(d)와 같은 복원된 점유 지도가 확인되었고 이 때 부호화 과정이 중단되는 상황이 발생하였다.

도 4에서, 부호화 과정 중에 복원된 점유 지도를 기하 영상과 색상 영상 압축 과정 중에 사용한다고 설명한 바 있다. 도 5(d)의 문제를 다시 되짚어 상세히 설명하면, 부호화기는 기하 영상을 압축하는 과정에서 기하 영상의 각 패치에 대해 복원된 점유 지도에서 해당 패치 영역에 점유되어 있는 픽셀이 하나도 없다고 판단되었다면 해당 패치에 대한 이후의 처리를 건너뛰게 된다.

따라서, 압축 왜곡에 의해 점유 지도가 완전 손실된 복원된 점유 지도 영상(도 5(d))이 주어진다면 해당 프레임에 대한 압축된 기하 영상 정보가 생성되지 않게 되고 프로그램 구동 중에 중단되는 상황이 발생하게 된다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 제공한다.

도 6은 본 발명의 일 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히, 도 6은 압축 품질에 기반한 점유 지도 영상 재압축 방법을 적용한 점유 지도 영상을 압축하는 과정을 나타낸 도면이다.

도 6을 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S601), 프로세서는 S601 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S602).

다음으로, 프로세서는 S602 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S603), 프로세서는 S603 단계에서 생성한 압축복원된 점유 지도 영상과 S601 단계에서 생성된 원본 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 계산한다(S604).

또한, 프로세서는 S604 단계에서 계산된 PSNR 값과 사용자에 의해 설정된 PSNR 문턱치를 비교하여(S605), 계산된 PSNR 값이 PSNR 문턱치 보다 크거나 같으면 종료하고, 계산된 PSNR 값이 PSNR 문턱치 보다 작으면 양자화 파라미터(QP) 값을 기 설정된 수치 이하로 하향 조절한다(S606).

또한, 프로세서는 S601 단계에서 생성된 점유 지도 영상을 하향 조절된 QP 값을 적용하여 비디오 코덱을 통해 재압축한다(S607).

한편, 여기에서 양자화 파라미터(QP)값의 조정 정도는 사용자에 의해 얼마든지 변경될 수 있다.

다음으로, 프로세서는 S607 단계에서 비디오 코덱을 통하여 재압축된 점유 지도 영상을 압축복원하여 재압축복원된 점유 지도 영상을 생성한다(S608).

다음으로, 프로세서는 재압축복원된 점유 지도 영상에 대해 thresholdLossyOM라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S609).

다음으로, 도 7은 본 발명의 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히, 도 7은 패치(Patch) 별 검사에 기반한 점유 지도 영상 재압축 방법을 적용한 점유 지도 영상의 압축 방법을 나타낸 도면이다.

도 7을 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S701), 프로세서는 S701 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S702).

다음으로, 프로세서는 S702 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S703), 프로세서는 S703 단계에서 생성한 압축복원된 점유 지도 영상의 패치(Patch) 별로 해당 패치에 점유 픽셀이 존재하는지 여부를 검사한다(S704). 이 과정에서, 프로세서는 thresholdLossyOM 임계치를 적용하여 압축복원된 점유 지도 영상의 픽셀 값이 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀로 결정한다.

다음으로, 프로세서는 S704 단계를 통한 검사 결과 점유 픽셀이 존재하지 않는 하나 이상의 패치가 있는지의 여부를 판단한다(S705). 판단 결과 점유 픽셀이 존재하지 않는 패치가 없다면 종료하고, 판단 결과 점유 픽셀이 존재하지 않는 패치가 있다면 QP 값을 하향 조절한다(S706).

다음으로, 프로세서는 S701 단계에서 생성된 점유 지도 영상을 하향 조절된 QP 값을 적용하여 비디오 코덱을 통해 재압축한다(S707).

다음으로, 프로세서는 S707 단계에서 비디오 코덱을 통하여 재압축된 점유 지도 영상을 압축복원하여 재압축복원된 점유 지도 영상을 생성한다(S708).

다음으로, 프로세서는 재압축복원된 점유 지도 영상에 대해 thresholdLossyOM라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S709).

다음으로, 도 8은 본 발명의 일 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히, 도 8은 압축 품질에 기반한 점유 지도 영상의 재생성 및 재압축 방법을 적용한 점유 지도 영상 압축 방법을 나타낸 도면이다.

도 8을 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S801), 프로세서는 S801 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S802).

다음으로, 프로세서는 S802 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S803), 프로세서는 S803 단계에서 생성한 압축복원된 점유 지도 영상과 S801 단계에서 생성된 원본 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 계산한다(S804).

또한, 프로세서는 S804 단계에서 계산된 PSNR 값과 사용자에 의해 설정된 PSNR 문턱치를 비교하여(S805), 계산된 PSNR 값이 PSNR 문턱치 보다 크거나 같으면 종료하고, 계산된 PSNR 값이 PSNR 문턱치 보다 작으면 offsetLossyOM 값을 상향 조절하여 재설정된 offsetLossyOM 값에 따라 점유 지도 영상을 재생성한다(S806).

다음으로, 프로세서는 S806 단계에서 재생성된 점유 지도 영상을 QP 값을 적용하여 비디오 코덱을 통해 재압축한다(S807).

다음으로, 프로세서는 S807 단계에서 비디오 코덱을 통하여 재압축된 점유 지도 영상을 압축복원하여 재압축복원된 점유 지도 영상을 생성한다(S808).

다음으로, 프로세서는 재압축복원된 점유 지도 영상에 대해 thresholdLossyOM라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S809).

다음으로, 도 9는 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히, 도 9는 패치 별 검사를 기반한 점유 지도 영상의 재생성 및 재압축을 적용한 점유 지도 영상 압축 방법을 나타낸 도면이다.

도 9를 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S901), 프로세서는 S901 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S902).

다음으로, 프로세서는 S902 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S903), 프로세서는 S903 단계에서 생성한 압축복원된 점유 지도 영상의 패치(Patch) 별로 해당 패치에 점유 픽셀이 존재하는지 여부를 검사한다(S904). 이 과정에서, 프로세서는 thresholdLossyOM 임계치를 적용하여 압축복원된 점유 지도 영상의 픽셀 값이 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀로 결정한다.

다음으로, 프로세서는 S904 단계를 통한 검사 결과 점유 픽셀이 존재하지 않는 하나 이상의 패치가 있는지의 여부를 판단한다(S905). 판단 결과 점유 픽셀이 존재하지 않는 패치가 없다면 종료하고, 판단 결과 점유 픽셀이 존재하지 않는 패치가 있다면 offsetLossyOM 값을 상향 조절하여 재설정된 offsetLossyOM 값에 따라 점유 지도 영상을 재생성한다(S906).

다음으로, 프로세서는 S906 단계에서 재생성된 점유 지도 영상을 QP 값을 적용하여 비디오 코덱을 통해 재압축한다(S907).

다음으로, 프로세서는 S907 단계에서 비디오 코덱을 통하여 재압축된 점유 지도 영상을 압축복원하여 재압축복원된 점유 지도 영상을 생성한다(S908).

다음으로, 프로세서는 재압축복원된 점유 지도 영상에 대해 thresholdLossyOM라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S909).

다음으로, 도 10은 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히, 도 10은 압축 품질에 기반한 점유 지도 영상 압축 방법을 나타낸 도면이다.

도 10을 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S1001), 프로세서는 S1001 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S1002).

다음으로, 프로세서는 S1002 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S1003), 프로세서는 S1003 단계에서 생성한 압축복원된 점유 지도 영상과 S1001 단계에서 생성된 원본 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 계산한다(S1004).

또한, 프로세서는 S1004 단계에서 계산된 PSNR 값과 사용자에 의해 설정된 PSNR 문턱치를 비교하여(S1005), 계산된 PSNR 값이 PSNR 문턱치 보다 크거나 같으면 종료하고, 계산된 PSNR 값이 PSNR 문턱치 보다 작으면 thresholdLossyOM 값을 하향 조절한다(S1006).

다음으로, 프로세서는 S1006 단계에서 하향 조절된 thresholdLossyOM 라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S1007).

다음으로, 도 11은 본 발명의 또 다른 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 일련의 순서대로 도시한 도면이다. 특히 도 11은 패치 별 검사에 기반한 점유 지도 영상의 압축 방법을 나타낸 도면이다.

도 11을 살펴보면, 먼저 프로세서는 각 픽셀의 점유 여부를 나타내는 점유 지도와 점유되어 있는 픽셀에 설정되는 강도 값을 나타내는 offsetLossyOM 파라메터를 입력 받아 점유 지도 영상을 생성하고(S1101), 프로세서는 S1101 단계에서 생성된 점유 지도 영상을 기 설정된 QP 값을 적용하여 비디오 코덱을 통해 압축한다(S1102).

다음으로, 프로세서는 S1102 단계에서 비디오 코덱을 통하여 압축된 점유 지도 영상을 압축 복원하여 압축복원된 점유 지도 영상을 생성하고(S1103), 프로세서는 S1103 단계에서 생성한 압축복원된 점유 지도 영상의 패치(Patch) 별로 해당 패치에 점유 픽셀이 존재하는지 여부를 검사한다(S1104). 이 과정에서, 프로세서는 thresholdLossyOM 임계치를 적용하여 압축복원된 점유 지도 영상의 픽셀 값이 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀로 결정한다.

다음으로, 프로세서는 S1104 단계를 통한 검사 결과 점유 픽셀이 존재하지 않는 하나 이상의 패치가 있는지의 여부를 판단한다(S1105). 판단 결과 점유 픽셀이 존재하지 않는 패치가 없다면 종료하고, 판단 결과 점유 픽셀이 존재하지 않는 패치가 있다면 thresholdLossyOM 값을 하향 조절한다(S1106).

다음으로, 프로세서는 S1106 단계에서 하향 조절된 thresholdLossyOM 라는 임계치를 적용하여 thresholdLossyOM 값보다 크면 점유 되어 있는 픽셀('1')로 thresholdLossyOM 값 이하이면 점유 되어 있지 않은 픽셀('0')로 결정하여 '1' 또는 '0'으로 나타내어진 복원된 점유 지도를 생성한다(S1107).

한편, 본 발명의 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 3차원 포인트 클라우드의 점유 지도 압축 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (10)

1. (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계; 및
   (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행하는 단계
   를 포함하는 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
2. 제1항에 있어서,
   상기 (a) 단계는 점유 지도에 점유되어 있는 픽셀에 설정된 강도값을 나타내는 offsetLossyOM 파라미터를 기반으로 상기 점유 지도 영상을 생성하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
3. 제1항에 있어서,
   상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우 상기 압축복원된 점유 지도 영상에 대한 양자화 파라미터(QP)값을 기 설정된 수치 이하로 하향시킨 후, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
4. 제1항에 있어서,
   상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, 상기 압축복원된 점유 지도 영상에 대한 양자화 파라미터(QP)값을 기 설정된 수치 이하로 하향시킨 후, 상기 (a) 단계에서 생성된 점유 지도 영상에 대한 재압축을 수행하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
5. (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계; 및
   (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축하는 단계
   를 포함하는 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
6. 제5항에 있어서,
   상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우, offsetLossyOM 파라미터를 기 설정된 수치로 상향시켜 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
7. 제5항에 있어서,
   상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, offsetLossyOM 파라미터를 기 설정된 수치로 상향시켜 점유 지도 영상을 재생성하고, 재생성된 점유 지도 영상을 재압축하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
8. (a) 점유 지도 정보를 이용하여 점유 지도 영상을 생성하고, 비디오 코덱을 이용하여 상기 점유 지도 영상을 압축하고, 압축된 점유 지도 영상을 압축복원하는 단계; 및
   (b) 상기 (a) 단계에서 압축복원된 점유 지도 영상의 압축 품질 및 패치 별 검사 결과 중 적어도 어느 하나를 고려하여, thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정하는 단계
   를 포함하는 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
9. 제8항에 있어서,
   상기 (b) 단계는 상기 압축 품질을 고려하여, 상기 (a) 단계에서 압축복원된 상기 점유 지도 영상과 상기 (a) 단계에서 생성된 점유 지도 영상을 비교하여 최대 신호 대 잡음비(PSNR) 값을 산출하고, 산출된 상기 PSNR값이 기 설정된 PSNR 문턱치값 미만에 해당하는지 여부를 파악하고, 상기 PSNR 문턱치값 미만에 해당하는 경우, 상기 thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정하는 것
   인 3차원 포인트 클라우드의 점유 지도 압축 방법.
   
10. 제8항에 있어서,
    상기 (b) 단계는 상기 패치 별 검사 결과를 고려하여, 상기 (a) 단계에서 압축복원된 점유 지도 영상의 패치 별로 점유 픽셀이 존재하는지 여부를 검사하고, 상기 점유 픽셀이 존재하지 않는 패치가 있는 경우, 상기 thresholdLossyOM 파라미터를 기 설정된 수치로 하향시켜 재설정하는 것
    인 3차원 포인트 클라우드의 점유 지도 압축 방법.

Images