KR102488423B1 - 포인트 클라우드 압축 방법 - Google Patents

포인트 클라우드 압축 방법 Download PDF

Info

Publication number
KR102488423B1
KR102488423B1 KR1020200154741A KR20200154741A KR102488423B1 KR 102488423 B1 KR102488423 B1 KR 102488423B1 KR 1020200154741 A KR1020200154741 A KR 1020200154741A KR 20200154741 A KR20200154741 A KR 20200154741A KR 102488423 B1 KR102488423 B1 KR 102488423B1
Authority
KR
South Korea
Prior art keywords
data
point cloud
hash value
voxel
points
Prior art date
Application number
KR1020200154741A
Other languages
English (en)
Other versions
KR20220067938A (ko
Inventor
이문용
이대현
이상하
권순철
정계동
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020200154741A priority Critical patent/KR102488423B1/ko
Publication of KR20220067938A publication Critical patent/KR20220067938A/ko
Application granted granted Critical
Publication of KR102488423B1 publication Critical patent/KR102488423B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

포인트 클라우드의 압축 방법이 제공된다. 포인트 클라우드의 압축 방법은 포인트 클라우드를 구성하는 복수 개의 포인트를 소정의 복셀(Voxel) 단위로 변환하는 단계와, 복셀 단위로 변환된 포인트에 대하여 파일 해싱을 수행하는 단계와, 상기 파일 해싱값에 기초하여 데이터 중복 여부를 판단하는 단계와, 데이터 중복 여부에 기초하여 중복 데이터와 추가 데이터를 구분하여 저장 및 기록하는 단계를 포함한다.

Description

포인트 클라우드 압축 방법{A METHOD FOR COMPRESSING IN POINT CLOUD}
본 발명은 포인트 클라우드에서 압축 방법에 관한 것으로, 특히 효율적인 중복 데이터 추출 및 제거 방법을 이용한 개선된 포인트 클라우드에서의 압축 방법에 관한 것이다.
컴퓨터 기반 데이터 처리 기술은 보다 많은 정보를 관리하고 처리하는 방향으로 발전하고 있다. 특히, 많은 정보를 포함하는 3D 모델(3-Dimentional Model) 정보가 기하급수적으로 증가하고 있다. 최근, 측정 기술의 발전으로 보다 민감한 측정이 가능해지고 대상 정보를 보다 빠르게 처리할 필요성이 대두되면서 3D 모델 정보가 많은 양의 정보를 포함하는 것은 자연스러운 목표가 되었다. 측정 기술 및 3D 모델 제작 기술 등과 같이 현실 객체 또는 가상 객체를 대상으로 다양한 3D 모델 정보를 획득하는 기술에 대한 성과가 나타나고 있다.
최근 동적 움직임을 측정하는 연구 결과를 바탕으로, 3D 모델 정보를 네트워크를 통해 전송하여 서비스하는 것과 같이 네트워크를 활용한 콘텐츠로서 활용 가치를 보였다. 또한, 여러 환경에서 3D 모델 정보 로딩 연구를 통하여 여러 포맷의 성능을 확인하는 연구가 진행되었다. 그러나, 이러한 데이터를 관리 및 처리하는 부분, 특히 애니메이션 정보를 여러 개의 3D 모델 정보로 저장하여 관리하는 실시간 스캔 시스템의 경우, 실질적인 움직임에 비해 불필요한 정보로 인하여 데이터 처리량 급격히 증가하는 문제가 존재한다. 이로 인하여 3D 정보를 활용하는 데 문제를 야기한다.
본 발명이 해결하고자 하는 과제는 3D 모델 중 연속적인 포인트 클라우드에서 나타나는 데이터량을 전반적으로 감소시킬 수 있는 방법을 제시하는 것이다. 특히, 종래의 포인트 클라우드간 나타나는 중복 포인트를 추출하는 방법을 통하여 중복 데이터를 재사용 가능한 형태로 변경하는 중복 추출 알고리즘의 전처리 방법을 제시하는 것이다.
또한, 본 발명이 해결하고자 하는 다른 과제는 개선된 중복 추출 알고리즘 과정에서 발생하는 단순화(simplification) 성능을 통하여 불필요하거나 필요 이상으로 정교한 데이터를 효율적으로 처리하는 방법을 제시하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 동적 포인트 클라우드의 중복 정보를 효율적으로 추출하기 위하여 데이터에서 나타나는 문제를 해결하는 전처리 방법을 제시하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 동적 포인트 클라우드의 중복 정보를 효율적으로 추출하기 위하여 데이터에서 나타나는 문제를 해결하는 전처리 방법을 포함하여 중복 정보를 제거하는 알고리즘을 사용한 포인트 클라우드 압축 방법을 제시하는 것이다.
본 발명의 한 실시예에 따르면, 포인트 클라우드 압축 방법이 제공되는 데, 상기 방법은 포인트 클라우드를 구성하는 복수 개의 포인트를 소정의 복셀(Voxel) 단위로 변환하는 단계와, 복셀 단위로 변환된 포인트에 대하여 파일 해싱을 수행하는 단계와, 상기 파일 해싱값에 기초하여 데이터 중복 여부를 판단하는 단계와, 데이터 중복 여부에 기초하여 중복 데이터와 추가 데이터를 구분하여 저장 및 기록하는 단계를 포함한다. 상기 변환 단계에서 상기 복셀 범위 내에서 포함되는 복수 개의 포인트가 하나의 포인트로 변환된다. 또한, 상기 복셀의 크기는 포인트 클라우드를 구성하는 포인트들 간 최소 거리 보다 크고, 포인트들 간 최소 거리의 2배 보다 작거나 같다. 여기서, 데이터 중복 여부는 파일 해싱을 통하여 획득한 타겟 파일 해시값과 기준 파일 해시값을 비교하여 결정된다. 상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일한 경우 중복 데이터로 판단하여 저장하고, 상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일하지 않은 경우 추가 데이터 판단하여 저장한다. 또한, 상기 방법은 상기 중복 데이터와 상기 추가 데이터를 하나의 데이터 집합으로 병합하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 포인트 클라우드 중복 추출 방법이 제공된다. 상기 방법은, 포인트 클라우드를 구성하는 복수 개의 포인트를 소정의 복셀 단위로 변환하는 단계와, 복셀 단위로 변환된 포인트에 대한 파일 해싱을 수행하는 단계와, 상기 파일 해싱을 통하여 획득한 타겟 파일 해시값과 기준 파일 해시값을 비교하는 단계를 포함한다. 상기 변환 단계에서 상기 복셀 범위 내에서 포함되는 복수 개의 포인트가 하나의 포인트로 변환된다. 또한, 상기 복셀의 크기는 포인트 간 최소 거리 보다 크고, 최소 거리의 2배 보다 작거나 같다.
본 발명의 실시예에 따르면, 중복 정보를 효율적으로 추출하고 제거함으로써 데이터 처리량이 감소되고 데이터율이 향상되는 효과가 있다. 또한, 본 발명에 따른 중복 제거 알고리즘을 통하여 보다 향상되고 안정적인 단순화 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 중복 처리 알고리즘의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 디바이더 알고리즘을 나타낸 도면이다.
도 3은 연속적인 두 개의 포인트 클라우드 프레임을 기준으로 서로 다른 각도에서 촬영한 2D 이미지와 중복된 부분을 제거한 결과를 랜더링한 이미지이다.
도 4는 중복 검사 단계에서 미세한 오차로 인하여 나타나는 문제를 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 포인트 변환 알고리즘의 개념을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 포인트 변환 알고리즘을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따라 복셀 크기에 따른 데이터 변화량과 각 렌더링 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 단순화 실험 결과를 나타낸 도면이다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따라 복셀 크기 변화에 따른 디바이더 알고리즘의 중복 추출 정보를 렌더링한 결과를 나타낸 도면이다.
도 10a 내지 도 10d는 본 발명의 일 실시예에 따라 복셀 크기 변화에 따른 데이터 상관 관계를 나타낸 그래프이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
포인트 클라우드는 3차원 좌표 공간에서 표현된 점들의 집합으로서, 각 점들은 3차원 좌표 공간에서 지오메트리(geometry) 정보와 속성 정보(예컨대, 색상, 반사도, 법선 등)을 갖는다. 포인트 클라우드를 구성하는 점의 지오메트리 정보는 일반적으로 실수 형태로 표현되나, 가끔 정수 형태로 좌표 공간에서 표현되기도 한다. 포인트 클라우드는 복셀(Voxel) 단위로 표현하고 인덱스로 사용될 수 있기 때문에 연산에 이점이 있다.
포인트 클라우드는 이미지에 기반한 장면 정보를 통해 정합 과정을 통하여 획득하거나, 적외선 센서를 사용하는 스캔 장치를 이용하여 획득할 수 있다. 스캔 장치의 예로는 마이크로소프트 키넥트(Microsoft Kinect) 또는 라이다(Lidar) 등이 있다. 이들 장치로부터 생성된 포인트 클라우드는 3D 렌더링 기술을 통하여 공간 정보를 제공하거나, 특정 물체를 나타내는 3 차원 정보를 제공하는 데 사용될 수 있다.
MPEG(Moving Picture Expert Group) 3D 그래픽 코딩 그룹(3DG)은, 실시간 시스템에서 포인트 클라우드가 밀집되어 있고 잡음을 무시할 수 없기 때문에 애니메이션으로 만들어진 컴퓨터 콘텐츠를 활용하기 위하여 적은 위치 정보를 갖는 콘텐츠와 제한된 양의 잡음을 처리하였다. 이는 3D 포인트 클라우드 정보를 2D 이미지로 변환하여 기존의 압축 알고리즘으로 압축하는 것이다. 이미 검증된 알고리즘을 통하여 안정적인 압축 성능을 갖는 방법이기 때문에 많은 연구가 이루어지고 있다.
MPEG 3DG는 2014년에 고급 몰입형 애플리케이션에 도구를 적용하는 방법을 연구하기 시작하였다. 그러나, 3DG에서 개발한 표준은 일반적으로 밀도가 낮은 콘텐츠와 제한된 양의 잡음을 다루는 컴퓨터 애니매이션 콘텐츠용으로 만들어 졌다. 반면에, 실시간 시스템에서는 포인트 클라우드가 밀집되어 있으며 잡음을 무시할 수 없었다. 결과적으로, 이러한 표준은 실제 상황에 적합하지 않았으므로 다른 표준을 찾아야 할 필요성이 있었다. 이후, 세 가지 기술이 테스트 모델로 선택되었는데, 이들은 동적으로 데이터를 획득하는 L-PCC(LIDAR point cloud compression), 정적인 콘텐츠인 S-PCC(Surface point cloud compression), 동적인 콘텐츠인 V-PCC(Video-based point cloud compression)이다. 최종 표준은 2020년 초에 발표되어 두 가지 솔루션 클래스로 구성되어 있다. 즉, 상대적으로 균일한 분포를 갖는 포인트 클라우드에 적합한 V-PCC와, 보다 희소한 분포에 적합한 L-PCC와 S-PCC가 결합된 G-PCC(Geometry-based point cloud compression)로 구성된다.
대표적으로 메타 데이터를 이용한 V-PCC 알고리즘의 확장성에 기반한 연구가 이루어지고 있다. 그러나, 추가적인 정보를 나타낼 뿐, 대부분 연구는 V-PCC 알고리즘을 이용한 확장성과 응용성에 그친다. V-PCC 알고리즘을 효율적으로 사용할 수 있는 전처리 알고리즘에 대한 연구가 부족한 실정이다.
본 발명의 일 실시예는 동적 포인트 클라우드의 중복 정보를 효율적으로 추출하기 위한 전처리 방법을 제안한다. 또한, 본 발명의 다른 실시예는 이러한 전처리 방법을 포함하여 중복 정보를 제거하는 디바이더 알고리즘(Divider Algorithm)을 사용한 전체 압축 방법을 제시한다.
동적 대상을 측량하여 일련의 프레임으로 이루진 연속적인 포인트 클라우드 형태의 3D 모델 정보를 압축할 수 있는 알고리즘으로 디바이더 알고리즘이 있다. 디바이더 알고리즘은 네트워크 환경에서 데이터를 효율적으로 전송하기 위하여 개발된 압축 알고리즘이며, 압축 방식으로 중복 처리 알고리즘을 사용한다. 종래의 디바이더 알고리즘은 동적 포인트 클라우드에서 나타나는 중복 데이터 대부분을 효과적으로 추출하지 못하고 있다.
도 1은 본 발명의 일 실시예에 따른 중복 처리 알고리즘을 설명하기 위한 도면이다. 도 1을 참고하면, 일반적으로 일련의 프레임으로 이루어진 연속적인 포인트 클라우드는 유사한 데이터 구조를 보이고 실질적인 변화량이 적다. 도 1에 도시된 바와 같이, 현재 프레임(101)과 다음 프레임(103) 사이는 상당량의 데이터가 중복되는 영역(105)이 존재한다. 따라서, 중복 처리 알고리즘은 현재 프레임(101)에서 나타나는 데이터와 다음 프레임(103)에서 나타나는 데이터를 비교 분석하여 변하는 데이터를 재구성하여 기록하는 알고리즘이다.
도 2는 본 발명의 일 실시예에 따른 전처리 방법을 이용한 디바이더 알고리즘을 나타낸 도면이다. 특히, 도 2는 본 발명의 일 실시예에 따른 전처리 과정을 포함하여 중복 정보를 제거하는 디바이더 알고리즘을 중심으로 설명한다. 도 2를 참고하면, 본 발명에 따른 디바이더 알고리즘은 내부적으로 데이터를 파일로부터 파싱(parsing)하는 단계(S201)을 수행한다. 그 다음, 포인트 변환 알고리즘을 통하여 포인트 클라우드를 구성하는 포인트들을 복셀(Voxel) 단위로 변환한다(S203). 다음, 복셀 단위로 변환된 포인트에 대하여 파일 해싱(File hashing) 단계(S205)를 수행하는 데, 이 과정에서 획득한 타겟 파일 해시 테이블(Target File Hash Table)과 기준 파일 해시값(Reference File Hash Value)을 비교한다(S207). 비교 결과, 해시값이 동일한 경우(S207에서 "예"), 중복 데이터(Overlap data)로 분류하여 저장한다. 반면, 해시값이 동일하지 않은 경우(S207에서, "아니오"), 추가 데이터(Add data)로 분류하여 저장한다. 이 후, 상기 중복 데이터와 추가 데이터는 하나의 데이터 집합으로 병합된 후(S209), 파일에 기록하게 된다(S211).
도 3은 연속적인 두 개의 포인트 클라우드 프레임을 기준으로 서로 다른 각도에서 촬영한 2D 이미지와 중복된 부분을 제거한 결과를 랜더링한 이미지이다. 도 3을 참고하면, 타겟 프레임(301)은 첫 번째 프레임을 랜더링한 것이고, 기준 프레임(303)은 상기 타겟 프레임(301)의 바로 다음 인접 프레임이다. 타겟 프레임(301)에서 기준 프레임(303)으로 바뀌어 가려진 부분을 제외하여 감산 이미지(305)를 획득할 수 있다. 두 프레임 간의 감산 이미지(305)는 한 시점에서 3D 모델이 얼마나 많이 바뀌었는 지를 나타낸다. 감산 이미지가 바로 타겟 프레임(301)과 기준 프레임(303)의 공통 부분, 즉 중복 후보군을 나타낸다. 도 3에서 시점에 따라 차이가 존재하지만, 상당히 많은 정점들이 공통 부분, 즉 중복 후보군에 속하여 있음을 알 수 있다. 도 3의 예를 사용하여 디바이더 알고리즘을 적용한 경우, 약 6%의 압축 결과를 획득하였다. 획득된 6%의 중복 데이터 추출 결과는 94%의 추가 데이터와 6%의 중복 데이터, 두 종류 데이터로 구성된 파일을 작성하는 것을 의미한다. 이는 실질적으로 중복 후보 집단을 대부분 추출하지 못한 상당히 낮은 압축 결과를 보인다.
도 4는 중복 검사 단계에서 미세한 오차로 인하여 나타나는 문제를 설명하기 위한 도면이다. 도 4를 참고하면, 파일 해싱 단계(S405)를 수행하여 타겟 파일 해시 테이블을 획득한 다음, 획득된 타겟 파일 해시 테이블의 해시값과 기준 파일 해시값을 비교한다(S407). 도 4에 도시된 중복 검사를 진행하는 과정에서 미세한 오차로 인한 문제점이 나타낸다. 즉, 포인트 클라우드를 생성하는 과정에서 발생하는 작은 오차(예컨대, 장비의 정확도 오차) 또는 포인트 클라우드를 처리하는 과정에서 발생하는 작은 오차(예컨대, 연산 또는 데이터 표현 상에서 버림 또는 반올림 값) 등으로 인해 발생하는 데이터 정밀 표현 문제로 인하여 타겟 파일 해시 테이블의 값과 기준 파일 해시값이 사이에 미세한 차이가 발생할 수 있다. 이러한 미세한 차이가 존재하는 경우, 해시값 비교 단계(S407)에서 미세한 차이를 갖는 점을 서로 다른 점으로 판단하게 된다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 포인트 변환 알고리즘(Point Transformation Algorithm)의 개념을 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 포인트 변환 알고리즘은 포인트(point)를 복셀 기반(Voxel-based)으로 변환하여 데이터 오차를 제거하는 알고리즘이다. 도 5a는 본 발명의 포인트 변환 알고리즘에 따라 임의의 포인트를 복셀 단위로 변환하기 전을 도시한 것이고, 도 5b는 복셀 단위로 변환 후를 도시한 도면이다. 본 발명의 일 실시예에 따른 포인트 변환 알고리즘을 통하여 변환된 경우, 원본 대비 오차 가능성을 갖는 포인트 클라우드를 생성한다는 특징과, 원본 포인트 클라우드를 단순화(simplification)하는 효과를 갖는다는 특징이 있다. 첫번째 특징은 원본 대비 좌표 이동이 적용되었기 때문에 포인트 변환 결과 원본과 동일한 포인트 클라우드가 아니기 때문이다. 두번째 특징은 복셀 기반 오차 제거 방법을 사용하기 때문에 하나의 복셀 내에 존재하는 복수 개의 정점이 한 점으로 병합된다는 점에서 기인한다. 두번째 특징의 일례가 도 6a 및 도 6b에 도시된다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 포인트 변환 알고리즘을 설명하기 위한 도면이다. 도 6a는 포인트 변환 알고리즘의 적용 전의 일례를 도시한 도면이고, 도 6b는 포인트 변환 알고리즘 적용 후의 일례를 도시한 도면이다. 도 6a 및 도 6b를 참고하면, 포인트 클라우드가 복셀 기반으로 변환되는 과정에서, 복수 개의 정점(포인트)들이 하나의 복셀로 병합된다. 도 6b에서는, 8개의 정점들이 그 중앙으로 밀집된다. 이로써, 하나의 복셀 안에 8개의 정점이 같은 위치 정보를 갖게 되므로, 8개의 정점이 1개의 정점으로 단순화되는 효과를 갖게 된다. 따라서, 중복 제거 알고리즘을 효과적으로 적용하기 위하여, 원본 대비 오차가 적고 원본 대비 품질 수준이 떨어지지 않는 적정한 복셀 크기를 구하여야 한다.
이하, 최적의 복셀 크기를 구하기 위한 방법에 대하여 기술한다. 본 발명의 일 실시예에 따른 이번 실험에서는 8iVSLF Dataset을 사용하였으나, 반드시 이에 한정되지 않는다. 8iVSLF Dataset는 MPEG 표준화를 위한 테스트 자료 및 광범위한 연구 커뮤니티의 비상업적 용도로 복셀화된 고해상도 포인트 클라우드의 새로운 데이터 세트를 제공한다. 본 실험에서는 정확한 결과 획득을 위하여 각 13종의 색상 및 노말 데이터를 제외한 8iVSLF 정보를 추출하여 사용한다. 추출된 포인트 클라우드는 ASCII 형식으로 작성된다.
표 1은 동적 포인트 클라우드 추출 결과를 나타낸 표이다.
[표 1]
Figure 112020123863166-pat00001
본 발명의 실시예에 따른 알고리즘의 특징을 분석하기 위하여 RMSE(Root Mean Square Error) 값을 측정한다. 첫 번째로, 좌표 이동량 및 원본의 정확도를 측정한다. 이는 포인트 클라우드 압축 평가 요소로 잘 알려진 RMSE 값을 계산하여 비교한다. 또한, 본 발명의 실시예에 따른 알고리즘을 통하여 획득한 결과와 원본 사이 품질을 비교한다. 두 번째로, 알고리즘 수행 과정 중에 발생한 단순화 효과를 측정한다. 제안된 알고리즘으로 인한 데이터 감소량과 기준의 단순화 알고리즘을 사용했을 때 얻어지는 데이터 감소량을 비교한다. 또한, 포인트 클라우드 데이터를 바탕으로 렌더링 품질을 비교한다. 또한, 본 발명의 일 실시예에 따른 중복 제거 알고리즘의 압축 결과를 측정한다. 이는 포인트 클라우드 압축 평가 요소로 잘 알려진 데이터 크기를 계산하여 비교한다. 또한, 압축 결과를 바탕으로 렌더링 품질을 비교한다.
도 2를 참고하여 설명한 바와 같이, 본 발명에 따른 디바이더 알고리즘은 파일 파싱 단계(S201) 직후에, 포인트 변환 단계(S203)를 추가로 수행함으로써 데이터 오차로 발생하는 미세한 차이를 제거하는 단계를 추가하여 중복 추출 성능을 향상 시킨다. 포인트 클라우드는 s 개의 3 정점 집합으로 아래 수학식 1과 같이 표시된다.
[수학식 1]
Figure 112020123863166-pat00002
임의의 점 P에 대하여 복셀 크기 k로 나타냈을 때, p(mod k)는 각 복셀 범위 내에서 나타나는 임의의 점의 미세한 차이를 나타낸다. 따라서, 미세한 차이를 원래 점에서 제거한 후, 복셀의 중앙 값으로 추정한다. 따라서, 포인트 변환 과정에서 사용한 좌표의 이동 공식(F(v))는 수학식 2와 같다.
[수학식 2]
Figure 112020123863166-pat00003
포인트 변환 과정 이전의 포인트 클라우드()의 모든 원소 v의 포인트 변환 과정 이후 획득하는 F(v)와 제곱근 편차를 아래 수학식 3 및 수학식 4과 같이 얻는다.
[수학식 3]
Figure 112020123863166-pat00004
[수학식 4]
Figure 112020123863166-pat00005
본 실험에서 사용된 복셀 크기의 범위는 포인트 클라우드를 구성하는 포인트간 최소거리로부터 최대 2배로 복셀 크기를 증가시켰을 때 나타는 변화를 기록하고, 그 중 대표로 원본 대비 30%, 50% 및 70% 수준의 포인트 클라우드 개수를 갖는 복셀 크기의 근사치를 사용하여 실험을 진행하였고, 그 결과는 아래 표 2와 같다.
[표 2]
Figure 112020123863166-pat00006
원본 포인트 클라우드와 포인트 변환 단계를 거친 포인트 클라우드간 지오메트리 변화를 대표 복셀 크기를 기준으로 변화하는 렌더링 결과와 원본과의 차이값이 RMSE 값을 확인하기 위한 실험을 진행하였다.
도 7은 복셀 크기에 따른 데이터 변화량과 각 렌더링 결과를 도시한 도면이다. 도 7을 참조하면, 복셀 크기(k)가 각각 1.26, 1.55 및 2.0인 경우 데이터 변화량과 렌더링 결과를 나타난다. 또한, 복셀 크기에 따른 RMSE 값은 아래 표 3과 같다.
[표 3]
Figure 112020123863166-pat00007
도 7 및 표 3으로 부터 알 수 있는 바와 같이, 포인트 변환 알고리즘으로 인한 렌더링 수준은 원본과 유사한 렌더링 결과를 얻었다. 보다 상세하게, 표 3의 결과는 각 원본 포인트 클라우드와 포인트 변환 단계로 인하여 변경된 지오메트리 변화를 RMSE 값을 기준으로 복셀 크기에 따라 3 단계로 나누어 비교하였다. 표 3에서 알 수 있는 바와 같이, 복셀 크기의 비례하여 증감하는 결과를 확인할 수 있다. 평균적으로 복셀 크기 수준의 지오메트리 이동 변화가 존재함을 확인할 수 있다.
이하, 본 발명의 실험에 따른 단순화 결과에 대하여 설명한다. 기존의 단순화 방식과 본 발명에 따라 포인트 변환 단계를 거친 방식을 비교하는 실험을 진행하였다. 단순화 기능은 포인트 클라우드 편집 툴로 알려진 MeshLab Simplification 기능을 사용하였으며, 샘플링 파라메타로 사용한 값은 각 원본 포인트 클라우드의 정점 개수의 30%, 50% 및 70%의 값을 사용하였다. 이는 원본에서 얼마나 많은 데이터를 추출할 것인지를 판단하는 정보로 제공된다.
도 8 및 도 9를 참고하여 본 발명의 일 실시예에 따른 단순화 실험 결과에 대해 설명한다. 도 8은 종래 기술과 본 발명에 따른 단순화 렌더링 결과를 비교하는 도면이다. 도 8의 첫 번째 열(a)는 70%의 단순화 파라메타 및 k=1.26 포인트 변환이 적용된 예이고, 두 번째 열(b)는 50%의 단순화 파라메타 및 k=1.55의 포인트 변환이 적용된 예이며, 세 번째 열(c)는 30%의 단순화 파라메타 및 k=2.0의 포인트 변환이 적용된 예이다. 도 8에 나타난 바와 같이, 기존의 단순화 방식을 사용한 경우, 30%(k=1.26), 50%(k=1.55) 및 70% (k=2.0) 모두 전반적으로 비슷한 수준의 랜더링 결과를 보인다. 한편, 본 발명에 따른 방식을 사용한 경우, 30%(k=1.26)와 50%(k=1.55)의 경우 거의 손실이 없는 데이터 렌더링을 보였고, 70% (k=2.0)의 경우에 기존 방식과 비슷하지만 복셀의 빈 공간이 가시적으로 보이는 렌더링 결과를 얻었다.
아래 표 4는 본 발명의 실시예에 따른 단순화 실험 결과 전체를 나타낸 표이다.
[표 4]
Figure 112020123863166-pat00008
표 4는 각 원본 포인트 클라우드, 종래 단순화 방식에 따라 얻어진 포인트 클라우드 및 본 발명의 방식에 따라 얻어진 포인트 클라우드에 대하여, 구성 포인트 수 및 파일 사이즈를 나타낸다. 또한, 최대값, 평균값 및 최소값으로 구분하여 작성한 측정 결과를 보여 준다. 표 4를 참고하면, 본 발명에 따른 방식이 종래 방식에 비하여 최대값은 감소하는 반면, 최소값은 증가하는 양상을 보인다. 그러나, 70% 이상(즉, k=1.26 이하) 포인트를 샘플링하는 경우, 종래 방식에 비하여 단순화 성능이 높아지는 것을 알 수 있다. 표 4의 평균값 항목에서 50% 와 70% 항목을 비교했을 때(즉, 평균70%종래방식 - 평균50%종래방식 값 보다 평균70%제안방식 - 평균50%제안방식 값이 더 작음), 나타나는 차이는 데이터 손실을 최소화하면서 파일 크기를 효과적으로 줄일 수 있는 결과를 보이는 데이터이다. 따라서 70% 포인트를 샘플링하는 경우 본 발명에 따른 방식이 성능이 높음을 알 수 있다.
이하, 본 발명의 실시예에 따른 포인트 변환 방식의 전처리 작업이 완료된 포인트 클라우드를 이용한 중복 제거 알고리즘의 성능을 측정한 실험 결과에 대하여 기술한다. 본 실험에서는 압축 결과를 렌더링하여 확인한 후 자세한 데이터를 기록한 자료를 통하여 분석하였다.
도 9a 내지 도 9c는 복셀 크기 변화에 따른 디바이더 알고리즘의 중복 추출 정보를 렌더링한 결과를 나타낸 도면이다. 도 9a는 k=1.25인 경우이고, 도 9b 및 도 9c는 각각 k=1.55 및 k=2.0 인 경우이다. 도 9a 내지 도 9c에 따르면, 추출된 중복 정보를 렌더링했을 때 전반적으로 3D 모델의 뚜렷한 윤곽선을 추출할 수 있다. 추출된 중복 데이터 수는 조금씩 증가하는 양상을 보이나, 육안으로 뚜렷한 차이를 확인하기는 쉽지 않다. 따라서, k 값에 따른 보다 세부적인 변화를 측정하기 위하여 아래와 같이 실험을 진행하였다.
도 10a 내지 도 10d는 복셀 크기 변화에 따른 데이터 상관 관계를 나타낸 그래프이다. 도 10a은 샘플 1 데이터에 대한 분석 결과를 나타낸 그래프이고, 도 10b는 샘플 2 데이터에 대한 분석 결과를 나타내는 그래프이다. 도 10c는 중복 추출 결과 정점 수를 나타낸 그래프이고, 도 10d는 중복 추출 결과 파일 사이즈를 나타낸다. 도 10a 내지 도 10d를 참고하면, 도 10a 와 도 10b, 도 10c와 도 10d의 그래프 양상은 약 0.05% 정도의 차이가 있을 뿐 거의 동일하게 나타난다. 특히, 도 10a 와 도 10b를 참고하면, 두 그래프는 k 값에 따라 정점 수가 일정하게 감소하고, RMSE 값이 k=1.00, k=1.5 및 k=2.0 부근에서 눈에 띄게 상승하고, 그 외에는 일정한 값을 보인다. 또한, 파일 크기는 약간의 증감을 반복하면서 점진적으로 감소하는 경향을 보인다. 도 10c 와 도 10d를 참고하면, 각 그래프는 k값이 증가함에 따라 선형에 가까운 양상으로 증가하여 중복 데이터 추출 비율이 증가하는 경향을 보인다.
이상 설명한 바와 같이, 본 발명의 실시예에서 원본 포인트 클라우드에 존재하는 미세한 오차를 복셀 단위로 제거한 후, 제거된 오차를 RMSE 값으로 기록하였다. 기준값으로 사용된 k=1.26, k=1.55 및 k=2.0에서 나타난 결과는 전반적으로 0.5k 값에 가깝게 나타나는 것으로 확인되었다. 다만, k=2.0에서는 0.5k에 비교적 덜 가까운 값이 측정되었다. 도 10a 및 도 10b를 참고하였을 때, RMSE 값은 대체로 포인트 클라우드를 구성하는 단위의 0.5 값에서 크게 나타난다. 제안된 알고리즘은 무질서한 오차를 제거하기 위하여 제안된 알고리즘이기 때문에 최소 거리가 1로 고정된 데이터 세트에서 복셀 크기를 0.5 단위(예컨대, k=1.26, k=1.55 및 k=2.0)에서 모든 정점은 최대 이동이 발생하기 때문인 것으로 보인다. 일반적으로 측정되는 무질서한 데이터에서는 모든 복셀 단위에서 일정량의 RMSE 값의 양상을 보일 것으로 예상된다.
또한, 상술한 바와 같이, 전처리 알고리즘의 특징에 따른 단순화 성능을 평가하기 위하여 기존 단순화 알고리즘과 비교하는 실험을 진행하였다. 기존의 단순화 알고리즘은 가변적인 성능을 보였고, 최대폭 및 최소폭이 큰 것으로 나타났다. 반면에, 제안된 전처리 알고리즘은 안정적인 성능을 보였고 최대폭 및 최소폭이 작고, 평균적인 성능이 개선된 것으로 나타났다. 또한, 도 8a 내지 도c에 도시된 바와 같이, 단순화 효과로 비슷한 파일 크기를 만족할 때 렌더링 결과로 나타내며, 복셀 단위가 시각적으로 표현되지 않는 수준의 단순화 결과에서는 기존 단순화 결과 보다 안정적으로 나타냄을 보인다.
본 발명의 실시예에 따른 전처리 알고리즘을 사용하는 중복 제거 알고리즘을 사용하여 중복 데이터를 추출하는 실험을 진행하였다. 본 실험을 통하여 획득한 중복 추출 데이터를 레더링 하였다. 도 9a 내지 도 9c를 참조하여 설명한 바와 같이, 대체로 3D 모델 윤곽선으로 확인되는 데, 이는 포인트 클라우드 내부가 비어있는 데이터 구조를 갖기 때문이다. 즉, 타겟 프레임의 윤곽선 중 기준 프레임의 중복되는 점정을 추출했기 때문이다. 본 발명에 따른 알고리즘을 통하여 추출된 결과는 기존 6.63% 대비 최대 16.85%(k=2.0 인 경우)까지 증가함을 보였다.
이상에서 본 발명의 다양한 실시예에 대해 설명하였지만, 이들 다양한 실시예는 반드시 단독으로 구현될 필요는 없고, 둘 이상의 실시예가 결합될 수도 있다. 또한, 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (11)

  1. 포인트 클라우드를 구성하는 복수 개의 포인트를 소정의 복셀(Voxel) 단위로 변환하는 단계;
    복셀 단위로 변환된 포인트에 대하여 파일 해싱을 수행하는 단계;
    상기 파일 해싱값에 기초하여 데이터 중복 여부를 판단하는 단계; 및
    데이터 중복 여부에 기초하여 중복 데이터와 추가 데이터를 구분하여 저장 및 기록하는 단계를 포함하며,
    상기 변환 단계에서, 상기 복셀 범위 내에 포함되는 복수 개의 포인트가 상기 복셀 중앙의 하나의 포인트로 변환되며,
    상기 복셀의 크기는 상기 포인트 클라우드를 구성하는 포인트들 간 최소 거리 보다 크고, 포인트들 간 최소 거리의 2배 보다 작거나 같은 것인, 데이터 압축 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 데이터 중복 여부는 파일 해싱을 통하여 획득한 타겟 파일 해시값과 기준 파일 해시값을 비교하여 결정되는, 데이터 압축 방법.
  6. 제5항에 있어서,
    상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일한 경우 중복 데이터로 판단하여 저장하고, 상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일하지 않은 경우 추가 데이터 판단하여 저장하는, 데이터 압축 방법.
  7. 제1항에 있어서,
    상기 중복 데이터와 상기 추가 데이터를 하나의 데이터 집합으로 병합하는 단계를 더 포함하는, 데이터 압축 방법.
  8. 포인트 클라우드를 구성하는 복수 개의 포인트를 소정의 복셀 단위로 변환하는 단계;
    복셀 단위로 변환된 포인트에 대한 파일 해싱을 수행하는 단계; 및
    상기 파일 해싱을 통하여 획득한 타겟 파일 해시값과 기준 파일 해시값을 비교하는 단계를 포함하며,
    상기 변환 단계에서 상기 복셀 범위 내에 포함되는 복수 개의 포인트가 상기 복셀 중앙의 하나의 포인트로 변환되며,
    상기 복셀의 크기는 상기 포인트 클라우드를 구성하는 포인트들 간 최소 거리 보다 크고, 포인트들 간 최소 거리의 2배 보다 작거나 같은 것인, 데이터 중복 정보 추출 방법.
  9. 제8항에 있어서,
    상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일한 경우 중복 데이터로 판단하여 저장하고, 상기 타겟 파일 해시값과 상기 기준 파일 해시값이 동일하지 않은 경우 추가 데이터 판단하여 저장하는, 데이터 중복 정보 추출 방법.
  10. 삭제
  11. 삭제
KR1020200154741A 2020-11-18 2020-11-18 포인트 클라우드 압축 방법 KR102488423B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154741A KR102488423B1 (ko) 2020-11-18 2020-11-18 포인트 클라우드 압축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154741A KR102488423B1 (ko) 2020-11-18 2020-11-18 포인트 클라우드 압축 방법

Publications (2)

Publication Number Publication Date
KR20220067938A KR20220067938A (ko) 2022-05-25
KR102488423B1 true KR102488423B1 (ko) 2023-01-13

Family

ID=81800431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154741A KR102488423B1 (ko) 2020-11-18 2020-11-18 포인트 클라우드 압축 방법

Country Status (1)

Country Link
KR (1) KR102488423B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462485B2 (en) * 2017-09-06 2019-10-29 Apple Inc. Point cloud geometry compression
US10783668B2 (en) * 2017-12-22 2020-09-22 Samsung Electronics Co., Ltd. Handling duplicate points in point cloud compression
KR20190117287A (ko) * 2018-04-06 2019-10-16 삼성전자주식회사 중복 포인트 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
안재풍 외, 3차원 복원을 위한 대용량 희소 볼륨 데이터의 효율적인 저장을 위한 공간자료구조, 컴퓨터그래픽스학회논문지 23(3), 19-29p (2017.7.) 1부.*

Also Published As

Publication number Publication date
KR20220067938A (ko) 2022-05-25

Similar Documents

Publication Publication Date Title
Alexiou et al. Towards a point cloud structural similarity metric
Poullis A framework for automatic modeling from point cloud data
EP3373583A1 (en) Quality metric for point clouds
CN113096198B (zh) 一种双向点云属性预测压缩方法,装置,设备及介质
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
CN110708529B (zh) 动态点云投影压缩方法、系统、装置及介质
Hou et al. Sparse representation for colors of 3D point cloud via virtual adaptive sampling
CN111316330A (zh) 用于对点云进行上采样的方法和装置
KR20210096234A (ko) 호모그래피 변환을 사용하는 포인트 클라우드 코딩
CN115330940A (zh) 一种三维重建方法、装置、设备和介质
Calakli et al. SSD-C: Smooth signed distance colored surface reconstruction
Johansson et al. A screen space quality method for data abstraction
JP2023541271A (ja) 高密度メッシュ圧縮
KR102488423B1 (ko) 포인트 클라우드 압축 방법
He et al. Point cloud attribute inpainting in graph spectral domain
CN116310060B (zh) 一种渲染数据的方法、装置、设备及存储介质
EP4307663A1 (en) Decoding method/encoding method based on point cloud attribute prediction, decoder, and encoder
KR101359661B1 (ko) 삼각형 메쉬로 표현된 3차원 물체를 DoSurface 표현 방법으로 변환하는 시스템 및 그 방법
Bannò et al. Real-time compression of depth streams through meshification and valence-based encoding
Zhang et al. Region-based image retargeting quality assessment
KR20220085694A (ko) 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
Wu et al. Rgbd temporal resampling for real-time occlusion removal
CN108235775B (zh) 具有伪边缘消除的基于块的边缘像素检测的系统和方法
Zhao et al. A Retinex theory based points sampling method for mesh simplification
Malpica et al. SSIM based range image quality assessment

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant