KR20230119690A - 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면투영, 및 인코딩 및 디코딩 방법 - Google Patents

대규모 포인트 클라우드-지향형 2 차원 정규화된 평면투영, 및 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20230119690A
KR20230119690A KR1020237023873A KR20237023873A KR20230119690A KR 20230119690 A KR20230119690 A KR 20230119690A KR 1020237023873 A KR1020237023873 A KR 1020237023873A KR 20237023873 A KR20237023873 A KR 20237023873A KR 20230119690 A KR20230119690 A KR 20230119690A
Authority
KR
South Korea
Prior art keywords
point cloud
dimensional
data
encoding
plane structure
Prior art date
Application number
KR1020237023873A
Other languages
English (en)
Inventor
푸정 양
웨이 장
Original Assignee
아너 디바이스 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아너 디바이스 컴퍼니 리미티드 filed Critical 아너 디바이스 컴퍼니 리미티드
Publication of KR20230119690A publication Critical patent/KR20230119690A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법, 및 인코딩 및 디코딩 방법이 개시된다. 2 차원 정규화된 평면 투영 방법은, 원래의 포인트 클라우드 데이터를 획득하는 단계; 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계; 및 포인트 클라우드에 대응하는 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계를 포함한다. 인코딩 및 디코딩 방법은, 인코딩 대상 데이터를 획득하기 위하여 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 예측하는 단계; 인코딩 대상 데이터를 제1 유형의 인코딩 대상 데이터 및 제2 유형의 인코딩 대상 데이터로 분할하는 단계; 및 기하학적 정보 비트스트림을 획득하기 위하여, 사전설정된 인코딩 방식으로 제1 유형의 인코딩 대상 데이터 중 상이한 데이터를 별도로 인코딩하고, 이에 대응하여, 제2 유형의 인코딩 대상 데이터를 인코딩하는 단계를 포함한다. 2 차원 정규화된 평면 투영 기술을 통해, 포인트 클라우드의 공간적 상관이 본 발명에서 더 양호하게 반영된다. 추가적으로, 2 차원 정규화된 투영 평면 구조에 기초하여 인코딩하는 것은 포인트 클라우드의 인코딩 효율을 개선시킨다.

Description

대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영, 및 인코딩 및 디코딩 방법
이 출원은 "대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영, 및 인코딩 및 디코딩 방법(LARGE-SCALE POINT CLOUD-ORIENTED TWO-DIMENSIONAL REGULARIZED PLANAR PROJECTION AND ENCODING AND DECODING METHOD)"이라는 명칭으로 2021년 2월 8일자로 중국 특허청에 출원된 중국 특허 출원 제202110172053.1호에 대한 우선권을 주장하고, 이 중국 특허 출원은 그 전체적으로 참조로 본 명세서에 통합된다.
본 발명은 포인트 클라우드 데이터 프로세싱 기술의 분야, 특히, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영(large-scale point cloud-oriented two-dimensional regularized planar projection), 및 인코딩 및 디코딩 방법에 관한 것이다.
하드웨어 프로세싱 능력의 개선 및 컴퓨터 비전(computer vision)의 급속한 개발로, 3 차원 포인트 클라우드(three-dimensional point cloud)는 오디오, 이미지, 및 비디오 이후에 새로운 세대의 몰입형 멀티미디어(immersive multimedia)가 되고 있고, 가상 현실(virtual reality), 증강 현실(augmented reality), 자율-주행(self-driving), 환경 모델링(environmental modelling) 등에서 폭넓게 이용된다. 그러나, 잡음, 디바이스 지터(device jitter), 디바이스 교정(device calibration) 등으로 인해, 대규모 포인트 클라우드 데이터는 불균등하게 분포되고, 이것은 관련된 데이터 프로세싱에 대한 어려움을 야기시키고 인코딩 효율의 추가의 개선을 한정한다는 점이 제시된다. 추가적으로, 대규모 포인트 클라우드는 일반적으로, 상대적으로 큰 데이터 용량을 가지고, 이것은 포인트 클라우드 데이터의 전송 및 저장에 매우 불리하다.
현존하는 기하구조-기반 포인트 클라우드 압축(G-PCC, Geometry-based Point Cloud Compression) 프레임워크에서, 포인트 클라우드의 기하학적 정보 및 속성 정보는 별도로 인코딩된다. 현재, G-PCC의 기하학적 인코딩 및 디코딩은 옥트리-기반(octree-based) 기하학적 인코딩 및 디코딩, 및 예측 트리-기반(prediction tree-based) 기하학적 인코딩 및 디코딩으로 분류될 수 있다.
옥트리-기반 기하학적 인코딩에 대해서는, 먼저, 포인트 클라우드의 기하학적 정보가 프리프로세싱되고, 이것은 포인트 클라우드의 좌표 변환(coordinate transformation) 및 복셀화(voxelization)를 포함한다. 그 다음으로, 너비 우선 횡단 순서(breadth first traversing order)에 따라, 트리 분할(옥트리/쿼드트리/2진 트리)이 포인트 클라우드가 위치되는 경계 박스(bounding box)에 대해 연속적으로 수행된다. 최종적으로, 각각의 노드의 플레이스홀더 코드(placeholder code) 및 각각의 리프 노드(leaf node) 내에 포함된 포인트의 수는 2진 비트스트림(binary bitstream)을 생성하기 위하여 인코딩된다.
예측 트리-기반 기하학적 인코딩에 대해서는, 먼저, 원래의 포인트 클라우드가 정렬된다. 그 다음으로, 예측 트리 구조가 확립된다. 각각의 노드를, 노드가 속하는 레이저 스캐너(laser scanner)로 분류함으로써, 예측 트리 구조는 상이한 레이저 스캐너에 따라 확립된다. 다음으로, 예측 트리 내의 각각의 노드가 횡단되고, 예측 잔차(prediction residual)를 획득하기 위하여 상이한 예측 모드를 선택함으로써 노드의 기하학적 정보가 예측되고, 예측 잔차는 양자화 파라미터(quantization parameter)를 이용함으로써 양자화된다. 최종적으로, 예측 트리 구조, 양자화 파라미터, 노드의 기하학적 정보의 예측 잔차 등이 2진 비트스트림을 생성하기 위하여 인코딩된다.
그러나, 포인트 클라우드는 상대적으로 강한 공간적 희소성(spatial sparsity)을 가지므로, 옥트리 구조를 이용하는 포인트 클라우드 인코딩 기술에 대해서는, 옥트리 구조가 분할을 통해 획득된 빈 노드의 상대적으로 높은 비율을 초래할 것이고, 포인트 클라우드의 공간적 상관(spatial correlation)이 완전히 표현될 수 없고, 이에 의해, 포인트 클라우드의 예측 및 엔트로피 코딩에 불리하다. 예측 트리-기반 포인트 클라우드 인코딩 및 디코딩 기술은 트리 구조를 확립하기 위하여 라이더 디바이스(lidar device)의 파라미터의 일부를 이용한다. 이것에 기초하여, 예측 인코딩은 트리 구조를 이용함으로써 수행된다. 그러나, 트리 구조는 포인트 클라우드의 공간적 상관을 완전히 나타내지 않고, 이에 의해, 포인트 클라우드의 예측 및 엔트로피 코딩에 불리하다. 그러므로, 상기한 2개의 포인트 클라우드 인코딩 및 디코딩 기술 둘 모두는 인코딩 효율이 충분히 높지 않다는 문제를 가진다.
종래 기술에서 존재하는 상기한 문제를 해결하기 위하여, 본 발명은 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영, 및 인코딩 및 디코딩 방법을 제공한다. 본 발명에 의해 해결되어야 할 기술적 문제는 다음의 기술적 솔루션에 의해 구현된다.
대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법은,
원래의 포인트 클라우드 데이터를 획득하는 단계;
정규화 파라미터를 이용함으로써 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계; 및
포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계를 포함한다.
본 발명의 실시예에서, 정규화 파라미터는 라이더(lidar)의 교정 파라미터, 또는 최적화된 추정 또는 데이터 피팅(data fitting)을 통해 획득된 파라미터를 포함한다.
본 발명의 실시예에서, 정규화 파라미터를 이용함으로써 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계는,
정규화 파라미터에서의 레이저 스캐너의 수, 수평 방위각(horizontal azimuth)에서의 샘플링 각도 해상도, 또는 레이저 스캐너의 샘플링 포인트의 수를 이용함으로써, 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계를 포함하고, 즉,
; 및
또는 이고,
여기서, M 및 N은 2 차원 투영 평면 구조에서 수직 방향에서의 해상도 및 수평 방향에서의 해상도를 각각 나타내고, 은 레이저 스캐너의 수를 나타내고, 은 수평 방위각에서의 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 는 레이저 스캐너의 샘플링 포인트의 수를 나타낸다.
본 발명의 실시예에서, 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계는,
원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하기 위하여, 정규화 파라미터와, 계산을 통해 2 차원 투영 평면 구조에서 원래의 포인트 클라우드 데이터에서의 포인트의 대응하는 포지션(position)을 획득하기 위한 교정 공식을 통해 솔루션(solution)을 탐색하는 단계를 포함하고, 교정 공식은,
;
;
;
;
; 및
로서 표현되고,
여기서, 는 원래의 포인트 클라우드 데이터에서의 포인트의 데카르트 좌표(Cartesian coordinate)를 나타내고, 은 포인트와 라이더의 좌표 원점 사이의 거리를 나타내는, 포인트의 원통형 좌표 컴포넌트이고, 은 레이저 스캐너의 수를 나타내고, 은 수평 방위각에서의 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 및 는 2 차원 투영 평면 구조에서 포인트의 대응하는 픽셀의 피치 각도(pitch angle) 및 방위각(azimuth)이고, 는 2 차원 투영 평면 구조에서 포인트의 대응하는 픽셀의 포지션을 나타내고, , , , 및 는 정규화 파라미터이다.
본 발명의 실시예에서, 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계는,
원래의 포인트 클라우드 데이터에서의 현재 포인트의 원통형 좌표 컴포넌트를 결정하는 단계;
2 차원 투영 평면 구조에서 현재 포인트의 검색 영역을 결정하는 단계;
검색 영역에서 픽셀을 횡단하고, 데카르트 좌표계에서의 현재 픽셀의 포지션을 계산하고, 포지션과 현재 포인트 사이의 공간적 거리를 계산하는 단계;
가장 짧은 공간적 거리를 갖는 픽셀을, 2 차원 투영 평면 구조에서 현재 포인트의 대응하는 픽셀로서 선택하는 단계; 및
2 차원 투영 평면 구조에서의 대응하는 픽셀이 원래의 포인트 클라우드 데이터에서의 모든 포인트에 대하여 구해질 때까지 상기한 단계를 반복하는 단계를 더 포함한다.
본 발명의 실시예에서, 2 차원 투영 평면 구조에서 현재 포인트의 검색 영역을 결정하는 단계는,
원통형 좌표계에서의 현재 포인트의 피치 각도 및 방위각 을 통해 2 차원 투영 평면 구조에서 현재 포인트의 검색 영역을 결정하는 단계; 또는
정규화 파라미터 및 교정 공식을 통해 2 차원 투영 평면 구조에서 현재 포인트의 검색 영역을 결정하는 단계; 또는
사전 정보(a-priori information)에 따라 현재 포인트의 검색 영역을 결정하는 단계를 포함한다.
본 발명의 실시예에서, 데카르트 좌표계에서의 현재 픽셀의 포지션에 대한 계산 공식은,
;
;
;
;
; 및
이고,
여기서, 는 2 차원 투영 평면 구조에서 현재 픽셀의 포지션을 나타내고, 현재 픽셀에 대응하는 피치 각도 및 방위각은 및 이고, 은 수평 방위각에서의 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 및 는 원래의 포인트 클라우드 데이터에서의 현재 포인트의 데카르트 좌표 컴포넌트이고, 은 원래의 포인트 클라우드 데이터에서의 현재 포인트의 원통형 좌표 컴포넌트이고, 은 데카르트 좌표계에서의 현재 픽셀의 포지션을 나타내고, , , , 및 는 정규화 파라미터이다.
본 발명의 또 다른 실시예는 대규모 포인트 클라우드-지향형 인코딩 방법을 제공하고, 이 대규모 포인트 클라우드-지향형 인코딩 방법은,
원래의 포인트 클라우드 데이터를 획득하고, 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 2 차원 정규화된 평면 투영을 수행하는 단계 - 2 차원 정규화된 평면 투영은 제1항 내지 제7항 중 어느 한 항에 따른 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법을 이용함으로써 구현됨 -;
인코딩 대상 데이터를 획득하기 위하여 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 예측하는 단계;
인코딩 대상 데이터를 제1 유형의 인코딩 대상 데이터 및 제2 유형의 인코딩 대상 데이터로 분할하는 단계 - 제1 유형의 인코딩 대상 데이터는 2 차원 정규화된 투영 평면 구조 데이터이고, 제2 유형의 인코딩 대상 데이터는 2 차원 정규화된 투영 평면 구조 데이터 이외의 나머지 인코딩 대상 데이터임 -; 및
기하학적 정보 비트스트림을 획득하기 위하여, 사전설정된 인코딩 방식으로 제1 유형의 인코딩 대상 데이터 중 상이한 데이터를 별도로 인코딩하고, 제2 유형의 인코딩 대상 데이터를 인코딩하는 단계를 포함한다.
본 발명의 실시예에서, 인코딩 대상 데이터를 획득하기 위하여 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 예측하는 단계는,
포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 따라 상이한 데이터에 대한 상이한 예측 모드를 설정하고, 인코딩 대상 데이터를 획득하기 위하여 대응하는 예측 모드에 따라 예측하는 단계를 포함한다.
본 발명의 또 다른 실시예는 대규모 포인트 클라우드-지향형 디코딩 방법을 제공하고, 이 대규모 포인트 클라우드-지향형 디코딩 방법은,
기하학적 정보 비트스트림을 획득하는 단계;
파싱된 데이터를 획득하기 위하여 기하학적 정보 비트스트림을 디코딩하는 단계;
파싱된 데이터에 따라 2 차원 정규화된 투영 평면 구조를 재구성하는 단계; 및
재구성된 포인트 클라우드를 획득하기 위하여 재구성된 2 차원 정규화된 투영 평면 구조에 따라 기하학적 재구성을 수행하는 단계를 포함한다.
본 발명의 유익한 효과:
1. 본 발명에서는, 3 차원 공간에서의 포인트 클라우드를 대응하는 2 차원 정규화된 투영 평면 구조 상으로 투영함으로써, 정규화된 정정(regularized correction)이 수직 방향 및 수평 방향에서 포인트 클라우드에 대해 수행되고, 2 차원 투영 평면 구조 상에서의 포인트 클라우드의 강한 상관 표현이 획득되고, 이에 의해, 3 차원 표현 구조에서 존재하는 희소성이 회피되고, 포인트 클라우드의 공간적 상관이 더 양호하게 반영되고, 포인트 클라우드의 애플리케이션에 대한 데이터를 프로세싱하기 위하여 더 용이한 표현식의 형태가 제공된다.
2. 본 발명에서는, 인코딩이 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 수행되고, 이는 포인트 클라우드의 공간적 상관을 대폭 이용할 수 있고 공간적 중복성을 감소시킬 수 있으므로, 다른 보조 정보를 압축하기 위하여 추가적인 비트스트림을 이용할 필요성이 없고, 이는 비트스트림을 감소시키고 인코딩 효율을 개선시킨다.
다음은 첨부 도면 및 실시예를 참조하여 본 발명을 상세하게 추가로 설명한다.
도 1은 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법의 개략도이다.
도 2는 본 발명의 실시예에 따른, 포인트의 원통형 좌표와 2 차원 투영 평면 구조에서의 픽셀 사이의 대응관계의 개략도이다.
도 3은 본 발명의 실시예에 따른, 원래의 포인트 클라우드와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 흐름도이다.
도 4는 본 발명의 실시예에 따른, 포인트 클라우드의 2 차원 투영 평면 구조의 개략도이다.
도 5는 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 인코딩의 블록도이다.
도 6은 본 발명의 실시예에 따른, 3 개의 예측 모드의 개략적인 구조도이다.
도 7은 본 발명의 실시예에 따른, 5 개의 예측 모드의 개략적인 구조도이다.
도 8은 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 디코딩의 블록도이다.
본 발명은 구체적인 실시예를 참조하여 이하에서 상세하게 추가로 설명되지만, 본 발명의 구현예는 이것으로 제한되지 않는다.
실시예 1
도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법의 개략도이고, 이러한 방법은 다음을 포함한다:
단계 1. 원래의 포인트 클라우드 데이터를 획득함.
구체적으로, 원래의 포인트 클라우드는 일반적으로, 3 차원 공간 포인트의 그룹을 포함하고, 각각의 공간 포인트는 그의 기하학적 포지션 정보, 및 컬러(color), 반사율(reflectivity), 또는 법선(normal)과 같은 추가적인 속성 정보를 기록한다. 일반적으로, 포인트 클라우드의 기하학적 포지션 정보는 데카르트 좌표계(Cartesian coordinate system)에 기초하여 표현되고, 즉, 포인트의 , , 좌표를 이용함으로써 표현된다. 원래의 포인트 클라우드 데이터는 라이더의 스캐닝, 또는 다양한 플랫폼(platform)에 의해 제공된 공개 데이터 세트(public data set)를 통해 획득될 수 있다. 이 실시예에서는, 획득된 원래의 포인트 클라우드 데이터의 기하학적 포지션 정보가 데카르트 좌표계에 기초하여 표현되는 것으로 가정한다. 원래의 포인트 클라우드 데이터의 기하학적 포지션 데이터를 표현하기 위한 방법은 데카르트 좌표로 제한되지 않는다는 것이 주목되어야 한다.
단계 2. 정규화 파라미터를 이용함으로써 포인트 클라우드의 2 차원 투영 평면 구조를 초기화함.
구체적으로, 이 실시예에서는, 2 차원 정규화된 평면 투영이 원래의 포인트 클라우드에 대해 수행되기 전에, 좌표 변환, 스케일 제어(scale control), 또는 복셀화와 같은 프리프로세싱이 추후의 인코딩을 용이하게 하기 위하여 원래의 포인트 클라우드 데이터에 대해 수행될 수 있다.
포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 것은 정규화 파라미터를 이용할 필요가 있다. 정규화 파라미터는 라이더의 교정 파라미터, 또는 최적화된 추정 또는 데이터 피팅을 통해 획득된 파라미터를 포함한다.
일반적으로, 라이더의 교정 파라미터는 제조자에 의해 미세하게 측정되고, 필수 데이터 중의 하나로서 소비자를 위하여 제공된다. 예를 들어, 라이더의 수집 범위, 수평 방위각에서의 샘플링 각도 해상도 또는 샘플링 포인트의 수, 각각의 레이저 스캐너의 거리 정정 인자, 수직 방향 및 수평 방향에 따른 레이저 스캐너의 오프셋 정보 및 , 또는 피치 각도 및 수평 방위각에 따른 레이저 스캐너의 오프셋 정보 및 .
정규화 파라미터는 위에서 주어진 라이더의 이 교정 파라미터로 제한되지 않는다는 것이 주목되어야 한다. 라이더의 교정 파라미터가 주어지지 않는 경우에, 정규화 파라미터는 최적화된 추정 또는 데이터 피팅과 같은 방식으로 추가로 획득될 수 있다.
포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 픽셀의 M 행(row) 및 N 열(column)을 포함하는 데이터 구조이다. 투영된 후에, 원래의 포인트 클라우드에서의 포인트는 데이터 구조에서의 픽셀에 대응한다. 추가적으로, 데이터 구조에서의 픽셀 는 원통형 좌표 컴포넌트 에 관련될 수 있다. 예를 들어, 원통형 좌표 에 대응하는 픽셀 는 다음의 공식을 이용함으로써 구해질 수 있다.
; 및
.
구체적으로, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른, 포인트의 원통형 좌표와 2 차원 투영 평면 구조에서의 픽셀 사이의 대응관계의 개략도이다.
본 명세서에서의 픽셀의 대응관계는 원통형 좌표로 제한되지 않는다는 것이 주목되어야 한다.
추가로, 2 차원 정규화된 투영 평면의 해상도는 정규화 파라미터에 의해 획득될 수 있다. 예를 들어, 2 차원 정규화된 투영 평면의 해상도가 인 것으로 가정하면, 정규화 파라미터에서의 레이저 스캐너의 수는 M을 초기화하기 위하여 이용될 수 있고, 수평 방위각에서의 샘플링 각도 해상도 , 또는 레이저 스캐너의 샘플링 포인트의 수 는 N을 초기화하기 위하여 이용될 수 있다. 구체적인 공식은 다음과 같고, 최종적으로, 2 차원 투영 평면 구조의 초기화가 완료될 수 있고, 을 포함하는 평면 구조가 획득될 수 있다.
; 및
또는 .
단계 3: 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정함.
이 실시예에서, 2 차원 투영 평면 구조에서의 원래의 포인트 클라우드의 포지션은 포인트마다 결정되고, 데카르트 좌표계에서 원래 무작위적으로 분포된 포인트 클라우드는 균등하게 분포된 2 차원 정규화된 투영 평면 구조 상으로 맵핑된다. 구체적으로, 원래의 포인트 클라우드에서의 각각의 포인트에 대하여, 대응하는 픽셀은 2 차원 투영 평면 구조에서 결정된다. 예를 들어, 2 차원 평면 상에서 포인트의 투영 포지션으로부터 가장 짧은 공간적 거리를 갖는 픽셀은 포인트의 대응하는 픽셀로서 선택될 수 있다.
이 실시예에서, 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 것은,
원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하기 위하여, 정규화 파라미터와, 계산을 통해 2 차원 투영 평면 구조에서 원래의 포인트 클라우드 데이터에서의 포인트의 대응하는 포지션을 획득하기 위한 교정 공식을 통해 솔루션을 탐색하는 것을 포함하고, 여기서, 교정 공식은,
;
;
;
;
; 및
로서 표현되고,
여기서, 는 원래의 포인트 클라우드 데이터에서의 포인트의 데카르트 좌표(Cartesian coordinate)를 나타내고, 은 포인트와 라이더의 좌표 원점 사이의 거리를 나타내는, 포인트의 원통형 좌표 컴포넌트이고, 은 레이저 스캐너의 수를 나타내고, 은 수평 방위각에서의 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 및 는 2 차원 투영 평면 구조에서 포인트의 대응하는 픽셀의 피치 각도(pitch angle) 및 방위각(azimuth)이고, 는 2 차원 투영 평면 구조에서 포인트의 대응하는 픽셀의 포지션을 나타내고, , , , 및 는 정규화 파라미터이다.
본 발명의 또 다른 실시예에서는, 원래의 포인트 클라우드 데이터와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하기 위한 또 다른 방법이 제공된다. 도 3을 참조하면, 도 3은 본 발명의 실시예에 따른, 원래의 포인트 클라우드와 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 흐름도이고, 이것은 다음을 포함한다:
31) 원래의 포인트 클라우드 데이터에서의 현재 포인트의 원통형 좌표 컴포넌트를 결정함.
구체적으로, 현재 포인트 의 원통형 좌표 컴포넌트 의 계산은 다음과 같고, 은 현재 포인트와 좌표 원점 사이의 방사상 거리를 나타낸다:
.
32) 2 차원 투영 평면 구조에서 현재 포인트의 검색 영역을 결정함.
이 실시예에서, 검색 영역은 2 차원 투영 평면 구조에서 하나의 픽셀을 포함할 수 있거나, 2 차원 투영 평면 구조에서 복수의 픽셀을 포함할 수 있다.
전체적인 2 차원 투영 평면 구조는 검색 영역으로서 직접적으로 선택될 수 있다. 추가로, 컴퓨팅 양을 감소시키기 위하여, 2 차원 투영 평면 구조에서의 대응하는 픽셀의 검색 영역은 현재 포인트의 원통형 좌표 컴포넌트의 피치 각도 및 방위각 을 통해 결정될 수 있어서, 검색 영역이 감소될 수 있다.
본 발명의 또 다른 실시예에서, 2 차원 투영 평면 구조에서의 현재 포인트의 후보 대응 포지션은 정규화 파라미터 및 상기한 교정 공식을 통해 결정될 수 있고, 검색 영역은 후보 대응 포지션을 참조하여 결정될 수 있다. 추가적으로, 현재 포인트의 검색 영역은 또한, 사전 정보(a-priori information)에 따라 결정될 수 있다.
32) 검색 영역에서 픽셀을 횡단하고, 데카르트 좌표계에서의 현재 픽셀의 포지션을 계산하고, 포지션과 현재 포인트 사이의 공간적 거리를 계산함.
검색 영역이 결정된 후에, 검색 영역에서의 각각의 픽셀 에 대하여, 정규화 파라미터, 즉, 사전 교정 파라미터: 라이더의 번째 레이저 스캐너의 , , , 및 를 이용함으로써, 데카르트 좌표계에서의 현재 픽셀의 포지션 이 계산되고, 구체적인 계산 공식은 다음과 같다:
데카르트 좌표계에서의 현재 픽셀의 포지션 이 획득된 후에, 포지션과 현재 포인트 사이의 공간적 거리가 계산되고, 오차 Err, 즉, 다음과 같은 것으로서 간주된다:
33) 가장 짧은 공간적 거리를 갖는 픽셀을, 2 차원 투영 평면 구조에서 현재 포인트의 대응하는 픽셀로서 선택함.
구체적으로, 오차 Err이 최소 오차 minErr 초과인 경우에, 상기한 업데이트 프로세스를 스킵(skip)함. 오차 Err이 현재의 최소 오차 minErr 미만인 경우에, 오차 Err은 최소 오차 minErr을 업데이트하기 위하여 이용되고, 현재 픽셀에 대응하는 및 는 현재 포인트의 대응하는 픽셀의 및 를 업데이트하기 위하여 이용되고; 오차 Err이 최소 오차 minErr 초과인 경우에, 상기한 업데이트 프로세스를 스킵함.
검색 영역에서의 모든 픽셀이 횡단된 후에, 2 차원 투영 평면 구조에서의 현재 포인트의 대응하는 픽셀 , 및 현재 포인트의 원통형 좌표 컴포넌트 이 결정될 수 있다.
34) 2 차원 투영 평면 구조에서의 대응하는 픽셀이 원래의 포인트 클라우드 데이터에서의 모든 포인트에 대하여 구해질 때까지 상기한 단계를 반복함.
원래의 포인트 클라우드에서의 모든 포인트가 상기한 동작을 완료한 후에, 포인트 클라우드의 2 차원 정규화된 평면 투영이 완료된다. 구체적으로, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른, 포인트 클라우드의 2 차원 투영 평면 구조의 개략도이고, 여기서, 원래의 포인트 클라우드 데이터에서의 모든 포인트는 구조에서의 대응하는 픽셀 상으로 맵핑된다.
포인트 클라우드의 2 차원 정규화된 평면 투영 동안에, 포인트 클라우드에서의 복수의 포인트는 2 차원 투영 평면 구조에서의 동일한 픽셀에 대응할 수 있다는 것이 주목되어야 한다. 이 상황을 회피하기 위하여, 그것은 투영 동안에 이 공간 포인트를 상이한 픽셀 상으로 투영하도록 선택될 수 있다. 예를 들어, 포인트가 투영될 때, 포인트에 대응하는 픽셀 내에 대응하는 포인트가 이미 있는 경우에, 포인트는 픽셀에 인접한 빈 픽셀에 투영된다. 추가적으로, 포인트 클라우드에서의 복수의 포인트가 2 차원 투영 평면 구조에서의 동일한 픽셀 상으로 투영되는 경우에, 인코딩이 2 차원 투영 평면 구조에 기초하여 수행될 때, 각각의 픽셀에서의 대응하는 포인트의 수가 추가적으로 인코딩되어야 하고, 픽셀에서의 각각의 대응하는 포인트의 정보는 대응하는 포인트의 수에 따라 인코딩되어야 한다.
본 발명에서는, 3 차원 공간에서의 포인트 클라우드를 대응하는 2 차원 정규화된 투영 평면 구조 상으로 투영함으로써, 정규화된 정정이 수직 방향 및 수평 방향에서 포인트 클라우드에 대해 수행되고, 2 차원 투영 평면 구조 상에서의 포인트 클라우드의 강한 상관 표현이 획득되고, 이에 의해, 3 차원 표현 구조에서 존재하는 희소성이 회피되고, 포인트 클라우드의 공간적 상관이 더 양호하게 반영되고, 포인트 클라우드의 애플리케이션에 대한 데이터를 프로세싱하기 위하여 더 용이한 표현식의 형태가 제공된다.
실시예 2
상기한 실시예 1에 기초하여, 이 실시예는 대규모 포인트 클라우드-지향형 인코딩 방법을 제공한다. 도 5를 참조하면, 도 5는 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 인코딩의 블록도이고, 이러한 대규모 포인트 클라우드-지향형 인코딩은 다음을 포함한다:
단계 1. 원래의 포인트 클라우드 데이터를 획득하고, 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 2 차원 정규화된 평면 투영을 수행함.
구체적으로, 이 실시예는 원래의 포인트 클라우드를 프로세싱하여 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 상기한 실시예 1에서의 2 차원 정규화된 평면 투영을 이용한다.
추가적으로, 좌표 변환, 스케일 제어, 또는 복셀화와 같은 프리프로세싱은 먼저, 원래의 포인트 클라우드에 대해 수행될 수 있고, 그 다음으로, 2 차원 정규화된 평면 투영이 수행될 수 있다.
단계 2. 인코딩 대상 데이터를 획득하기 위하여 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 예측함.
일반적으로, 예측 인코딩이 대규모 포인트 클라우드 데이터에 대해 수행될 때, 방사상 거리 , 피치 각도 정보 , 방위각 간격 , 방위각 잔차 정보 , 각각의 포인트와, 포인트 클라우드의 좌표 변환 후의 데카르트 좌표계에서의 대응하는 원래의 포인트 사이의 잔차 , 반복 포인트 정보, 또는 양자화 파라미터와 같은, 대규모 포인트 클라우드 데이터의 정보는 구체적으로 인코딩될 필요가 있다.
이 실시예에서, 예측 인코딩이 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 수행될 때, 2 차원 정규화된 투영 평면 구조에서의 각각의 비어 있지 않은 픽셀의 포지션 및 포지션 (대안적으로, 는 피치 각도 방향에서의 포지션 정보이고, 는 방위각 방향에서의 포지션 정보임), 대응하는 포인트의 방사상 거리 , 픽셀의 역 투영(inverse projection)을 통해 획득된 공간 포인트와 데카르트 좌표계에서의 대응하는 포인트 사이의 잔차 , 반복 포인트 정보, 또는 양자화 파라미터와 같은 정보는 구체적으로 인코딩될 필요가 있다. 투영 잔차로서 지칭된 잔차는 2 차원 정규화된 투영 평면 구조에서의 비어 있지 않은 픽셀의 대응하는 포지션과, 비어 있지 않은 픽셀의 대응하는 포인트의 실제적인 투영 포지션과의 사이에서 존재할 수 있다는 것이 주목되어야 한다. 실제적인 인코딩 동안에는, 투영 잔차가 또한 인코딩될 수 있다.
포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 단계 1 후에 획득된다. 평면 구조는 균등한 분포의 특징을 제시하고, 구조의 장점은 전통적인 예측 트리 인코딩이 이용되는 경우에 강조표시되지 않을 수 있다.
이것에 기초하여, 이 실시예는 더 유연한 방법을 제공하여: 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 따라 상이한 데이터에 대하여 상이한 예측 모드를 설정하고, 인코딩 대상 데이터를 획득하기 위하여 대응하는 예측 모드에 따라 현재 포인트의 기하학적 정보를 예측하고, 이에 의해, 예측의 유효성이 개선되고, 예측에서 생성된 잔차가 감소된다. 이하에서 상세하게 기술된 바와 같이:
1. 방위각 방향에서의 포지션 정보에 대하여:
이 실시예에서, 방위각 방향에서의 포지션 파라미터 는 단위로서 최소 샘플링 간격을 갖는 방위각 방향을 따라 간격 정보를 나타낸다. 포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 또한, 전통적인 G-PCC 예측 트리 인코딩에서의 현재 압축 대상 포인트와 기준 포인트 사이의 간격이 인 불균등한 분포와 비교하여, 방위각 방향에서 정규화된 분포를 제시하므로, 이 실시예에서의 방위각 방향에서의 포지션 는 균등하게 분포된다. 그러므로, 현재 포지션의 는 이전의 행 상의 동일한 포지션의 컴포넌트를 통해 예측될 수 있다.
더 구체적으로, 2 차원 정규화된 투영 평면 구조에서의 현재 압축 대상 포인트의 대응하는 픽셀의 포지션이 이고, 포지션 이 비어 있지 않은 경우에, 압축 대상 컴포넌트는 현재 포인트의 로부터 번째 행 포지션의 컴포넌트를 감산함으로써 획득될 수 있고; 포지션 이 비어 있는 경우에, 압축 대상 컴포넌트는 현재 포인트의 컴포넌트를 직접적으로 이용할 수 있다.
전통적인 G-PCC 방법과 비교하여, 컴포넌트의 압축은 2 차원 정규화된 투영 평면 구조에서의 동일한 열의 정보를 참조하여 수행되고, 이것은 값을 효과적으로 감소시키고, 이에 의해, 비트스트림 오버헤드가 감소된다.
2. 방위각 방향 phi에서의 잔차에 대하여:
포인트 클라우드의 2 차원 정규화된 평면 투영은 피치 각도 및 방위각을 포함하는 2개의 차원에서 정정되고; 포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 또한, 방위각 방향에서 균등한 분포의 특징을 제시한다. 그러므로, 방위각에서의 오차는 매우 작고, 방위각 방향 파이(phi)에서 잔차를 압축하기 위한 필요성이 없으므로, 잔차 계산을 수행하기 위한 필요성이 없다.
3. 피치 각도 방향에서의 포지션 정보에 대하여:
예측은 전통적인 G-PCC 예측 트리에서의 방법에 따라 수행될 수 있고, 구체적인 프로세스는 본 명세서에서 다시 설명되지 않는다.
4. 방사상 거리 에 대하여:
이 실시예에서의 예측은 포인트 클라우드의 2 차원 정규화된 투영 평면 구조에 기초하여 수행되고, 2 차원 정규화된 투영 평면 구조는 2개의 차원 모두: 피치 각도 및 방위각에서 정규화된 분포를 제시하므로, 예측은 방향에 따라 수행될 수 있다.
구체적으로, 다음과 같은 총합하여 3개의 예측 모드가 좌측 방향 및 상부 방향에 다라 구성될 수 있다:
모드 0: 직접 모드, 예측 없이 직접적으로 압축함;
모드 1: 좌측을 예측하고, 좌측 측부 상의 픽셀의 대응하는 포인트를 기준 포인트로서 이용함; 및
모드 2: 상향을 예측하고, 상부 픽셀의 대응하는 포인트를 기준 포인트로서 이용함.
구체적으로, 도 6을 참조하면, 도 6은 본 발명의 실시예에 따른, 3개의 예측 모드의 개략적인 구조도이고, 여기서, "" 포인트는 인코딩된 포인트를 나타내고, """" 적색은 인코딩되지 않은 포인트를 나타내고, ""은 현재 인코딩 대상 포지션을 나타내고, 이 3개의 예측 모드는 방사상 거리 잔차 에 기초하여 방위각(모드 1) 방향 및 피치 각도(모드 2) 방향에 따라 예측을 수행할 수 있고, 더 작은 을 갖는 포인트를 기준 포인트로서 선택할 수 있다.
포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 상부로부터 하부로의 순서, 및 좌측으로부터 우측으로의 순서를 이용함으로써 횡단된다. 현재 픽셀의 대응하는 포인트가 횡단되어야 할 제1 포인트인지 여부는 횡단하는 동안에 먼저 결정된다. 긍정인 경우에, 현재 포인트는 제1 노드로서 설정되고 예측은 수행되지 않고, 모드 0이 선택되고, 포인트의 방사상 거리 은 인코딩 대상 데이터로서 직접적으로 간주되거나; 부정인 경우에, 예측은 모드 1 및 모드 2에서 설정된 예측 방식에 따라 수행되고, 모드 1 및 모드 2를 통해 획득된 이 비교되고, 더 작은 을 갖는 모드는 현재 포인트의 예측 모드로서 선택되고, 현재 은 인코딩 대상 데이터로서 간주된다.
상기한 프로세스는 2 차원 정규화된 투영 평면 구조에서의 모든 픽셀의 대응하는 포인트, 즉, 포인트 클라우드에서의 모든 포인트가 예측을 완료하였을 때까지 반복된다.
추가적으로, 본 발명의 또 다른 실시예에서, 다음과 같은 총합하여 5개의 예측 모드는 좌측 방향, 상부 방향, 상부 좌측 방향, 및 상부 우측 방향에 따라 구성될 수 있다:
모드 0: 직접 모드, 예측 없이 직접적으로 압축함;
모드 1: 좌측을 예측하고, 좌측 측부 상의 픽셀의 대응하는 포인트를 기준 포인트로서 이용함;
모드 2: 상향을 예측하고, 상부 픽셀의 대응하는 포인트를 기준 포인트로서 이용함;
모드 3: 상부 좌측을 예측하고, 상부 좌측 픽셀의 대응하는 포인트를 기준 포인트로서 이용함; 및
모드 4: 상부 우측을 예측하고, 상부 우측 픽셀의 대응하는 포인트를 기준 포인트로서 이용함.
구체적으로, 도 7을 참조하면, 도 7은 본 발명의 실시예에 따른, 5개의 예측 모드의 개략적인 구조도이고, 여기서, "" 포인트는 인코딩된 포인트를 나타내고, ""는 인코딩되지 않은 포인트를 나타내고, ""은 현재 인코딩 대상 포지션을 나타내고, 이 5개의 예측 모드는 방사상 거리 잔차 에 기초하여 방위각(모드 1) 방향 및 피치 각도(모드 2) 방향에 따라 예측을 수행할 수 있고, 더 작은 을 갖는 포인트를 기준 포인트로서 선택할 수 있다.
5. , , 및 의 잔차에 대하여:
인코딩단(encoding end)의 반복의 수를 감소시키기 위하여, 잔차 의 계산 프로세스는 방사상 거리 의 잔차를 계산하기 위한 상기한 예측 프로세스에서 배치될 수 있다. 역 투영은 먼저, 본 명세서에서의 이전의 교정 공식을 이용함으로써 2 차원 정규화된 투영 평면 구조에서의 픽셀에 대해 수행되고, 역 투영 동안에, 픽셀의 대응하는 포인트의 방사상 거리 , 및 픽셀의 대응하는 피치 각도 및 대응하는 방위각이 조합될 필요가 있고, 그 다음으로, 역 투영을 통해 획득된 공간적 포지션과 원래의 포인트 클라우드 사이의 잔차 가 계산된다.
이 실시예에서는, 피치 각도 및 방위각을 포함하는 2개의 차원에서의 정규화 파라미터가 포인트 클라우드에 대해 2 차원 정규화된 평면 투영을 수행하는 동안에 이용되므로, 대응하는 잔차 값은 전통적인 G-PCC 방법을 통해 획득된 값 미만이고, 이것은 비트스트림을 추가로 감소시키고, 인코딩 효율을 어떤 정도까지 개선시킨다.
단계 3. 인코딩 대상 데이터를 제1 유형의 인코딩 대상 데이터 및 제2 유형의 인코딩 대상 데이터로 분할하고, 여기서, 제1 유형의 인코딩 대상 데이터는 2 차원 정규화된 투영 평면 구조 데이터이고, 제2 유형의 인코딩 대상 데이터는 2 차원 정규화된 투영 평면 구조 데이터 이외의 나머지 인코딩 대상 데이터임.
포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 원래의 포인트 클라우드의 기하학적 정보에 대한 가장 직접적인 캐리어(carrier)이고, 상대적으로 큰 데이터량을 가지므로, 이 실시예에서는, 마지막 단계에서 획득된 인코딩 대상 데이터가 포인트 클라우드의 2 차원 정규화된 투영 평면 구조의 특징에 따라 2개의 유형으로 분할되고, 여기서, 제1 유형의 인코딩 대상 데이터는, 방사상 거리 , 피치 각도 방향에서의 포지션 정보 , 및 방위각 방향에서의 포지션 정보 를 포함하는, 포인트 클라우드의 2 차원 정규화된 투영 평면 구조 데이터이다. 제2 유형의 인코딩 대상 데이터는, 포인트 클라우드의 2 차원 정규화된 평면 투영 후의 각각의 포인트와 데카르트 좌표계에서의 원래의 포인트 클라우드 사이의 잔차 , 반복 포인트 정보, 또는 양자화 파라미터와 같은 정보를 포함하는, 2 차원 정규화된 투영 평면 구조 데이터 이외의 나머지 인코딩 대상 데이터이다.
단계 4. 기하학적 정보 비트스트림을 획득하기 위하여, 사전설정된 인코딩 방식으로 제1 유형의 인코딩 대상 데이터 중 상이한 데이터를 별도로 인코딩하고, 제2 유형의 인코딩 대상 데이터를 동시에 인코딩함.
구체적으로, 단계 2에서의 분석에 따르면, 제1 유형의 인코딩 대상 데이터에서의 방위각 방향 파이(phi)에서의 잔차는 인코딩되지 않고, 제1 유형의 인코딩 대상 데이터의 다른 정보는 산술 코딩 방식(arithmetic coding manner)으로 인코딩되고, 제2 유형의 인코딩 대상 데이터가 인코딩되어, 기하학적 정보 비트스트림이 획득되고, 대규모 포인트 클라우드-지향형 인코딩이 완료된다.
추가적으로, 본 발명에서 제공된 대규모 포인트 클라우드-지향형 인코딩 방법에서는, 2 차원 정규화된 평면 투영이 3 차원 공간에서의 포인트 클라우드에 대해 수행되고, 포인트 클라우드에 대응하는 2 차원 정규화된 투영 평면 구조가 획득되고, 그 다음으로 예측 인코딩은 구조에 기초하여 수행된다는 것이 주목되어야 한다. 포인트 클라우드의 2 차원 정규화된 투영 평면 구조는 포인트 클라우드의 정보를 시각화할 수 있으므로, 2 차원 정규화된 평면 투영 후의 포인트 클라우드는 픽처비디오 압축 방식, 예를 들어, JPEG, JPEG2000, HEIF, H.264AVC, H.265HEVC 등으로 추가로 압축될 수 있다.
본 발명의 유익한 효과를 추가로 설명하기 위하여, 이 실시예에서는, 포인트 클라우드 분야에서 가장 보편적인 KITTI 데이터를 테스트 데이터로서 이용함으로써, 본 발명에서 제공된 방법의 무손실 포인트 클라우드 코딩 효율, 및 캠퍼스(kitti_campus), 거주 영역(kitti_residential), 도시(kitti_city), 및 도로(kitti_road)를 포함하는 4개의 시나리오 사에서의 전통적인 MPEG G-PCC 방법의 무손실 포인트 클라우드 코딩 효율이 테스트되고, 결과는 다음의 표에서 도시된 바와 같다:
표로부터, 본 발명에서 제공된 방법은 더 양호한 성능 개선을 가지고, 전체적인 증가는 5.51%일 수 있고, 여기서, 8% 초과의 이득은 캠퍼스 또는 거주 영역과 같은 더 적은 보행자를 갖는 장면에 대해 획득될 수 있다는 것이 학습될 수 있다.
실시예 3
상기한 실시예 2에 기초하여, 이 실시예는 대규모 포인트 클라우드-지향형 디코딩 방법을 제공한다. 도 8을 참조하면, 도 8은 본 발명의 실시예에 따른 대규모 포인트 클라우드-지향형 디코딩의 블록도이고, 이러한 대규모 포인트 클라우드-지향형 디코딩은 다음을 포함한다:
S1. 기하학적 정보 비트스트림을 획득함.
S2. 파싱된 데이터를 획득하기 위하여 기하학적 정보 비트스트림을 디코딩함.
구체적으로, 먼저, 제1 유형의 인코딩 대상 데이터 및 제2 유형의 인코딩 대상 데이터는 기하학적 정보 비트스트림을 디코딩함으로써 획득될 수 있고, 여기서, 제1 유형의 인코딩 대상 데이터는, 방사상 거리 , 피치 각도 방향에서의 포지션 정보 , 및 방위각 방향에서의 포지션 정보 를 포함하는, 포인트 클라우드의 2 차원 정규화된 투영 평면 구조 데이터이다. 제2 유형의 인코딩 대상 데이터는, 포인트 클라우드의 2 차원 정규화된 평면 투영 후의 각각의 포인트와 데카르트 좌표계에서의 원래의 포인트 클라우드 사이의 잔차 , 반복 포인트 정보, 또는 양자화 파라미터와 같은 정보를 포함하는, 2 차원 정규화된 투영 평면 구조 데이터 이외의 나머지 인코딩 대상 데이터이다.
S3. 파싱된 데이터에 따라 2 차원 정규화된 투영 평면 구조를 재구성함.
구체적으로, 파상된 데이터는 방사상 거리 , 피치 각도 방향에서의 포지션 정보 , 및 포인트의 방위각 방향에서의 포지션 정보 를 포함하므로, 2 차원 정규화된 투영 평면 구조에서의 포인트의 대응하는 픽셀, 즉, 2 차원 정규화된 투영 평면 구조에서의 번째 행 및 번째 열의 픽셀은 및 를 통해 결정될 수 있다. 추가적으로, 픽셀의 대응하는 포인트의 방사상 거리 은 을 통해 알려질 수 있다. 그러므로, 재구성된 2 차원 투영 평면 구조가 획득된다.
S4: 재구성된 포인트 클라우드를 획득하기 위하여 재구성된 2 차원 정규화된 투영 평면 구조에 따라 기하학적 재구성을 수행함.
재구성된 2 차원 정규화된 투영 평면 구조에서의 각각의 픽셀에 대하여, 현재 픽셀이 비어 있지 않는 경우에, 현재 픽셀에 대응하는 공간 포인트 는 현재 픽셀 의 대응하는 포인트의 방사상 거리 및 파싱된 잔차 에 따라 다음의 방식으로 재구성될 수 있다.
현재 픽셀 의 대응하는 포지션은 로서 표현될 수 있고, 여기서,
다음은 현재 픽셀을 데카르트 좌표계 상으로 역 투영하기 위하여 정규화 파라미터 및 다음의 공식을 이용하여, 대응하는 데카르트 좌표 가 획득된다:
최종적으로, 현재 픽셀에 대응하는 공간 포인트 는 현재 픽셀의 역 투영 및 잔차 를 통해 획득된 공간적 포지션 에 따라 다음의 공식을 이용함으로써 재구성된다.
위의 계산에 따르면, 재구성된 2 차원 정규화된 투영 평면 구조에서 각각의 비어 있지 않은 픽셀에 대응하는 공간 포인트가 재구성될 수 있고, 이에 의해, 재구성된 포인트 클라우드가 획득될 수 있다.
상기한 내용은 특정 예시적인 실시예를 참조하여 본 발명을 상세하게 추가로 설명하고, 명세서는 본 발명의 특정 실시예에 대한 제한으로서 해독되지 않아야 한다. 본 기술분야에서의 통상의 기술자는 본 발명의 개념으로부터 이탈하지 않으면서, 간단한 추론 또는 대체를 추가로 행할 수 있고, 이러한 추론 또는 대체는 본 발명의 보호 범위 내에 속하는 것으로서 모두 간주되어야 한다.

Claims (10)

  1. 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법으로서,
    원래의 포인트 클라우드 데이터를 획득하는 단계;
    정규화 파라미터를 이용함으로써 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계; 및
    상기 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 상기 원래의 포인트 클라우드 데이터와 상기 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계
    를 포함하는 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  2. 제1항에 있어서,
    상기 정규화 파라미터는 라이더(lidar)의 교정 파라미터, 또는 최적화된 추정 또는 데이터 피팅(data fitting)을 통해 획득된 파라미터를 포함하는, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  3. 제1항에 있어서,
    정규화 파라미터를 이용함으로써 포인트 클라우드의 2 차원 투영 평면 구조를 초기화하는 단계는,
    상기 정규화 파라미터에서의 레이저 스캐너의 수, 수평 방위각에서의 샘플링 각도 해상도 , 또는 상기 레이저 스캐너의 샘플링 포인트의 수를 이용함으로써, 상기 포인트 클라우드의 상기 2 차원 투영 평면 구조를 초기화하는 단계를 포함하고, 즉,
    ; 및
    또는 이고,
    M 및 N은 상기 2 차원 투영 평면 구조에서 수직 방향에서의 해상도 및 수평 방향에서의 해상도를 각각 나타내고, 은 상기 레이저 스캐너의 수를 나타내고, 은 상기 수평 방위각에서의 상기 레이저 스캐너의 상기 샘플링 각도 해상도를 나타내고, 은 상기 레이저 스캐너의 샘플링 포인트의 수를 나타내는, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  4. 제1항에 있어서,
    상기 원래의 포인트 클라우드 데이터와 상기 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계는,
    상기 원래의 포인트 클라우드 데이터와 상기 2 차원 투영 평면 구조 사이의 상기 맵핑 관계를 결정하기 위하여, 상기 정규화 파라미터와, 계산을 통해 상기 2 차원 투영 평면 구조에서 상기 원래의 포인트 클라우드 데이터에서의 포인트의 대응하는 포지션을 획득하기 위한 교정 공식을 통해 솔루션(solution)을 탐색하는 단계를 포함하고, 상기 교정 공식은,
    ;

    ;
    ;
    ;
    ; 및

    로서 표현되고,
    는 상기 원래의 포인트 클라우드 데이터에서의 상기 포인트의 데카르트 좌표(Cartesian coordinate)를 나타내고, 은 상기 포인트와 라이더의 좌표 원점 사이의 거리를 나타내는, 상기 포인트의 원통형 좌표 컴포넌트이고, 은 레이저 스캐너의 수를 나타내고, 은 수평 방위각에서의 상기 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 및 는 상기 2 차원 투영 평면 구조에서 상기 포인트의 대응하는 픽셀의 피치 각도 및 방위각이고, 는 상기 2 차원 투영 평면 구조에서 상기 포인트의 상기 대응하는 픽셀의 포지션을 나타내고, , , , 및 는 상기 정규화 파라미터인, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  5. 제1항에 있어서,
    상기 원래의 포인트 클라우드 데이터와 상기 2 차원 투영 평면 구조 사이의 맵핑 관계를 결정하는 단계는,
    상기 원래의 포인트 클라우드 데이터에서의 현재 포인트의 원통형 좌표 컴포넌트를 결정하는 단계;
    상기 2 차원 투영 평면 구조에서 상기 현재 포인트의 검색 영역을 결정하는 단계;
    상기 검색 영역에서 픽셀을 횡단하고, 데카르트 좌표계에서의 현재 픽셀의 포지션을 계산하고, 상기 포지션과 상기 현재 포인트 사이의 공간적 거리를 계산하는 단계;
    가장 짧은 공간적 거리를 갖는 픽셀을, 상기 2 차원 투영 평면 구조에서 상기 현재 포인트의 대응하는 픽셀로서 선택하는 단계; 및
    상기 2 차원 투영 평면 구조에서의 대응하는 픽셀이 상기 원래의 포인트 클라우드 데이터에서의 모든 포인트에 대하여 구해질 때까지 상기 단계를 반복하는 단계
    를 더 포함하는, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  6. 제5항에 있어서,
    상기 2 차원 투영 평면 구조에서 상기 현재 포인트의 검색 영역을 결정하는 단계는,
    원통형 좌표계에서의 상기 현재 포인트의 피치 각도 및 방위각 을 통해 상기 2 차원 투영 평면 구조에서 상기 현재 포인트의 상기 검색 영역을 결정하는 단계; 또는
    상기 정규화 파라미터 및 교정 공식을 통해 상기 2 차원 투영 평면 구조에서 상기 현재 포인트의 상기 검색 영역을 결정하는 단계; 또는
    사전 정보(a-priori information)에 따라 상기 현재 포인트의 상기 검색 영역을 결정하는 단계
    를 포함하는, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  7. 제5항에 있어서,
    상기 데카르트 좌표계에서의 상기 현재 픽셀의 상기 포지션에 대한 계산 공식은,
    ;
    ;
    ;
    ;
    ; 및
    이고,
    는 상기 2 차원 투영 평면 구조에서 상기 현재 픽셀의 포지션을 나타내고, 상기 현재 픽셀에 대응하는 피치 각도 및 방위각은 및 이고, 은 수평 방위각에서의 레이저 스캐너의 샘플링 각도 해상도를 나타내고, 및 는 상기 원래의 포인트 클라우드 데이터에서의 상기 현재 포인트의 데카르트 좌표 컴포넌트이고, 은 상기 원래의 포인트 클라우드 데이터에서의 상기 현재 포인트의 원통형 좌표 컴포넌트이고, 은 상기 데카르트 좌표계에서의 상기 현재 픽셀의 상기 포지션을 나타내고, , , , 및 는 상기 정규화 파라미터인, 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법.
  8. 대규모 포인트 클라우드-지향형 인코딩 방법으로서,
    원래의 포인트 클라우드 데이터를 획득하고, 포인트 클라우드의 2 차원 정규화된 투영 평면 구조를 획득하기 위하여 2 차원 정규화된 평면 투영을 수행하는 단계 - 상기 2 차원 정규화된 평면 투영은 제1항 내지 제7항 중 어느 한 항에 따른 상기 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면 투영 방법을 이용함으로써 구현됨 -;
    인코딩 대상 데이터를 획득하기 위하여 상기 포인트 클라우드의 상기 2 차원 정규화된 투영 평면 구조에 기초하여 예측하는 단계;
    상기 인코딩 대상 데이터를 제1 유형의 인코딩 대상 데이터 및 제2 유형의 인코딩 대상 데이터로 분할하는 단계 - 상기 제1 유형의 인코딩 대상 데이터는 2 차원 정규화된 투영 평면 구조 데이터이고, 상기 제2 유형의 인코딩 대상 데이터는 상기 2 차원 정규화된 투영 평면 구조 데이터 이외의 나머지 인코딩 대상 데이터임 -; 및
    기하학적 정보 비트스트림을 획득하기 위하여, 사전설정된 인코딩 방식으로 상기 제1 유형의 인코딩 대상 데이터 중 상이한 데이터를 별도로 인코딩하고, 상기 제2 유형의 인코딩 대상 데이터를 인코딩하는 단계
    를 포함하는 대규모 포인트 클라우드-지향형 인코딩 방법.
  9. 제8항에 있어서,
    상기 인코딩 대상 데이터를 획득하기 위하여 상기 포인트 클라우드의 상기 2 차원 정규화된 투영 평면 구조에 기초하여 예측하는 단계는,
    상기 포인트 클라우드의 상기 2 차원 정규화된 투영 평면 구조에 따라 상이한 데이터에 대한 상이한 예측 모드를 설정하고, 상기 인코딩 대상 데이터를 획득하기 위하여 대응하는 예측 모드에 따라 예측하는 단계를 포함하는, 대규모 포인트 클라우드-지향형 인코딩 방법.
  10. 대규모 포인트 클라우드-지향형 디코딩 방법으로서,
    기하학적 정보 비트스트림을 획득하는 단계;
    파싱된 데이터를 획득하기 위하여 상기 기하학적 정보 비트스트림을 디코딩하는 단계;
    상기 파싱된 데이터에 따라 2 차원 정규화된 투영 평면 구조를 재구성하는 단계; 및
    재구성된 포인트 클라우드를 획득하기 위하여 재구성된 2 차원 정규화된 투영 평면 구조에 따라 기하학적 재구성을 수행하는 단계
    를 포함하는 대규모 포인트 클라우드-지향형 디코딩 방법.
KR1020237023873A 2021-02-08 2022-02-07 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면투영, 및 인코딩 및 디코딩 방법 KR20230119690A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110172053.1 2021-02-08
CN202110172053.1A CN114915790B (zh) 2021-02-08 2021-02-08 面向大规模点云的二维规则化平面投影及编解码方法
PCT/CN2022/075395 WO2022166961A1 (zh) 2021-02-08 2022-02-07 面向大规模点云的二维规则化平面投影及编解码方法

Publications (1)

Publication Number Publication Date
KR20230119690A true KR20230119690A (ko) 2023-08-16

Family

ID=82742011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237023873A KR20230119690A (ko) 2021-02-08 2022-02-07 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면투영, 및 인코딩 및 디코딩 방법

Country Status (5)

Country Link
EP (1) EP4250734A4 (ko)
JP (1) JP2024503527A (ko)
KR (1) KR20230119690A (ko)
CN (1) CN114915790B (ko)
WO (1) WO2022166961A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586541A (zh) * 2022-10-25 2023-01-10 上海易澳科技有限公司 激光点云数据的处理方法、装置、存储介质及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804498B1 (en) * 2004-09-15 2010-09-28 Lewis N Graham Visualization and storage algorithms associated with processing point cloud data
CN105427239B (zh) * 2015-12-05 2018-05-22 刘忠艳 一种二维点云匹配方法
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
CN109509143A (zh) * 2018-10-31 2019-03-22 太原理工大学 一种三维点云转换二维图像的方法

Also Published As

Publication number Publication date
EP4250734A4 (en) 2024-05-22
WO2022166961A1 (zh) 2022-08-11
CN114915790B (zh) 2024-04-12
CN114915790A (zh) 2022-08-16
JP2024503527A (ja) 2024-01-25
EP4250734A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
EP3595181B1 (en) Predictor-copy coding mode for coding of point clouds
EP4131975A1 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
EP4171039A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
CN112385236A (zh) 点云的编码和解码方法
KR20230060534A (ko) 2차원 정규화 평면 투사에 기초한 포인트 클라우드 인코딩 및 디코딩 방법과 장치
JP2024050705A (ja) 属性情報の予測方法、エンコーダ、デコーダ及び記憶媒体
KR20230119690A (ko) 대규모 포인트 클라우드-지향형 2 차원 정규화된 평면투영, 및 인코딩 및 디코딩 방법
WO2022166968A1 (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022166967A1 (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022166969A1 (zh) 基于二维规则化平面投影的点云序列编解码方法及装置
CN117581537A (zh) 用于对点云进行编码和解码的方法
CN114915796B (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022166966A1 (zh) 基于二维规则化平面投影的点云编解码方法及装置
EP4387230A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2023123284A1 (zh) 一种解码方法、编码方法、解码器、编码器及存储介质
CN118233656A (zh) 基于二维规则化平面投影的点云编解码方法及装置
KR20240099307A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN118103731A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN117581549A (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质

Legal Events

Date Code Title Description
A201 Request for examination