KR20220048417A - 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치 - Google Patents

특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR20220048417A
KR20220048417A KR1020210016801A KR20210016801A KR20220048417A KR 20220048417 A KR20220048417 A KR 20220048417A KR 1020210016801 A KR1020210016801 A KR 1020210016801A KR 20210016801 A KR20210016801 A KR 20210016801A KR 20220048417 A KR20220048417 A KR 20220048417A
Authority
KR
South Korea
Prior art keywords
point cloud
compression
global motion
motion vector
motion
Prior art date
Application number
KR1020210016801A
Other languages
English (en)
Inventor
권혁민
이진영
김규헌
김준식
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210095687A priority Critical patent/KR20220048426A/ko
Priority to US17/476,780 priority patent/US20220114762A1/en
Publication of KR20220048417A publication Critical patent/KR20220048417A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치가 개시된다. 본 발명의 일실시예에 따른 포인트 클라우드 압축 방법은 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할하는 단계; 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득하는 단계; 상기 객체 별 포인트 클라우드마다 상기 전역 움직임 벡터를 기반으로 움직임 보상을 수행하는 단계; 및 움직임 보상된 상기 객체 별 포인트 클라우드를 기반으로 상기 포인트 클라우드에 대한 지역 움직임 압축을 수행하는 단계를 포함한다.

Description

특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치{METHOD FOR COMPRESSING POINT CLOUD BAESD ON OBJECT USING FEATURE-BASED SEGMENTATION AND APPATUS USING THE SAME}
본 발명은 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 기술에 관한 것으로, 특히 포인트 클라우드 압축을 위하여 포인트 클라우드 내 객체들을 분할하는 방법과 분할된 포인트 클라우드 프레임 간의 움직임을 탐색하는 방법과 해당 탐색을 통해 획득한 3D 상의 움직임 벡터를 활용하여 전역 움직임 예측 및 보상을 수행하여 포인트 클라우드 컨텐츠를 효율적으로 압축하는 기술에 관한 것이다.
기존 2D 영상은 색상 값을 갖는 픽셀(pixel)의 집합으로 영상을 표현한다. 3D 상에서 색상 값을 갖는 각 point(voxel)의 집합으로 표현되는 데이터를 점구름 또는 포인트 클라우드(point cloud)라고 한다. 이와 같은 점구름 또는 포인트 클라우드 데이터는 기존 2D 영상보다 한 단계 더 높은 차원의 데이터 구성과 더 많은 데이터의 양을 갖는 특성을 갖는다. 따라서 점구름 데이터를 사용자에게 제공하기 위해서 고효율의 압축 기술 연구가 활발히 진행되고 있다.
현재 국제표준 기구인 MPEG의 MPEG-I Part 5 Point Cloud Compression(PCC) 그룹에서는 점구름 압축에 관한 기술 표준화를 진행하고 있다. 상기 압축 기술은 데이터의 특성에 따라 총 3가지의 카테고리로 나눌 수 있다. 이 중 Lidar를 통해 획득된 점구름은 3차원 특성을 활용하여 압축하는 Geometry-based Point Cloud Compression(G-PCC)을 통해 압축하는 방안을 연구 중이다.
도 1은 MPEG PCC 그룹에서 연구를 진행 중인 G-PCC 기술의 인코더(110) 및 디코더(120)를 나타낸 구조도이다. G-PCC은, 점구름 내 점의 위치 정보는 Octree와 표면 추정 기술을 활용하여 압축하고, 속성 값은 Lifting Transform 혹은 Region Adaptive Hierarchical Transform(RAHT) 등의 기술을 활용하여 압축한다.
상기와 같이 점구름의 3차원 특성을 고려하여 압축할 경우에 밀도가 낮은 점구름에서도 압축률을 기대할 수 있지만, 더 효율적인 점구름 압축을 위해서는 프레임 간의 압축을 위한 움직임 추정 및 보상 기술이 필요하다. 이를 위해, MPEG PCC 그룹에서는 Exploratory Model(EM)을 신설하여 Lidar 기반의 점구름 압축에 움직임 추정 및 보상 기술을 적용하는 방안을 연구 중에 있다.
하지만, Lidar 등의 센서를 통해 획득된 점구름 내 객체와 도로는 서로 다른 특성을 갖고 있어 움직임 탐색을 수행하는데 어려움이 존재하며, 이로 인해 높은 압축률을 획득하지 못하고 있다. 따라서, 점구름 내 객체의 특성에 따른 움직임 압축 방안을 통해 고효율의 움직임 추정 및 보상 기술이 필요하다.
한국 공개 특허 제10-2020-0070287호, 2020년 6월 17일 공개(명칭: 객체 인식 방법)
본 발명의 목적은 Lidar 등의 센서를 통해 획득된 포인트 클라우드 데이터를 객체의 특성에 따라 보다 효과적으로 압축할 수 있는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 포인트 클라우드를 특성에 따라 분할하고, 분할된 포인트 클라우드 프레임 간의 움직임 탐색을 통해 획득한 3D 상의 움직임 벡터를 활용하여 포인트 클라우드 컨텐츠를 보다 효과적으로 압축하는 것이다.
또한, 본 발명의 목적은 3D 상의 움직임 벡터를 통해 포인트 클라우드를 보상하여 고효율의 압축을 수행하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 포인트 클라우드 압축 방법은 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할하는 단계; 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득하는 단계; 상기 객체 별 포인트 클라우드마다 상기 전역 움직임 벡터를 기반으로 움직임 보상을 수행하는 단계; 및 움직임 보상된 상기 객체 별 포인트 클라우드를 기반으로 상기 포인트 클라우드에 대한 지역 움직임 압축을 수행하는 단계를 포함한다.
이 때, 분할하는 단계는 상기 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행할 수 있다.
이 때, 분할하는 단계는 상기 히스토그램 중 상기 객체 특징에 상응하는 데이터 분포 영역을 활용하여 분할을 수행할 수 있다.
이 때, 분할하는 단계는 상기 포인트 클라우드에 상응하는 Z축 히스토그램의 기울기를 기반으로 도로와 도로 위 객체를 분할하기 위한 Z축 높이 값을 산출하는 단계를 포함할 수 있다.
이 때, 획득하는 단계는 점유맵 기반의 전역 움직임 탐색 방식으로 상기 전역 움직임 벡터를 획득할 수 있다.
이 때, 획득하는 단계는 객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색할 수 있다.
이 때, 압축된 포인트 클라우드를 압축 방식의 역순으로 복원하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 포인트 클라우드 압축 장치는 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할하고, 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득하고, 상기 객체 별 포인트 클라우드마다 상기 전역 움직임 벡터를 기반으로 움직임 보상을 수행하고, 움직임 보상된 상기 객체 별 포인트 클라우드를 기반으로 상기 포인트 클라우드에 대한 지역 움직임 압축을 수행하는 프로세서; 및 상기 포인트 클라우드를 저장하는 메모리를 포함한다.
이 때, 프로세서는 상기 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행할 수 있다.
이 때, 프로세서는 상기 히스토그램 중 상기 객체 특징에 상응하는 데이터 분포 영역을 활용하여 분할을 수행할 수 있다.
이 때, 프로세서는 상기 포인트 클라우드에 상응하는 Z축 히스토그램의 기울기를 기반으로 도로와 도로 위 객체를 분할하기 위한 Z축 높이 값을 산출할 수 있다.
이 때, 프로세서는 점유맵 기반의 전역 움직임 탐색 방식으로 상기 전역 움직임 벡터를 획득할 수 있다.
이 때, 프로세서는 객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색할 수 있다.
이 때, 프로세서는 압축된 포인트 클라우드를 압축 방식의 역순으로 복원할 수 있다.
본 발명에 따르면, Lidar 등의 센서를 통해 획득된 포인트 클라우드 데이터를 객체의 특성에 따라 보다 효과적으로 압축할 수 있는 기술을 제공할 수 있다.
또한, 본 발명은 포인트 클라우드를 특성에 따라 분할하고, 분할된 포인트 클라우드 프레임 간의 움직임 탐색을 통해 획득한 3D 상의 움직임 벡터를 활용하여 포인트 클라우드 컨텐츠를 보다 효과적으로 압축할 수 있다.
또한, 본 발명은 3D 상의 움직임 벡터를 통해 포인트 클라우드를 보상하여 고효율의 압축을 수행할 수 있다.
도 1은 MPEG PCC 그룹에서 연구를 진행 중인 G-PCC 기술의 인코더 및 디코더의 구조를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 포인트 클라우드에 상응하는 Z축 히스토그램의 일 예를 나타낸 도면이다.
도 4 내지 도 5는 본 발명에 따른 점유맵 기반의 전역 움직임 탐색 과정의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 포인트 클라우드 압축 및 복원 과정을 상세하게 나타낸 동작흐름도이다.
도 7은 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 장치를 나타낸 블록도이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
포인트 클라우드는 획득 방식에 따라 다양한 특성을 가질 수 있다. 예를 들어, 포인트 클라우드 내 데이터가 단일 객체인 경우, 단일 객체의 움직임만 추정하는 것으로도 포인트 클라우드를 효율적으로 압축할 수 있다. 그러나, 포인트 클라우드 내에 다수의 객체가 존재하거나, Lidar 등의 센서를 통해 획득된 데이터는 포인트 클라우드 내 객체의 특성에 따라 움직임이 달라질 수 있다.
종래의 전역 움직임 탐색 방식은 전체 포인트 클라우드에서 각 포인트들의 분포를 확인하고, 이를 기반으로 특정 변환 행렬을 계산하여 움직임을 보상한다. 하지만, 이러한 방식은 압축 효율에 문제점이 존재한다.
따라서, 포인트 클라우드의 효율적인 압축을 위해서는 포인트 클라우드 내 객체들을 파악하고, 이들의 특성을 기반으로 압축하는 객체 기반 압축 방식이 요구된다.
이에, 본 발명에서는 포인트 클라우드의 효율적인 압축 실시 예로, Lidar 등의 센서를 통해 획득된 포인트 클라우드의 객체를 분할하는 방안을 제시하고, 분할된 객체 별 포인트 클라우드의 특성에 따른 움직임 탐색 방안을 제시하고, 탐색된 움직임 벡터를 통해 포인트 클라우드에 대한 움직임 보상을 수행하여 고효율의 압축을 달성하는 방안을 제시하고자 한다.
도 2는 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법을 나타낸 동작흐름도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법은 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할한다(S210).
이 때, 포인트 클라우드는 Lidar 등의 센서를 통해 획득된 데이터에 상응할 수 있다.
이 때, 포인트 클라우드로 이루어진 일련의 3D 정지 영상들을 입력 받아 포인트 클라우드를 획득할 수 있다. 이 때, 각각의 정지 영상들은 모두 포인트 클라우드, 즉 점구름으로 이루어져 있을 수 있다.
이 때, 분할은 포인트 클라우드의 특성에 따라 다르게 시행될 수 있다.
예를 들어, Lidar 등의 센서를 통해 획득된 포인트 클라우드는 건물, 사람 등의 객체 데이터와 도로 데이터로 나뉘어 각각 다른 특징을 지니기 때문에 객체 데이터와 도로 데이터를 서로 분할하여 압축 효율을 증대시킬 수 있다.
이 때, 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행하되, 히스토그램에서 객체 특징에 상응하는 데이터 분포 영역을 고려하여 분할을 수행할 수 있다.
예를 들어, 히스토그램 기반의 포인트 클라우드 분할은 포인트 클라우드의 히스토그램을 분석하여 객체 별 데이터 분포 영역을 파악하고, 이를 고려하여 분할을 수행할 수 있다.
이 때, 포인트 클라우드에 상응하는 Z축 히스토그램의 기울기를 기반으로 도로와 도로 위 객체를 분할하기 위한 Z축 높이 값을 산출할 수 있다.
예를 들어, 포인트 클라우드 내 도로 데이터는 낮은 높이에 넓게 존재하고 있으며, 객체 데이터는 도로 데이터 위에 존재하는 것이 일반적이다. 따라서, 도로 데이터는 포인트 클라우드의 히스토그램에서 낮은 높이에 다수 분포할 수 있으며, 객체 데이터는 객체의 모양에 따라 다양한 변화를 보여줄 수 있다.
따라서, 도 3에 도시된 것처럼 포인트 클라우드의 Z축 히스토그램의 최고점으로부터의 기울기를 계산하면, 도로 데이터와 객체 데이터를 분할 수 있는 Z축의 높이 값을 계산할 수 있고, 해당 위치를 분할 문턱값(300)으로 하여 포인트 클라우드를 분할할 수 있다.
또한, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법은 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득한다(S220).
예를 들어, 차량을 통해 획득된 포인트 클라우드 데이터의 경우, 차량의 이동에 따라 포인트 클라우드 내 포인트들의 전역 움직임이 발생할 수 있다. 이러한 전역 움직임을 탐색하여 포인트 클라우드 압축에 활용할 경우에 포인트 클라우드의 효율적인 압축이 가능할 수 있다.
이 때, 점유맵 기반의 전역 움직임 탐색 방식으로 전역 움직임 벡터를 획득할 수 있다.
예를 들어, 도 4 내지 도 5를 참조하면, 차량을 통해 획득된 포인트 클라우드 데이터 내 객체들은 차량의 이동에 따른 움직임을 갖게 되므로, x축과 y축 방향 만의 움직임이 존재할 가능성이 높다. 따라서, 객체의 x축과 y축을 기반으로 점유맵을 생성하고, 이를 기반으로 전역 움직임을 탐색하면, 낮은 계산량으로도 효율적인 움직임 탐색을 수행할 수 있다.
이 때, 객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색할 수 있다.
또한, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법은 객체 별 포인트 클라우드마다 전역 움직임 벡터를 기반으로 움직임 보상을 수행한다(S230).
또한, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법은 움직임 보상된 객체 별 포인트 클라우드를 기반으로 포인트 클라우드에 대한 지역 움직임 압축을 수행한다(S240).
이 때, 전역 움직임 보상을 수행한 뒤 지역 움직임 압축을 수행함으로써 지역적으로 발생하는 움직임 벡터의 크기를 줄일 수 있으며, 적은 탐색으로도 더 높은 압축 효율을 기대할 수 있다.
이 때, 포인트 클라우드의 지역적인 움직임을 탐색하고, 이를 압축할 수 있다. 예를 들어, 포인트 클라우드의 지역 움직임 움직임 압축은 G-PCC 기술이나 다른 다양한 방식을 활용하여 수행될 수 있다.
또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법은 압축된 포인트 클라우드를 압축 방식의 역순으로 복원할 수 있다.
이 때, 복원을 통해 압축된 비트 스트림을 포인트 클라우드로 재구성할 수 있다.
또한, 도 2에 도시된 전역 움직임 보상하는 단계(S230)는 단계(S240)에서 수행되는 방식에 따라 시행되거나 시행되지 않을 수 있으며, 시행되지 않는 경우에는 전역 움직임 벡터를 포인트 클라우드의 지역 움직임 압축에 직접 활용하여 압축효율을 높일 수도 있다.
이와 같은 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법을 통해 Lidar 등의 센서를 통해 획득된 포인트 클라우드 데이터를 객체의 특성에 따라 보다 효과적으로 압축할 수 있는 기술을 제공할 수 있다.
또한, 포인트 클라우드를 특성에 따라 분할하고, 분할된 포인트 클라우드 프레임 간의 움직임 탐색을 통해 획득한 3D 상의 움직임 벡터를 활용하여 포인트 클라우드 컨텐츠를 보다 효과적으로 압축할 수 있다.
또한, 3D 상의 움직임 벡터를 통해 포인트 클라우드를 보상하여 고효율의 압축을 수행할 수 있다.
도 6은 본 발명에 따른 포인트 클라우드 압축 및 복원 과정을 상세하게 나타낸 동작흐름도이다.
도 6을 참조하면, 본 발명에 따른 포인트 클라우드 압축 및 복원 과정은 먼저 3D 정지 영상들을 입력 받아 포인트 클라우드를 획득할 수 있다(S610).
이 후, 3차원 영상에 상응하게 입력된 포인트 클라우드를 객체 별로 분할할 수 있다(S620).
이 후, 객체 별로 분할된 포인트 클라우드를 기반으로 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득할 수 있다(S630).
이 후, 전역 움직임 벡터를 기반으로 전역 움직임 보상을 수행하고(S640), 전역 움직임 보상된 객체 별 포인트 클라우드를 기반으로, 포인트 클라우드에 대한 지역 움직임 압축을 수행할 수 있다(S650).
이 때, 포인트 클라우드의 움직임을 압축하는 단계에서는 기존의 G-PCC 및 포인트 클라우드 기반의 움직임 압축 기술들을 활용할 수 있다.
이 후, 포인트 클라우드를 압축 방식의 역순으로 처리하여 압축된 비트 스트림을 포인트 클라우드로 복원할 수 있다(S660).
도 7은 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 장치를 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 장치는 통신부(710), 프로세서(720) 및 메모리(730)를 포함한다.
통신부(710)는 네트워크와 같은 통신망을 통해 포인트 클라우드 압축을 위해 필요한 정보를 송수신하는 역할을 할 수 있다. 이 때, 네트워크는 장치들간에 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다.
예를 들면, 네트워크는 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스 및 끊기는 현상이 없는 데이터 서비스를 제공하는 아이피망, 아이피를 기반으로 서로 다른 망을 통합한 아이피망 구조인 올 아이피(All IP)망 등일 수 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중에서 하나 이상을 결합하여 이루어질 수 있다.
또한, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.
프로세서(720)는 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할한다.
이 때, 포인트 클라우드는 Lidar 등의 센서를 통해 획득된 데이터에 상응할 수 있다.
이 때, 포인트 클라우드로 이루어진 일련의 3D 정지 영상들을 입력 받아 포인트 클라우드를 획득할 수 있다. 이 때, 각각의 정지 영상들은 모두 포인트 클라우드, 즉 점구름으로 이루어져 있을 수 있다.
이 때, 분할은 포인트 클라우드의 특성에 따라 다르게 시행될 수 있다.
예를 들어, Lidar 등의 센서를 통해 획득된 포인트 클라우드는 건물, 사람 등의 객체 데이터와 도로 데이터로 나뉘어 각각 다른 특징을 지니기 때문에 객체 데이터와 도로 데이터를 서로 분할하여 압축 효율을 증대시킬 수 있다.
이 때, 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행하되, 히스토그램에서 객체 특징에 상응하는 데이터 분포 영역을 고려하여 분할을 수행할 수 있다.
예를 들어, 히스토그램 기반의 포인트 클라우드 분할은 포인트 클라우드의 히스토그램을 분석하여 객체 별 데이터 분포 영역을 파악하고, 이를 고려하여 분할을 수행할 수 있다.
이 때, 포인트 클라우드에 상응하는 Z축 히스토그램의 기울기를 기반으로 도로와 도로 위 객체를 분할하기 위한 Z축 높이 값을 산출할 수 있다.
예를 들어, 포인트 클라우드 내 도로 데이터는 낮은 높이에 넓게 존재하고 있으며, 객체 데이터는 도로 데이터 위에 존재하는 것이 일반적이다. 따라서, 도로 데이터는 포인트 클라우드의 히스토그램에서 낮은 높이에 다수 분포할 수 있으며, 객체 데이터는 객체의 모양에 따라 다양한 변화를 보여줄 수 있다.
따라서, 도 3에 도시된 것처럼 포인트 클라우드의 Z축 히스토그램의 최고점으로부터의 기울기를 계산하면, 도로 데이터와 객체 데이터를 분할 수 있는 Z축의 높이 값을 계산할 수 있고, 해당 위치를 분할 문턱값(300)으로 하여 포인트 클라우드를 분할할 수 있다.
또한, 프로세서(720)는 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득한다.
예를 들어, 차량을 통해 획득된 포인트 클라우드 데이터의 경우, 차량의 이동에 따라 포인트 클라우드 내 포인트들의 전역 움직임이 발생할 수 있다. 이러한 전역 움직임을 탐색하여 포인트 클라우드 압축에 활용할 경우에 포인트 클라우드의 효율적인 압축이 가능할 수 있다.
이 때, 점유맵 기반의 전역 움직임 탐색 방식으로 전역 움직임 벡터를 획득할 수 있다.
예를 들어, 도 4 내지 도 5를 참조하면, 차량을 통해 획득된 포인트 클라우드 데이터 내 객체들은 차량의 이동에 따른 움직임을 갖게 되므로, x축과 y축 방향 만의 움직임이 존재할 가능성이 높다. 따라서, 객체의 x축과 y축을 기반으로 점유맵을 생성하고, 이를 기반으로 전역 움직임을 탐색하면, 낮은 계산량으로도 효율적인 움직임 탐색을 수행할 수 있다.
이 때, 객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색할 수 있다.
또한, 프로세서(720)는 객체 별 포인트 클라우드마다 전역 움직임 벡터를 기반으로 움직임 보상을 수행한다.
또한, 프로세서(720)는 움직임 보상된 객체 별 포인트 클라우드를 기반으로 포인트 클라우드에 대한 지역 움직임 압축을 수행한다.
이 때, 전역 움직임 보상을 수행한 뒤 지역 움직임 압축을 수행함으로써 지역적으로 발생하는 움직임 벡터의 크기를 줄일 수 있으며, 적은 탐색으로도 더 높은 압축 효율을 기대할 수 있다.
이 때, 포인트 클라우드의 지역적인 움직임을 탐색하고, 이를 압축할 수 있다. 예를 들어, 포인트 클라우드의 지역 움직임 움직임 압축은 G-PCC 기술이나 다른 다양한 방식을 활용하여 수행될 수 있다.
또한, 프로세서(720)는 압축된 포인트 클라우드를 압축 방식의 역순으로 복원할 수 있다.
이 때, 복원을 통해 압축된 비트 스트림을 포인트 클라우드로 재구성할 수 있다.
또한, 전역 움직임 보상은 압축 방식에 따라 시행되거나 시행되지 않을 수 있으며, 시행되지 않는 경우에는 전역 움직임 벡터를 포인트 클라우드의 지역 움직임 압축에 직접 활용하여 압축효율을 높일 수도 있다.
메모리(730)는 포인트 클라우드를 저장한다.
또한, 메모리(730)는 상술한 바와 같이 본 발명의 일실시예에 따른 포인트 클라우드 압축 장치에서 발생하는 다양한 정보를 저장한다.
실시예에 따라, 메모리(730)는 포인트 클라우드 압축 장치와 독립적으로 구성되어 포인트 클라우드 압축을 위한 기능을 지원할 수 있다. 이 때, 메모리(730)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.
한편, 포인트 클라우드 압축 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.
이와 같은 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 장치를 이용함으로써 Lidar 등의 센서를 통해 획득된 포인트 클라우드 데이터를 객체의 특성에 따라 보다 효과적으로 압축할 수 있는 기술을 제공할 수 있다.
또한, 포인트 클라우드를 특성에 따라 분할하고, 분할된 포인트 클라우드 프레임 간의 움직임 탐색을 통해 획득한 3D 상의 움직임 벡터를 활용하여 포인트 클라우드 컨텐츠를 보다 효과적으로 압축할 수 있다.
또한, 3D 상의 움직임 벡터를 통해 포인트 클라우드를 보상하여 고효율의 압축을 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 버스(820)를 통하여 서로 통신하는 하나 이상의 프로세서(810), 메모리(830), 사용자 입력 장치(840), 사용자 출력 장치(850) 및 스토리지(860)를 포함할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크(880)에 연결되는 네트워크 인터페이스(870)를 더 포함할 수 있다. 프로세서(810)는 중앙 처리 장치 또는 메모리(830)나 스토리지(860)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(830) 및 스토리지(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(831)이나 RAM(832)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
110: 인코더 120: 디코더
300: 분할 문턱값 710: 통신부
720, 810: 프로세서 730, 830: 메모리
800: 컴퓨터 시스템 820: 버스
831: 롬 832: 램
840: 사용자 입력 장치 850: 사용자 출력 장치
860: 스토리지 870: 네트워크 인터페이스
880: 네트워크

Claims (12)

  1. 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할하는 단계;
    객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득하는 단계;
    상기 객체 별 포인트 클라우드마다 상기 전역 움직임 벡터를 기반으로 움직임 보상을 수행하는 단계; 및
    움직임 보상된 상기 객체 별 포인트 클라우드를 기반으로 상기 포인트 클라우드에 대한 지역 움직임 압축을 수행하는 단계
    를 포함하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  2. 청구항 1에 있어서,
    상기 분할하는 단계는
    상기 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  3. 청구항 2에 있어서,
    상기 분할하는 단계는
    상기 히스토그램 중 상기 객체 특징에 상응하는 데이터 분포 영역을 활용하여 분할을 수행하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  4. 청구항 1에 있어서,
    상기 획득하는 단계는
    점유맵 기반의 전역 움직임 탐색 방식으로 상기 전역 움직임 벡터를 획득하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  5. 청구항 1에 있어서,
    상기 획득하는 단계는
    객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  6. 청구항 1에 있어서,
    압축된 포인트 클라우드를 압축 방식의 역순으로 복원하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 압축 방법.
  7. 객체 특징을 기반으로 3차원 영상에 상응하게 입력된 포인트 클라우드(POINT CLOUD)를 객체 별로 분할하고, 객체 별 포인트 클라우드마다 전역 움직임 탐색을 수행하여 전역 움직임 벡터를 획득하고, 상기 객체 별 포인트 클라우드마다 상기 전역 움직임 벡터를 기반으로 움직임 보상을 수행하고, 움직임 보상된 상기 객체 별 포인트 클라우드를 기반으로 상기 포인트 클라우드에 대한 지역 움직임 압축을 수행하는 프로세서; 및
    상기 포인트 클라우드를 저장하는 메모리
    를 포함하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
  8. 청구항 7에 있어서,
    상기 프로세서는
    상기 포인트 클라우드에 상응하는 히스토그램을 활용하여 분할을 수행하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
  9. 청구항 8에 있어서,
    상기 프로세서는
    상기 히스토그램 중 상기 객체 특징에 상응하는 데이터 분포 영역을 활용하여 분할을 수행하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
  10. 청구항 7에 있어서,
    상기 프로세서는
    점유맵 기반의 전역 움직임 탐색 방식으로 상기 전역 움직임 벡터를 획득하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
  11. 청구항 7에 있어서,
    상기 프로세서는
    객체 별 포인트 클라우드 각각의 특성에 따라 포인트 클라우드 프레임 간의 전역 움직임을 탐색하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
  12. 청구항 7에 있어서,
    상기 프로세서는
    압축된 포인트 클라우드를 압축 방식의 역순으로 복원하는 것을 특징으로 하는 포인트 클라우드 압축 장치.
KR1020210016801A 2020-10-12 2021-02-05 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치 KR20220048417A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210095687A KR20220048426A (ko) 2020-10-12 2021-07-21 전역 움직임 예측 및 보상 기반의 점구름 압축 방법 및 이를 위한 장치
US17/476,780 US20220114762A1 (en) 2020-10-12 2021-09-16 Method for compressing point cloud based on global motion prediction and compensation and apparatus using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200131045 2020-10-12
KR20200131045 2020-10-12

Publications (1)

Publication Number Publication Date
KR20220048417A true KR20220048417A (ko) 2022-04-19

Family

ID=81391636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210016801A KR20220048417A (ko) 2020-10-12 2021-02-05 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR20220048417A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023211255A1 (ko) * 2022-04-28 2023-11-02 인텔렉추얼디스커버리 주식회사 포인트 클라우드 압축 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070287A (ko) 2017-10-05 2020-06-17 어플리케이션스 모빌스 오버뷰 인코포레이티드 객체 인식 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200070287A (ko) 2017-10-05 2020-06-17 어플리케이션스 모빌스 오버뷰 인코포레이티드 객체 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023211255A1 (ko) * 2022-04-28 2023-11-02 인텔렉추얼디스커버리 주식회사 포인트 클라우드 압축 방법 및 장치

Similar Documents

Publication Publication Date Title
US11494947B2 (en) Point cloud attribute transfer algorithm
US11989921B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20210409784A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20230300375A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11328440B2 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method
US11790561B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11716459B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN111566702A (zh) 图像处理装置和方法
US11694368B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN114175100A (zh) 用于处理点云数据的方法和装置
US11902576B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11190803B2 (en) Point cloud coding using homography transform
CN114073085A (zh) 点云数据处理方法和设备
KR20230131878A (ko) 포인트 클라우드 프로세싱을 위한 장치 및 방법
CN114073086A (zh) 点云数据处理设备和方法
US20220337872A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20210366159A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR20220048417A (ko) 특성 기반 분할을 활용한 객체 기반의 포인트 클라우드 압축 방법 및 이를 이용한 장치
KR20220048426A (ko) 전역 움직임 예측 및 보상 기반의 점구름 압축 방법 및 이를 위한 장치
US20220114762A1 (en) Method for compressing point cloud based on global motion prediction and compensation and apparatus using the same
CN116547968A (zh) 预测方法、编码器、解码器以及计算机存储介质
EP4387230A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4304179A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230334719A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240177355A1 (en) Sub-mesh zippering