KR20210119524A

KR20210119524A - 포인트 클라우드 기하형상 패딩

Info

Publication number: KR20210119524A
Application number: KR1020217028130A
Authority: KR
Inventors: 다닐로 그라치오시
Original assignee: 소니그룹주식회사
Priority date: 2019-03-19
Filing date: 2020-03-09
Publication date: 2021-10-05
Also published as: CN113557745A; JP7276697B2; US11334969B2; JP2022524785A; WO2020188403A1; US20200302578A1; EP3922035A1; CN113557745B

Abstract

포인트 클라우드 기하형상 패딩의 방법이 본 명세서에서 설명된다. 이 방법은 압축되지 않은 점유 지도를 사용하는 대신에, 압축된 점유 지도에서 재구성 포인트를 검색하여 기하형상 패딩을 수행한다.

Description

포인트 클라우드 기하형상 패딩

관련 출원에 대한 상호 참조

본 출원은, 35 U.S.C.§119(e)의 규정에 따라, 2019년 3월 19일에 출원되었으며 발명의 명칭이 "포인트 클라우드 기하형상 패딩(POINT CLOUD GEOMETRY PADDING)"인 미국 가특허 출원 제62/820,723호의 우선권을 주장하며, 이는 이로써 모든 목적들을 위해 그 전체가 참조로 포함된다.

발명의 분야

본 발명은 3차원 그래픽들에 관한 것이다. 더 구체적으로, 본 발명은 3차원 그래픽들의 코딩(coding)에 관한 것이다.

포인트 클라우드들은 3D 스캐너들, 라이다(LIDAR) 센서들에 의해 캡처되거나, 가상 현실(Virtual Reality, VR)/증강 현실(Augmented Reality, AR)과 같은 인기 있는 어플리케이션(application)들에서 사용되는, 3D 데이터의 송신을 위한 후보 포맷으로서 고려되었다. 포인트 클라우드들은 3D 공간에서의 포인트들의 세트이다. 공간 위치 (X,Y,Z) 외에, 각각의 포인트는 보통 (예를 들어, LIDAR 이미지들에서) 컬러 (R,G,B) 또는 심지어 반사율 및 시간 타임스탬프들과 같은 연관된 속성들을 갖는다. 목표 3D 객체들의 고충실도(high fidelity) 표현을 획득하기 위해, 디바이스들은 수천 또는 심지어 수백만 포인트들 정도의 포인트 클라우드들을 캡처한다. 게다가, VR/AR 어플리케이션에 사용되는 동적 3D 장면들의 경우, 모든 단일 프레임은 종종 고유의 조밀한 포인트 클라우드를 가지며, 이는 초당 수백만 개의 포인트 클라우드들의 송신을 초래한다. 이러한 대량의 데이터의 실행 가능한 송신을 위해, 압축이 종종 적용된다.

2017년에, MPEG는 포인트 클라우드들의 압축에 대한 제안 요청(call for proposal, CfP)을 발행했다. MPEG는 여러 제안들의 평가 후에, 포인트 클라우드 압축을 위한 2개의 상이한 기술들, 즉 (옥트리(octree) 및 유사한 코딩 방법들에 기반하는) 3D 고유 코딩 기술 또는 3D 대 2D 투영 후 전통적인 비디오 코딩을 고려하고 있다. 동적 3D 장면들의 경우에, MPEG는 패치 표면 모델링, 3D로부터 2D 이미지로의 패치들의 투영, 및 HEVC와 같은 비디오 인코더들로 2D 이미지를 코딩하는 것에 기반한 테스트 모델 소프트웨어(test model software)(TMC2)를 사용하고 있다. 이 방법은 기본 3D 코딩보다 더 효율적인 것으로 입증되었으며, 수용 가능한 품질로 경쟁력 있는 비트레이트들을 달성할 수 있다.

포인트 클라우드들을 코딩할 때, TMC2는 2D 캔버스 이미지 내의 패치 위치 및 경계 박스 크기(bounding box size)와 같은, 패치 투영과 관련된 보조 정보를 인코딩한다. 보조 정보의 시간 코딩을 위해, 현재 포인트 클라우드로부터의 패치들과 즉시 디코딩된 포인트 클라우드로부터의 패치들 사이의 패치 매칭이 예측을 위해 사용된다. 절차는 바로 이웃으로 제한되며, 시퀀스 내의 모든 프레임들에 대해 델타 코딩을 수행하는 것을 포함한다.

비디오 인코더들을 사용한 최신 기술의 포인트 클라우드 압축은 포인트 클라우드들을 3D 패치들로서 표현하고 기하형상과 속성들을 2D 캔버스에 투영하여 형성된 2D 이미지를 인코딩한다. 또한, 2D 이미지는 이미지 패딩 프로세스로 채워지는 많은 빈 공간들을 갖는다. 빈 공간들은 점유 지도(occupancy map)에 의해 식별된다. 현재, 이미지 패딩 프로세스는 블록들의 경계들을 빈 위치들로 매끄럽게 확장하는, 2D 확장을 수행하고 있다. 이 프로세스는 2D 정보만을 고려하고 있다. 점유 지도도 역시 코딩되기 때문에, 점유 지도에서의 변화들로 인해, 빈 위치들 중 일부가 재구성된 포인트 클라우드에 통합될 것이다. 그러므로, 패딩 알고리즘으로 이전에 채워진 위치들이 재구성된 포인트 클라우드에 통합될 수 있고, 이는 일부 기하학적 왜곡들을 야기할 수 있는데, 그 이유는 패딩 알고리즘이 이미지의 2D 구조만을 고려하기 때문이다.

포인트 클라우드 기하형상 패딩의 방법은 본 명세서에서 설명된다. 이 방법은 압축되지 않은 점유 지도를 사용하는 대신에, 압축된 점유 지도에서 재구성 포인트를 검색하여 기하형상 패딩을 수행한다.

한 양태에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은 포인트 클라우드로부터 기하형상 이미지들을 생성하는 것, 2D 캔버스 상에 기하형상 이미지들을 배치하는 것, 및 점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 2D 캔버스 상의 빈 공간들을 채우는 것을 포함한다. 패딩 방법은 재구성될 때, 가능한 한 포인트 클라우드에 가까운 값에 대한 3D 공간에서의 검색을 포함한다. 이 방법은 점유 지도의 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하는 것을 더 포함한다. 이 방법은 2D 캔버스 내의 로컬(local) 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하는 것을 더 포함한다. 3D 공간에서 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하는 것 및 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함한다. 이 방법은 압축된 기하형상 이미지를 생성하는 것을 더 포함한다. 이 방법은 포인트 클라우드에 대한 압축된 비트스트림을 생성하는 것을 더 포함한다.

또 다른 양태에서, 장치는, 어플리케이션을 저장하기 위한 비일시적 메모리- 어플리케이션은 포인트 클라우드로부터 기하형상 이미지들을 생성하고, 2D 캔버스 상에 기하형상 이미지들을 배치하며, 점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 2D 캔버스 상에 빈 공간들을 채움-; 및 메모리에 결합되는 프로세서- 프로세서는 어플리케이션을 처리하도록 구성됨-를 포함한다. 패딩 방법은 재구성될 때, 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함한다. 어플리케이션은 점유 지도의 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하도록 더 구성된다. 어플리케이션은 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성된다. 3D 공간에서 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하는 것 및 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함한다. 어플리케이션은 압축된 기하형상 이미지를 생성하도록 더 구성된다. 어플리케이션은 포인트 클라우드에 대한 압축된 비트스트림을 생성하도록 더 구성된다.

다른 양태에서, 시스템은 3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라, 및 3차원 콘텐츠로부터 기하형상 이미지들을 생성하는 것, 기하형상 이미지들을 2D 캔버스 상에 배치하는 것, 및 점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 2D 캔버스 상의 빈 공간들을 채우는 것에 의해 3차원 콘텐츠를 인코딩하기 위한 인코더를 포함한다. 패딩 방법은 재구성될 때, 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함한다. 인코더는 점유 지도의 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하도록 더 구성된다. 인코더는 2D 캔버스 내의 로컬 포인트들의 대표값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성된다. 3D 공간에서 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하는 것 및 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함한다. 3D 공간에서 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함한다. 인코더는 압축된 기하형상 이미지를 생성하도록 더 구성된다. 인코더는 포인트 클라우드에 대한 압축된 비트스트림을 생성하도록 더 구성된다.

도 1은 일부 실시예들에 따른 포인트 클라우드 코딩을 수행하기 위한 개략도를 도시한다.
도 2는 일부 실시예들에 따라 3D 포인트들이 추가된 예시적인 이미지를 도시한다.
도 3은 일부 실시예들에 따른 3D 기하형상 패딩을 위한 재구성된 포인트를 생성하는 도면을 도시한다.
도 4는 일부 실시예들에 따른 포인트 클라우드 기하형상 패딩을 구현하는 방법의 흐름도를 도시한다.
도 5는 일부 실시예들에 따른 포인트 클라우드 기하형상 패딩을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다.

3D 포인트 클라우드 데이터를 2D 표면들로 매핑하는 것으로부터 생성된 기하형상 이미지들을 패딩하는 신규한 방법이 본 명세서에 설명된다. 3D 표면 패치들은 포인트 클라우드들을 표현하고, 3D 패치 표면 데이터의 2D 캔버스 이미지들의 유연한 맵핑을 수행하며, 3D 정보를 고려함으로써 기하형상 이미지(기하형상 이미지 패딩)의 빈 위치들을 채우는 데 사용된다.

기하형상들을 나타내는 패치들은 2D 캔버스 이미지에 배치되고, 그 후 효율적인 압축을 위해 빈 위치들이 채워진다(이미지 패딩). 그러나, 코딩 프로세스로 인해, 빈 위치들 중 일부는 재구성된 포인트 클라우드에 통합될 것이다. 그러한 위치들은 식별될 수 있고, 패딩 원리는 그러한 위치들을 채우기 위해 3D 정보에 기반하여 사용될 수 있다.

2D 이미지 패딩을 수행하기 위한 3D 정보의 활용이 본 명세서에서 설명된다. 과거의 이미지 패딩(또는 또한 이미지 인페인팅(inpainting)) 알고리즘들은 이미지의 2D 구조를 활용하였다. 이미지 패딩은 3D 공간을 사용하여 수행된다.

도 1은 일부 실시예들에 따른 포인트 클라우드 코딩을 수행하기 위한 개략도를 도시한다. 포인트 클라우드 코딩을 위한 구성 요소들은 그들의 특정한 작업들을 수행하도록 구성된 표준 또는 수정된 구성 요소들일 수 있다. 간결성을 위해, 포인트 클라우드 코딩 구성 요소들의 상세 사항은 일반적으로 본 명세서에서 설명되지 않는다. 이미지/기하형상 패딩은 본 명세에서 더 설명된다. 압축되지 않은 점유 지도로부터의 데이터를 사용하는 것 대신에, 압축된 점유 지도로부터의 데이터가 이미지 패딩에 활용된다. 기하형상 이미지를 패딩할 때 점유 지도 코딩으로 인해 추가될 위치들에 대한 3D 재구성 값들이 원래의 점유 지도 대신에 사용된다. 패딩된 기하형상 이미지는 그 후 비디오 압축으로 진행되고, 궁극적으로 압축된 비트스트림이 생성된다.

도 2는 일부 실시예들에 따라 3D 포인트들이 추가된 예시적인 이미지를 도시한다. 본 명세서에서 설명된 구현을 활용하여, 기하형상 이미지는 더 정확한 포인트들로 패딩된다.

도 3은 일부 실시예들에 따른 3D 기하형상 패딩을 위한 재구성된 포인트를 생성하는 도면을 도시한다. 3D 기하형상 패딩은 원래의 포인트 클라우드에 가능한 한 가까운 재구성된 포인트를 생성하는 위치들에 대한 값을 선택하는 것을 포함한다. 검색은 가능한 깊이 값들의 범위에서 수행된다. 도 3에 도시된 바와 같이, 목표는 X를 결정하는 것이다. 과거에는 d1, d2, 및 d3를 평균함으로써 X가 결정되었다. 그러나, 도 3은

을 발견함으로써 X를 결정하는 최적의 방법을 도시한다. 검색 절차는 포인트가 원래의 포인트 클라우드에 가까운 지를 결정하기 위해, 평균 값에서 시작하고 그 후 1이 가산되거나 1이 감산되고, 그 후 2가 가산되거나 2가 감산되는 등이다. 포인트는 평균 값과 동일하거나 상이한 것으로 될 수 있다. 또한, 이 값은 d1, d2, 및 d3의 평균 값보다 약간 위 또는 아래로만 갈 수 있다.

I(i)는 표시자 함수로, 즉 이웃 위치가 이용가능하지 않으면 0이 되거나, 이웃 위치가 이용가능하면 1이 된다. 본 명세서에서 논의된 바와 같이, 예를 들어, 중앙 값과 같은 상이한 시작 값들이 사용될 수 있다. 이것은 단지 검색 범위에 대한 시작 포인트이다. 가장 적절한 값을 선택하기 위한 기준이 3D 공간에서 결정되고; 재구성된 값이 계산되며; 값과 원래의 포인트 클라우드 사이의 거리가 2D 값에 대한 선택을 결정할 것이다.

본 명세서에서 설명된 기하형상 패딩에 의해, 재구성된 포인트 클라우드와 원래의 포인트 클라우드 사이의 거리는, 구체적으로는, 패치들 사이에서 감소된다.

도 4는 일부 실시예들에 따른 포인트 클라우드 기하형상 패딩을 구현하는 방법의 흐름도를 도시한다. 단계 (400)에서, 기하형상 이미지가 생성된다. 기하형상 이미지는 입력/원본 클라우드 프레임으로부터 임의의 방식으로 생성된다. 기하형상을 나타내는 패치들은 2D 캔버스 이미지에 배치된다. 그러나, 점유 지도의 손실 압축으로 인해, 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 채워져야 하는(이미지 패딩) 빈 공간들/위치들이 존재한다. 패딩 방법은, 재구성될 때, 원래의 포인트 클라우드에 가능한 한 가까운 값에 대한 3D에서의 검색을 포함한다. 일부 실시예들에서, 더 낮은 해상도로 코딩될 수 있는 점유 지도의 손실 압축으로 인해 새로운 값들이 재구성된 포인트 클라우드에 추가되고, 공칭 해상도로 업-샘플링(up-sample)될 때, 재구성된 포인트 클라우드에 여분의 포인트들을 추가할 것이다. 점유 지도에 대한 다른 손실 압축 방법들도 고려될 수 있다. 단계 (402)에서, 압축된 점유 지도가 생성된다. 압축된 점유 지도는 비디오 압축을 사용하여 생성된다. 채워질 빈 공간들은 압축된 점유 지도를 사용하여 식별된다. 예를 들어, 압축된 점유 지도가 분석되어 기하형상들의 경계에서 임의의 공백(gap)들을 결정한다. 단계 (404)에서, 패딩을 위한 재구성된 포인트를 생성하기 위한 값을 선택하기 위해 검색이 수행된다. 일부 실시예들에서, 3D 공간에서의 검색은 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 행해진다. 예를 들어, 새롭게 추가된 포인트의 위치 및 원래의 포인트 클라우드에 속하는 그의 이웃 값들을 고려한다. 이용 가능한 포인트들의 대푯값은 시작 포인트로서 사용될 수 있고, 그 다음, 재구성된 값이 원래의 포인트 클라우드에 충분히 가까울 때까지, 이 시작 포인트로부터 값들이 가산/감산된다. 일부 실시예들에서, 현재 위치에 바로 이웃하는 이용 가능한 포인트들의 평균 또는 유사한 연산(예를 들어, 중앙 값)이 대푯값으로서 사용될 수 있다. 예를 들어, 3개의 포인트들(하나는 위에, 하나는 좌측에, 다른 하나는 현재 위치의 좌측 위에)이 원래의 포인트 클라우드 내에 있다면, 이들 모두는 3D에서의 검색에 대한 초기 값을 추정하는 데 사용될 수 있다. 그러한 포인트들의 서브-세트(sub-set)만이 이용 가능한 경우, 제한된 수의 이웃 포인트들을 이용하여 동일한 연산이 수행될 수 있다. 또한, 검색 범위는 2D 값들과의 유사성 및 패딩된 기하형상 이미지에 대한 양호한 압축 능력을 여전히 유지하기 위해 제한될 수 있다. 단계 (406)에서, 포인트 클라우드 기하형상은 결정된(재구성된) 포인트들로 패딩(예를 들어, 채워짐)된다. 구체적으로, 압축에 기반하여 비어 있는/열려 있는 영역들이 채워진다. 일부 실시예들에서, 더 적거나 추가적인 단계들이 구현된다. 예를 들어, 일부 실시예들에서, 방법은 압축된 기하형상 이미지를 생성하는 것 및/또는 포인트 클라우드에 대한 압축된 비트스트림을 생성하는 것을 포함한다. 일부 실시예들에서, 단계들의 순서는 수정된다.

도 5는 일부 실시예들에 따른 포인트 클라우드 기하형상 패딩을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다. 컴퓨팅 디바이스(500)는 3D 콘텐츠를 포함하는 이미지들 및 비디오들과 같은 정보를 취득, 저장, 계산, 처리, 통신 및/또는 디스플레이하는 데 사용될 수 있다. 컴퓨팅 디바이스(500)는 포인트 클라우드 기하형상 패딩 양태들 중 어느 하나를 구현할 수 있다. 일반적으로, 컴퓨팅 디바이스(500)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(502), 메모리(504), 프로세서(506), I/O 디바이스(들)(508), 버스(510) 및 저장 디바이스(512)를 포함한다. 프로세서의 선택은 충분한 속도를 갖는 적합한 프로세서가 선택되는 한 중요하지 않다. 메모리(504)는 본 기술 분야에 공지된 임의의 종래의 컴퓨터 메모리일 수 있다. 저장 디바이스(512)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고화질 디스크(disk)/드라이브, 울트라-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 저장 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(500)는 하나 이상의 네트워크 인터페이스(502)를 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷(Ethernet) 또는 다른 유형의 LAN에 접속된 네트워크 카드를 포함한다. I/O 디바이스(들)(508)는 다음 중 하나 이상을 포함할 수 있다: 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 다른 디바이스들. 포인트 클라우드 기하형상 패딩을 구현하는 데 사용되는 포인트 클라우드 기하형상 패딩 어플리케이션(들)(530)은 저장 디바이스(512) 및 메모리(504)에 저장되고, 어플리케이션들이 통상적으로 처리되는 대로 처리될 가능성이 있다. 도 5에 도시된 더 많거나 더 적은 구성 요소들이 컴퓨팅 디바이스(500)에 포함될 수 있다. 일부 실시예들에서, 포인트 클라우드 기하형상 패딩 하드웨어(520)가 포함된다. 도 5의 컴퓨팅 디바이스(500)는 포인트 클라우드 기하형상 패딩을 위한 어플리케이션들(530) 및 하드웨어(520)를 포함하지만, 포인트 클라우드 기하형상 패딩은 컴퓨팅 디바이스 상에서 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 포인트 클라우드 기하형상 패딩 어플리케이션들(530)은 메모리에 프로그래밍되고 프로세서를 사용하여 실행된다. 다른 예에서, 일부 실시예들에서, 포인트 클라우드 기하형상 패딩 하드웨어(520)는 포인트 클라우드 기하형상 패딩을 구현하도록 특별히 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 논리이다.

일부 실시예들에서, 포인트 클라우드 기하형상 패딩 어플리케이션(들)(530)은 여러 어플리케이션들 및/또는 모듈들을 포함한다. 일부 실시예들에서, 모듈들은 또한 하나 이상의 서브-모듈들을 포함한다. 일부 실시예들에서, 더 적거나 추가적인 모듈들이 포함될 수 있다.

적합한 컴퓨팅 디바이스들의 예들은 개인용 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화기, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고화질 디스크 라이터/플레이어, 초고화질 디스크 라이터/플레이어), 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 보석(예를 들어, 스마트 시계), 차량(예를 들어, 자율 주행 차량) 또는 임의의 다른 적합한 컴퓨팅 디바이스를 포함한다.

포인트 클라우드 기하형상 패딩 방법을 이용하기 위해, 디바이스는 3D 콘텐츠를 취득 또는 수신하고, 3D 콘텐츠의 적절한 효율적인 디스플레이를 가능하게 하기 위해 최적화된 방식으로 콘텐츠를 처리 및/또는 전송한다. 포인트 클라우드 기하형상 패딩은 사용자 도움으로, 또는 사용자 개입 없이 자동으로 구현될 수 있다.

동작 시, 포인트 클라우드 기하형상 패딩은 인코딩의 관점에서 더 효율적이다.

포인트 클라우드 기하형상 패딩의 일부 실시예들

1. 디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,

포인트 클라우드로부터 기하형상 이미지들을 생성하는 단계;

2D 캔버스 상에 상기 기하형상 이미지들을 배치하는 단계; 및

점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 상기 2D 캔버스 상의 빈 공간들을 채우는 단계

를 포함하는, 방법.

2. 제1절의 방법에 있어서, 상기 패딩 방법은 재구성될 때, 상기 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 방법.

3. 제1절의 방법에 있어서, 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하는 단계를 더 포함하는, 방법.

4. 제1절의 방법에 있어서, 상기 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하는 단계를 더 포함하는, 방법.

5. 제1절의 방법에 있어서, 3D 공간에서 상기 검색을 수행하는 단계는 3개의 이웃 포인트들의 평균으로 시작하는 단계를 포함하는, 방법.

6. 제1절의 방법에 있어서, 상기 3D 공간에서 검색을 수행하는 단계는 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 단계를 포함하는, 방법.

7. 제1절의 방법에 있어서, 상기 3D 공간에서 상기 검색을 수행하는 단계는 지정된 범위 내의 포인트들만을 검색하는 단계를 포함하는 방법.

8. 제1절의 방법에 있어서, 압축된 기하형상 이미지를 생성하는 단계를 더 포함하는, 방법.

9. 제1절의 방법에 있어서, 상기 포인트 클라우드에 대한 압축된 비트스트림을 생성하는 단계를 더 포함하는, 방법.

10. 장치로서,

어플리케이션을 저장하기 위한 비일시적 메모리 - 상기 어플리케이션:

포인트 클라우드로부터 기하형상 이미지들을 생성하고,

2D 캔버스 상에 상기 기하형상 이미지들을 배치하며,

점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 상기 2D 캔버스 상의 빈 공간들을 채움 - ; 및

상기 메모리에 결합되는 프로세서 - 상기 프로세서는 상기 어플리케이션을 처리하도록 구성됨 -

를 포함하는, 장치.

11. 제10절의 장치에 있어서, 상기 패딩 방법은 재구성될 때, 상기 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 장치.

12. 제10절의 장치에 있어서, 상기 어플리케이션은 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값을 추가하도록 더 구성되는, 장치.

13. 제10절의 장치에 있어서, 상기 어플리케이션은 상기 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성되는, 장치.

14. 제10절의 장치에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함하는, 장치.

15. 제10절의 장치에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함하는, 장치.

16. 제10절의 장치에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함하는, 장치.

17. 제10절의 장치에 있어서, 상기 어플리케이션은 압축된 기하형상 이미지를 생성하도록 더 구성되는, 장치.

18. 제10절의 장치에 있어서, 상기 어플리케이션은 상기 포인트 클라우드에 대한 압축된 비트스트림(bitstream)을 생성하도록 더 구성되는, 장치.

19. 시스템으로서,

3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라들; 및

상기 3차원 콘텐츠를 인코딩하기 위한 인코더

를 포함하고, 상기 인코더는:

상기 3차원 콘텐츠로부터 기하형상 이미지들을 생성하고,

2D 캔버스 상에 상기 기하형상 이미지들을 배치하며,

점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 상기 2D 캔버스 상의 빈 공간들을 채우는 것

에 의해 상기 3차원 콘텐츠를 인코딩하는, 시스템.

20. 제19절의 시스템에 있어서, 상기 패딩 방법은 재구성될 때, 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 시스템.

21. 제19절의 시스템에 있어서, 상기 인코더는 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하도록 더 구성되는, 시스템.

22. 제19절의 시스템에 있어서, 상기 인코더는 상기 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성되는, 시스템.

23. 제19절의 시스템에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함하는, 시스템.

24. 제19절의 시스템에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함하는, 시스템.

25. 제19절의 시스템에 있어서, 3D 공간에서 상기 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함하는, 시스템.

26. 제19절의 시스템에 있어서, 상기 인코더는 압축된 기하형상 이미지를 생성하도록 더 구성되는, 시스템.

27. 제19절의 시스템에 있어서, 상기 인코더는 상기 포인트 클라우드에 대한 압축된 비트스트림(bitstream)을 생성하도록 더 구성되는, 시스템.

본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 돕기 위한 세부 사항들을 포함하는 특정 실시예들과 관련하여 설명되었다. 본 명세서에서 특정 실시예들 및 그 세부 사항들에 대한 그러한 참조는 본 명세서에 첨부된 청구항들의 범위를 한정하는 것을 의도하지 않는다. 청구항들에 의해 정의된 본 발명의 사상 및 범위로부터 벗어나지 않으면서 설명을 위해 선택되는 실시예에서 다른 다양한 수정들이 이루어질 수 있다는 점이 본 기술 분야의 통상의 기술자에게 용이하게 명백할 것이다.

Claims

디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,
포인트 클라우드(point cloud)로부터 기하형상 이미지들을 생성하는 단계;
2D 캔버스(canvas) 상에 상기 기하형상 이미지들을 배치하는 단계; 및
점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩(padding) 방법으로 상기 2D 캔버스 상의 빈 공간들을 채우는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 패딩 방법은 재구성될 때, 상기 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 방법.
제1항에 있어서, 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 2D 캔버스 내의 로컬 포인트(local point)들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 3D 공간에서 검색을 수행하는 단계는 3개의 이웃 포인트들의 평균으로 시작하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 3D 공간에서 검색을 수행하는 단계는 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 3D 공간에서 상기 검색을 수행하는 단계는 지정된 범위 내의 포인트들만을 검색하는 단계를 포함하는 방법.
제1항에 있어서, 압축된 기하형상 이미지를 생성하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 포인트 클라우드에 대한 압축된 비트스트림을 생성하는 단계를 더 포함하는, 방법.
장치로서,
어플리케이션을 저장하기 위한 비일시적 메모리 - 상기 어플리케이션:
포인트 클라우드로부터 기하형상 이미지들을 생성하고,
2D 캔버스 상에 상기 기하형상 이미지들을 배치하며,
점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 상기 2D 캔버스 상의 빈 공간들을 채움 - ; 및
상기 메모리에 결합되는 프로세서 - 상기 프로세서는 상기 어플리케이션을 처리하도록 구성됨 -
를 포함하는, 장치.
제10항에 있어서, 상기 패딩 방법은 재구성될 때, 상기 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 장치.
제10항에 있어서, 상기 어플리케이션은 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값을 추가하도록 더 구성되는, 장치.
제10항에 있어서, 상기 어플리케이션은 상기 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성되는, 장치.
제10항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함하는, 장치.
제10항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함하는, 장치.
제10항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함하는, 장치.
제10항에 있어서, 상기 어플리케이션은 압축된 기하형상 이미지를 생성하도록 더 구성되는, 장치.
제10항에 있어서, 상기 어플리케이션은 상기 포인트 클라우드에 대한 압축된 비트스트림을 생성하도록 더 구성되는, 장치.
시스템으로서,
3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라들; 및
상기 3차원 콘텐츠를 인코딩하기 위한 인코더
를 포함하고, 상기 인코더는:
상기 3차원 콘텐츠로부터 기하형상 이미지들을 생성하고,
2D 캔버스 상에 상기 기하형상 이미지들을 배치하며,
점유 지도의 손실 압축으로 인해 새롭게 추가된 포인트들의 3D 위치를 고려하는 패딩 방법으로 상기 2D 캔버스 상의 빈 공간들을 채우는 것
에 의해 상기 3차원 콘텐츠를 인코딩하는, 시스템.
제19항에 있어서, 상기 패딩 방법은 재구성될 때, 포인트 클라우드에 가능한 한 가까운 값에 대한 3D 공간에서의 검색을 포함하는, 시스템.
제19항에 있어서, 상기 인코더는 상기 점유 지도의 상기 손실 압축으로 인해 재구성된 포인트 클라우드에 새로운 값들을 추가하도록 더 구성되는, 시스템.
제19항에 있어서, 상기 인코더는 상기 2D 캔버스 내의 로컬 포인트들의 대푯값을 중심으로 한 제한된 범위의 값들을 검색함으로써 3D 공간에서 검색을 수행하도록 더 구성되는, 시스템.
제19항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 3개의 이웃 포인트들의 평균으로 시작하는 것을 포함하는, 시스템.
제19항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 값들을 순차적으로 가산 또는 감산하고, 교체 포인트를 결정하기 위해 값들을 반복적으로 비교하는 것을 포함하는, 시스템.
제19항에 있어서, 상기 3D 공간에서 검색을 수행하는 것은 지정된 범위 내의 포인트들만을 검색하는 것을 포함하는, 시스템.
제19항에 있어서, 상기 인코더는 압축된 기하형상 이미지를 생성하도록 더 구성되는, 시스템.
제19항에 있어서, 상기 인코더는 상기 포인트 클라우드에 대한 압축된 비트스트림을 생성하도록 더 구성되는, 시스템.