KR102612191B1 - 포인트 클라우드 보간 장치 및 방법 - Google Patents

포인트 클라우드 보간 장치 및 방법 Download PDF

Info

Publication number
KR102612191B1
KR102612191B1 KR1020210186478A KR20210186478A KR102612191B1 KR 102612191 B1 KR102612191 B1 KR 102612191B1 KR 1020210186478 A KR1020210186478 A KR 1020210186478A KR 20210186478 A KR20210186478 A KR 20210186478A KR 102612191 B1 KR102612191 B1 KR 102612191B1
Authority
KR
South Korea
Prior art keywords
patch
point
interpolation
boundary
dimensional
Prior art date
Application number
KR1020210186478A
Other languages
English (en)
Other versions
KR20230096710A (ko
Inventor
황용해
김준식
김규헌
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020210186478A priority Critical patent/KR102612191B1/ko
Priority to US18/074,072 priority patent/US20230206391A1/en
Publication of KR20230096710A publication Critical patent/KR20230096710A/ko
Application granted granted Critical
Publication of KR102612191B1 publication Critical patent/KR102612191B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 포인트 클라우드를 보간하는 장치 및 방법으로, 구체적으로는 V-PCC 복호화 정보 및 2차원 보간 기술을 기반으로 포인트 클라우드를 보간하는 기술에 관한 것이다. 본 발명의 일 측면에 따르면, V3C 비트스트림으로부터 패치 보조 정보, 점유도, 기하 영상 및 속성 영상을 복호화하여 포인트 클라우드를 생성하는 V-PCC 복호화부; 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 내부 패치를 내부에 포함하는 외부 패치를 검색하는 패치 검색부; 외부 패치의 2차원 패치 공간에 내부 패치의 경계 포인트를 투영하여 외부 패치의 추가적인 경계 포인트를 검색하는 경계 포인트 검색부; 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 경계도를 생성하고, 경계도를 기반으로 기하 영상 및 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성하는 2차원 보간 포인트 생성부; 포인트 클라우드 및 2차원 보간 포인트에 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할하고, 각 분할된 구역을 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성하며, 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성하여, 보간 픽셀 및 구역에 대한 3차원 공간 정보를 기반으로 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성하는 경계 보간 포인트 생성부를 포함하는, 포인트 클라우드 보간 장치가 제공된다.

Description

포인트 클라우드 보간 장치 및 방법{APPARATUS AND METHOD OF INTERPOLATING POINT CLOUD}
본 발명은 포인트 클라우드를 보간하는 장치 및 방법으로, 구체적으로는 V-PCC 복호화 정보 및 2차원 보간 기술을 기반으로 포인트 클라우드를 보간하는 기술에 관한 것이다.
포인트 클라우드의 밀도를 높여 보간하는 방법에 있어, 3차원 연산을 사용하는 포인트 클라우드의 밀도 상승은 연산 과정이 복잡하기 때문에 많은 연산 시간이 요구되며, 포인트의 정확한 생성 위치를 결정하는데 한계가 있다. 또한, 2차원 보간 방법을 그대로 적용할 경우에는 3차원 공간에서는 서로 이격되어 있으나 2차원 공간에서는 가까이 위치하는 포인트의 경우에는 잘못된 포인트를 생성하는 문제가 있다.
한국공개특허 제10-2021-0029804호, "포인트 클라우드의 지오메트리를 인코딩/디코딩하기 위한 방법 및 디바이스 "
따라서, 본 발명의 목적은 3차원 공간 정보를 기반으로 2차원 보간 기술을 적용하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 V-PCC 복호화 정보를 이용하여 포인트 클라우드를 보간하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 효율적인 포인트 클라우드 보간 기술을 제공하는 것이다.
본 발명의 일 측면에 따르면, V3C 비트스트림으로부터 패치 보조 정보, 점유도, 기하 영상 및 속성 영상을 복호화하여 포인트 클라우드를 생성하는 V-PCC 복호화부; 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 내부 패치를 내부에 포함하는 외부 패치를 검색하는 패치 검색부; 외부 패치의 2차원 패치 공간에 내부 패치의 경계 포인트를 투영하여 외부 패치의 추가적인 경계 포인트를 검색하는 경계 포인트 검색부; 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 경계도를 생성하고, 경계도를 기반으로 기하 영상 및 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성하는 2차원 보간 포인트 생성부; 포인트 클라우드 및 2차원 보간 포인트에 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할하고, 각 분할된 구역을 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성하며, 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성하여, 보간 픽셀 및 구역에 대한 3차원 공간 정보를 기반으로 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성하는 경계 보간 포인트 생성부를 포함하는, 포인트 클라우드 보간 장치가 제공된다.
일 실시예에서, 패치 검색부는 패치 보조 정보에 포함된 각 패치의 3차원 공간 정보를 기반으로 복수의 패치의 3차원 공간 위치 좌표를 비교하여 내부 패치 및 외부 패치를 검색할 수 있다.
일 실시예에서, 경계 포인트 검색부는 외부 패치의 2차원 패치 공간에 내부 패치의 포인트를 투영하여 2차원 패치 공간 상에서 겹쳐지는 영역의 위치 정보를 추출하고, 외부 패치의 포인트 중 위치 정보에 대응하는 포인트와 내부 패치의 포인트 중 위치 정보에 대응하는 포인트가 3차원 공간에서 미리 설정된 거리 이내인 경우, 외부 패치의 포인트 중 위치 정보에 대응하는 포인트를 외부 패치의 추가적인 경계 포인트로 결정할 수 있다.
본 발명의 다른 측면에 따르면, V3C 비트스트림으로부터 패치 보조 정보, 점유도, 기하 영상 및 속성 영상을 복호화하여 포인트 클라우드를 생성하는 단계; 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 내부 패치를 내부에 포함하는 외부 패치를 검색하는 단계; 외부 패치의 2차원 패치 공간에 내부 패치의 경계 포인트를 투영하여 외부 패치의 추가적인 경계 포인트를 검색하는 단계; 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 경계도를 생성하고, 경계도를 기반으로 기하 영상 및 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성하는 단계; 포인트 클라우드 및 2차원 보간 포인트에 의해 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할하고, 각 분할된 구역을 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성하는 단계; 및 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성하고, 보간 픽셀 및 구역에 대한 3차원 공간 정보를 기반으로 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성하는 단계;를 포함하는, 포인트 클라우드 보간 방법이 제공된다.
본 발명의 일 측면에 따르면, 효율적인 포인트 클라우드 보간이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면, 3차원 공간 정보를 기반으로 2차원 보간 기술을 적용하는 것이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면, V-PCC 복호화 정보를 이용하여 포인트 클라우드를 보간하는 것이 가능하게 된다.
도 1 및 도 2는 V-PCC 기반으로 포인트 클라우드의 부호화 및 복호화를 설명하기 위한도면이다.
도 3은 본 발명의 일 실시예에 따른 포인트 클라우드 보간 장치의 블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 외부 패치 및 내부 패치의 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 기하 영상, 속성 영상 및 경계도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 2차원 보간 기법을 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 포인트 클라우드 투영을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 포인트 클라우드 보간 방법의 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 포인트 클라우드 보간 장치의 블록도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
상술한 구체적인 실시예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.
그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
도 1 및 도 2는 V-PCC 기반으로 포인트 클라우드의 부호화 및 복호화를 설명하기 위한도면이다.
도 1을 참조하면, 포인트 클라우드를 V-PCC 기반으로 부호화하여 V3C 비트스트림을 생성하는 V-PCC 부호화기의 블록도이다.
포인트 클라우드는 3차원 객체의 표면 정보를 수많은 점으로 표현하는 데이터로 각 점들은 3차원상의 위치 정보와 해당하는 위치의 색 정보를 포함한 다양한 속성값을 가질 수 있다. 비디오 기반 포인트 클라우드 압축 (Video-based Point Cloud Compression, V-PCC) 기술은 비디오 코덱을 사용해 포인트 클라우드를 압축하기 위해 패치라는 단위로 포인트를 나누고 2차원 공간 투영 과정을 진행할 수 있다. 2차원 공간 투영 과정을 통해 2차원 픽셀의 점유 여부를 알려주는 점유맵(Occuupancy map), 3차원 공간정보를 포함하는 기하 영상(Geometry image), 색 정보 등의 속성값을 저장하는 속성 영상(Attribute image)를 생성하고 비디오 코덱을 사용해 각 영상을 압축하며, 2차원과 3차원 공간 사이의 관계를 알려주는 패치 보조정보(Patch Auxiliary information)는 엔트로피 코딩을 통해 무손실 압축을 진행할 수 있다.
도 1에서, 패치 생성(3D patch Generation) 과정에서 포인트 클라우드를 입력으로 받고 모든 포인트의 법선 벡터를 계산하여 서로 가까운 위치에 있으면서 법선 벡터의 방향이 비슷한 포인트들을 패치(Patch) 단위로 분리될 수 있다. 패치 패킹(Patch Packing) 과정에서 포인트 클라우드 주변에 X, Y, Z축 중에 하나와 수직인 6개의 투영평면을 기준으로 각 패치를 투영하고 서로 겹치지 않게 2차원 공간에 배치하며, 각 패치를 4개의 방향으로 회전하거나 반전된 8개의 방향성을 가질 수 있고, 2차원 공간의 배치 정보는 점유도(Occupancy Map), 2차원 공간과 2차원 공간 사이의 상관관계는 패치 보조 정보(Patch Auxiliary Information)로 저장될 있다. 기하 영상 생성(Geometry Image Generation)과 속성 영상 생성(Attribute Image Generation) 과정에서 점유도와 패치 보조 정보를 기반으로 투영 평면으로부터 각 포인트 사이의 거리를 밝기 값으로 저장하는 기하 영상과 각 포인트의 색 정보 등 속성 값을 저장하는 속성 영상을 생성할 수 있다. 영상 패딩(Image Padding) 과정에서 비디오 코덱 압축의 효율을 높이기 위해 기하 영상과 속성 영상에서 패치 보조 정보가 없는 영역을 패치 보조 정보가 포함된 주면 영역의 값을 참조하여 채워질 수 있다. 패치 보조 정보에서 복호화 과정에서 필요한 정보는 엔트로피 코딩을 사용해 무손실로 압축하며, 점유도, 기하 영상, 속성 영상은 비디오 코덱을 사용해 각각 압축하고, 하나의 비트스트림으로 합치는 과정을 통해 V-PCC 부호화 과정이 종료될 수 있다.
도 2를 참조하면, 도 1을 참조하면, V-PCC 기반으로 부호화된 포인트 클라우드를 복호화하는 V-PCC 부호화기의 블록도이다. 하나의 비트스트림으로부터 시퀀스 정보(Sequence Parameter Set)를 먼저 파싱하고 패치 보조 정보, 점유도, 기하 영상, 속성 영상의 압축 정보를 분리하는 과정이 가장 먼저 진행될 수 있다. 시퀀스 정보는 복호화기의 각 단계에 필요한 보조 정보를 포함할 수 있다. 패치 보조 정보는 엔트로피 코딩을 적용해 복호화 단계를 진행하고 점유도, 기하 영상, 속성 영상은 비디오 코덱을 사용해서 복호화 과정을 진행할 수 있다. 포인트 클라우드 재구성(Reconstruction) 과정에서 패치 보조 정보와 점유도를 사용해 2차원 정보와 3차원 공간의 투영 평면 정보를 확인한 다음 점유도를 기반으로 기하 영상의 각 위치의 밝기 값을 사용해 포인트를 생성하고, 속성 영상의 색 정보 등 속성 값을 추가할 수 있다. 스무딩(Smoothing) 과정에서 각 패치의 경계에서 발생하는 불연속한 부분을 수정하는 단계로 기하 스무딩(Geometry Smoothing) 과정은 3차원 필터를 사용해 경계 포인트의 위치를 주변 포인트의 위치와 비슷하게 변경하며, 속성 스무딩(Attribute Smoothing) 단계는 경계 포인트의 색 정보 등 속성 값을 주변 포인트의 값을 참조하여 변경할 수 있다. 재구성된 포인트 클라우드의 경계 포인트를 수정하는 것으로 V-PCC 복호화 과정을 통해 압축된 포인트 클라우드를 생성하는 과정이 종료될 수 있다.
도 3은 본 발명의 일 실시예에 따른 포인트 클라우드 보간 장치의 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 포인트 클라우드 보간 장치(300)는 V-PCC 복호화부(310), 패치 검색부(320), 3차원 보간 포인트 생성부 및 경계 보간 포인트 생성부(350)를 포함할 수 있다.
V-PCC 복호화부(310)는 V-PCC를 기반으로 부호화된 V3C 비트스트림에 대한 복호화를 수행하여 패치 보조 정보, 기하 영상, 속성 영상을 복호화하고, 이를 기반으로 포인트 클라우드를 생성할 수 있다. 여기서, 패치 보조 정보(Patch auxiliary information)는 각패치의 2D 및 3D 공간정보를 포함할 수 있다. 점유도(Occupancy map은 2D 공간의 포인트 점유정보를 0과 1로 표현한 맵을 의미한다. 기하 영상(Geometry image)은 투영평면으로부터의 거리 등의 정보를 포함할 수 있다. 속성 영상(Attribute image)은 각 포인트 색상등의 텍스쳐 정보를 포함할 수 있다.
패치 검색부(320)는 패치 보조 정보를 기반으로 포인트 클라우드에 의해 형성되는 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치와 내부에 내부 패치를 포함하는 외부 패치를 검색할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 외부 패치(410) 내에 내부 패치(420)이 존재할 수 있다.
일 실시예에서, 패치 검색부(320)는 패치 보조 정보에 포함된 각 패치의 3차원 공간 정보를 기반으로 복수의 패치의 3차원 공간 위치 좌표를 비교하여, 3차원 공간 위치 정보가 겹치는 패치를 내부 패치 및 외부 패치로 확인할 수 있다.
경계 포인트 검색부(330)는 외부 패치의 2차원 패치 공간에 내부 패치의 경계 포인트를 투영하여 외부 패치의 추가적인 경계 포인트를 검색할 수 있다. 여기서, 추가적인 경계 포인트는 외부 패치와 내부 패치의 사이에 공간이 존재하는 경우, 이런한 공간을 외부 패치에 반영하기 위함이다.
일 실시예에서, 경계 포인트 검색부(330)는 외부 패치의 2차원 패치 공간에 내부 패치의 포인트를 투영하여 2차원 패치 공간 상에서 겹쳐지는 영역의 위치 정보를 추출할 수 있다. 예를 들어 도 5를 참조하면, 도 5 (a)에 내부 패치 및 외부 패치 각각의 2차원 공간으로 투영되는 예가 도시되어 있으며, 도 5 (b)에는 외부 패치의 2차원 패치 공간에 내부 패치의 투영하여 겹치는 위치 영역이 도시되어 있다. 경계 포인트 검색부(330)는 외부 패치의 포인트 중 위치 정보에 대응하는 포인트와 상기 내부 패치의 포인트 중 위치 정보에 대응하는 포인트가 3차원 공간에서 미리 설정된 거리 이내인 경우, 상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트를 상기 외부 패치의 추가적인 경계 포인트로 결정할 수 있다. 여기서, 미리 설정된 거리는 포인트 클라우드 보간의 사용 목적에 따라 상이하게 가변될 수 있다.
일 실시예에서, 패치 검색부(320)는 아래 수학식 1 및 수학식 2에 따라 외부 패치와 내부 패치가 2차원 공간에서 겹치는 영역의 위치는 정보를 아래 수학식 1 및 수학식 2에 따라 결정될 수 있다.
여기서, 2차원 패치가 패치 패킹 과정에서 회전된 경우에는 수학식 1이 이용되고, 각 방향의 반전(Mirror)된 경우에는 수학식 2가 이용될 수 있다. 는 각각 외부 패치의 가로, 세로 위치 최소값 혹은 최대값을 의미하며, +연산이 적용될 경우 최소값을 의미하고, -연산이 적용될 경우 최대값을 의미할 수 있다. 는 투영하는 포인트의 3차원 위치 정보 좌표 3개의 값 중에 외부 패치의 투영 평면과 접선 방향의 좌표 값을 로 설정되고, 접선방향에 수직하며 투영 평면에 평행한 다른 좌표 값을 로 설정될 수 있다. 는 외부 패치의 패치패킹 과정에서 적용된 회전 방향으로 수학식 1에 적용하여 내부 패치에 포함된 포인트의 외부 패치의 2차원 공간에 투영할 수 있다.
2차원 보간 포인트 생성부(340)는 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 경계도를 생성할 수 있다. 도 6을 참조하면, 도 6 (a)에는 기하 영상, 도 6 (b)는 속성 영상 및 도 6 (c)는 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 생성된 경계도의 예가 도시되어 있다.
2차원 보간 포인트 생성부(340)는 경계도를 기반으로 기하 영상 및 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성할 수 있다. 도 7을 참조하면, 도 7 (a)에 2차원 보간 기법의 적용을 2차원 공간에서 표현한 예시외, 도 7 (b)에 2차원 보간 기법의 적용을 3차원 공간에 표현한 예시되 도시되어 있다. 구체적으로, 기하 영상과 속성 영상에 적용되는 2차원 선형 보간 기법의 예는 기존에 알고 있는 지점들의 값을 사용하여 지점 사이에 위치한 값을 추정하는 기술로 2차원 영상의 해상도를 변경할 때에 새롭게 생성된 지점의 값을 추정하기 위해 사용될 수 있다. 도면 7의 과정에서 기존에 알고 있는 지점은 (0,0), (0,2), (2,0), (2,2) 지점이고, 지점 (1,2)와 (1,0)은 각각 (0,2), (2,2)와 (0,0), (2,0) 지점의 값을 사용해 추정한 값이며, 지점 (1,1)은 (1,2), (1,0) 지점의 값을 사용해 추정한 값을 의미할 수 있다. 도 9를 참조하면, 기하 영상에 보간 기술을 적용한 실시 예를 설명하기 위한 도면이다. 경계도를 참조하는 것으로 패치가 점유한 위치를 알아내고, 해당하는 위치에 보간 기술을 적용하여 해상도가 높은 보간 기하 영상을 생성하며, 속성 영상도 이와 동일한 방법으로 보간 속성 영상을 생성하는 것으로 기존의 V-PCC 정보에 포함되지 않은 점 사이의 기하, 속성 정보를 포함하는 영상을 생성할 수 있다.
V-PCC에 의한 포인트 클라우드 생성시 n번째 포인트의 3차원 위치 좌표는 아래 수학식 3에 따라 결정될 수 있다.
여기서, 는 n번째 포인트가 포함된 패치의 3차원 좌표 최소값을 의미하여, 는 2차원 공간 좌표 최소값을 의미할 수 있다. 는 n번째 포인트의 2차원 위치 좌표이고, 는 기하 영상 좌표의 밝기 정보를 의미할 수 있다.
보간 기하 영상과 보간 속성 영상을 사용하여 새로운 포인트를 생성하기 위한 3차원 좌표 계산은 아래 수학식 4에 따라 결정될 수 있다.
여기서, 은 패치 투영 과정의 배율 단위인 LoD값을 의미하고, 는 보관 과정에서 확장된 배율을 의미하고, 와 는 n번째 포인트가 포함된 패치의 2차원 투영 방식에 따라 변화하는 값으로 는 n번째 포인트가 포함된 패치가 반전이 아는 경우에는 1 반전인 경우 -1 값을 가지고, 는 2차원 투영에서 패치의 회전 각도를 의미한다. 2차원 그리드에서 n번째 포인트로부터 거리의 포인트를 생성하기 위해 패치 회전을 고려한 수식 3의 과정을 통해 3차원 위치좌표 을 계산하여 기존의 점 사이에 새로운 포인트를 생성될 수 있다.
경계 보간 포인트 생성부(350)는 포인트 클라우드 및 2차원 보간 포인트에 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할할 수 있다. 예를 들어, 도 8 (a)에 도시된 봐와 같이, 포인트 클라우드에 의해 형성되는 공간이 미리 설정된 사이즈의 구역으로 분할될 수 있다.
경계 보간 포인트 생성부(350)는 각 분할된 구역을 경계 포인트를 포함하는 구역에 대해서만 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성할 수 있다. 예를 들어, 도 8 (b)에 도시된 바와 같이, 각 분할된 구역이 투영된 XY, XZ 및 YZ 평면 각각에 대한 기하 영상(각 평면과 포이트 사이의 거리를 저장), 속성 영상(속성 정보 저장) 및 경계도(점유 여부 및 경계 포인트 여부를 저장)가 생성될 수 있다.
경계 보간 포인트 생성부(350)는 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성할 수 있다. 경계 보간 포인트 생성부(350)는 보간 픽셀 및 구역에 대한 3차원 공간 정보를 기반으로 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성할 수 있다. 여기서, 2차원 보간은 도 7에 도시된 2차원 보간과 동일한 기법이 적용될 수 있다. 도 9를 참조하면, 3차원 포인트 투영에서 생성된 경계도를 사용해 경계 포인트를 찾고, 경계 포인트 주변에 점유가 되어있지 않은 위치에서 보간 포인트 생성 단계(130)의 보간 필터와 같은 2차원 연산을 통해 기하 영상과 속성 영상의 주변 픽셀 정보로부터 비어 있는 공간의 보간 픽셀을 계산할 수 있다. 아래 수학식 5는 3차원 위치 좌표를 계산하는 일 예시를 나타낸다.
여기서, 는 도 9의 분할된 구역(블록)의 3차원 기준 위치좌표를 의미한다. 는 블록 내부의 3차원 위치좌표를 의미하고, 포인트 생성에 사용되는 투영 평면이 XY평면을 사용할 경우 는 XY평면 기하 영상의 좌표 값, XZ평면을 사용할 경우 는 XZ평면 기하 영상의 좌표 값, YZ평면을 사용할 경우 는 XZ평면 기하 영상의 좌표 값을 사용하여 포인트 생성 위치를 결정될 수 있다. 이러한 과정으로 생성된 포인트들을 출력하면 보간된 포인트 클라우드가 최종적으로 얻어질 수 있다.
도 10은 본 발명의 일 실시예에 따른 포이트 클라우드 보간 방법의 흐름도이다.
이하, 도 3에 도시된 포인트 클라우드 보간 장치(300)에 의해 도 10의 방법이 수행되는 것을 예시로 설명한다.
단계 S1010에서, V-PCC 복호화가 진행된다. 포인트 클라우드 보간 장치(300)는 V-PCC를 기반으로 부호화된 V3C 비트스트림에 대한 복호화를 수행하여 패치 보조 정보, 기하 영상, 속성 영상을 복호화하고, 이를 기반으로 포인트 클라우드를 생성할 수 있다. 여기서, 패치 보조 정보(Patch auxiliary information)는 각패치의 2D 및 3D 공간정보를 포함할 수 있다. 점유도(Occupancy map은 2D 공간의 포인트 점유정보를 0과 1로 표현한 맵을 의미한다. 기하 영상(Geometry image)은 투영평면으로부터의 거리 등의 정보를 포함할 수 있다. 속성 영상(Attribute image)은 각 포인트 색상등의 텍스쳐 정보를 포함할 수 있다.
단계 S1020에서, 외부 패치 및 내부 패치가 검색된다. 포인트 클라우드 보간 장치(300)는 패치 보조 정보를 기반으로 포인트 클라우드에 의해 형성되는 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치와 내부에 내부 패치를 포함하는 외부 패치를 검색할 수 있다.
일 실시예에서, 포인트 클라우드 보간 장치(300)는 패치 보조 정보에 포함된 각 패치의 3차원 공간 정보를 기반으로 복수의 패치의 3차원 공간 위치 좌표를 비교하여, 3차원 공간 위치 정보가 겹치는 패치를 내부 패치 및 외부 패치로 확인할 수 있다.
단계 S1030에서, 추가 경계 포인트가 검색된다. 포인트 클라우드 보간 장치(300)는 외부 패치의 2차원 패치 공간에 내부 패치의 경계 포인트를 투영하여 외부 패치의 추가적인 경계 포인트를 검색할 수 있다. 여기서, 추가적인 경계 포인트는 외부 패치와 내부 패치의 사이에 공간이 존재하는 경우, 이런한 공간을 외부 패치에 반영하기 위함이다.
일 실시예에서, 포인트 클라우드 보간 장치(300)는 외부 패치의 2차원 패치 공간에 내부 패치의 포인트를 투영하여 2차원 패치 공간 상에서 겹쳐지는 영역의 위치 정보를 추출할 수 있다. 포인트 클라우드 보간 장치(300)는 외부 패치의 포인트 중 위치 정보에 대응하는 포인트와 상기 내부 패치의 포인트 중 위치 정보에 대응하는 포인트가 3차원 공간에서 미리 설정된 거리 이내인 경우, 상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트를 상기 외부 패치의 추가적인 경계 포인트로 결정할 수 있다. 여기서, 미리 설정된 거리는 포인트 클라우드 보간의 사용 목적에 따라 상이하게 가변될 수 있다.
단계 S1040에서, 2차원 보간 포인트가 생성된다. 포인트 클라우드 보간 장치(300)는 복수의 패치의 경계 포인트 및 추가적인 경계 포인트를 기반으로 경계도를 생성할 수 있다. 포인트 클라우드 보간 장치(300)는 경계도를 기반으로 기하 영상 및 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성할 수 있다.
단계 S1050에서, 포인트 클라우드가 투영된다. 포인트 클라우드 보간 장치(300)는 포인트 클라우드 및 2차원 보간 포인트에 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할할 수 있다. 포인트 클라우드 보간 장치(300)는 각 분할된 구역을 경계 포인트를 포함하는 구역에 대해서만 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성할 수 있다.
단계 S1060에서, 경계 보간 포인트가 생성된다. 포인트 클라우드 보간 장치(300)는 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성할 수 있다. 포인트 클라우드 보간 장치(300)는 보간 픽셀 및 구역에 대한 3차원 공간 정보를 기반으로 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성할 수 있다. 여기서, 2차원 보간은 도 7에 도시된 2차원 보간과 동일한 기법이 적용될 수 있다.
도 11은 본 발명의 다른 실시예에 따른 깊이 이미지 생성 장치의 블록도이다.
도 11에 도시된 바와 같이, 포인트 클라우드 보간 장치(1100)는 프로세서(1110), 메모리(1120), 저장부(1130), 사용자 인터페이스 입력부(1140) 및 사용자 인터페이스 출력부(1150) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(160)를 통해 서로 통신할 수 있다. 또한, 포인트 클라우드 보간 장치(1100)는 네트워크에 접속하기 위한 네트워크 인터페이스(1170)를 또한 포함할 수 있다. 프로세서(1110)는 메모리(1120) 및/또는 저장소(1130)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(1120) 및 저장부(1130)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(1124) 및 RAM(1125)을 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 포인트 클라우드 보간 장치 310: V-PCC 복호화부
320: 패치 검색부 330: 경계 포인트 검색부
340: 2차원 보간 포인트 생성부 350: 경계 보간 포인트 생성부

Claims (12)

  1. V3C 비트스트림으로부터 패치 보조 정보, 점유도, 기하 영상 및 속성 영상을 복호화하여 포인트 클라우드를 생성하는 V-PCC 복호화부;
    상기 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 상기 내부 패치를 내부에 포함하는 외부 패치를 검색하는 패치 검색부;
    상기 외부 패치의 2차원 패치 공간에 상기 내부 패치의 경계 포인트를 투영하여 상기 외부 패치의 추가적인 경계 포인트를 검색하는 경계 포인트 검색부;
    상기 복수의 패치의 경계 포인트 및 상기 추가적인 경계 포인트를 기반으로 경계도를 생성하고, 상기 경계도를 기반으로 상기 기하 영상 및 상기 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성하는 2차원 보간 포인트 생성부;
    상기 포인트 클라우드 및 상기 2차원 보간 포인트에 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할하고, 각 분할된 구역을 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성하며, 상기 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성하여, 상기 보간 픽셀 및 상기 구역에 대한 3차원 공간 정보를 기반으로 상기 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성하는 경계 보간 포인트 생성부를 포함하는, 포인트 클라우드 보간 장치.
  2. 제1항에 있어서,
    상기 패치 검색부는,
    상기 패치 보조 정보에 포함된 각 패치의 3차원 공간 정보를 기반으로 복수의 패치의 3차원 공간 위치 좌표를 비교하여 상기 내부 패치 및 상기 외부 패치를 검색하는, 포인트 클라우드 보간 장치.
  3. 제1항에 있어서,
    상기 경계 포인트 검색부는,
    상기 외부 패치의 2차원 패치 공간에 상기 내부 패치의 포인트를 투영하여 상기 2차원 패치 공간 상에서 겹쳐지는 영역의 위치 정보를 추출하고,
    상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트와 상기 내부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트가 3차원 공간에서 미리 설정된 거리 이내인 경우, 상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트를 상기 외부 패치의 추가적인 경계 포인트로 결정하는, 포인트 클라우드 보간 장치.
  4. 제3항에 있어서,
    상기 겹쳐지는 영역의 위치 정보는 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 장치.
  5. 제3항에 있어서,
    상기 겹쳐지는 영역의 위치 정보는 상기 2차원 패치 공간이 반전된 경우 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 장치.

  6. 제1항에 있어서,
    상기 3차원 공간 정보는 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 장치.

  7. V3C 비트스트림으로부터 패치 보조 정보, 점유도, 기하 영상 및 속성 영상을 복호화하여 포인트 클라우드를 생성하는 단계;
    상기 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 상기 내부 패치를 내부에 포함하는 외부 패치를 검색하는 단계;
    상기 외부 패치의 2차원 패치 공간에 상기 내부 패치의 경계 포인트를 투영하여 상기 외부 패치의 추가적인 경계 포인트를 검색하는 단계;
    상기 복수의 패치의 경계 포인트 및 상기 추가적인 경계 포인트를 기반으로 경계도를 생성하고, 상기 경계도를 기반으로 상기 기하 영상 및 상기 속성 영상에 2차원 보간 기법을 적용하여 점유 영역에 대한 새로운 포인트인 2차원 보간 포인트를 생성하는 단계;
    상기 포인트 클라우드 및 상기 2차원 보간 포인트에 의해 형성되는 전체 공간을 미리 설정된 사이즈의 구역으로 분할하고, 각 분할된 구역을 XY, XZ 및 YZ 평면을 기준으로 투영하여 보간 기하 영상, 보간 속성 영상 및 보간 경계도를 생성하는 단계; 및
    상기 보간 경계도를 기준으로 경계 포인트의 주변 영역 중 비점유 영역에서 주변 픽셀 정보를 이용하는 2차원 보간 기법을 적용하여 보간 픽셀 정보를 생성하고, 상기 보간 픽셀 및 상기 구역에 대한 3차원 공간 정보를 기반으로 상기 비점유 영역에 대한 새로운 포인트인 경계 보간 포인트를 생성하는 단계;
    를 포함하는, 포인트 클라우드 보간 방법.
  8. 제7항에 있어서,
    상기 패치 보조 정보를 기반으로 복수의 패치 중 다른 패치의 내부에 포함되는 내부 패치 및 상기 내부 패치를 내부에 포함하는 외부 패치를 검색하는 단계는,
    상기 패치 보조 정보에 포함된 각 패치의 3차원 공간 정보를 기반으로 복수의 패치의 3차원 공간 위치 좌표를 비교하여 상기 내부 패치 및 상기 외부 패치를 검색하는, 포인트 클라우드 보간 방법.
  9. 제7항에 있어서,
    상기 외부 패치의 2차원 패치 공간에 상기 내부 패치의 경계 포인트를 투영하여 상기 외부 패치의 추가적인 경계 포인트를 검색하는 단계는,
    상기 외부 패치의 2차원 패치 공간에 상기 내부 패치의 포인트를 투영하여 상기 2차원 패치 공간 상에서 겹쳐지는 영역의 위치 정보를 추출하는 단계; 및
    상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트와 상기 내부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트가 3차원 공간에서 미리 설정된 거리 이내인 경우, 상기 외부 패치의 포인트 중 상기 위치 정보에 대응하는 포인트를 상기 외부 패치의 추가적인 경계 포인트로 결정하는 단계;
    를 포함하는, 포인트 클라우드 보간 방법.
  10. 제9항에 있어서,
    상기 겹쳐지는 영역의 위치 정보는 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 방법.

  11. 제9항에 있어서,
    상기 겹쳐지는 영역의 위치 정보는 상기 2차원 패치 공간이 반전된 경우 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 방법.

  12. 제7항에 있어서,
    상기 3차원 공간 정보는 아래 수학식에 따라 결정되는, 포인트 클라우드 보간 방법.
KR1020210186478A 2021-12-23 2021-12-23 포인트 클라우드 보간 장치 및 방법 KR102612191B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210186478A KR102612191B1 (ko) 2021-12-23 2021-12-23 포인트 클라우드 보간 장치 및 방법
US18/074,072 US20230206391A1 (en) 2021-12-23 2022-12-02 Apparatus for interpolating point cloud and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210186478A KR102612191B1 (ko) 2021-12-23 2021-12-23 포인트 클라우드 보간 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230096710A KR20230096710A (ko) 2023-06-30
KR102612191B1 true KR102612191B1 (ko) 2023-12-11

Family

ID=86896841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186478A KR102612191B1 (ko) 2021-12-23 2021-12-23 포인트 클라우드 보간 장치 및 방법

Country Status (2)

Country Link
US (1) US20230206391A1 (ko)
KR (1) KR102612191B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662087B (zh) * 2018-06-30 2021-05-11 华为技术有限公司 点云编解码方法和编解码器
WO2020014011A1 (en) 2018-07-11 2020-01-16 Interdigital Vc Holdings, Inc. A method and device for encoding/decoding the geometry of a point cloud.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
황용해, 김준식, 김규헌., 비디오 기반 포인트 클라우드 압축을 사용한 3차원 포인트의 2차원 보간 방안, 방송공학회 논문지 제26권 제6호, pp.692-703(2021.11.)*

Also Published As

Publication number Publication date
US20230206391A1 (en) 2023-06-29
KR20230096710A (ko) 2023-06-30

Similar Documents

Publication Publication Date Title
US11823421B2 (en) Signalling of metadata for volumetric video
CN110166757B (zh) 用计算机实现的压缩数据的方法、系统、存储介质
US10798389B2 (en) Method and apparatus for content-aware point cloud compression using HEVC tiles
EP3643059B1 (en) Processing of 3d image information based on texture maps and meshes
WO2018196682A1 (en) Method and apparatus for mapping virtual-reality image to a segmented sphere projection format
KR102650334B1 (ko) 포인트 클라우드 코딩을 위한 방법 및 장치
CN113592994B (zh) 用于纹理贴图的方法、装置和存储介质
KR20200007733A (ko) Pcc 데이터의 효과적인 압축을 위한 부호화/복호화 방법 및 장치
KR102612191B1 (ko) 포인트 클라우드 보간 장치 및 방법
KR20200143276A (ko) 비디오 부호화 방법 및 비디오 복호화 방법
JP7553592B2 (ja) ３ｄジオメトリを構築するための方法、装置およびプログラム
JP2024516244A (ja) メッシュ圧縮におけるパッチの重複のないプロパティのチェック
US10834413B2 (en) Fast and accurate block matching for computer generated content
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
US20230156222A1 (en) Grid-based patch generation for video-based point cloud coding
US11606556B2 (en) Fast patch generation for video based point cloud coding
KR20230153312A (ko) 포인트 클라우드 압축 방법 및 장치
KR20230137234A (ko) 옥트리 기반 삼각형 코딩을 이용하는 메시 압축 방법 및 장치
JP2024514979A (ja) 時間的に相関するｕｖアトラスを生成するための方法、デバイスおよびコンピュータプログラム
KR20220014868A (ko) 가우시안 밝기 분포를 이용하여 3d 복셀로부터 2d 투사 영상을 생성하는 방법 및 장치
WO2024196720A1 (en) Method to generate displacement for symmetry mesh
KR20220073665A (ko) 시점 영상 간 프루닝 기반 속성 분해 방법 및 장치
JP2024509623A (ja) メッシュ展開のための方法、装置、およびコンピュータプログラム
Shegeda et al. A gpu-based real-time algorithm for virtual viewpoint rendering from multi-video

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant