KR20230082542A - 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치 - Google Patents

플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치 Download PDF

Info

Publication number
KR20230082542A
KR20230082542A KR1020220078159A KR20220078159A KR20230082542A KR 20230082542 A KR20230082542 A KR 20230082542A KR 1020220078159 A KR1020220078159 A KR 1020220078159A KR 20220078159 A KR20220078159 A KR 20220078159A KR 20230082542 A KR20230082542 A KR 20230082542A
Authority
KR
South Korea
Prior art keywords
attribute information
plenoptic
point cloud
transformation
compressing
Prior art date
Application number
KR1020220078159A
Other languages
English (en)
Inventor
임성창
강정원
김수웅
방건
배성준
이진호
이하현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20230082542A publication Critical patent/KR20230082542A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법은 복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계, 상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계, 상기 패딩된 속성 정보를 변환하는 단계 및 상기 변환된 속성 정보를 양자화하는 단계를 포함한다.

Description

플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치{METHOD AND APPARATUS FOR ATTRIBUTE COMPRESSION OF PLENOPTIC POINT CLOUD}
본 발명은 플렌옵틱 포인트 클라우드 내 속성 정보 간의 중복성을 제거하는 속성 압축 방법 및 장치에 관한 것이다.
또한, 본 발명은 플렌옵틱 포인트 클라우드의 압축 효율을 증대시키기 위한 속성 정보의 패딩, 변환 및 양자화 기술에 관한 것이다.
최근 실감 콘텐츠에 대한 관심도가 폭발적으로 증가하고 방송 장비 및 영상 전송 기술의 발전에 따라 실감 콘텐츠를 영화나 TV같은 멀티미디어 산업에서도 이를 적극적으로 활용하려는 움직임이 늘어나고 있다.
실감 콘텐츠를 표현하는 방법 중 하나는 MVD 데이터(Multi-view plus depth data)를 활용하여 표현하는 방법이다. MVD 데이터는 짧은 간격으로 배치된 다수의 카메라를 활용하여 특정 시점의 영상과 깊이 정보를 획득한 데이터를 뜻한다. 이는 영상의 색상 정보, 깊이 정보뿐만 아니라 촬영 시점의 카메라 위치정보를 활용, 기하학적으로 복원 및 합성하여 모델링을 수행할 수 있기 때문에 실감 콘텐츠를 표현하기 위한 원료로 널리 사용되고 있다.
MVD 데이터는 촬영한 시점의 수가 많아질수록 완성도 높은 3차원 콘텐츠를 생성할 수 있다는 장점이 있으나 전송 시 그만큼의 영상을 추가적으로 보내야하기 때문에 전송 대역폭의 문제가 생길 수 있다. 또한, 다시점 고화질의 영상을 가지고 있는 경우 저장 공간을 많이 요구하기 때문에 이에 대한 단점이 있다.
국내 공개특허공보 제10-2020-0007734호(발명의 명칭: 3D 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치)
본 발명의 목적은 플렌옵틱 포인트 클라우드 내 속성 정보 간의 중복성을 제거하는 것이다.
또한, 본 발명의 목적은 플렌옵틱 포인트 클라우드의 압축 효율을 증대시키기 위한 속성 정보의 패딩, 변환 및 양자화 기술을 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법은 복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계, 상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계, 상기 패딩된 속성 정보를 변환하는 단계 및 상기 변환된 속성 정보를 양자화하는 단계를 포함한다.
이때, 상기 속성 정보는 상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보 및 상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함할 수 있다.
이때, 상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함할 수 있다.
이때, 상기 속성 정보는 상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현될 수 있다.
이때, 상기 속성 정보를 패딩하는 단계는 상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 다른 시점의 속성 정보를 패딩할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함할 수 있다.
이때, 상기 속성 정보는 특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고, 상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)될 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고, 상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행될 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치는 적어도 하나의 프로그램이 기록된 메모리 및 상기 프로그램을 실행하는 프로세서를 포함하며, 상기 프로그램은 복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계, 상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계, 상기 패딩된 속성 정보를 변환하는 단계 및 상기 변환된 속성 정보를 양자화하는 단계의 수행을 위한 명령어들을 포함한다.
이때, 상기 속성 정보는 상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보 및 상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함할 수 있다.
이때, 상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함할 수 있다.
이때, 상기 속성 정보는 상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현될 수 있다.
이때, 상기 속성 정보를 패딩하는 단계는 상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 속성 정보를 패딩할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함할 수 있다.
이때, 상기 속성 정보는 특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고, 상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)될 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고, 상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행될 수 있다.
본 발명에 따르면, 플렌옵틱 포인트 클라우드 내 속성 정보 간의 중복성을 제거할 수 있다.
또한, 본 발명은 플렌옵틱 포인트 클라우드의 압축 효율을 증대시키기 위한 속성 정보의 패딩, 변환 및 양자화 기술을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법을 나타낸 흐름도이다.
도 2는 플렌옵틱 포인트 클라우드를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 플렌옵틱 포인트의 속성 정보를 표현하는 방식을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 합성 방법을 나타낸 흐름도이다.
도 5는 2차원 형태로 표현된 플렌옵틱 포인트의 속성 정보의 속성 분해 과정을 개념적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 1차 변환 방법의 예시를 나타낸다.
도 7 내지 도 12는 1차 변환 방법에 따른 기저 벡터를 나타낸 도면이다.
도 13 및 도 14는 배경 영역에 대한 패치 생성 시 다운샘플링을 수행하는 것을 설명하기 위한 도면이다.
도 15는 RGB 색 공간에서 YCoCg, YCoCg-R의 변환 및 역변환 방법을 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 양자화 방법을 설명하기 위한 도면이다.
도 17은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법은 컴퓨팅 디바이스와 같은 플렌옵틱 포인트 클라우드 속성 압축 장치에서 수행될 수 있다.
도 1을 참조하면, 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법은 복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계(S110), 상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계(S120), 상기 패딩된 속성 정보를 변환하는 단계(S130) 및 상기 변환된 속성 정보를 양자화하는 단계(S140)를 포함한다.
이때, 상기 속성 정보는 상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보 및 상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함할 수 있다.
이때, 상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함할 수 있다.
이때, 상기 속성 정보는 상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현될 수 있다.
이때, 상기 속성 정보를 패딩하는 단계(S120)는 상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 다른 시점의 속성 정보를 패딩할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계(S130)는 DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계(S130)는 G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함할 수 있다.
이때, 상기 속성 정보는 특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고, 상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)될 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고, 상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행될 수 있다.
도 2는 플렌옵틱 포인트 클라우드를 설명하기 위한 도면이다.
도 2를 참조하면, 플렌옵틱 포인트 클라우드(plenoptic point cloud)는 플렌옵틱 포인트의 집합으로, 플렌옵틱 포인트를 최소 하나 이상 포함할 수 있다.
플렌옵틱 포인트(plenoptic point)는 3차원 공간에서 X, Y, Z 등의 3차원 좌표로 표현되는 하나의 기하(geometry) 정보와 N개의 카메라 시점으로 관측했을 때 획득되는 RGB, YUV 등의 N개의 속성(attribute) 정보를 포함하고 있는 데이터 형태이다.
이때, 플렌옵틱 포인트 클라우드는 N개의 입력 카메라 시점(view) 별 2D 영상과 깊이(depth) 정보를 이용하여 생성될 수 있다. 또한, 생성된 포인트들을 모두 포함하도록 3차원 공간을 정의할 수 있다. 정의한 3차원 공간을 일정 크기 단위 복셀(voxel)로 분할하고 복셀 내 포인트들을 하나의 기하 정보를 갖도록 병합할 수 있다.
이 때, 3차원 포인트가 가지는 속성 정보를 모두 저장하고 어느 시점으로부터 생성된 포인트인지에 관한 정보를 활용하여 플렌옵틱 포인트를 생성할 수 있다.
여기서, 2D 영상은 다시점(multi-view) 영상, 라이트필드(lightfield) 영상 등 하나 이상의 카메라로 획득된 영상들을 의미할 수 있다.
다시점 영상은 특정 영역을 서로 다른 시점을 가진 다수의 카메라들이 동시에 촬영한 영상들로 구성될 수 있다.
여기서, 하나 이상의 속성 정보를 가지는 복셀을 다속성 복셀이라고 할 수 있다. 즉, 다속성 복셀은 플렌옵틱 포인트를 의미할 수 있다.
도 3은 본 발명의 일 실시예에 따른 플렌옵틱 포인트의 속성 정보를 표현하는 방식을 나타내는 도면이다.
도 3을 참조하면, 생성된 플렌옵틱 포인트에 할당된 속성 정보를 각 시점의 위치에 따라 θ와 h를 이용한 2차원 형태로 표현할 수 있다. 이때, θ와 h는 실수 값, 정수 값 등의 표현되는 각도, 크기 등의 2차원 좌표 값을 가질 수 있다.
도 1에는 도시되지 않았지만, 본 발명의 실시예에 따른 플렌옵틱 포인트 클라우드 속성 정보 압축 방법은 2차원 형태로 표현된 플렌옵틱 포인트의 속성 정보에서 N개의 시점 간의 중복성을 효율적으로 제거하기 위해, 속성 분해(analysis)를 수행할 수 있다.
이때, 속성 분해는 속성 정보에 대해 속성 정보 간 예측(prediction), 속성 정보의 패딩(padding), 속성 정보의 외삽(extrapolation), 속성 정보의 보간(interpolation), 속성 정보의 변환(transform), 속성 정보의 양자화(quantization) 중 적어도 하나를 수행하는 것을 의미할 수 있다.
여기서, 속성 정보의 변환은 1차 변환 및 2차 변환 중 적어도 하나를 포함할 수 있다.
이때, 속성 분해는 시점 종속 속성 정보 및 시점 독립 속성 정보로 속성을 분해하는 것을 의미할 수 있다.
여기서, 시점 종속 속성 정보는 각 시점에서 가지는 고유한 속성 정보를 의미할 수 있고, 시점 독립 속성 정보는 하나 이상의 시점에서 공통적으로 가지는 속성 정보를 의미할 수 있다.
예를 들어, 시점 종속 속성 정보는 정반사(specular) 성분을 의미할 수 있고, 시점 독립 속성 정보는 난반사(diffuse) 성분을 의미할 수 있다.
도 4는 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 합성 방법을 나타낸 흐름도이다.
플렌옵틱 포인트 클라우드의 속성 압축 과정에서 분해된 속성 정보를 복원하기 위해, 도 4와 같은 과정으로 속성 합성(Synthesis)을 수행할 수 있다.
도 4를 참조하면, 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 합성 방법은 속성 정보의 역양자화 단계(S210) 및 속성 정보의 역변환 단계(S220)를 포함한다.
즉, 속성 합성은 분해된 속성 정보에 대해 속성 정보 간 예측 보상(compensation), 속성 정보의 역변환(inverse transform), 속성 정보의 역양자화(dequantization) 중 적어도 하나를 수행하는 것을 의미할 수 있다.
여기서, 속성 정보의 역변환은 1차 역변환 및 2차 역변환 중 적어도 하나를 포함할 수 있다.
이때, 속성 합성은 분해된 시점 종속 속성 정보 및 시점 독립 속성 정보를 합성하여 속성을 복원하는 것을 의미할 수 있다.
이하, 속성 분해에 대한 실시예를 중심으로 본원 발명의 플렌옵틱 포인트 클라우드 속성 정보 압축 방법을 상세히 설명하며, 속성 합성 방법은 속성 분해의 역과정으로 수행될 수 있다.
도 5는 2차원 형태로 표현된 플렌옵틱 포인트의 속성 정보의 속성 분해 과정을 개념적으로 나타낸 도면이다.
이하, 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법에서 속성 정보의 패딩 단계(S120)에 대해 상세히 설명한다.
2차원 형태로 표현된 플렌옵틱 포인트의 속성 정보는 N개의 시점에 대한 모든 속성 정보를 포함하지 않을 수 있으므로, 존재하는 속성 정보를 제외한 존재하지 않는 속성 정보를 존재하는 속성 정보 중 적어도 하나를 이용하여 생성할 수 있다. 이때, 속성 정보를 생성하는 보간, 외삽 등도 패딩이라고 할 수 있다.
이때, 속성 정보의 패딩은 이후 이어지는 속성 정보의 변환 단계 등에서 속성 정보들의 에너지 압축률을 향상시키기 위해서 수행될 수 있다. 즉, 속성 정보의 변환에 용이하도록 속성 정보의 패딩이 수행될 수 있다.
속성 정보의 패딩은 아래와 같이 수행될 수 있다. 속성 정보의 패딩을 이용하여, 2차원 형태로 표현된 플렌옵틱 포인트의 속성 정보는 모두 속성 정보를 가질 수 있다.
1) 2차원 형태로 표현된 플렌옵틱 포인트에서 존재하는 시점의 속성 정보를 원본 속성 정보로 설정
2) 2차원 형태로 표현된 플렌옵틱 포인트에서 존재하지 않는 시점의 속성 정보를 가상 속성 정보로 설정
3) 원본 속성 정보 중 적어도 하나를 이용하여 상기 가상 속성 정보를 패딩
가상 속성 정보를 패딩할 속성 값은 하나 이상의 원본 속성 정보의 통계값 중 적어도 하나를 이용하여 결정될 수 있고, Otsu's method 등의 자동 임계값 설정을 통해 결정될 수 있다.
상기 통계값(statistic value)은 평균값, 합값, 가중평균값, 가중합값, 최소값, 최대값, 최빈값, 중간값, 보간값 중 적어도 하나일 수 있다.
이하, 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법에서 속성 정보의 변환 단계(S130)에 대해 상세히 설명한다.
2차원 형태로 표현된 플렌옵틱 포인트 내 속성 정보 간의 에너지 압축률 증대를 위해 속성 정보의 변환을 수행할 수 있다. 또한, 속성 정보 간의 중복성 제거를 위해 속성 정보의 예측을 수행할 수 있다. 속성 정보 변환의 결과로 변환 계수가 생성될 수 있다.
속성 정보의 변환은 1차 변환 및 2차 변환 중 적어도 하나를 포함할 수 있다.
속성 정보의 1차 변환 방식으로는 DCT, DST (discrete sine transform) 등의 정수형 사인곡선적 변환(integer sinusoidal transform), 월시-하다마드 변환(Walsh-Hadamard transform) 등의 푸리에 변환(Fourier transform), Harr 변환 등의 웨이블릿 변환(wavelet transform) 중 적어도 하나가 사용될 수 있다.
예를 들어, 속성 정보의 변환으로 DCT (discrete cosine transform)를 사용할 경우, 변환된 속성 정보의 DC 계수는 시점 독립 속성 정보로, AC 계수는 시점 종속 속성 정보로 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따른 1차 변환 방법의 예시를 나타낸다.
도 6을 참조하면, 8x8 크기의 1차 변환의 예로 정수형 1차 변환이 속성 정보의 변환을 위해 사용될 수 있다.
이때, 상기 속성 정보는 3차원 포인트 클라우드 상에서 서로 다른 뷰에 대한 속성들에 대해 1차 변환을 수행할 수 있다.
또한, 상기 속성 정보는 투영되어 2D 아틀라스(atlas) 영상 형태로 구성될 수 있다.
이때, 서로 다른 뷰에 대한 속성을 가지는 다수의 2D 아틀라스 영상에 상기 1차 변환을 수행할 수 있다.
상기 1차 변환 후에 생성되는 1차 변환 계수는 N 비트의 형태로 표현될 수 있다. 이때, N은 양의 정수일 수 있고, 8, 10, 12, 14, 16 등일 수 있다.
예를 들어, 상기 속성 정보가 M 비트의 형태로 표현된다면, N은 M보다 크거나 같을 수 있다.
N은 M보다 크게 설정된다면, 1차 변환 계수에 대해 (N-M)비트만큼 좌측 쉬프트 연산을 수행하여, N 비트의 형태로 표현되는 1차 변환 계수를 생성할 수 있다.
상기 N 비트의 형태로 표현되는 1차 변환 계수는 2D 아틀라스 영상 형태로 구성되는 영상으로 저장될 수 있다.
상기 저장된 1차 변환 계수의 2D 아틀라스 영상은 종래의 영상 압축 코덱의 입력으로 사용되어 부호화될 수 있다.
이때, 상기 종래의 영상 압축의 코덱의 입력이 되는 1차 변환 계수의 2D 아틀라스 영상의 각 샘플은 N 비트의 값을 가질 수 있다. 예를 들어, 상기 N 비트는 16일 수 있다.
또한, 상기 1차 변환 계수의 2D 아틀라스 영상은 YUV(YCbCr) 4:2:0이 아닌, RGB 4:4:4, YUV 4:4:4 등의 색차 형식을 가질 수 있다.
상기 N 비트의 형태로 표현되는 1차 변환 계수에 역변환을 수행하여 M 비트의 형태로 표현되는 속성 정보를 복원할 수 있다.
N은 M보다 크게 설정된다면, 역변환된 속성 정보에 대해 (N-M)비트만큼 우측 쉬프트 연산을 수행하여, M 비트의 형태로 표현되는 역변환된 속성 정보를 생성할 수 있다.
상기 M 비트의 형태로 표현되는 역변환된 속성 정보는 2D 아틀라스 영상 형태로 구성되는 영상으로 저장될 수 있다.
도 7 내지 도 12는 1차 변환 방법에 따른 기저 벡터를 나타낸 도면이다.
도 7 내지 도 12를 참조하면, DCT-2, DCT-4, DCT-8, DST-1, DST-4, DST-7 중 적어도 하나의 방식을 사용하여 1차 변환 계수에 대한 2D 아틀라스 영상을 생성할 수 있다.
이때, 사용된 변환 방식 정보는 선택된 변환 방식은 사용 맵(occupancy map)에 포함되어 부호화되거나, 비트스트림에 포함되어 부호화될 수 있다.
또한, 상기 2D 아틀라스 영상 생성 시, 전경(foreground) 영역보다 주관적 화질에 영향을 덜 미치는 배경(background) 영역에 대한 패치 생성 시 다운샘플링(downsampling)을 수행할 수 있다.
이때, 어떤 필터를 사용했는지에 대한 정보, 패치의 크기가 얼마나 작아졌는지에 대한 다운샘플링 팩터(factor) 정보 등 다운샘플링에 관한 정보는 비트스트림에 포함되어 부호화될 수 있다.
도 13 및 도 14는 배경 영역에 대한 패치 생성 시 다운샘플링을 수행하는 것을 설명하기 위한 도면이다.
도 13의 노란색 박스에 포함되는 영역을 배경 영역이라고 하면, 2D 아틀라스 영상을 생성할 때, 패치 단위로 다운샘플링을 수행하여 도 14의 영상처럼 노란색 박스로 표현된 배경 영역의 패치를 초록색 박스에 배경 영역 패치로 다운샘플링을 수행할 수 있다.
전경 영역과 배경 영역을 구분하여 배경 영역에 대해 다운샘플링을 수행함으로써, 2D 아틀라스 영상의 크기를 감소시켜 부호화 효율을 높일 수 있다.
변환된 속성 정보의 색 성분 간 상관성을 최소화하기 위해 패딩, 1차 변환, 2차 변환의 순서대로 수행될 수 있다. 또한, 패딩, 2차 변환, 1차 변환의 순서대로 수행될 수 있다. 또한, 2차 변환, 패딩, 1차 변환의 순서대로 수행될 수 있다.
속성 정보의 2차 변환 방식으로 G 성분 기반 예측 변환, 무손실 변환인 YCoCg, YCoCg-R, 손실 변환인 RGB-YUV 변환 중 적어도 하나가 사용될 수 있다.
RGB 색 공간에서 G 성분 기반 예측 변환은 아래 [수학식 1]과 같이 수행될 수 있다.
[수학식 1]
G = G
resR = G - R
resB = G - B
RGB 색 공간에서 G 성분 기반 예측 변환의 역변환은 아래 [수학식 2]와 같이 수행될 수 있다.
[수학식 2]
G = G
R = G - resR
B = G - resB
도 15는 RGB 색 공간에서 YCoCg, YCoCg-R의 변환 및 역변환 방법을 나타낸 도면이다.
또한, RGB 색 공간에서 RGB-YUV 변환 및 역변환은 아래와 같이 각각 수행될 수 있다. 먼저, ITU-R BT.601 방식의 변환은 하기의 [수학식 3]과 같이 수행될 수 있다.
[수학식 3]
Y = 0.299R + 0.587G + 0.114B
Cb = -0.16874R - 0.33126G + 0.5B
Cr = 0.5R - 0.41869G - 0.08131B
ITU-R BT.601 방식의 역변환은 하기의 [수학식 4]와 같이 수행될 수 있다.
[수학식 4]
R = Y + 1.402Cr
G = Y - 0.34414Cb - 0.71414Cr
B = Y + 1.772Cb
ITU-R BT.709 방식의 변환은 하기의 [수학식 5]와 같이 수행될 수 있다.
[수학식 5]
Y = 0.2126R + 0.7152G + 0.0722B
Cb = -0.11457R - 0.38543G + 0.5B
Cr = 0.5R - 0.45415G - 0.04585B
ITU-R BT.709 방식의 역변환은 하기의 [수학식 6]와 같이 수행될 수 있다.
[수학식 6]
R = Y + 1.5748Cr
G = Y - 0.18632Cb - 0.46812Cr
B = Y + 1.8556Cb
ITU-R BT.2020 방식의 변환은 하기의 [수학식 7]와 같이 수행될 수 있다.
[수학식 7]
Y = 0.2627R + 0.678G + 0.0593B
Cb = -0.13963R - 0.36037G + 0.5B
Cr = 0.5R - 0.45979G - 0.04021B
ITU-R BT.2020 방식의 역변환은 하기의 [수학식 8]와 같이 수행될 수 있다.
[수학식 8]
R = Y + 1.4746Cr
G = Y - 0.16455Cb - 0.57135Cr
B = Y + 1.8814Cb
이하, 본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 압축 방법에서 속성 정보의 양자화 단계(S140)에 대해 상세히 설명한다.
변환 계수에 대해 양자화를 수행하여 양자화된 변환 계수를 생성할 수 있다. 또한, 속성 정보에 대해 변환을 수행하지 않고, 속성 정보를 양자화하여 양자화된 속성을 생성할 수 있다.
양자화 방식으로 스칼라(scalar) 양자화, 벡터(vector) 양자화 등의 양자화 방식이 사용될 수 있다.
이때, 상기 1차 변환 계수에 대해 양자화를 수행하여 양자화된 1차 변환 계수를 생성할 때, 1차 변환 계수의 주파수 성분 별로 서로 다른 양자화 스텝 크기(quantization step size)를 적용할 수 있다.
여기서, 양자화 스텝 크기는 1차 변환 계수에 대해 나눗셈 연산을 수행할 때 사용하는 분모의 값을 의미할 수 있다.
일 예로, 첫번째 주파수 성분을 가지는 (예를 들어, DC 계수) 변환 계수와 다른 변환 계수 (예를 들어, AC 계수)에 서로 다른 양자화 스텝 크기를 사용할 수 있다.
예를 들어, 첫번째 주파수 성분에는 양자화 스텝 크기로 K 값을 사용하고, 첫번째 주파수 성분이 아닌 다른 성분에는 양자화 스텝 크기를 J 값을 사용할 수 있다. 이때, J와 K는 양의 정수일 수 있고, J는 K보다 크거나 같을 수 있다.
또한, 상기 양자화된 1차 변환 계수에 대해 역양자화를 수행하여 역양자화된 1차 변환 계수를 생성할 때, 양자화된 1차 변환 계수의 주파수 성분 별로 서로 다른 양자화 스텝 크기(quantization step size)를 적용할 수 있다.
여기서, 양자화 스텝 크기는 양자화된 1차 변환 계수에 대해 곱셈 연산을 수행할 때 사용되는 값을 의미할 수 있다.
도 16은 본 발명의 일 실시예에 따른 양자화 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 본 발명의 실시예에 따른 양자화 방법은 도 16의 (a)와 같이 균등 양자화(uniform quantization)를 사용하거나, (b)와 같이 비균등 양자화(non-uniform quantization)를 사용할 수 있다.
이때, 비균등 양자화 과정은 하기의 [수학식 9]에 의해 수행될 수 있다.
[수학식 9]
Figure pat00001
이때, 상기 [수학식 9]에 따른 양자화 과정의 역양자화 과정은 하기의 [수학식 10]에 의해 수행될 수 있다.
[수학식 10]
Figure pat00002
속성 분해가 수행된 속성 정보(변환 계수, 양자화된 변환 계수, 양자화된 속성 중 적어도 하나)는 플렌옵틱 포인트 클라우드의 기하 정보를 활용하여 각 시점의 2D 영상으로 투영될 수 있다.
이때, 각 2D 영상은 RGB 등의 원본 속성 정보 대신 속성 분해가 수행된 속성 정보를 포함할 수 있다.
하나의 플렌옵틱 포인트가 투영되는 경우 해당 플렌옵틱 포인트의 속성 정보 중 투영을 수행한 시점에 해당하는 속성 정보를 활용하여 픽셀의 속성 정보를 결정할 수 있다.
다수의 플렌옵틱 포인트가 투영된 경우, 카메라와의 거리가 가장 가까운 플렌옵틱 포인트의 속성 정보를 활용할 수 있다.
플렌옵틱 포인트의 투영이 이루어지지 않은 속성 정보의 경우 해당 속성 정보의 N개의 이웃 속성 정보들을 참조하여 카메라와의 거리가 가장 가까운 플렌옵틱 포인트의 속성 정보를 활용할 수 있다.
여기서, N은 0보다 큰 자연수이며 예를 들어 4 값을 가질 수 있다.
N개의 이웃에 해당하는 속성 정보 또한 투영된 플렌옵틱 포인트가 없는 경우에는 2D 영상에서 NxN 마스크를 활용한 보간 방법을 활용하여 홀(Hole)을 채워 넣을 수 있다.
여기서, N은 0보다 큰 자연수이며 예를 들어 5의 값을 가질 수 있다.
상기 속성 정보는 속성 분해가 수행된 속성 정보를 의미할 수 있다.
또한, 상기 속성 분해가 수행된 속성 정보는 엔트로피 부호화 과정을 통해 비트스트림으로 생성될 수 있다. 생성된 비트스트림은 엔트로피 복호화 과정, 속성 합성을 통해 속성 정보가 복원될 수 있다.
도 17은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명의 일 실시예에 따른 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치는 적어도 하나의 프로그램이 기록된 메모리(1030) 및 상기 프로그램을 실행하는 프로세서(1010)를 포함하며, 상기 프로그램은 복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계, 상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계, 상기 패딩된 속성 정보를 변환하는 단계 및 상기 변환된 속성 정보를 양자화하는 단계의 수행을 위한 명령어들을 포함한다.
이때, 상기 속성 정보는 상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보 및 상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함할 수 있다.
이때, 상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함할 수 있다.
이때, 상기 속성 정보는 상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현될 수 있다.
이때, 상기 속성 정보를 패딩하는 단계는 상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 속성 정보를 패딩할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함할 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함할 수 있다.
이때, 상기 속성 정보는 특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고, 상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)될 수 있다.
이때, 상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고, 상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행될 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (18)

  1. 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법에 있어서,
    복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계;
    상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계;
    상기 패딩된 속성 정보를 변환하는 단계; 및
    상기 변환된 속성 정보를 양자화하는 단계;
    를 포함하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  2. 청구항 1에 있어서,
    상기 속성 정보는
    상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보; 및
    상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  3. 청구항 2에 있어서,
    상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  4. 청구항 1에 있어서,
    상기 속성 정보는
    상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현되는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  5. 청구항 1에 있어서,
    상기 속성 정보를 패딩하는 단계는
    상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 다른 시점의 속성 정보를 패딩하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  6. 청구항 1에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는
    DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  7. 청구항 6에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는
    G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  8. 청구항 1에 있어서,
    상기 속성 정보는
    특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고,
    상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)된 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  9. 청구항 8에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고,
    상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행되는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법.
  10. 적어도 하나의 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하는 프로세서
    를 포함하며,
    상기 프로그램은
    복수의 카메라를 통해 획득한 데이터를 이용하여 플렌옵틱 포인트를 생성하는 단계;
    상기 플렌옵틱 포인트의 속성 정보를 패딩하는 단계;
    상기 패딩된 속성 정보를 변환하는 단계; 및
    상기 변환된 속성 정보를 양자화하는 단계;
    의 수행을 위한 명령어들을 포함하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  11. 청구항 10에 있어서,
    상기 속성 정보는
    상기 복수의 카메라 각각의 시점에 따라 상이한 값을 갖는 제1 속성 정보; 및
    상기 시점과 독립적인 값을 갖는 제2 속성 정보를 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  12. 청구항 11에 있어서,
    상기 제1 속성 정보는 정반사 성분을 포함하고, 상기 제2 속성 정보는 난반사 성분을 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  13. 청구항 10에 있어서,
    상기 속성 정보는
    상기 복수의 카메라들 각각의 시점을 나타내는 2차원 형태로 표현되는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  14. 청구항 10에 있어서,
    상기 속성 정보를 패딩하는 단계는
    상기 복수개 카메라의 시점에 상응하는 속성 정보를 이용하여 다른 시점의 속성 정보를 패딩하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  15. 청구항 10에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는
    DCT(Discrete cosine transform), DST(Discrete sine transform), 윌시-하다마드 변환(Walsh-Hadamard transform), Harr 변환 중 어느 하나를 이용하는 제1 변환 단계를 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  16. 청구항 15에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는
    G 성분 기반 예측 변환, YCoCg변환, YcoCg-R변환, RGB-YUV 변환 중 어느 하나를 이용하는 제2 변환 단계를 더 포함하는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  17. 청구항 10에 있어서,
    상기 속성 정보는
    특정 시점에 투영된 2D 아틀라스 영상 형태에 상응하고,
    상기 2D 아틀라스 영상의 배경 영역은 다운샘플링(downsampling)된 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
  18. 청구항 17에 있어서,
    상기 패딩된 속성 정보를 변환하는 단계는 상기 2D 아틀라스 영상에 대한 1차 변환을 수행하고,
    상기 1차 변환은 DCT-2, DCT-4, DCT-8, DST-1, DST-4 및 DST-7 중 어느 하나를 이용하여 수행되는 것을 특징으로 하는 플렌옵틱 포인트 클라우드의 속성 정보 압축 장치.
KR1020220078159A 2021-12-01 2022-06-27 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치 KR20230082542A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210169936 2021-12-01
KR20210169936 2021-12-01

Publications (1)

Publication Number Publication Date
KR20230082542A true KR20230082542A (ko) 2023-06-08

Family

ID=86765989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078159A KR20230082542A (ko) 2021-12-01 2022-06-27 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230082542A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200007734A (ko) 2018-07-13 2020-01-22 한국전자통신연구원 3d 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200007734A (ko) 2018-07-13 2020-01-22 한국전자통신연구원 3d 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치

Similar Documents

Publication Publication Date Title
US11463672B2 (en) Image data encoding/decoding method and apparatus
US20240007653A1 (en) Method and apparatus for reconstructing 360-degree image according to projection format
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
KR20240051313A (ko) 영상 데이터 부호화/복호화 방법 및 장치
WO2019105179A1 (zh) 颜色分量的帧内预测方法及装置
KR102599314B1 (ko) 포인트 클라우드 압축을 위한 양자화 단차 파라미터
JPH06326987A (ja) データ圧縮を伴った画像を表現する方法及び装置
US11711535B2 (en) Video-based point cloud compression model to world signaling information
KR20200062365A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US11778332B2 (en) Image data encoding/decoding method and apparatus
US20220368926A1 (en) Transform-based image coding method and apparatus therefor
JP2022017560A (ja) 画像データ符号化／復号化方法及び装置
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
US20230122409A1 (en) Image coding method on basis of transform, and apparatus therefor
Yuan et al. Object shape approximation and contour adaptive depth image coding for virtual view synthesis
CN113940074A (zh) 基于广角帧内预测和变换的图像编码方法和装置
KR20230082542A (ko) 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치
CN114342409A (zh) 基于变换的图像编译方法及其设备
KR20210139264A (ko) 포인트 클라우드의 처리
KR20210069647A (ko) 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스
US12028503B2 (en) Image data encoding/decoding method and apparatus
KR20220071134A (ko) 플렌옵틱 포인트 클라우드 속성 처리 방법 및 장치
US20230111994A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR20220067507A (ko) 플렌옵틱 포인트 클라우드 속성 처리 방법 및 장치
US20230156222A1 (en) Grid-based patch generation for video-based point cloud coding