KR20230082554A - 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록 - Google Patents

포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록 Download PDF

Info

Publication number
KR20230082554A
KR20230082554A KR1020220117795A KR20220117795A KR20230082554A KR 20230082554 A KR20230082554 A KR 20230082554A KR 1020220117795 A KR1020220117795 A KR 1020220117795A KR 20220117795 A KR20220117795 A KR 20220117795A KR 20230082554 A KR20230082554 A KR 20230082554A
Authority
KR
South Korea
Prior art keywords
atlas
plenoptic
patch
point cloud
main
Prior art date
Application number
KR1020220117795A
Other languages
English (en)
Inventor
이하현
강정원
김수웅
방건
배성준
이진호
임성창
최진수
이태진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20230082554A publication Critical patent/KR20230082554A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명의 일 실시예에 따른 인코딩 방법은 플렌옵틱 포인트 클라우드를 이용하여 아틀라스를 생성하는 단계 및 상기 아틀라스에 대한 인코딩을 수행함으로써 비트스트림을 생성하는 단계를 포함하고, 상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함한다.

Description

포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록{METHOD, APPARATUS AND RECORDING MEDIUM FOR ENCODING/DECODING PLENOPTIC POINT CLOUD ATTRIBUTES}
본 발명은 영상 압축 부호화 및 복호화 기술에 관한 것으로, 보다 상세하게는 플렌옵틱 포인트 클라우드를 구축, 저장, 전송하기 위한 압축 부호화 및 복호화 기술에 관한 것이다.
또한, 본 발명은 포인트 클라우드의 플렌옵틱 색상 정보를 2D 비디오 코덱을 활용하여 압축하는 방법 및 장치에 관한 것이다.
플렌옵틱 압축 부호화 데이터는 디스플레이의 종류나 어플리케이션의 성격에 상관없이 필요에 따라 임의의 시점에 해당하는 영상을 자유롭게 생성할 수 있다. 특히 기존의 그래픽스 모델링에 기반한 메쉬 및 텍스쳐 형식을 사용하지 않고도 실사영상을 촬영한 카메라 영상을 이용하여 그래픽스 모델링 방식과 동등한 수준으로 3차원 공간상의 임의위치에 해당하는 영상을 생성할 수 있어 3차원 공간을 촬영하는 새로운 접근방식으로 주목 받고 있다. 그러나, 플렌옵틱 압축 부호화 데이터는 그 유용성에 비해 데이터의 크기가 매우 커지는 단점이 있고 이를 해소하기 위한 여러 기술들이 개발되고 있다.
국내 공개특허공보 제10-2019-0025643호(발명의 명칭: 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링)
본 발명의 목적은 낮은 대역폭에서도 플렌옵틱 색상 정보를 효율적으로 압축 및 전송하는 방법을 제공하는 것이다.
또한, 본 발명의 목적은 추가적인 데이터 전송을 최소화하면서도 시청 각도에 따른 색상 정보를 제공하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 인코딩 방법은 플렌옵틱 포인트 클라우드를 이용하여 아틀라스를 생성하는 단계 및 상기 아틀라스에 대한 인코딩을 수행함으로써 비트스트림을 생성하는 단계를 포함하고, 상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함한다.
이때, 상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함할 수 있다.
이때, 상기 메인 색상 정보는 상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함할 수 있다.
이때, 상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응할 수 있다.
이때, 상기 아틀라스를 생성하는 단계는 상기 차분 아틀라스를 스케일링하는 단계를 포함할 수 있다.
이때, 상기 비트스트림을 생성하는 단계는 상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 부호화할 수 있다.
이때, 상기 아틀라스를 생성하는 단계는 상기 플렌옵틱 포인트 클라우드를 패치 단위로 나누는 단계 및 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계를 포함할 수 있다.
이때, 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는 상기 패치를 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치로 분류할 수 있다.
이때, 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는 상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 제1 패치 및 제2 패치를 분류할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디코딩 방법은 비트스트림에 대한 디코딩을 수행함으로써 아틀라스에 대한 정보를 복원하는 단계 및 상기 복원된 아틀라스를 이용하여 플렌옵틱 포인트 클라우드를 복원하는 단계를 포함하고, 상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함한다.
이때, 상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함할 수 있다.
이때, 상기 메인 색상 정보는 상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함할 수 있다.
이때, 상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계는 상기 차분 아틀라스를 역스케일링하는 단계를 포함할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계는 상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 복호화할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계는 패치 각각에 상응하는 시점 별 중복성을 복원하는 단계를 포함할 수 있다.
이때, 상기 패치 각각에 상응하는 시점 별 중복성을 복원하는 단계는 상기 패치의 종류에 기반하여 수행되고, 상기 패치의 종류는 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치를 포함할 수 있다.
이때, 상기 패치의 종류는 상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 분류될 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은 메인 아틀라스 및 차분 아틀라스를 포함하고, 상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함하고, 상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응할 수 있다.
본 발명에 따르면, 낮은 대역폭에서도 플렌옵틱 색상 정보를 효율적으로 압축 및 전송하는 방법을 제공할 수 있다.
또한, 본 발명은 추가적인 데이터 전송을 최소화하면서도 시청 각도에 따른 색상 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 디코딩 방법을 나타낸 흐름도이다.
도 3은 플렌옵틱 포인트 클라우드 표현 방법의 일 예이다.
도 4는 플렌옵틱 포인트 클라우드를 이용하여 생성한 아틀라스 영상의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 차분 아틀라스 영상의 일 예이다.
도 6은 스케일링 방법의 일 예이다.
도 7은 본 발명의 일 실시예에 따른 부호화기의 구조를 나타낸 예이다.
도 8은 본 발명의 일 실시예에 따른 복호화기의 구조를 나타낸 예이다.
도 9는 메인 색상 성분 아틀라스 영상과 특정 시점 색상 성분 아틀라스 영상의 일 예이다.
도 10은 시점 종속 성분 패치와 시점 독립 성분 패치를 포함하는 아틀라스 영상의 일 예이다.
도 11은 패치 단위로 시점 종속 성분 또는 시점 독립 성분 여부를 판단하기 위한 신택스 구조의 일 예이다.
도 12는 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
본 명세서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 인코딩 방법은 컴퓨팅 디바이스와 같은 인코딩 장치에서 수행될 수 있다.
도 1을 참조하면, 실시예에 따른 인코딩 방법은 플렌옵틱 포인트 클라우드를 이용하여 아틀라스를 생성하는 단계(S110) 및 상기 아틀라스에 대한 인코딩을 수행함으로써 비트스트림을 생성하는 단계(S120)를 포함하고, 상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함할 수 있다.
이때, 상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함할 수 있다.
이때, 상기 메인 색상 정보는 상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함할 수 있다.
이때, 상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응할 수 있다.
이때, 상기 아틀라스를 생성하는 단계(S110)는 상기 차분 아틀라스를 스케일링하는 단계를 포함할 수 있다.
이때, 상기 비트스트림을 생성하는 단계(S120)는 상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 부호화할 수 있다.
이때, 상기 아틀라스를 생성하는 단계(S110)는 상기 플렌옵틱 포인트 클라우드를 패치 단위로 나누는 단계 및 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계를 포함할 수 있다.
이때, 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는 상기 패치를 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치로 분류할 수 있다.
이때, 상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는 상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 제1 패치 및 제2 패치를 분류할 수 있다.
도 2는 본 발명의 일 실시예에 따른 디코딩 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 디코딩 방법은 컴퓨팅 디바이스와 같은 디코딩 장치에서 수행될 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 디코딩 방법은 비트스트림에 대한 디코딩을 수행함으로써 아틀라스에 대한 정보를 복원하는 단계(S210) 및 상기 복원된 아틀라스를 이용하여 플렌옵틱 포인트 클라우드를 복원하는 단계(S220)를 포함하고, 상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함한다.
이때, 상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함할 수 있다.
이때, 상기 메인 색상 정보는 상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함할 수 있다.
이때, 상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계(S210)는 상기 차분 아틀라스를 역스케일링하는 단계를 포함할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계(S210)는 상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 복호화할 수 있다.
이때, 상기 플렌옵틱 포인트 클라우드를 복원하는 단계(S210)는 패치 각각에 상응하는 시점 별 중복성을 복원하는 단계를 포함할 수 있다.
이때, 상기 패치 각각에 상응하는 시점 별 중복성을 복원하는 단계는 상기 패치의 종류에 기반하여 수행되고, 상기 패치의 종류는 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치를 포함할 수 있다.
이때, 상기 패치의 종류는 상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 분류될 수 있다.
이하, 도 3 내지 도 11을 참조하여, 본 발명의 실시예에 따른 인코딩 방법 및 디코딩 방법을 보다 상세히 설명한다.
도 3은 플렌옵틱 포인트 클라우드 표현 방법의 일 예이다.
플렌옵틱 포인트 클라우드 데이터는 도 3과 같이 포인트들의 3차원 공간상의 기하 정보(X, Y, Z), 메인(main) 색상 정보, 플렌옵틱 색상 정보 및/또는 각 시점의 플렌옵틱 색상 정보가 유효한지 여부를 나타내는 지시자 정보들 중 적어도 하나 이상으로 구성될 수 있다.
포인트의 3차원 공간상의 기하 정보(X, Y, Z)는 0을 포함하는 양의 정수 값으로 표현될 수 있는 복셀 인덱스로 나타낼 수 있다.
이때, 포인트의 3차원 공간상의 기하 정보(X, Y, Z)는 부동 소수점으로 나타낼 수 있다.
이때, 포인트의 메인 색상 정보는 N개 시점의 플렌옵틱 색상 정보들의 평균값, 최소값, 최대값 중 적어도 하나를 사용하여 표현될 수 있다.
이때, 포인트의 메인(main) 색상 정보는 특정 시점의 색상 정보로 표현될 수 있다.
이때, 포인트의 플렌옵틱 색상 정보는 3차원 물체 또는 배경의 시청 각도(viewing angle)에 따른 반사 특성을 반영한 색상 정보를 표현할 수 있다.
이때, 상기 색상 정보는 RGB, YUV, HSV, LAB, YCoCg 등의 컬러 공간으로 표현되는 값을 의미할 수 있으며, 해당 컬러 공간에 대한 정보는 추가적인 속성 정보로 표현될 수 있다.
이때, 상기 색상 정보는 주파수 도메인에서 표기된 변환 계수 값을 의미할 수 있다. 즉 1개의 DC 변환 계수와 N-1 개의 AC 변환 계수로 표현된 값을 의미할 수 있다.
이때, 포인트의 플렌옵틱 색상 유효 정보는 시청 각도(viewing angle)에서 표현되는 색상 정보의 유효성 여부를 나타낼 수 있다.
예를 들어, '1'의 값을 갖는 경우, 해당 시점에서의 해당 색상 정보는 유효한 값을 의미하며, '0'의 값을 갖는 경우, 해당 시점에서의 해당 색상 정보는 유효하지 않음을 나타낼 수 있다. 상기 정보는 플렌옵틱 포인트 클라우드 렌더링 시 사용될 수 있다.
포인트들의 3차원 공간상의 기하 정보(X, Y, Z), 메인(main) 색상 정보만으로 표현되는 포인트 클라우드와 달리 플렌옵틱 포인트 클라우드는 3차원 공간상의 기하 정보(X, Y, Z), 메인(main) 색상 정보뿐만 아니라 N개 시점의 고유한 색상을 표현하고 있는 플렌옵틱 색상 정보를 포함하고 있기 때문에 전송해야 할 데이터가 증가하게 된다.
예를 들어, 포인트 클라우드를 구성하고 있는 포인트들을 육면체의 바운딩 박스(bounding-box)에 직교 투영하여 생성한 아틀라스를 2D 비디오 코덱으로 부호화/복호화하는 경우, 포인트 클라우드 데이터의 경우는 기하 정보를 담고 있는 기하(geometry) 아틀라스와 색상 정보를 담고 있는 텍스처 아틀라스 및 사용(occupancy) 여부 정보를 담고 있는 occupancy 아틀라스 영상만을 부호화/복호화하여 포인트 클라우드를 압축 전송 후 복원할 수 있다.
하지만, 플렌옵틱 포인트 클라우드의 경우에는 추가적으로 N개의 시점의 플렌옵틱 색상 정보를 가지는 경우, N개의 플렌옵틱 텍스처 아틀라스를 생성 후 각각의 아틀라스를 부호화/복호화를 수행하여야 한다.
도 4는 플렌옵틱 포인트 클라우드를 이용하여 생성한 아틀라스 영상의 일 예이다.
도 5는 본 발명의 일 실시예에 따른 차분 아틀라스 영상의 일 예이다.
구체적으로, 도 4는 포인트 클라우드 또는 플렌옵틱 포인트 클라우드의 메인(main) 색상 정보를 투영하여 생성한 아틀라스 영상의 예시이다. 플렌옵틱 포인트 클라우드의 플렌옵틱 색상 정보를 투영하여 생성한 아틀라스 영상은 각 시점 간의 기하 정보가 동일하기 때문에 도 4와 동일한 형태를 가지며, 각 픽셀 위치에서의 색상 정보만 시점마다 다른 값을 가지고 있을 수 있다.
따라서, 메인 색상 정보와 플렌옵틱 색상 정보 간의 중복성 제거를 통해 효율적으로 플렌옵틱 색상 정보를 부호화/복호화할 수 있다.
예를 들어, 플렌옵틱 색상 정보를 부호화/복호화함에 있어, 메인 색상 정보와 각각의 플렌옵틱 색상 정보 간의 차이 값을 구하여 차이 값으로 플렌옵틱 색상 정보를 구성하고 있는 플렌옵틱 텍스처 아틀라스를 생성할 수 있다.
이때, 상기 차이값이 음수가 나올 수 있기 때문에 스케일을 적용할 수 있다.
예를 들어, Bitdepth를 이용할 수 있으며, Bitdepth 범위의 중간값을 더하여 스케일링 할 수 있다. 예컨대, 10 bit인 경우, 상기 차이 값에 512를 더할 수 있다. 또는, 각 시점마다 메인 색상 정보와 플렌옵틱 색상 정보 간의 차이 값의 최소값 및 최대값에 기반하여 스케일링을 수행할 수 있다.
도 6은 스케일링 방법의 일 예이다.
도 6을 참조하면, 최소 차이값이 D_min이고, 최대 차이값이 D_max인 경우 소정의 차이값 p를 Bitdepth 범위 내의 샘플 x로 변환할 수 있다.
이때, 상기 스케일 과정과 역과정(복원 과정)은 각각 하기의 [수학식 1] 및 [수학식 2]에 기반하여 수행될 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
즉, 복원 과정에서는 상기 [수학식 2]와 같이 역으로 x를 p로 변환할 수 있다. 상기 최소값 및 최대값은 모든 시점에 대한 최소값 및 최대값일 수 있다.
상기 최소값, 최대값, 중간값, 평균값 중 적어도 하나는 비트스트림에 포함되어 시그널링 될 수 있다.
도 5는 상기와 같이 메인 색상 정보와 플렌옵틱 색상 정보 간의 차이 값에 스케일을 적용하여 생성된 색상 정보 아틀라스 영상의 예시이다.
도 7은 본 발명의 일 실시예에 따른 부호화기의 구조를 나타낸 예이다.
도 8은 본 발명의 일 실시예에 따른 복호화기의 구조를 나타낸 예이다.
도 7 및 도 8을 참조하면, 메인 색상 정보와 플렌옵틱 색상 정보 간의 차분 값에 기반한 2D 비디오 코덱 기반의 플렌옵틱 포인트 클라우드를 위한 부호화기 및 복호화기 구조를 볼 수 있다.
도 7 및 도 8에서 아틀라스 영상 부호화 및 복호화에 사용된 2D 비디오 코덱은 HEVC 뿐만 아니라, VVC, AVC 등 다양한 2D 비디오 코덱 등이 사용될 수 있다.
도 7 및 도 8에서의 각각의 아틀라스 영상들은 포인트들을 둘러싸고 있는 바운딩 박스(bounding-box)에 포인트를 직교 투영하여 생성한 패치들로 구성될 수 있다.
도 7 및 도 8에서는 아틀라스 생성에 앞서 메인 색상 정보와 플렌옵틱 색상 정보 간의 차분 값을 구한 후 해당 차분값을 스케일하여 차분 아틀라스를 생성하였지만, 다른 실시예로 메인 색상 정보와 플렌옵틱 색상 정보를 이용하여 각각의 아틀라스를 생성한 후 아틀라스 영상을 이용하여 차분값을 구한 후 차분 플렌옵틱 아틀라스를 생성할 수 있다.
이때, 상기 메인 아틀라스와 차분 플렌옵틱 아틀라스의 색상 성분은 R, G, B로 구성될 수 있다.
이때, 상기 메인 아틀라스와 차분 플렌옵틱 아틀라스의 색상 성분은 Y, U, V로 구성될 수 있다.
이때, 상기 차분 값은 각 색상 성분에 대하여 개별적으로 수행될 수 있다.
이때, 시점 단위로 차분 플렌옵틱 아틀라스 사용 여부를 결정할 수 있으며, 사용 여부를 지시하는 정보를 아틀라스 레벨에서 부호화하여 전송할 수 있다.
도 7에서 차분 값에 대한 스케일링(S)은 상기 [수학식 1]과 같이 수행될 수 있다.
플렌옵틱 색상 정보를 복호화하는 방법은 플렌옵틱 포인트 클라우드를 복원하는 과정에서 복호화된 차분 플렌옵틱 색상 성분에 [수학식 2]를 적용하여 차분 값을 복원한 후 복호화된 메인 색상 성분에 합하여 생성할 수 있다.
도 8에서 S-1은 역스케일링 과정을 의미한다.
이때, 도 8에서 복호화된 메인 아틀라스와 차분 플렌옵틱 아틀라스의 색상 성분은 R, G, B로 구성될 수 있다.
이때, 도 8에서 복호화된 메인 아틀라스와 추분 플렌옵틱 아틀라스의 색상 성분은 Y, U, V로 구성될 수 있다.
이때, 도 8에서 차분값을 복원하는 과정은 각 색상 성분에 대하여 개별적으로 수행될 수 있다.
또 다른 실시예로, 패치 단위 속성 분해를 이용하여 메인 색상 성분과 플렌옵틱 색상 성분 간의 중복성을 제거한 후 생성된 아틀라스를 압축할 수 있다.
이때, 상기 패치는 유사한 Normal 값을 포인트들의 집합을 의미할 수 있다.
패치 단위로 속성 분해를 수행함에 있어, 패치를 구성하고 있는 포인트들의 플렌옵틱 색상 성분들의 통계적 특성을 이용할 수 있다.
예를 들어, 임의의 패치를 구성하고 있는 포인트들의 플렌옵틱 색상 성분들의 시점 변화에 따른 색상 값의 변화가 작다면, 해당 패치는 시점 종속 성분 패치로 구분할 수 있다.
반대로, 패치를 구성하고 있는 포인트들의 플렌옵틱 색상 성분들의 시점 변화에 따른 색상 값의 변화가 크다면, 해당 패치는 시점 독립 성분 패치로 구분할 수 있다.
예를 들어, 하기 [수학식 3]과 같이 패치를 구성하고 있는 포인트들의 플렌옵틱 색상 성분들의 평균 표준 편차가 임의의 문턱값보다 작은 경우는 해당 패치는 시점 종속 성분 패치로 구분할 수 있다. 상기 값들은 RGB 색상값을 갖는 경우, YUV 색상값으로 변경을 하여, Y 값을 가지고 상기 값들을 계산할 수 있다.
[수학식 3]
Figure pat00003
예를 들어, 상기 [수학식 3]과 같이 패치를 구성하고 있는 포인트들의 플렌옵틱 색상 성분들의 평균 표준 편차가 임의의 문턱 값보다 크거나 같은 경우는 해당 패치는 시점 독립 성분 패치로 구분할 수 있다.
패치 단위 플렌옵틱 색상 성분들의 평균 표준 편차는 하기 [수학식 4]와 같이 계산할 수 있다.
하기의 [수학식 5]는 포인트 클라우드를 구성하고 있는 전체 포인트에 대한 플렌옵틱 색상 성분들의 평균 표준 편차 값을 구하는 과정을 나타낸다. [수학식 5]와 같이 산출된 표준 편차 값은 패치를 분류하는 문턱값으로 이용될 수 있다.
[수학식 4]
Figure pat00004
[수학식 5]
Figure pat00005
이때, 상기 [수학식 4]에서 m은 패치에 포함된 포인트 수를 나타낼 수 있다.
상기 [수학식 4] 및 [수학식 5]에서 YstdDev(P)는 포인트의 플렌옵틱 색상 성분들의 표준 편차를 의미한다.
전술한 바와 같이 임의의 문턱 값으로 [수학식 5]와 같이 플렌옵틱 포인트 클라우드를 구성하고 있는 전체 포인트에 대한 플렌옵틱 색상 성분들의 평균 표준 편차 값을 이용할 수 있다.
또는 플렌옵틱 포인트 클라우드를 구성하고 있는 전체 포인트들 중 플렌옵틱 색상 성분들의 표준 편차 중 최소값, 최대값을 이용할 수 있다.
또는 패치 단위로 임의의 문턱 값을 사용한 후, 비트스트림에 포함시켜 전송할 수 있다.
패치를 구성함에 있어, Normal 값뿐만 아니라, 포인트들의 플렌옵틱 색상 성분들의 변화를 기반으로 동일한 밝기값 변화량을 갖는 포인트들끼리 모아 패치를 구성할 수 있다.
시점 종속 성분 패치에 해당하는 경우, 패치에 포함되는 포인트들의 플렌옵틱 색상 성분을 메인 색상 성분으로 대체하여 사용할 수 있다.
도 9는 메인 색상 성분 아틀라스 영상과 특정 시점 색상 성분 아틀라스 영상의 일 예이다.
상기와 같이 시점 종속 성분 패치의 플렌옵틱 색상 성분이 메인 색상 성분과 동일한 경우, 시점 별 아틀라스 생성 시 도 9와 같이 해당 패치에 해당되는 영역의 색상 성분은 임의의 색상 성분으로 설정할 수 있다. 예를 들어, 해당 패치 영역의 색상 성분은 검정색으로 할 수 있다.
상기와 같이 생성된 시점 별 아틀라스 영상을 부호화/복호화한 후, 플렌옵틱 포인트 클라우드 복원 과정에서 해당 시점의 플렌옵틱 색상 성분을 메인 성분으로 대체하여 플렌옵틱 색상 성분을 복원할 수 있다.
시점 독립 성분 패치에 해당하는 경우, 패치에 포함되는 포인트들의 플렌옵틱 색상 성분을 그대로 사용할 수 있다.
도 10은 시점 종속 성분 패치와 시점 독립 성분 패치를 포함하는 아틀라스 영상의 일 예이다.
시점 종속 성분 패치에 해당하는 경우, 패치에 포함되는 포인트들의 플렌옵틱 색상 성분을 메인 색상 성분과의 차이 값 인 차분 색상 성분으로 표현하여 도 10과 같이 아틀라스 영상을 생성할 수 있다.
상기와 같이 생성된 시점 별 아틀라스 영상을 부호화/복호화한 후, 플렌옵틱 포인트 클라우드 복원 과정에서 해당 시점의 복호화된 차분 플렌옵틱 색상 성분을 메인 성분에 더하여 최종 플렌옵틱 색상 성분을 복원할 수 있다.
시점 독립 성분 패치에 해당하는 경우, 도 10과 같이 패치에 포함되는 포인트들의 플렌옵틱 색상 성분을 그대로 사용할 수 있다.
도 11은 패치 단위로 시점 종속 성분 또는 시점 독립 성분 여부를 판단하기 위한 신택스 구조의 일예이다.
복호화기에서 동일하게 패치 단위로 시점 종속 성분 또는 독립 성분 여부를 판단하기 위해 패치 단위로 도 11과 같이 시점 종속/독립 성분 패치 여부를 지시하는 지시자 정보를 부호화/복호화할 수 있다.
도 12는 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (19)

  1. 플렌옵틱 포인트 클라우드를 이용하여 아틀라스를 생성하는 단계; 및
    상기 아틀라스에 대한 인코딩을 수행함으로써 비트스트림을 생성하는 단계;
    를 포함하고,
    상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함하는 인코딩 방법.
  2. 청구항 1에 있어서,
    상기 메인 아틀라스는
    상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함하는 것을 특징으로 하는 인코딩 방법.
  3. 청구항 2에 있어서,
    상기 메인 색상 정보는
    상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함하는 인코딩 방법.
  4. 청구항 3에 있어서,
    상기 차분 아틀라스는
    상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것을 특징으로 하는 인코딩 방법.
  5. 청구항 4에 있어서,
    상기 아틀라스를 생성하는 단계는
    상기 차분 아틀라스를 스케일링하는 단계를 포함하는 것을 특징으로 하는 인코딩 방법.
  6. 청구항 5에 있어서,
    상기 비트스트림을 생성하는 단계는
    상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 부호화하는 것을 특징으로 하는 인코딩 방법.
  7. 청구항 5에 있어서,
    상기 아틀라스를 생성하는 단계는
    상기 플렌옵틱 포인트 클라우드를 패치 단위로 나누는 단계; 및
    상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계
    를 포함하는 것을 특징으로 하는 인코딩 방법.
  8. 청구항 7에 있어서,
    상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는
    상기 패치를 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치로 분류하는 것을 특징으로 하는 인코딩 방법.
  9. 청구항 8에 있어서,
    상기 패치 각각에 대하여 시점 별 중복성을 제거하는 단계는
    상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 제1 패치 및 제2 패치를 분류하는 것을 특징으로 하는 인코딩 방법.
  10. 비트스트림에 대한 디코딩을 수행함으로써 아틀라스에 대한 정보를 복원하는 단계; 및
    상기 복원된 아틀라스를 이용하여 플렌옵틱 포인트 클라우드를 복원하는 단계;
    를 포함하고,
    상기 아틀라스는 메인 아틀라스 및 차분 아틀라스를 포함하는 디코딩 방법.
  11. 청구항 10에 있어서,
    상기 메인 아틀라스는
    상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함하는 것을 특징으로 하는 디코딩 방법.
  12. 청구항 11에 있어서,
    상기 메인 색상 정보는
    상기 플렌옵틱 포인트 클라우드의 복수 시점 색상 정보의 평균값, 최소값 또는 최대값에 상응하는 정보를 포함하는 디코딩 방법.
  13. 청구항 12에 있어서,
    상기 차분 아틀라스는
    상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것을 특징으로 하는 디코딩 방법.
  14. 청구항 13에 있어서,
    상기 플렌옵틱 포인트 클라우드를 복원하는 단계는
    상기 차분 아틀라스를 역스케일링하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  15. 청구항 14에 있어서,
    상기 플렌옵틱 포인트 클라우드를 복원하는 단계는
    상기 복수 시점 각각에 대하여 차분 아틀라스 사용 여부에 관한 정보를 복호화하는 것을 특징으로 하는 디코딩 방법.
  16. 청구항 14에 있어서,
    상기 플렌옵틱 포인트 클라우드를 복원하는 단계는
    패치 각각에 상응하는 시점 별 중복성을 복원하는 단계를 포함하는 것을 특징으로 하는 디코딩 방법.
  17. 청구항 16에 있어서,
    상기 패치 각각에 상응하는 시점 별 중복성을 복원하는 단계는
    상기 패치의 종류에 기반하여 수행되고, 상기 패치의 종류는 시점 종속 성분에 상응하는 제1 패치 및 시점 독립 성분에 상응하는 제2 패치를 포함하는 것을 특징으로 하는 디코딩 방법.
  18. 청구항 17에 있어서,
    상기 패치의 종류는
    상기 패치를 구성하는 포인트들의 플렌옵틱 색상 성분들의 표준 편차를 이용하여 분류되는 것을 특징으로 하는 디코딩 방법.
  19. 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은,
    메인 아틀라스 및 차분 아틀라스
    를 포함하고,
    상기 메인 아틀라스는 상기 플렌옵틱 포인트 클라우드의 메인 색상 정보를 포함하고,
    상기 차분 아틀라스는 상기 메인 아틀라스와 상기 복수 시점 각각에 상응하는 아틀라스를 차분한 것에 상응하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.
KR1020220117795A 2021-12-01 2022-09-19 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록 KR20230082554A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210169895 2021-12-01
KR20210169895 2021-12-01

Publications (1)

Publication Number Publication Date
KR20230082554A true KR20230082554A (ko) 2023-06-08

Family

ID=86765973

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220117795A KR20230082554A (ko) 2021-12-01 2022-09-19 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록

Country Status (1)

Country Link
KR (1) KR20230082554A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190025643A (ko) 2016-06-30 2019-03-11 인터디지털 씨이 페이튼트 홀딩스 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190025643A (ko) 2016-06-30 2019-03-11 인터디지털 씨이 페이튼트 홀딩스 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링

Similar Documents

Publication Publication Date Title
US20220366613A1 (en) Attribute value of reconstructed position associated with plural original points
EP3861755B1 (en) Techniques and apparatus for weighted-median prediction for point-cloud attribute coding
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
US20210329270A1 (en) Method and apparatus for point cloud coding
US11202054B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11284111B2 (en) Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11711535B2 (en) Video-based point cloud compression model to world signaling information
US11232599B2 (en) Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
US20220292730A1 (en) Method and apparatus for haar-based point cloud coding
US20230298216A1 (en) Predictive coding of boundary geometry information for mesh compression
US20230162404A1 (en) Decoding of patch temporal alignment for mesh compression
US20220180567A1 (en) Method and apparatus for point cloud coding
KR20230082554A (ko) 포인트 클라우드의 플렌옵틱 색상 정보 부호화/복호화 방법, 장치 및 기록
KR20220034141A (ko) 포인트 클라우드 프로세싱
US20240135594A1 (en) Adaptive geometry filtering for mesh compression
US20230156222A1 (en) Grid-based patch generation for video-based point cloud coding
US11606556B2 (en) Fast patch generation for video based point cloud coding
US20240089499A1 (en) Displacement coding for mesh compression
US20240040148A1 (en) Methods for instance-based mesh coding
US20240015289A1 (en) Adaptive quantization for instance-based mesh coding
US20230162403A1 (en) Encoding of patch temporal alignment for mesh compression
US20230281876A1 (en) Mesh compression with constrained geometry dynamic range
US20240064334A1 (en) Motion field coding in dynamic mesh compression
US20230412849A1 (en) Mesh vertex displacements coding
US20230306649A1 (en) Predictive coding of boundary uv2xyz index for mesh compression