KR20210136082A - 포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치 - Google Patents

포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치 Download PDF

Info

Publication number
KR20210136082A
KR20210136082A KR1020217032134A KR20217032134A KR20210136082A KR 20210136082 A KR20210136082 A KR 20210136082A KR 1020217032134 A KR1020217032134 A KR 1020217032134A KR 20217032134 A KR20217032134 A KR 20217032134A KR 20210136082 A KR20210136082 A KR 20210136082A
Authority
KR
South Korea
Prior art keywords
channel
inter
color
point cloud
encoded bitstream
Prior art date
Application number
KR1020217032134A
Other languages
English (en)
Inventor
세훈 예
스테판 웽거
산 류
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20210136082A publication Critical patent/KR20210136082A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

적어도 하나의 프로세서에 의해 수행되는 포인트 클라우드 속성 코딩 방법은, 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하는 단계; 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하는 단계; 인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하는 단계; 및 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하는 단계를 포함한다.

Description

포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치
관련 출원의 상호참조
본 출원은, 그 전체 내용이 본 명세서에 포함되는 2019년 10월 10일 출원된 미국 가출원 제62/913,495호와 2020년 9월 28일 출원된 미국 특허 출원 제17/034,896호의 우선권을 주장한다.
기술분야
실시예들에 따른 방법들 및 장치들은, 그래프 기반의 포인트 클라우드 압축(graph-based point cloud compression)(G-PCC)을 이용한 비디오 코딩 및 디코딩, 이를 수행하는 비디오 인코더들 및 디코더들에 관한 것으로, 더 구체적으로는, 채널간 예측 및 변환들을 이용하는 것을 포함하는, 포인트 클라우드 샘플들의 속성 정보의 코딩에 관한 것이다.
세상에 대한 진보된 3차원(3D) 표현들은 더욱 몰입감 있는 형태들의 상호작용 및 소통을 가능케하고, 또한 머신들이 우리의 세상을 이해, 해석 및 네비게이트하는 것을 허용한다. 3D 포인트 클라우드는 이러한 정보의 표현을 가능케하는 것으로 등장했다. 포인트 클라우드 데이터와 연관된 다수의 이용 사례가 식별되었으며, 포인트 클라우드 표현 및 압축에 대한 대응하는 요건들이 개발되었다.
포인트 클라우드는 3D 공간에서의 포인트 세트이고, 그 각각은 연관된 속성들, 예를 들어, 컬러, 재료 특성들 등을 갖는다. 포인트 클라우드들은 이러한 포인트들의 합성으로서 물체나 장면을 복원하는데 이용될 수 있다. 이들은 다양한 셋업에서 복수의 카메라와 깊이 센서를 이용하여 캡처될 수 있으며, 복원된 장면들을 사실적으로 나타내기 위해 수천 내지 수십억개의 포인트로 구성될 수 있다.
포인트 클라우드를 나타내는 데이터의 양을 감소시키기 위해서는 압축 기술들이 필요하다. 따라서, 실시간 통신 및 6 자유도(six degrees of freedom)(6DoF) 가상 현실에 이용하기 위한 포인트 클라우드들의 유손실 압축을 위한 기술들이 필요하다. 또한, 자율 주행 및 문화 유산 응용들 등의 위한 동적 맵핑의 정황에서 무손실 포인트 클라우드 압축을 위한 기술이 모색되고 있다. MPEG(Moving Picture Experts Group)은, 컬러들 및 반사율, 스케일가능한/프로그레시브 코딩, 시간 경과에 따라 캡처된 포인트 클라우드 시퀀스의 코딩, 및 포인트 클라우드 서브세트들에 대한 랜덤 액세스 등의, 지오메트리 및 속성들의 압축을 해결하는 표준에 관한 연구를 시작했다.
실시예들에 따르면, 포인트 클라우드 속성 코딩 방법은 적어도 하나의 프로세서에 의해 수행되고, 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하는 단계; 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴(inter-channel tool)을 이용하여 인코딩되었는지를 결정하는 단계; 인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하는 단계; 및 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하는 단계를 포함한다.
실시예들에 따르면, 포인트 클라우드 속성 코딩을 위한 장치는 컴퓨터 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및 적어도 하나의 메모리에 액세스하고 컴퓨터 프로그램 코드에 따라 동작하도록 구성된 적어도 하나의 프로세서를 포함하고, 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서로 하여금, 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하게 하도록 구성된 제1 획득 코드; 적어도 하나의 프로세서로 하여금, 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하게 하도록 구성된 결정 코드; 인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 적어도 하나의 프로세서로 하여금, 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하게 하도록 구성된 디코딩 코드; 및 적어도 하나의 프로세서로 하여금, 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하게 하도록 구성된 복원 코드를 포함한다.
실시예들에 따르면, 비일시적인 컴퓨터 판독가능 매체는, 포인트 클라우드 속성 코딩을 위한 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금: 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하게 하고; 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하게 하고; 인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하게 하고; 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하게 하도록 구성된 하나 이상의 명령어를 포함하는 명령어들을 저장한다.
도 1은 실시예들에 따른 통신 시스템의 블록도이다.
도 2는 실시예들에 따른 환경 내의 G-PCC 압축기 및 G-PCC 압축해제기의 배치의 도면이다.
도 3은 실시예들에 따른 G-PCC 압축기의 기능 블록도이다.
도 4는 실시예들에 따른 G-PCC 압축해제기의 기능 블록도이다.
도 5는 실시예들에 따른 G-PCC에서의 상세 수준들(levels of detail)(LoD)을 생성하는 방법을 나타내는 도면이다.
도 6은 G-PCC에서의 P/U-리프팅을 위한 아키텍처의 도면이다.
도 7은 실시예들에 따른 포인트 클라우드 속성 코딩을 위한 방법을 나타내는 플로차트이다.
도 8은 실시예들에 따른 포인트 클라우드 속성 코딩을 위한 장치의 블록도이다.
도 9는 실시예들을 구현하기에 적합한 컴퓨터 시스템의 도면이다.
실시예들은 현재의 G-PCC 리프팅 설계, 및 리프팅 계수들의 무손실 코딩을 가능케하기 위해 이를 확장하거나 수정하는 방법들에 관한 것이다. 또한, 실시예들은 현재의 G-PCC 리프팅 설계 하에서 속성들의 스케일가능한 코딩에 관한 것이다. 이들 실시예들은 포인트 클라우드들을 위해 설계된 유사한 코덱들에 적용될 수 있다.
도 1은 실시예들에 따른 통신 시스템(100)의 블록도이다. 통신 시스템(100)은 네트워크(150)를 통해 접속된 적어도 2개의 단말기(110 및 120)를 포함할 수 있다. 데이터의 단방향 전송을 위해, 제1 단말기(110)는 네트워크(150)를 통해 제2 단말기(120)로의 전송을 위해 한 로컬 위치에서 포인트 클라우드 데이터를 코딩할 수 있다. 제2 단말기(120)는 네트워크(150)로부터 제1 단말기(110)의 코딩된 포인트 클라우드 데이터를 수신하고, 코딩된 포인트 클라우드 데이터를 디코딩하고, 디코딩된 포인트 클라우드 데이터를 디스플레이할 수 있다. 단방향 데이터 전송은 미디어 서빙 애플리케이션들 등에서 일반적일 수 있다.
도 1은, 예를 들어 화상 회의 동안 발생할 수 있는 코딩된 포인트 클라우드 데이터의 양방향 전송을 지원하기 위해 제공된 제2 쌍의 단말기들(130 및 140)을 추가로 도시한다. 데이터의 양방향 전송을 위해, 각각의 단말기(130 또는 140)는 네트워크(150)를 통해 다른 단말기로 전송하기 위한 한 로컬 위치에서 캡처된 포인트 클라우드 데이터를 코딩할 수 있다. 또한, 각각의 단말기(130 또는 140)는 다른 단말기에 의해 전송된 코딩된 포인트 클라우드 데이터를 수신하고, 코딩된 포인트 클라우드 데이터를 디코딩하고, 디코딩된 포인트 클라우드 데이터를 로컬 디스플레이 디바이스에서 디스플레이할 수 있다.
도 1에서, 단말기들(110-240)은, 서버들, 개인용 컴퓨터들 및 스마트폰들로서 예시될 수 있지만, 실시예들의 원리는 이것으로 제한되는 것은 아니다. 실시예들은, 랩탑 컴퓨터들, 태블릿 컴퓨터들, 미디어 플레이어들 및/또는 전용 화상 회의 장비에서 그 응용성을 발견한다. 네트워크(150)는, 예를 들어 유선 및/또는 무선 통신 네트워크들을 포함하는, 단말기들(110-140) 사이에서 코딩된 포인트 클라우드 데이터를 전달하는 임의의 수의 네트워크를 나타낸다. 통신 네트워크(150)는 회선 교환형 및/또는 패킷 교환형 채널들에서 데이터를 교환할 수 있다. 대표적인 네트워크들은, 통신 네트워크들, 근거리 통신망들, 광역 네트워크들 및/또는 인터넷을 포함한다. 본 논의의 목적을 위해, 네트워크(150)의 아키텍처 및 토폴로지는 이하에서 설명되지 않는 한 실시예들의 동작에 대해 중요하지 않을 수 있다.
도 2는, 실시예들에 따른 환경 내의 G-PCC 압축기(203) 및 G-PCC 압축해제기(210)의 배치의 도면이다. 개시된 주제는, 예를 들어 화상 회의, 디지털 TV, CD, DVD, 메모리 스틱 등을 포함한 디지털 미디어 상에서의 압축된 포인트 클라우드 데이터의 저장 등을 포함하는, 다른 포인트 클라우드 가능형 응용들에 동등하게 적용될 수 있다.
스트리밍 시스템(200)은, 예를 들어 압축되지 않은 포인트 클라우드 데이터(202)를 생성하는, 예를 들어 디지털 카메라 등의 포인트 클라우드 소스(201)를 포함할 수 있는 캡처 서브시스템(213)을 포함할 수 있다. 더 높은 데이터 볼륨을 갖는 포인트 클라우드 데이터(202)는 포인트 클라우드 소스(201)에 결합된 G-PCC 압축기(203)에 의해 처리될 수 있다. G-PCC 압축기(203)는, 아래에서 더 상세히 설명되는 바와 같이 개시된 주제의 양태들을 가능케하거나 구현하기 위해 하드웨어, 소프트웨어, 또는 이들의 조합을 포함할 수 있다. 더 낮은 데이터 볼륨을 갖는 인코딩된 포인트 클라우드 데이터(204)는 미래의 이용을 위해 스트리밍 서버(205)에 저장될 수 있다. 하나 이상의 스트리밍 클라이언트(206 및 208)는, 인코딩된 포인트 클라우드 데이터(204)의 사본들(207 및 209)을 회수하기 위해 스트리밍 서버(205)에 액세스할 수 있다. 클라이언트(206)는, 인코딩된 포인트 클라우드 데이터의 인입 사본(207)을 디코딩하여, 디스플레이(212) 또는 다른 렌더링 디바이스(미도시) 상에서 렌더링될 수 있는 송출 포인트 클라우드 데이터(211)를 생성하는 G-PCC 압축해제기(210)를 포함할 수 있다. 일부 스트리밍 시스템에서, 인코딩된 포인트 클라우드 데이터(204, 207 및 209)는 비디오 코딩/압축 표준들에 따라 인코딩될 수 있다. 이들 표준의 예는, MPEG에 의해 G-PCC용으로 개발 중인 표준들을 포함한다.
도 3은 실시예들에 따른 G-PCC 압축기(203)의 기능 블록도이다.
도 3에 도시된 바와 같이, G-PCC 압축기(203)는 양자화기(305), 포인트 제거 모듈(310), 옥트리 인코더(315), 속성 전달 모듈(320), LoD 생성기(325), 예측 모듈(330), 양자화기(335) 및 산술 코더(340)를 포함한다.
양자화기(305)는 입력 포인트 클라우드에서의 포인트들의 위치들을 수신한다. 위치들은 (x, y, z) 좌표들일 수 있다. 양자화기(305)는 추가로, 예를 들어, 스케일링 알고리즘 및/또는 시프팅 알고리즘을 이용하여 수신된 위치들을 양자화한다.
포인트 제거 모듈(310)은 양자화기(305)로부터 양자화된 위치들을 수신하고, 수신된 양자화된 위치들로부터 중복 위치들을 제거하거나 필터링한다.
옥트리 인코더(315)는 포인트 제거 모듈(310)로부터 필터링된 위치들을 수신하고, 옥트리 인코딩 알고리즘을 이용하여, 수신된 필터링된 위치들을 입력 포인트 클라우드를 나타내는 옥트리의 점유 심볼들로 인코딩한다. 옥트리에 대응하는 입력 포인트 클라우드의 경계 박스는 임의의 3D 형상, 예를 들어 큐브일 수 있다.
옥트리 인코더(315)는 추가로, 필터링된 위치들의 인코딩에 기초하여, 수신된 필터링된 위치들을 재정렬한다.
속성 전달 모듈(320)은 입력 포인트 클라우드에서의 포인트들의 속성들을 수신한다. 속성들은, 예를 들어 각각의 포인트의 컬러 또는 RGB 값 및/또는 반사율을 포함할 수 있다. 속성 전달 모듈(320)은 또한, 옥트리 인코더(315)로부터 재정렬된 위치들을 수신한다.
속성 전달 모듈(320)은 추가로, 수신된 재정렬된 위치들에 기초하여 수신된 속성들을 업데이트한다. 예를 들어, 속성 전달 모듈(320)은 수신된 속성들에 관해 전처리 알고리즘들 중 하나 이상을 수행할 수 있으며, 전처리 알고리즘들은, 예를 들어, 수신된 속성들에 대한 가중치 부여 및 평균화와, 수신된 속성들로부터의 추가 속성들의 보간을 포함한다. 속성 전달 모듈(320)은 또한, 업데이트된 속성들을 예측 모듈(330)에 전달한다.
LoD 생성기(325)는 옥트리 인코더(315)로부터 재정렬된 위치들을 수신하고, 수신된 재정렬된 위치들에 대응하는 포인트들 각각의 LoD를 획득한다. 각각의 LoD는 포인트들의 그룹인 것으로 간주될 수 있으며, 포인트들 각각의 거리에 기초하여 획득될 수 있다.
예측 모듈(330)은 속성 전달 모듈(320)로부터 전달된 속성들을 수신하고, LoD 생성기(325)로부터 포인트들 각각의 획득된 LoD를 수신한다. 예측 모듈(330)은, 포인트들 각각의 수신 LoD에 기초하여 순서대로 수신된 속성들에 예측 알고리즘을 적용함으로써 수신된 속성들 각각의 예측 잔차들(값들)을 획득한다. 예측 알고리즘은, 예를 들어, 보간, 가중 평균 계산, 최근접 이웃 알고리즘, RDO 등의, 다양한 예측 알고리즘 중에서 임의의 것을 포함할 수 있다.
양자화기(335)는 예측 모듈(330)로부터 획득된 예측 잔차들을 수신하고, 예를 들어, 스케일링 알고리즘 및/또는 시프팅 알고리즘을 이용하여 수신된 예측 잔차들을 양자화한다.
산술 코더(340)는 옥트리 인코더(315)로부터 점유 심볼들을 수신하고, 양자화기(335)로부터 양자화된 예측 잔차들을 수신한다. 산술 코더(340)는 수신된 점유 심볼들 및 양자화된 예측 잔차들에 관해 산술 코딩을 수행하여 압축된 비트스트림을 획득한다. 산술 코딩은, 예를 들어 컨텍스트 적응형 2진 산술 코딩 등의, 다양한 엔트로피 인코딩 알고리즘들 중 임의의 것을 포함할 수 있다.
도 4는 실시예들에 따른 G-PCC 압축해제기(210)의 기능 블록도이다.
도 4에 도시된 바와 같이, G-PCC 압축해제기(210)는, 산술 디코더(405), 옥트리 디코더(410), 역 양자화기(415), LoD 생성기(420), 역 양자화기(425), 및 역 예측 모듈(430)을 포함한다.
산술 디코더(405)는, G-PCC 압축기(203)로부터 압축된 비트스트림을 수신하고, 수신된 압축된 비트스트림에 관해 산술 디코딩을 수행하여 점유 심볼들 및 양자화된 예측 잔차들을 획득한다. 산술 디코딩은, 예를 들어, 컨텍스트 적응형 2진 산술 디코딩 등의, 다양한 엔트로피 디코딩 알고리즘들 중 임의의 것을 포함할 수 있다.
옥트리 디코더(410)는 산술 디코더(405)로부터 획득된 점유 심볼들을 수신하고, 옥트리 디코딩 알고리즘을 이용하여, 수신된 점유 심볼들을 양자화된 위치들로 디코딩한다.
역양자화기(415)는 옥트리 디코더(410)로부터 양자화된 위치들을 수신하고, 예를 들어, 스케일링 알고리즘 및/또는 시프팅 알고리즘을 이용하여, 수신된 양자화된 위치들을 역양자화하여, 입력 포인트 클라우드에서의 포인트들의 복원된 위치들을 획득한다.
LoD 생성기(420)는 옥트리 디코더(410)로부터 양자화된 위치들을 수신하고, 수신된 양자화된 위치들에 대응하는 포인트들 각각의 LoD를 획득한다.
역 양자화기(425)는 획득된 양자화된 예측 잔차들을 수신하고, 예를 들어 스케일링 알고리즘 및/또는 시프팅 알고리즘을 이용하여, 수신된 양자화된 예측 잔차들을 역 양자화하여 복원된 예측 잔차들을 획득한다.
역 예측 모듈(430)은 역 양자화기(425)로부터 획득된 복원된 예측 잔차들을 수신하고, LoD 생성기(420)로부터 포인트들 각각의 획득된 LoD를 수신한다. 역 예측 모듈(430)은, 포인트들 각각의 수신 LoD에 기초하여 순서대로 수신된 복원된 예측 잔차들에 예측 알고리즘을 적용함으로써 수신된 복원된 예측 잔차들 각각의 복원된 속성들을 획득한다. 예측 알고리즘은, 예를 들어, 보간, 가중 평균 계산, 최근접 이웃 알고리즘, RDO 등의, 다양한 예측 알고리즘 중에서 임의의 것을 포함할 수 있다. 복원된 속성들은 입력 포인트 클라우드 내의 포인트들이다.
포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 방법 및 장치가 이제 상세히 설명될 것이다. 이러한 방법 및 장치는, 전술된 G-PCC 압축기(203), 즉, 예측 모듈(430)에서 구현될 수 있다. 이 방법 및 장치는, G-PCC 압축해제기(210), 즉, 역 예측 모듈(430)에서도 구현될 수 있다.
도 5는 G-PCC에서 상세 수준들(LoD)을 생성하는 방법을 나타내는 도면이다.
도 5를 참조하면, 현재의 G-PCC 속성 코딩에서, 각각의 3D 포인트(예를 들어, P0-P9)의 LoD(즉, 그룹)는 각각의 3D 포인트의 거리에 기초하여 생성된 다음, 각각의 LoD에서의 3D 포인트들의 속성 값들은, 3D 포인트의 원래 순서(505) 대신에 LoD 기반의 순서(510)로 예측을 적용함으로써 인코딩된다. 예를 들어, 3D 포인트 P2의 속성 값은, 3D 포인트 P2 이전에 인코딩되거나 디코딩된 3D 포인트들 P0, P5, P4의 거리 기반의 가중 평균값을 계산함으로써 예측된다.
G-PCC에서 현재의 앵커 방법은 다음과 같이 진행한다.
먼저, 3D 포인트의 이웃의 가변성이 계산되어 이웃 값들이 얼마나 상이한지를 체크하고, 가변성이 임계값보다 낮다면, 거리 기반의 가중 평균 예측 계산은 현재의 포인트 i의 최근접 이웃들의 거리들에 기초한 선형 보간 프로세스를 이용하여, 속성 값들
Figure pct00001
을 예측함으로써 수행된다.
Figure pct00002
를 현재의 포인트 i의 한 세트의 k-최근접 이웃들이라고 하고,
Figure pct00003
를 그들의 디코딩된/복원된 속성 값들이라고 하고,
Figure pct00004
를 현재의 포인트 i까지의 그들의 거리들이라고 하자. 예측된 속성 값
Figure pct00005
는 다음과 같이 주어진다:
Figure pct00006
모든 포인트 클라우드의 기하학적 위치들은 속성들이 코딩될 때 이미 이용가능하다는 점에 유의한다. 또한, 이웃 포인트들은 그들의 복원된 속성 값들과 함께, 동일한 방식으로 각각의 포인트에 대한 최근접 이웃 검색을 용이화하는데 이용되는 k-차원 트리 구조로서 인코더 및 디코더 양쪽 모두에서 이용가능하다.
둘째, 가변성이 임계값보다 높다면, 레이트-왜곡 최적화된(rate-distortion optimized)(RDO) 예측기 선택이 수행된다. LoD 생성시 이웃 포인트 검색의 결과에 기초하여 복수의 예측기 후보 또는 후보 예측 값이 생성된다. 예를 들어, 3D 포인트 P2의 속성 값이 예측을 이용하여 인코딩될 때, 3D 포인트 P2로부터 3D 포인트들 P0, P5, P4 각각까지의 거리들의 가중 평균값은 0과 동일한 예측기 인덱스로 설정된다. 그 다음, 3D 포인트 P2에서 가장 가까운 이웃 포인트 P4까지의 거리는 1과 동일한 예측기 인덱스로 설정된다. 또한, 3D 포인트 P2로부터 각각 그 다음으로 가장 가까운 이웃 포인트들 P5 및 P0까지의 거리들은, 아래의 표 1에 표시된 바와 같이 2 및 3과 동일한 예측기 인덱스들로 설정된다.
표 1: 속성 코딩을 위한 예측기 후보의 샘플
Figure pct00007
예측기 후보들을 생성한 후, 레이트-왜곡 최적화 절차를 적용함으로써 최상의 예측기가 선택되고, 선택된 예측기 인덱스는 TU(truncated unary) 코드에 맵핑되며, 그 빈(bin)들은 산술적으로 인코딩된다. 더 짧은 TU 코드는 표 1에서 더 작은 예측기 인덱스에 할당될 것이라는 점에 유의한다.
예측기 후보들 MaxNumCand의 최대 수가 정의되고 속성 헤더 내에 인코딩된다. 현재의 구현에서, 예측기 후보 MaxNumCand의 최대 수는 numberOfNearestNeighborsInPrediction + 1과 동일하게 설정되고, 절삭된 단항 2진화와 함께 예측기 인덱스들을 인코딩 및 디코딩하는데 이용된다.
도 6은 G-PCC에서 P/U(Prediction/Update)-리프팅을 위한 아키텍처의 도면이다. 리프팅에서 예측 및 업데이트 단계들을 용이화하기 위해, 분해의 각각의 스테이지에서 신호를 2개 세트의 높은 상관관계로 분할해야 한다. G-PCC에서의 리프팅 방식에서, 분할은, 레벨들 사이에서 이러한 높은 상관관계가 예상되고 각각의 레벨은 최근접 이웃 검색에 의해 불균일한 포인트 클라우드들을 구조화된 데이터로 조직화하도록 구성되는 LoD 구조를 활용함으로써 수행된다. 레벨 N에서의 P/U 분해 단계는, 상세 신호 D(N-1) 및 근사 신호 A(N-1)를 생성하며, 이것은 D(N-2) 및 A(N-2)로 추가로 분해된다. 이 단계는, 베이스 계층 근사 신호 A(1)가 획득될 때까지 반복적으로 적용된다.
결과적으로, LOD(N), ..., LOD(1)로 구성된 입력 속성 신호 자체를 코딩하는 것 대신에, 리프팅 방식에서는 D(N-1), D(N-2), ..., D(1), A(1)을 코딩하는 것으로 끝맺는다. 효율적인 P/U 단계들의 적용은 종종, D(N-1), ..., D(1)에서 저밀도 서브-대역들 "계수들"로 이어짐으로써, 변환 코딩 이득 이점을 제공한다는 점에 유의한다.
현재, 예측 변환을 위한 전술된 거리 기반의 가중 평균 예측이, 리프팅에서의 예측 단계를 위해 G-PCC에서의 앵커 방법으로서 이용된다.
컬러 등의 포인트 클라우드 속성들의 경우, 채널들 사이에는 상당한 중복성이 있을 수 있다.
코딩 효율을 향상시키기 위해, 컬러 공간 변환은 종종 전처리/후처리 단계로서 수행된다. 전처리/후처리 단계로서의 컬러 공간 변환의 한 가지 문제는, 종종 직교성이 부족하고 변환된 컬러 공간에서의 코덱 성능의 최적화가 반드시 원래의 공간에서의 양호한 품질로 변환되지 않는다는 것이다. 또한, 무손실 컬러 변환들은, 특히 비-정수 컬러 변환을 양호한 정밀도로 근사화하려고 시도할 때 확장된 비트 심도들을 갖는 경향이 있다. 이것은, 많은 실제 시스템에서 구현 제약에 따라 문제가 될 수 있다.
실시예들은 압축 효율을 위해 채널간 역상관을 효율적으로 수행할 수 있다.
본 명세서에서 논의된 실시예들은 별개로 이용되거나 임의의 순서로 조합될 수 있다. 또한, 방법들(또는 실시예들), 인코더 및 디코더 각각은, 처리 회로(예를 들어, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 한 예에서, 하나 이상의 프로세서는 비일시적인 컴퓨터 판독가능 매체에 저장된 프로그램을 실행한다.
실시예들은 전술된 현재의 G-PCC 예측기 설계에 직접적으로 관련될 수 있다. 이들 방법들은 포인트 클라우드들을 위해 설계된 유사한 코덱들에 적용될 수 있다.
실시예들에서, 코딩 효율을 위한 변환 툴(conversion tool)로서 컬러 공간 변환을 이용하는 전술된 문제들을 피하기 위해 2개의 방법이 이용될 수 있다.
하나는, 준-무손실 및 무손실 복원을 유지하면서 채널간 종속성을 역상관시키기 위해 G-PCC에 대한 DPCM(예측 변환이라고도 함)에서 예측 잔차들의 무손실 인루프 변환으로서 YCoCg-R을 이용하는 것이다. 또 다른 하나는 G-PCC에 대한 DPCM에서 다른 채널들의 잔차 값들을 예측하는 또 다른 예측 단계를 도입하는 것이다.
실시예들에 따른 YCoCg 변환은 아래의 방정식 1 및 방정식 2로서 표시된다:
Figure pct00008
(방정식 1)
Figure pct00009
(방정식 2)
YCoCg로부터 파생된 무손실 변환으로서, 순방향 YCoCg-R의 한 예가 아래에서 방정식 3 내지 6으로서 표시된다:
Figure pct00010
(방정식 3)
Figure pct00011
(방정식 4)
Figure pct00012
(방정식 5)
Figure pct00013
(방정식 6)
상기의 프로세스를 뒤집는 역방향 YCoCg-R의 한 예는 아래에서 방정식 7 내지 10으로서 표시된다:
Figure pct00014
(방정식 7)
Figure pct00015
(방정식 8)
Figure pct00016
(방정식 9)
Figure pct00017
(방정식 10)
이제, 실시예들에서 제안하는 바와 같이 이것을 잔차 변환으로 적용할 때, 신호 R, G, B는, G-PCC에서 채널별 예측으로부터 발생하는 각각의 채널의 예측 잔차들일 수 있다.
실시예들에서, 다중 채널 신호를 역상관시키는 또 다른 방식은 예측기를 이용하는 것이다. 예를 들어, 2차 잔차가 원래의 잔차들 대신에 양자화되고 엔트로피 코딩되도록 예측기가 채널들의 잔차 신호들을 예측하는데 이용될 수 있다.
G-PCC 예측 설계의 경우, 실시예들에 따른 한 예가 아래에 나타나 있으며, 굵은 부분들은 실시예들에 따른 현재의 TMC3 명세에 대한 변경들을 나타낸다. 이 예측의 가능한 개선을 위해 선형 또는 비선형 예측기 함수의 임의의 일반적인 형태가 도입될 수 있다.
아래의 예들에서, "X"는 채널 X 신호를 나타내고, "X_pred"는 예측된 채널 X 신호(G-PCC에서 복원된 이웃 샘플들로부터 획득됨)를 나타낼 수 있고, "X_delta_index"는 채널 X의 예측 잔차의 양자화 인덱스를 나타낼 수 있고, "X_delta_recon"은 채널 X에 대한 복원된 잔차를 나타낼 수 있고, "X_recon"은 복원된 채널 X 신호를 나타낼 수 있고, "X_delta_residual_index"는 잔차 예측으로부터의 잔차의 양자화 인덱스를 나타낼 수 있다.
채널간 잔차 예측을 포함하는 인코딩 프로세스의 한 예는 다음과 같이 진행될 수 있다:
Figure pct00018
채널간 잔차 예측을 포함하는 디코딩 프로세스의 한 예는 다음과 같이 진행될 수 있다:
Figure pct00019
G-PCC 및 유사한 포인트 클라우드 코덱들에 대한 채널간 잔차 예측기와 일치하는 실시예들은 몇 가지 이점을 가질 수 있다. 예를 들어, 디코딩 프로세스에서의 변경은 매우 미미하다. 또한, 어떠한 정교한 다중-채널 신호 모델도 요구하지 않는다. 또한, 전술된 인루프 잔차 변환을 포함하는 채널간 역상관을 위한 다른 무손실 컬러 변환 기반의 접근법들과는 달리, 실시예들은 Hausdorff 메트릭의 관점에서 원래의 도메인에서의 신호의 충실도를 제어할 수 있다. 이것은, 원래의 (RGB 컬러-) 공간에서 양자화가 수행될 수 있기 때문일 수 있다.
실시예들에서, 채널간 잔차 예측기는 현재의 G-PCC 연구-초안 명세에서 이용될 수 있다.
속성 파라미터 세트 신택스에서, 제안된 채널간 잔차 예측기를 적응적으로 인에이블/디스에이블하는 플래그를 추가할 수 있다. 속성 파라미터 세트 신택스의 한 예가 아래의 표 2 및 3에 나와 있다.
표 2:
Figure pct00020
Figure pct00021
표 2:
Figure pct00022
실시예들에서, 속성 파라미터 세트 시맨틱에 따라, 1과 동일한 lifting_residual_prediction_enabled_flag는 속성 디코딩 프로세스가 잔차 예측을 수행함을 명시할 수 있다.
실시예들에 따른, 예측 리프팅 디코딩 프로세스의 한 예가 아래에 나와 있다:
Figure pct00023
Figure pct00024
Figure pct00025
Figure pct00026
상기의 예에서, j==0은 G-채널에 대응할 수 있다.
후속 실시예들은, G-PCC에서 예측-변환이라고도 지칭될 수 있는 DPCM 예측의 정황 하에서 인루프 컬러-잔차 변환 및 컬러-잔차 예측 양쪽 모두에 동등하게 적용될 수 있다. 실시예들에서, 이들 2개의 기술은 채널간 툴(inter-channel tool)이라고 지칭될 수 있다.
실시예들에서, 채널간 툴을 현재의 포인트에 적용할지를 결정하기 위해 조건부 체크의 수개의 방법이 이용될 수 있다.
실시예들에서, 3개의 채널의 복원된 잔차 값들의 최대 차이는, 가장 가까운 이웃들 각각에 대해 계산될 수 있다. 더 구체적으로, 디코더는, 채널간 툴을 설정된 임계값만큼 적용한 후 얼마나 많은 이웃들이 감소된 잔차 크기/분산을 경험했는지를 추적할 수 있다. 특히 복원된 3개의 잔차 값이 비교적 균등한 경우, 역상관이 성공적이지 않을 가능성이 있다. 한개-플래그의 부기(bookkeeping)는, 디코딩될 때 각각의 포인트별로 이러한 테스트 결과를 나타내는 이용될 수 있다. 또한, 결정을 내릴 때 다수결을 따를 수 있다.
실시예들에서, 이웃 포인트들로부터의 3개 채널의 최대 절대 차이 값들이 비교될 수 있다. 컬러 채널들 사이의 값 가변성에서 상당한 차이가 있는 경우, 하나로부터 다른 하나를 예측하기 어려울 수 있다.
이웃 샘플들로부터 채널간 상관관계를 식별할 수 있는 임의의 조치가 채널간 툴들의 이용을 결정하기 위해 통합될 수 있다.
실시예들에서, (예를 들어, 타일/슬라이스 헤더에서) 타일/슬라이스-레벨 또는 (예를 들어, SPS/PPS에서) 비디오/픽처 레벨 플래그는, 제안된 잔차 변환 또는 예측을 인에이블/디스에이블하도록 시그널링될 수 있다. 시그널링은, 코딩 유닛을 구성하는 포인트 클라우드 픽셀들의 임의의 그룹화에 적용될 수 있다.
위에서 논의된 실시예들은 G-PCC에서의 리프팅 방식에도 적용될 수 있다. 상세 서브대역 계수들은 리프팅의 예측 단계의 출력일 수 있기 때문에, 이들은 예측 잔차 신호들일 수 있고, 동일한 예측 전략이 주어지면 상이한 컬러 채널들 사이에 유사할 수 있다.
G-PCC 리프팅 설계의 경우, 실시예들에 따른 한 예가 아래에 나타나 있으며, 굵은 부분들은 실시예들에 따른 현재의 TMC3 명세에 대한 변경들을 나타낸다. 이 예측의 가능한 개선을 위해 선형 또는 비선형 예측기 함수의 임의의 일반적인 형태가 도입될 수 있다.
아래의 예들에서, "X"는 채널 X 신호를 나타내고, "X_coeff_index"는 채널 X의 리프팅 계수의 양자화 인덱스를 나타낼 수 있고, "X_coeff_recon"은 채널 X에 대한 복원된 리프팅 계수를 나타낼 수 있고, "X_recon"은 복원된 채널 X 신호를 나타낼 수 있고, "X_coeff_residual_index"는 잔차 예측으로부터의 잔차의 양자화 인덱스를 나타낼 수 있고, "quantWeight"는 인코더에서의 양자화 전 및 디코더에서의 역양자화 후에 리프팅 계수에 적용되는 G-PCC에서 이용되는 가중 인자를 나타낼 수 있다.
이러한 리프팅 방식에 대한 확장을 포함하는 인코딩 프로세스의 한 예는 다음과 같이 진행될 수 있다:
Figure pct00027
이러한 리프팅 방식에 대한 확장을 포함하는 디코딩 프로세스의 한 예는 다음과 같이 진행될 수 있다:
Figure pct00028
여기서 논의된 실시예들은 포인트 클라우드 압축/압축해제에 적합한 비디오 인코더 또는 디코더에서 구현될 수 있다. 실시예들에서, 인코더/디코더는, 하드웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있고, 소프트웨어는, 있다면, 하나 이상의 비일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 예를 들어, 방법들(또는 실시예들), 인코더들, 및 디코더들 각각은, 처리 회로(예를 들어, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 한 예에서, 하나 이상의 프로세서는 비일시적인 컴퓨터 판독가능 매체에 저장된 프로그램을 실행한다.
도 7은, 실시예들에 따른, 포인트 클라우드 속성 코딩의 방법(700)을 나타내는 플로차트이다. 일부 구현에서, 도 7의 하나 이상의 프로세스 블록은 G-PCC 압축해제기(210)에 의해 수행될 수 있다. 일부 구현에서, 도 7의 하나 이상의 프로세스 블록은, G-PCC 압축기(203) 등의, G-PCC 압축해제기(210)로부터 분리되거나 이를 포함하는 또 다른 디바이스 또는 디바이스 그룹에 의해 수행될 수 있다.
도 7을 참조하면, 제1 블록 710에서, 방법(700)은 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하는 단계를 포함한다.
제2 블록 720에서, 방법(700)은 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하는 단계를 포함한다.
인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여(블록 720에서 예), 방법(700)은 제3 블록 730에서 계속된다. 제3 블록 730에서, 방법(700)은 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하는 단계를 포함하고, 그 다음, 블록 750으로 진행한다.
인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되지 않았다는 결정에 기초하여(블록 720에서 아니오), 방법(700)은 제4 블록 740에서 계속된다. 제4 블록 740에서, 방법(700)은 채널간 툴을 이용하지 않고 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 인코딩된 비트스트림을 디코딩하는 단계를 포함하고, 그 다음, 블록 750으로 진행한다.
제5 블록 750에서, 방법(700)은 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하는 단계를 포함한다.
실시예들에서, 채널간 툴은 루프내 컬러-잔차 변환을 포함할 수 있다.
실시예들에서, 루프내 컬러-잔차 변환은 YCoCg-R 변환을 포함할 수 있다.
실시예들에서, 채널간 툴은 채널간 컬러-잔차 예측기를 포함할 수 있다.
실시예들에서, 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하는 단계는, 제1 컬러 채널에 대한 복원된 잔차를 획득하는 단계; 및 제1 컬러 채널에 대한 복원된 잔차에 기초하여 제2 컬러 채널에 대한 복원된 잔차를 획득하는 단계를 포함할 수 있다.
실시예들에서, 인코딩된 비트스트림은, 인코딩된 비트스트림에서 시그널링된 플래그에 기초하여 채널간 툴을 이용하여 인코딩된 것으로 결정될 수 있다.
실시예들에서, 플래그는, 이웃 포인트들의 컬러 채널들의 값들 사이의 차이, 또는 이웃 포인트들의 컬러 채널들의 복원된 잔차 값들 사이의 차이 중 적어도 하나에 기초하여 인코딩된 비트스트림에서 설정될 수 있다.
실시예들에서, 방법(700)은, 제1 컬러 채널에 대한 복원된 리프팅 계수를 획득하는 단계; 및 제1 컬러 채널에 대한 복원된 리프팅 계수에 기초하여 제2 컬러 채널에 대한 복원된 리프팅 계수를 획득하는 단계를 더 포함할 수 있다.
도 7은 방법(700)의 예시적인 블록들을 도시하지만, 일부 구현에서, 방법(700)은 도 7에 도시된 것들보다 추가적인 블록들, 더 적은 블록들, 상이한 블록들, 또는 상이하게 배열된 블록들을 포함할 수 있다. 추가적으로, 또는 대안으로서, 방법(700)의 블록들 중 2개 이상이 병렬로 수행될 수 있다.
또한, 제안된 방법들은 처리 회로(예를 들어, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 예에서, 하나 이상의 프로세서는, 제안된 방법들 중 하나 이상을 수행하기 위해 비일시적인 컴퓨터 판독가능 매체에 저장된 프로그램을 실행한다.
도 8은 실시예들에 따른 포인트 클라우드 속성 코딩을 위한 장치(800)의 블록도이다.
도 8을 참조하면, 장치(800)는, 제1 획득 코드(810), 결정 코드(820), 디코딩 코드(830), 및 복원 코드(840)를 포함한다.
제1 획득 코드(810)는 적어도 하나의 프로세서로 하여금 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하게 하도록 구성된다.
결정 코드(820)는 적어도 하나의 프로세서로 하여금 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하게 하도록 구성된다.
디코딩 코드(830)는, 인코딩된 비트스트림이 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 적어도 하나의 프로세서로 하여금 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하게 하도록 구성된다.
복원 코드(840)는 적어도 하나의 프로세서로 하여금 복원된 속성 신호를 이용하여 포인트 클라우드를 복원하게 하도록 구성된다.
실시예들에서, 채널간 툴은 루프내 컬러-잔차 변환을 포함할 수 있다.
실시예들에서, 루프내 컬러-잔차 변환은 YCoCg-R 변환을 포함할 수 있다.
실시예들에서, 채널간 툴은 채널간 컬러-잔차 예측기를 포함할 수 있다.
실시예들에서, 디코딩 코드는, 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 잔차를 획득하게 하도록 구성된 제2 획득 코드; 및 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 잔차에 기초하여 제2 컬러 채널에 대한 복원된 잔차를 획득하게 하도록 구성된 제3 획득을 포함할 수 있다.
실시예들에서, 인코딩된 비트스트림은, 인코딩된 비트스트림에서 시그널링된 플래그에 기초하여 채널간 툴을 이용하여 인코딩된 것으로 결정될 수 있다.
실시예들에서, 플래그는, 이웃 포인트들의 컬러 채널들의 값들 사이의 차이, 또는 이웃 포인트들의 컬러 채널들의 복원된 잔차 값들 사이의 차이 중 적어도 하나에 기초하여 인코딩된 비트스트림에서 설정될 수 있다.
실시예들에서, 장치(800)는, 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하도록 구성된 제4 획득 코드; 및 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 리프팅 계수에 기초하여 제2 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하도록 구성된 제5 획득 코드를 더 포함할 수 있다.
도 9는 실시예들을 구현하기에 적합한 컴퓨터 시스템(900)의 도면이다.
컴퓨터 소프트웨어는, 컴퓨터 중앙 처리 유닛(CPU)들, 그래픽 처리 유닛(GPU)들 등에 의해, 직접, 또는 인터프리팅을 통해, 마이크로-코드 실행을 통해서 등에 의해 실행될 수 있는 명령어들을 포함한 코드를 생성하기 위해, 어셈블리, 컴파일, 링킹 또는 그 유사한 메커니즘들에 종속될 수 있는 임의의 적절한 머신 코드 또는 컴퓨터 언어를 이용하여 코딩될 수 있다.
명령어들은, 예를 들어 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게임 디바이스들, 사물 인터넷 디바이스들 등을 포함한, 다양한 유형의 컴퓨터 또는 컴포넌트에서 실행될 수 있다.
컴퓨터 시스템(900)에 대해 도 9에 도시된 컴포넌트들은 본질적으로 예이며 실시예들을 구현하는 컴퓨터 소프트웨어의 이용 또는 기능의 범위에 대한 어떠한 제한도 암시하기 위한 의도가 아니다. 또한 컴포넌트들의 구성이 컴퓨터 시스템(900)의 실시예들에 예시된 컴포넌트들 중 어느 하나 또는 조합과 관련된 임의의 종속성 또는 요건을 갖는 것으로 해석되어서도 안 된다.
컴퓨터 시스템(900)은 소정의 휴먼 인터페이스 입력 디바이스들을 포함할 수 있다. 이러한 휴먼 인터페이스 입력 디바이스는, 예를 들어 촉각 입력(키스트로크들, 스와이프들, 데이터 글러브 움직임들 등), 오디오 입력(음성, 박수 등), 시각적 입력(제스처들 등), 후각 입력(미도시)을 통해 한 명 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 휴먼 인터페이스 디바이스들은, 오디오(음성, 음악, 주변 소리 등), 이미지들(스캔된 이미지들, 스틸 이미지 카메라로부터 획득된 사진 이미지들 등), 비디오(2차원 비디오, 입체 비디오를 포함하는 3차원 비디오 등) 등의, 인간에 의한 의식적 입력에 반드시 직접 관련될 필요는 없는 소정의 미디어를 캡처하는데에도 이용될 수 있다.
입력 휴먼 인터페이스 디바이스들은, 키보드(901), 마우스(902), 트랙패드(903), 터치스크린(910), 조이스틱(905), 마이크로폰(906), 스캐너(907), 및 카메라(908) 중 하나 이상(각각 하나만 도시됨)을 포함할 수 있다.
컴퓨터 시스템(900)은 또한, 소정의 휴먼 인터페이스 출력 디바이스들을 포함할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스들은, 예를 들어 촉각 출력, 소리, 빛 및 냄새/미각을 통해 한 명 이상의 인간 사용자의 감각을 자극할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스들은, 촉각적 출력 디바이스들(예를 들어, 터치스크린(910) 또는 조이스틱(905)에 의한 촉각 피드백이지만 입력 디바이스들로서 역할하지 않는 촉각 피드백 디바이스들도 있을 수 있음), 오디오 출력 디바이스들(스피커(909), 헤드폰(미도시) 등), 시각적 출력 디바이스들(음극선관(CRT) 스크린들, 액정 디스플레이(LCD) 스크린들, 플라즈마 스크린들, 유기 발광 다이오드(OLED) 스크린들을 포함하는 스크린(910), 각각은 터치스크린 입력 능력이 있거나 없고, 각각은 촉각 피드백 능력이 있거나 없으며 ― 그 일부는 입체 출력, 가상 현실 안경(미도시), 홀로그래픽 디스플레이들 및 스모크 탱크(미도시) 등의 수단을 통해 2차원 시각적 출력 또는 3차원 이상의 출력을 출력할 수 있음), 및 프린터(미도시)를 포함할 수 있다. 그래픽 어댑터(950)는 이미지들을 생성하여 터치스크린(910)에 출력한다.
컴퓨터 시스템(900)은 또한, 인간 액세스가능한 저장 디바이스들과, CD/DVD 또는 이와 유사한 매체(921)를 갖는 CD/DVD ROM/RW 드라이브(920), 썸 드라이브(922), 이동식 하드 드라이브 또는 솔리드 스테이트 드라이브(923), 테이프 및 플로피 디스크(미도시) 등의 레거시 자기 매체, 보안 동글(미도시) 등의 전문화된 ROM/ASIC/PLD 기반의 디바이스들 등을 포함한, 광학 매체 등의 그들의 연관된 매체를 포함할 수 있다.
본 기술분야의 통상의 기술자라면 또한, 본 개시된 주제와 관련하여 사용되는 용어 "컴퓨터 판독가능 매체"는, 전송 매체, 캐리어 파들, 또는 기타의 일시적 신호들을 포함하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(900)은 또한 하나 이상의 통신 네트워크(955)에 대한 인터페이스(들)를 포함할 수 있다. 통신 네트워크(955)는, 예를 들어, 무선, 유선, 광학적일 수 있다. 네트워크(955)는 또한, 로컬, 광역, 대도시권, 차량 및 산업, 실시간, 지연 허용 등일 수 있다. 네트워크(955)의 예들은, 이더넷, 무선 LAN들, GSM(global systems for mobile communications), 3세대(3G), 4세대(4G), 5세대(5G), LTE(Long-Term Evolution) 등을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV, 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하는 차량 및 산업용 등의 근거리 통신망들을 포함한다. 네트워크(955)는 일반적으로 소정의 범용 데이터 포트들 또는 주변 버스들(949)(예를 들어, 컴퓨터 시스템(900)의 USB(universal serial bus) 포트들 등)에 부착된 외부 네트워크 인터페이스 어댑터들을 요구한다; 다른 것들은, 일반적으로, 후술되는 바와 같이 시스템 버스, 예를 들어, PC 컴퓨터 시스템 내로의 Ethernet 인터페이스 및/또는 스마트폰 컴퓨터 시스템 내로의 셀룰러 네트워크 인터페이스를 포함한 네트워크 인터페이스(954)로의 부착에 의해 컴퓨터 시스템(900)의 코어에 통합된다. 이들 네트워크(955) 중 임의의 것을 이용하여, 컴퓨터 시스템(900)은 다른 엔티티들과 통신할 수 있다. 이러한 통신은, 단방향이거나, 수신 전용(예를 들어, 방송 TV)이거나, 단방향 전송 전용(예를 들어, 소정의 CANbus 디바이스들에 대한 CANbus)이거나, 또는 예를 들어 로컬 또는 광역 디지털 네트워크들을 이용한 다른 컴퓨터 시스템들과의 양방향일 수 있다. 소정의 프로토콜들 및 프로토콜 스택들은 전술된 바와 같이 이들 네트워크(955) 및 네트워크 인터페이스들(954) 각각에서 이용될 수 있다.
전술된 휴먼 인터페이스 디바이스들, 인간이 액세스할 수 있는 저장 디바이스들, 및 네트워크 인터페이스들(954)은 컴퓨터 시스템(900)의 코어(940)에 부착될 수 있다.
코어(940)는, 하나 이상의 중앙 처리 유닛(CPU)(941), 그래픽 처리 유닛(GPU)(942), FPGA(Field Programmable Gate Areas)(943) 형태의 전문화된 프로그램가능한 처리 유닛, 소정의 작업들을 위한 하드웨어 가속기(944) 등을 포함할 수 있다. 이들 디바이스들은, 판독 전용 메모리(ROM)(945), 랜덤 액세스 메모리(RAM)(946), 사용자가 액세스할 수 없는 내부 하드 드라이브들, 솔리드 스테이트 드라이브(SSD)들 등의 내부 대용량 스토리지(947)와 함께, 시스템 버스(948)를 접속될 수 있다. 일부 컴퓨터 시스템에서, 시스템 버스(948)는, 추가적인 CPU들, GPU 등에 의한 확장을 가능케하는 하나 이상의 물리적 플러그의 형태로 액세스할 수 있다. 주변 디바이스들은 코어의 시스템 버스(948)에 직접 부착되거나, 주변 버스(949)를 통해 부착될 수 있다. 주변 버스를 위한 아키텍처들은 PCI(peripheral component interconnect), USB 등을 포함한다.
CPU들(941), GPU들(942), FPGA들(943), 및 하드웨어 가속기들(944)은, 조합하여 전술된 컴퓨터 코드를 구성할 수 있는 소정의 명령어들을 실행할 수 있다. 그 컴퓨터 코드는 ROM(945) 또는 RAM(946)에 저장될 수 있다. 임시 데이터도 역시 RAM(946)에 저장될 수 있는 반면, 영구 데이터는 예를 들어 내부 대용량 스토리지(947)에 저장될 수 있다. 임의의 메모리 디바이스로의 빠른 저장 및 회수는, CPU(941), GPU(942), 내부 대용량 스토리지(947), ROM(945), RAM(946) 등과 밀접하게 연관될 수 있는 캐시 메모리의 이용을 통해 가능하게 될 수 있다.
컴퓨터 판독가능 매체는 다양한 컴퓨터-구현된 동작을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 실시예들의 목적을 위해 특별히 설계되고 구성된 것일 수 있거나, 이들은, 컴퓨터 소프트웨어 기술분야의 기술자들에게 널리 공지되고 이용가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처를 갖는 컴퓨터 시스템(900), 특히 코어(940)는 하나 이상의 유형의 컴퓨터 판독가능 매체에 구현된 소프트웨어를 실행하는 (CPU들, GPU들, FPGA, 가속기들 등을 포함한) 프로세서(들)의 결과로서 기능을 제공할 수 있다. 이러한 컴퓨터 판독가능 매체는, 코어-내부 대용량 스토리지(947) 또는 ROM(945) 등의 비일시적인 성질을 갖는 코어(940)의 소정 스토리지 뿐만 아니라, 위에서 도입된 바와 같은 사용자 액세스가능한 대용량 스토리지와 연관된 매체일 수 있다. 다양한 실시예들을 구현하는 소프트웨어는 이러한 디바이스들에 저장되고 코어(940)에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는, 특정한 수요에 따라 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는, 코어(940) 및 특히 (CPU, GPU, FPGA 등을 포함한) 내부의 프로세서들이 RAM(946)에 저장된 데이터 구조들을 정의하고 소프트웨어에 의해 정의된 프로세스들 따라 이러한 데이터 구조들을 수정하는 것을 포함한, 여기서 설명된 특정한 프로세스들 또는 특정한 프로세스들의 특정한 부분들을 실행하게 할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은, 여기서 설명된 특정한 프로세스들 또는 특정한 프로세스들의 특정한 부분들을 실행하는 소프트웨어를 대신하여 또는 이와 함께 동작할 수 있는, 회로(예를 들어, 하드웨어 가속기(944))로 구현된 하드와이어드 또는 기타의 방식으로 구현된 로직의 결과로서 기능을 제공할 수 있다. 소프트웨어에 대한 참조는 로직을 포함할 수 있으며, 적절하다면, 그 반대의 경우도 마찬가지이다. 컴퓨터 판독가능 매체에 대한 언급은, 적절한 경우, 실행을 위한 소프트웨어를 저장하는 회로(집적 회로(IC) 등), 실행을 위한 로직을 구현하는 회로, 또는 양쪽 모두를 포함할 수 있다. 실시예들은 하드웨어와 소프트웨어의 임의의 적절한 조합을 포함한다.
본 개시내용은 수개의 실시예들을 설명하였지만, 본 개시내용의 범위 내에 속하는, 변경들, 치환들, 및 다양한 대체 균등물이 있다. 따라서, 본 기술분야의 통상의 기술자라면, 본 명세서에 명시적으로 도시되거나 설명되지는 않았더라도, 본 개시내용의 원리를 구현하고 그에 따라 그 사상과 범위 내에 속하는, 수많은 시스템 및 방법을 고안할 수 있다는 것을 이해할 것이다.

Claims (20)

  1. 포인트 클라우드 속성 코딩의 방법으로서 ― 상기 방법은 적어도 하나의 프로세서에 의해 수행됨 ―,
    포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하는 단계;
    상기 인코딩된 비트스트림이 채널간 역상관(inter-channel decorrelation)을 위한 채널간 툴(inter-channel tool)을 이용하여 인코딩되었는지를 결정하는 단계;
    상기 인코딩된 비트스트림이 상기 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 상기 포인트 클라우드에 대응하는 속성 신호를 복원(reconstruct)하기 위해 상기 채널간 툴을 이용하여 상기 인코딩된 비트스트림을 디코딩하는 단계; 및
    상기 복원된 속성 신호를 이용하여 상기 포인트 클라우드를 복원하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 채널간 툴은 루프내 컬러-잔차 변환(in loop color-residual transform)을 포함하는, 방법.
  3. 제2항에 있어서, 상기 루프내 컬러-잔차 변환은 YCoCg-R 변환을 포함하는, 방법.
  4. 제1항에 있어서, 상기 채널간 툴은 채널간 컬러-잔차 예측기를 포함하는, 방법.
  5. 제4항에 있어서, 상기 채널간 툴을 이용하여 상기 인코딩된 비트스트림을 디코딩하는 단계는,
    제1 컬러 채널에 대한 복원된 잔차를 획득하는 단계; 및
    상기 제1 컬러 채널에 대한 복원된 잔차에 기초하여 제2 컬러 채널에 대한 복원된 잔차를 획득하는 단계
    를 포함하는, 방법.
  6. 제1항에 있어서, 상기 인코딩된 비트스트림은 상기 인코딩된 비트스트림에서 시그널링되는 플래그에 기초하여 상기 채널간 툴을 이용하여 인코딩된 것으로 결정되는, 방법.
  7. 제6항에 있어서, 상기 플래그는 이웃 포인트들의 컬러 채널들의 값들 간의 차이, 또는 상기 이웃 포인트들의 컬러 채널들의 복원된 잔차 값들 간의 차이 중 적어도 하나에 기초하여 상기 인코딩된 비트스트림에서 설정되는, 방법.
  8. 제1항에 있어서,
    제1 컬러 채널에 대한 복원된 리프팅 계수를 획득하는 단계; 및
    상기 제1 컬러 채널에 대한 복원된 리프팅 계수에 기초하여 제2 컬러 채널에 대한 복원된 리프팅 계수를 획득하는 단계
    를 더 포함하는, 방법.
  9. 포인트 클라우드 속성 코딩을 위한 장치로서,
    컴퓨터 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및
    상기 적어도 하나의 메모리에 액세스하고 상기 컴퓨터 프로그램 코드에 따라 동작하도록 구성된 적어도 하나의 프로세서
    를 포함하고, 상기 컴퓨터 프로그램 코드는:
    상기 적어도 하나의 프로세서로 하여금 포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하게 하도록 구성된 제1 획득 코드;
    상기 적어도 하나의 프로세서로 하여금 상기 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하게 하도록 구성된 결정 코드;
    상기 인코딩된 비트스트림이 상기 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 상기 적어도 하나의 프로세서로 하여금 상기 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 상기 채널간 툴을 이용하여 인코딩된 비트스트림을 디코딩하게 하도록 구성된 디코딩 코드; 및
    상기 적어도 하나의 프로세서로 하여금 상기 복원된 속성 신호를 이용하여 상기 포인트 클라우드를 복원하게 하도록 구성된 복원 코드
    를 포함하는, 장치.
  10. 제9항에 있어서, 상기 채널간 툴은 루프내 컬러-잔차 변환을 포함하는, 장치.
  11. 제10항에 있어서, 상기 루프내 컬러-잔차 변환은 YCoCg-R 변환을 포함하는, 장치.
  12. 제9항에 있어서, 상기 채널간 툴은 채널간 컬러-잔차 예측기를 포함하는, 장치.
  13. 제12항에 있어서, 상기 디코딩 코드는,
    상기 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 잔차를 획득하게 하도록 구성된 제2 획득 코드; 및
    상기 적어도 하나의 프로세서로 하여금 상기 제1 컬러 채널에 대한 복원된 잔차에 기초하여 제2 컬러 채널에 대한 복원된 잔차를 획득하게 하도록 구성된 제3 획득
    을 포함하는, 장치.
  14. 제9항에 있어서, 상기 인코딩된 비트스트림은 상기 인코딩된 비트스트림에서 시그널링되는 플래그에 기초하여 상기 채널간 툴을 이용하여 인코딩된 것으로 결정되는, 장치.
  15. 제14항에 있어서, 상기 플래그는 이웃 포인트들의 컬러 채널들의 값들 간의 차이, 또는 상기 이웃 포인트들의 컬러 채널들의 복원된 잔차 값들 간의 차이 중 적어도 하나에 기초하여 상기 인코딩된 비트스트림에서 설정되는, 장치.
  16. 제9항에 있어서, 상기 컴퓨터 프로그램 코드는,
    상기 적어도 하나의 프로세서로 하여금 제1 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하도록 구성된 제4 획득 코드; 및
    상기 적어도 하나의 프로세서로 하여금 상기 제1 컬러 채널에 대한 복원된 리프팅 계수에 기초하여 제2 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하도록 구성된 제5 획득 코드
    를 더 포함하는, 장치.
  17. 명령어들을 저장한 비일시적인 컴퓨터 판독가능 매체로서,
    상기 명령어들은 하나 이상의 명령어를 포함하고, 상기 하나 이상의 명령어는 포인트 클라우드 속성 코딩을 위한 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    포인트 클라우드에 대응하는 인코딩된 비트스트림을 획득하게 하고;
    상기 인코딩된 비트스트림이 채널간 역상관을 위한 채널간 툴을 이용하여 인코딩되었는지를 결정하게 하고;
    상기 인코딩된 비트스트림이 상기 채널간 툴을 이용하여 인코딩되었다는 결정에 기초하여, 상기 포인트 클라우드에 대응하는 속성 신호를 복원하기 위해 상기 채널간 툴을 이용하여 상기 인코딩된 비트스트림을 디코딩하게 하고;
    상기 복원된 속성 신호를 이용하여 상기 포인트 클라우드를 복원하게 하도록
    구성되는, 비일시적인 컴퓨터 판독가능 매체.
  18. 제17항에 있어서, 상기 채널간 툴은 루프내 컬러-잔차 변환을 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  19. 제17항에 있어서, 상기 채널간 툴은 채널간 컬러-잔차 예측기를 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  20. 제17항에 있어서, 상기 하나 이상의 명령어는 추가로, 상기 하나 이상의 프로세서로 하여금:
    제1 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하고;
    상기 제1 컬러 채널에 대한 복원된 리프팅 계수에 기초하여 제2 컬러 채널에 대한 복원된 리프팅 계수를 획득하게 하도록
    구성되는, 비일시적인 컴퓨터 판독가능 매체.
KR1020217032134A 2019-10-10 2020-10-02 포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치 KR20210136082A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962913495P 2019-10-10 2019-10-10
US62/913,495 2019-10-10
US17/034,896 2020-09-28
US17/034,896 US11284111B2 (en) 2019-10-10 2020-09-28 Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
PCT/US2020/053979 WO2021071753A1 (en) 2019-10-10 2020-10-02 Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding

Publications (1)

Publication Number Publication Date
KR20210136082A true KR20210136082A (ko) 2021-11-16

Family

ID=75382298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217032134A KR20210136082A (ko) 2019-10-10 2020-10-02 포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치

Country Status (6)

Country Link
US (1) US11284111B2 (ko)
EP (1) EP4042376A4 (ko)
JP (1) JP7213368B2 (ko)
KR (1) KR20210136082A (ko)
CN (1) CN113795870B (ko)
WO (1) WO2021071753A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043659A1 (ko) * 2022-08-22 2024-02-29 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551334B2 (en) * 2020-01-09 2023-01-10 Tencent America LLC Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
WO2023123284A1 (zh) * 2021-12-30 2023-07-06 Oppo广东移动通信有限公司 一种解码方法、编码方法、解码器、编码器及存储介质
WO2023131136A1 (en) * 2022-01-04 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
WO2024014205A1 (ja) * 2022-07-13 2024-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号方法、符号化方法、復号装置及び符号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
CN113259684A (zh) * 2013-04-08 2021-08-13 Ge视频压缩有限责任公司 分量间预测
US20150373327A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
WO2016119746A1 (zh) * 2015-01-29 2016-08-04 同济大学 图像编码方法及装置、图像解码方法及装置
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
EP3526968A4 (en) * 2016-10-12 2020-06-03 Telefonaktiebolaget LM Ericsson (publ) RESIDUAL REFINEMENT OF COLOR COMPONENTS
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
CN109788290A (zh) * 2017-11-13 2019-05-21 慧荣科技股份有限公司 影像处理装置及利用帧内预测的无损影像压缩方法
KR102595070B1 (ko) * 2017-11-16 2023-10-27 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019143602A1 (en) * 2018-01-16 2019-07-25 Vid Scale, Inc. Motion compensated bi-prediction based on local illumination compensation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043659A1 (ko) * 2022-08-22 2024-02-29 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Also Published As

Publication number Publication date
US11284111B2 (en) 2022-03-22
CN113795870B (zh) 2023-12-22
JP7213368B2 (ja) 2023-01-26
WO2021071753A1 (en) 2021-04-15
JP2022535484A (ja) 2022-08-09
CN113795870A (zh) 2021-12-14
US20210112276A1 (en) 2021-04-15
EP4042376A1 (en) 2022-08-17
EP4042376A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
EP3861755B1 (en) Techniques and apparatus for weighted-median prediction for point-cloud attribute coding
US11568571B2 (en) Techniques and apparatus for lossless lifting for attribute coding
JP7263521B2 (ja) インターフレーム点群属性符号化のための方法並びにその、装置およびコンピュータプログラム
JP7384520B2 (ja) フレーム間点群属性コーディングのための方法、装置及びコンピュータ・プログラム
US11475604B2 (en) Method and apparatus for adaptive point cloud attribute coding
US11202054B2 (en) Method and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11284111B2 (en) Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US11580670B2 (en) Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
US11917205B2 (en) Techniques and apparatus for scalable lifting for point-cloud attribute coding
US11551334B2 (en) Techniques and apparatus for coarse granularity scalable lifting for point-cloud attribute coding
KR20210142713A (ko) 포인트 클라우드 압축을 위한 변환 계수들의 알파벳-파티션 코딩을 위한 기술들 및 장치들
CN113115019B (zh) 视频编解码方法、装置、计算机设备及存储介质
CN112616058A (zh) 视频编码或解码方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination