KR20230124673A - 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더 - Google Patents

포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더 Download PDF

Info

Publication number
KR20230124673A
KR20230124673A KR1020237024952A KR20237024952A KR20230124673A KR 20230124673 A KR20230124673 A KR 20230124673A KR 1020237024952 A KR1020237024952 A KR 1020237024952A KR 20237024952 A KR20237024952 A KR 20237024952A KR 20230124673 A KR20230124673 A KR 20230124673A
Authority
KR
South Korea
Prior art keywords
quantization
point
target point
weight
target
Prior art date
Application number
KR1020237024952A
Other languages
English (en)
Inventor
휘 유안
씨아오휘 왕
루 왕
치 리우
밍 리
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20230124673A publication Critical patent/KR20230124673A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 출원의 실시예는 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더 및 디코더를 제공한다. 인코딩 방법은, 포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻는 단계; 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및 상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는 단계를 포함한다. 본 출원에서 제공하는 방안에 있어서, 타깃 포인트의 양자화 가중을 도입하는 것을 통해, 상기 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 양자화 스텝에 대해 보정을 수행하는 것에 맞먹게 됨으로써, 예측의 정확성을 향상시킬 수 있다.

Description

포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더 및 디코더
본 출원의 실시예는 포인트 클라우드의 인코딩 및 디코딩 영역에 관한 것으로서, 더 구체적으로, 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더 및 디코더에 관한 것이다.
포인트 클라우드는 이미 각 분야에 보급되기 시작하였으며, 예를 들어, 가상/증강 현실, 로봇, 지리적 정보 시스템, 의학 분야 등에 보급되기 시작하였다. 스캔 기기의 기준도와 속도가 부단히 향상됨에 따라, 물체 표면의 대량 포인트 클라우드를 정확하게 획득할 수 있고, 종종 하나의 시나리오에서 수십만 개의 포인트에 대응할 수 있다. 개수가 이와 같이 방대한 포인트는 컴퓨터의 저장과 전송에도 도전을 가져왔다. 따라서, 포인트에 대한 압축도 하나의 핫이슈로 되었다.
포인트 클라우드의 압축의 경우, 주로 그 위치 정보와 컬러 정보를 압축해야 한다. 구체적으로, 먼저 포인트 클라우드의 위치 정보에 대해 옥트리 인코딩을 수행하고; 동시에, 옥트리 인코딩 수행후의 위치 정보에 따라 컬러 정보에 대해 예측을 수행하며, 다음 오리지널 컬러 정보를 통해 차감하는 방식으로 컬러 정보를 인코딩하여, 포인트 클라우드에 대한 인코딩을 구현한다.
현재까지, 컬러 정보에 대해 예측을 수행하는 과정에 있어서, 예측 효과를 향상시키는 방법은 본 분야에서 급히 해결해야 하는 기술적 과제이다.
본 출원의 실시예는 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더 및 디코더를 제공하여, 포인트의 속성 정보의 예측 정확도를 향상시킬 수 있다.
일 측면에 있어서, 포인트 클라우드의 인코딩 방법을 제공하고,
포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻는 단계;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는 단계를 포함한다.
다른 일 측면에 있어서, 포인트 클라우드의 디코딩 방법을 제공하고,
포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻는 단계 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ;
상기 예측 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻는 단계; 및
상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻는 단계를 포함한다.
다른 일 측면에 있어서, 포인트 클라우드의 인코더를 제공하고, 상기 인코더는,
포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻기 위한 제1 처리 유닛;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 제2 처리 유닛 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻기 위한 인코딩 유닛을 포함한다.
다른 일 측면에 있어서, 포인트 클라우드의 디코더를 제공하고,
포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 파싱 유닛;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻기 위한 제1 처리 유닛 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
상기 예측 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻기 위한 제2 처리 유닛; 및
상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻기 위한 제3 처리 유닛을 포함한다.
다른 일 측면에 있어서, 본 출원의 실시예는 포인트 클라우드 미디어의 데이터 처리 기기를 제공하고, 상기 포인트 클라우드 미디어의 데이터 처리 기기는,
컴퓨터 명령어 구현에 적용되는 프로세서; 및
컴퓨터 명령어가 저장되는 컴퓨터 판독 가능한 저장 매체를 포함하며, 컴퓨터 명령어는 프로세서가 상기 포인트 클라우드 미디어의 데이터 처리 방법을 로딩하고 실행하는데 적용된다.
다른 일 측면에 있어서, 본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 매체는 컴퓨터 명령어를 저장하며, 상기 컴퓨터 명령어가 컴퓨터 기기의 프로세서에 의해 판독되고 실행될 때, 컴퓨터 기기가 상기 포인트 클라우드 미디어의 데이터 처리 방법을 실행하도록 한다.
본 출원이 제공하는 방안에 있어서, 상기 포인트 클라우드에서의 포인트의 속성 정보에 대해 예측을 수행하는 과정에서, 상기 타깃 포인트의 중요 정도를 나타내기 위한 파라미터를 도입하며, 즉 상기 타깃 포인트의 양자화 가중을 도입하며, 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 결합하는 것을 통해 상기 타깃 포인트의 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻음으로써, 상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는다. 타깃 포인트의 양자화 가중을 도입하는 것을 통해, 상기 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 양자화 스텝에 대해 보정을 수행하는 것에 해당되며, 즉, 상기 타깃 포인트의 중요 정도에 따라 자체 적응적으로 상기 타깃 포인트의 양자화 스텝을 조절할 수 있음으로써, 조절된 후의 양자화 스텝에 기반하여 상기 타깃 포인트의 예측 잔차값에 대해 양자화를 수행하고, 상기 포인트 클라우드에서의 포인트의 속성 정보에 대해 예측을 수행하는 과정에서, 인코딩 순서 중 위치가 앞쪽에 가까운 포인트의 경우, 예측에서 비교적 중요할 때, 그 양자화 스텝가 과도하게 큰 것을 피할 수 있음으로써, 비교적 큰 재구축 오차가 발생되는 것을 피할 수 있으므로, 양자화 가중이 높은 포인트가 비교적 작은 양자화 스텝을 채택하여 양자화를 수행하여 재구축 오차를 줄이는 것에 해당되며, 인코딩 순서 중 위치가 뒤쪽에 가까운 포인트의 경우, 예측 정확도를 향상시킬 수 있다.
도 1은 본 출원의 실시예에서 제공하는 인코딩 프레임워크의 예시적 블록도이다.
도 2는 본 출원의 실시예에서 제공하는 LOD 계층의 예시적 블록도이다.
도 3은 본 출원의 실시예에서 제공하는 디코딩 프레임워크의 예시적 블록도이다.
도 4는 본 출원의 실시예에서 제공하는 인코딩 방법의 예시적 흐름도이다.
도 5는 본 출원의 실시예에서 제공하는 디코딩 방법의 예시적 흐름도이다.
도 6은 본 출원의 실시예에서 제공하는 인코더의 예시적 블록도이다.
도 7은 본 출원의 실시예에서 제공하는 디코더의 예시적 블록도이다.
도 8은 본 출원의 실시예에서 제공하는 전자 기기의 예시적 블록도이다.
아래에 포인트 클라우드에 관련된 개념에 대해 설명한다.
포인트 클라우드(Point Cloud)는 공간 중 무규칙적으로 분포되고, 3 차원 물체 또는 3 차원 시나리오의 공간 구조 및 표면 속성을 나타내는 한 그룹의 분산 포인트 집합이다.
포인트 클라우드 데이터(Point Cloud Data)는 포인트 클라우드의 구체적인 기록 형태이고, 포인트 클라우드 중 각 포인트의 포인트 클라우드 데이터는 기하학적 정보와 속성 정보를 포함할 수 있으며, 여기서, 포인트 클라우드 중 각 포인트의 기하학적 정보는 상기 포인트의 데카르트 3 차원 좌표 데이터를 가리키고, 포인트 클라우드 중 각 포인트의 속성 정보는 색상 정보, 재질 정보, 레이저 반사 강도 정보 중 적어도 하나를 포함할 수 있지만, 이에 한정되지 않는다. 색상 정보는 어느 한 가지의 색상 공간에서의 정보일 수 있다. 예를 들어, 색상 정보는 레드 그린 블루(Red Green Blue, RGB) 정보일 수 있다. 또 예를 들어, 색상 정보는 또한 휘도 색도(YcbCr, YUV) 정보일 수 있다. 여기서, Y는 휘도(Luma)를 나타내고, Cb(U)는 블루 색차를 나타내며, Cr(V)는 레드를 나타내고, U와 V는 색도(Chroma)를 나타내며, 색도는 색차 정보를 설명하기 위한 것이다.
포인트 클라우드에서의 각 포인트는 모두 동일한 개수의 속성 정보를 구비한다. 예를 들어, 포인트 클라우드에서의 각 포인트는 모두 색상 정보와 레이저 반사 강도인 두 가지 속성 정보를 구비한다. 또 예를 들어, 포인트 클라우드에서의 각 포인트는 모두 색상 정보, 재질 정보와 레이저 반사 강도 정보인 세 가지 속성 정보를 구비한다. 포인트 클라우드 미디어의 패키징 과정에 있어서, 포인트의 기하학적 정보는 포인트 클라우드 미디어의 기하 요소 또는 기하 컴포넌트(Geometry Component)로 지칭될 수도 있고, 포인트의 속성 정보는 포인트 클라우드 미디어의 속성 요소 또는 속성 컴포넌트(Attribute Component)로 지칭될 수도 있다. 포인트 클라우드 미디어는 하나의 기하 성분 및 하나 또는 복수 개의 속성 컴포넌트를 포함할 수 있다.
응용 시나리오에 기반하여 포인트 클라우드를 두 개의 큰 카테고리로 구획할 수 있고, 즉 기계 감지 포인트 클라우드와 육안 감지 포인트 클라우드이다. 기계 감지 포인트 클라우드의 응용 시나리오는, 자율 항법 시스템, 실시간 순찰 시스템, 지리적 정보 시스템, 시각 분류 로봇, 긴급 구조 로봇 등 포인트 클라우드 응용 시나리오를 포함하지만, 이에 한정되지 않는다. 육안 감지 포인트 클라우드의 응용 시나리오는, 디지털 문화 유산, 자유 시점 방송, 3 차원 이머시브 통신, 3 차원 이머시브 인터랙션 등 포인트 클라우드 응용 시나리오를 포함하지만 이에 한정되지 않는다. 포인트 클라우드의 획득 경로는, 컴퓨터 생성, 3D 레이저 스캔, 3D 촬영 측정 등을 포함하지만 이에 한정되지 않는다. 컴퓨터는 가상 3 차원 물체 및 시나리오의 포인트 클라우드를 생성할 수 있다. 3D 스캔은 정적 현실 세계 3 차원 물체 또는 시나리오의 포인트 클라우드를 획득할 수 있고, 초당 백만 레벨의 포인트 클라우드를 획득할 수 있다. 3D 촬영은 동적 현실 세계 3 차원 물체 또는 시나리오의 포인트 클라우드를 획득할 수 있고, 초당 천만 레벨의 포인트 클라우드를 획득할 수 있다. 구체적으로, 전기 광학 레이다, 레이저 레이다, 레이저 스캐너, 다시각 카메라 등 수집 기기를 통해, 물체 표면의 포인트 클라우드를 수집하여 얻을 수 있다. 레이저 측정 원리에 따라 얻은 포인트 클라우드는, 포인트의 3 차원 좌표 정보와 포인트의 레이저 반사 강도(reflectance)를 포함할 수 있다. 촬영 측정 원리에 따라 얻은 포인트 클라우드는, 포인트의 3 차원 좌표 정보와 포인트의 색상 정보를 포함할 수 있다. 레이저 측정과 촬영 측정 원리를 결합하여 포인트 클라우드를 얻고, 이는 포인트의 3 차원 좌표 정보, 포인트의 레이저 반사 강도(reflectance)와 포인트의 색상 정보를 포함할 수 있다. 상응하게, 포인트 클라우드의 획득 경로에 기반하여 포인트 클라우드를 세 가지 타입의 포인트 클라우드로 구획할 수 있고, 즉, 제1 정적 포인트 클라우드, 제2 타입 동적 포인트 클라우드 및 제3 타입 동적 획득 포인트 클라우드로 구획할 수 있다. 제1 정적 포인트 클라우드의 경우, 물체는 정지된 것이고, 포인트 클라우드를 획득하는 기기도 정지된 것이며; 제2 타입 동적 포인트 클라우드의 경우, 물체는 움직이는 것이지만, 포인트 클라우드를 획득하는 기기는 정지된 것이며; 제3 타입 동적 획득 포인트 클라우드의 경우, 포인트 클라우드를 획득하는 기기는 움직이는 것이다.
예를 들어, 의학 분야에서, 자기 공명 영상(magnetic resonance imaging, MRI), 전산화 단층 촬영(computed tomography, CT), 전자기 위치 정보로, 생물 조직 기관의 포인트 클라우드를 획득할 수 있다. 이러한 기술은 포인트 클라우드의 획득 비용과 시간 주기를 줄이고, 데이터의 정밀도를 향상시킨다. 포인트 클라우드의 획득 방식의 변혁은, 대량의 포인트 클라우드의 획득이 가능하도록 한다. 대규모의 포인트 클라우드가 부단히 누적됨에 따라, 포인트 클라우드의 고효율적인 저장, 전송, 게시, 공유 및 표준화는 포인트 클라우드 응용의 핵심이 된다.
포인트 클라우드 데이터는 포인트 클라우드 미디어를 형성하기 위한 것일 수 있고, 포인트 클라우드 미디어는 하나의 미디어 파일일 수 있다. 포인트 클라우드 미디어는 복수 개의 미디어 프레임을 포함할 수 있고, 포인트 클라우드 미디어에서의 각 미디어 프레임워크는 포인트 클라우드 데이터로 구성된다. 포인트 클라우드 미디어는 3 차원 물체 또는 3 차원 시나리오의 공간 구조 및 표면 속성을 유연하고 편리하게 나타낼 수 있으므로, 광범위하게 응용된다. 포인트 클라우드 미디어에 대해 인코딩을 수행한 후, 인코딩된 코드 스트림에 대해 패키징을 수행하여 패키징 파일을 형성할 수 있으며, 패키징 파일은 사용자에 전송하기 위한 것일 수 있다. 상응하게, 포인트 클라우드 미디어 플레이어 엔드에 있어서, 먼저 패키징 파일에 대해 디패키징을 수행해야 하고, 다음 디코딩을 수행하며, 마지막으로 디코딩된 후의 데이터 스트림을 디스플레이한다. 패키징 파일은 포인트 클라우드 파일로 지칭될 수도 있다.
현재까지, 포인트 클라우드 인코딩 프레임워크를 통해 포인트 클라우드에 대해 인코딩을 수행할 수 있다.
포인트 클라우드 인코딩 프레임워크는 움직임 이미지 전문가 그룹(Moving Picture Experts Group, MPEG)에서 제공하는 기하 기반의 포인트 클라우드 압축(Geometry Point Cloud Compression, G-PCC) 인코딩 및 디코딩 프레임워크 또는 비디오 기반의 포인트 클라우드 압축(Video Point Cloud Compression, V-PCC) 인코딩 및 디코딩 프레임워크일 수 있고, 오디오 비디오 인코딩 표준(Audio Video Standard, AVS)에서 제공하는 AVS-PCC 인코딩 및 디코딩 프레임워크일 수도 있다. G-PCC 인코딩 및 디코딩 프레임워크는 제1 정적 포인트 클라우드와 제3 타입 동적 획득 포인트 클라우드에 대해 압축을 수행하기 위한 것일 수 있고, V-PCC 인코딩 및 디코딩 프레임워크는 제2 타입 동적 포인트 클라우드에 대해 압축을 수행하기 위한 것일 수 있다. G-PCC 코딩 프레임워크는 포인트 클라우드 코덱 TMC13으로 지칭될 수도 있고, V-PCC 인코딩 및 디코딩 프레임워크는 포인트 클라우드 코덱 TMC2로 지칭될 수도 있다. 아래에 G-PCC 인코딩 및 디코딩 프레임워크로 본 출원의 실시예가 적용 가능한 인코딩 및 디코딩 프레임워크를 설명한다.
도 1은 본 출원의 실시예에서 제공하는 인코딩 프레임워크(100)의 예시적 블록도이다.
도 1에 도시된 바와 같이, 인코딩 프레임워크(100)는 수집 기기로부터 포인트 클라우드의 위치 정보와 속성 정보를 획득할 수 있다. 포인트 클라우드의 인코딩은 위치 인코딩과 속성 인코딩을 포함한다. 하나의 실시예에 있어서, 위치 인코딩의 과정은, 오리지널 포인트 클라우드에 대해 좌표 변환, 중복 포인트 양자화 제거 등 사전 처리를 수행하는 단계; 및 옥트리를 구축한 후 인코딩을 수행하여 기하 코드 스트림을 형성하는 단계를 포함한다. 속성 인코딩 과정은, 주어진 입력 포인트 클라우드의 위치 정보의 재구축 정보와 속성 정보의 참값을 통해, 세 가지 예측 모드의 하나를 선택하여 포인트 클라우드 예측을 수행하고, 예측된 후의 결과에 대해 양자화를 수행하며, 산술 인코딩을 수행하여 속성 코드 스트림을 형성하는 단계를 포함한다.
도 1에 도시된 바와 같이, 위치 인코딩은,
좌표 변환(Tanmsform coordinates) 유닛(101), 포인트 양자화 및 리무브(Quantize and remove points) 유닛(102), 옥트리 분석(Analyze octree) 유닛(103), 기하 재구축(Reconstruct geometry) 유닛(104) 및 제1 산술 인코딩(Arithmetic enconde) 유닛(105)을 통해 구현될 수 있다.
좌표 변환 유닛(101)은 포인트 클라우드 중 포인트의 세계 좌표를 상대 좌표로 변환하기 위한 것일 수 있다. 예를 들어, 포인트의 기하 좌표에서 각각 xyz 좌표축의 최소치를 감하면, 직류 제거 작업과 맞먹으며, 포인트 클라우드에서의 포인트의 좌표를 세계 좌표로부터 상대 좌표로 변환하는 것을 구현한다. 중복 포인트 양자화 및 리무브 유닛(102)은 양자화를 통해 좌표의 개수를 줄일 수 있고; 양자화 후 원래의 상이한 포인트는 동일한 좌표가 부여될 수 있으며, 이에 기반하여, 중복 제거 작업을 통해 중복되는 포인트를 삭제할 수 있고; 예를 들어, 동일한 양자화 위치와 상이한 속성 정보를 가지는 복수 개의 클라우드는 속성 변환을 통해 하나의 클라우드에 병합될 수 있다. 본 출원의 일부 실시예에 있어서, 중복 포인트 양자화 및 리무브 유닛(102)은 선택 가능한 유닛 모듈이다. 옥트리 분석 유닛(103)은 옥트리(octree) 인코딩 방식을 이용하여 양자화된 포인트의 위치 정보를 인코딩할 수 있다. 예를 들어, 포인트 클라우드를 옥트리의 형태에 따라 구획하고, 이로써, 포인트의 위치는 옥트리의 위치와 일대일 대응될 수 있으며, 옥트리 중 포인트가 존재하는 위치를 통계하고, 그 플래그(flag)를 1로 표기하는 것을 통해, 기하 인코딩을 수행한다. 제1 산술 인코딩 유닛(105)은 엔트로피 인코딩 방식을 채택하여 옥트리 분석 유닛(103)에 의해 출력된 위치 정보에 대해 산술 인코딩을 수행할 수 있고, 즉 옥트리 분석 유닛(103)에 의해 출력된 위치 정보는 산술 인코딩 방식을 이용하여 기하 코드 스트림을 생성하고; 기하 코드 스트림은 기하 비트 스트림(geometry bitstream)으로 지칭될 수도 있다.
속성 인코딩은,
컬러 공간 변환(Transform colors) 유닛(110), 속성 변환(Transfer attributes) 유닛(111), 영역 자체 적응적 층간 분리 변환(Region Adaptive Hierarchical Transform , RAHT) 유닛(112), 예측 변화(predicting transform) 유닛(113) 및 리프팅 변화(lifting transform) 유닛(114), 양자화(Quantize) 유닛(115) 및 제2 산술 인코딩 유닛(116)을 통해 구현될 수 있다.
컬러 공간 변환 유닛(110)은 포인트 클라우드 중 포인트의 RGB 색상 공간을 YCbCr 포맷 또는 다른 포맷으로 변환하기 위한 것일 수 있다. 속성 변환 유닛(111)은 포인트 클라우드 중 포인트의 속성 정보를 변환하여, 속성 왜곡을 최소화하기 위한 것일 수 있다. 예를 들어, 속성 변환 유닛(111)은 포인트의 속성 정보의 참값을 얻기 위한 것일 수 있다. 예를 들어, 상기 속성 정보는 포인트의 컬러 정보일 수 있다. 속성 변환 유닛(111)의 변환을 거쳐 포인트의 속성 정보의 참값을 얻은 후, 어느 한 가지 타입의 예측 유닛을 선택하여, 포인트 클라우드에서의 포인트에 대해 예측을 수행할 수 있다. 포인트 클라우드에서의 포인트에 대해 예측을 수행하기 위한 유닛은, RAHT(112), 예측 변화(predicting transform) 유닛(113) 및 리프팅 변화(lifting transform) 유닛(114) 중 적어도 하나를 포함할 수 있다. 다시 말해, RAHT(112), 예측 변화(predicting transform) 유닛(113) 및 리프팅 변화(lifting transform) 유닛(114) 중 어느 하나는 포인트 클라우드 중 포인트의 속성 정보에 대해 예측을 수행하여, 포인트의 속성 정보의 예측값을 얻음으로써, 포인트의 속성 정보의 예측값에 기반하여 포인트의 속성 정보의 잔차값을 얻기 위한 것일 수 있다. 예를 들어, 포인트의 속성 정보의 잔차값은 포인트의 속성 정보의 참값에서 포인트의 속성 정보의 예측값을 감한 값일 수 있다.
예측 변환 유닛(113)은 또한, 디테일층(level of detail, LOD)을 생성하기 위한 것일 수 있으며, LOD 중 포인트의 속성 정보에 대해 순차적으로 예측을 수행하고, 예측 잔차를 계산하여 얻음으로써, 향후 양자화 인코딩을 수행하는데 용이하다. 구체적으로, LOD에서의 각 포인트의 경우, 그 앞의 LOD에서 3 개의 거리가 가장 가까운 이웃 포인트를 찾고, 다음 3 개의 이웃 포인트의 재구축값을 이용하여 현재 포인트에 대해 예측을 수행하여, 예측값을 얻으며; 이에 기반하여, 현재 포인트의 예측값과 현재 포인트의 참값에 기반하여 현재 포인트의 잔차값을 얻을 수 있다. 예를 들어, 아래의 공식에 기반하여 잔차값을 결정할 수 있다.
;
여기서, attrResidualQuant는 현재 포인트의 잔차값을 나타내고, attrPred는 현재 포인트의 예측값을 나타내며, attrValue는 현재 포인트의 참값을 나타내고, Qstep는 양자화 스텝을 나타낸다. 여기서, Qstep는 양자화 파라미터(Quantization Parameter, Qp)로 계산하여 얻는다.
현재 포인트는 향후 포인트의 가장 가까운 이웃으로 사용되고, 현재 포인트의 재구축값을 이용하여 향후 포인트의 속성 정보에 대해 예측을 수행한다. 현재 포인트의 속성 정보의 재구축값은 아래의 공식을 통해 얻을 수 있다.
;
여기서, reconstructedColor는 현재 포인트의 재구축값을 나타내고, attrResidualQuant는 현재 포인트의 잔차값을 나타내며, Qstep는 양자화 스텝을 나타내고, attrPred는 현재 포인트의 예측값을 나타낸다. 여기서, Qstep는 양자화 파라미터(Quantization Parameter, Qp)로 계산하여 얻는다.
LOD의 생성 과정은, 포인트 클라우드 중 포인트의 위치 정보에 따라, 포인트와 포인트 사이의 유클리드 거리를 획득하는 단계; 및 유클리드 거리에 따라, 포인트를 상이한 LOD 계층으로 나누는 단계를 포함한다. 하나의 실시예에 있어서, 유클리드 거리에 대해 순서를 배정한 후, 상이한 범위의 유클리드 거리를 상이한 LOD 계층으로 구획할 수 있다. 예를 들어, 하나의 포인트를 랜덤으로 선택하여, 제1 LOD 계층으로 사용할 수 있다. 다음 나머지 포인트와 상기 포인트의 유클리드 거리를 계산하고, 유클리드 거리가 제1 임계값 요구에 부합되는 포인트를, 제2 LOD 계층으로 분류한다. 제2 LOD 계층 중 포인트의 질량 중심을 획득하고, 제1 LOD 계층, 제2 LOD 계층 이외의 포인트와 상기 질량 중심의 유클리드 거리를 계산하며, 유클리드 거리가 제2 임계값에 부합되는 포인트를, 제3 LOD 계층으로 분류한다. 이에 따라 유추하여, 모든 포인트를 모두 LOD 계층에 분류한다. 유클리드 거리의 임계값을 조정하는 것을 통해, 각 층의 LOD의 포인트의 개수가 점층적으로 증가하도록 할 수 있다. 이해해야 할 것은, LOD 계층 구획의 방식은 다른 방식을 채택할 수도 있으며, 본 출원은 이에 대해 한정하지 않는다. 설명해야 할 것은, 포인트 클라우드를 직접 하나 또는 복수 개의 LOD 계층으로 구획할 수 있고, 먼저 포인트 클라우드를 복수 개의 포인트 클라우드 슬라이스(slice)로 구획하고, 다음 각 포인트 클라우드 슬라이스를 하나 또는 복수 개의 LOD 계층으로 구획할 수도 있다. 예를 들어, 포인트 클라우드를 복수 개의 포인트 클라우드 슬라이스로 구획할 수 있고, 각 포인트 클라우드 슬라이스의 포인트의 개수는 55만 내지 110만 사이일 수 있다. 각 포인트 클라우드 슬라이스는 독립적인 포인트 클라우드로 간주할 수 있다. 각 포인트 클라우드 슬라이스는 또한 복수 개의 LOD 계층으로 구획될 수 있고, 각 LOD 계층은 복수 개의 포인트를 포함한다. 하나의 실시예에 있어서, 포인트와 포인트 사이의 유클리드 거리에 따라, LOD 계층의 구획을 수행할 수 있다.
도 2는 본 출원의 실시예에서 제공하는 LOD 계층의 예시적 블록도이다.
도 2에 도시된 바와 같이, 포인트 클라우드는 오리지널 순서(original order)에 따라 배열된 복수 개의 포인트를 포함하고, 즉, P0, P1, P2, P3, P4, P5, P6, P7, P8 및 P9를 포함하고, 포인트와 포인트 사이의 유클리드 거리에 기반하여 포인트 클라우드를 3 개의 LOD 계층으로 구획할 수 있으며, 즉, LOD0, LOD1 및 LOD2이다. 여기서, LOD0은 P0, P5, P4 및 P2를 포함할 수 있고, LOD2는 P1, P6 및 P3을 포함할 수 있으며, LOD3은 P9, P8 및 P7을 포함할 수 있다. 이때, LOD0, LOD1 및 LOD2는 상기 포인트 클라우드의 LOD 기반 순서(LOD-based order)를 형성하기 위한 것일 수 있고, 즉, P0, P5, P4, P2, P1, P6, P3, P9, P8 및 P7이다. 상기 LOD 기반 순서는 상기 포인트 클라우드의 인코딩 순서로 사용될 수 있다.
양자화 유닛(115)은 포인트의 속성 정보의 잔차값을 양자화하기 위한 것일 수 있다. 예를 들어, 상기 양자화 유닛(115)과 상기 예측 변환 유닛(113)이 서로 연결되면, 상기 양자화 유닛은 상기 예측 변환 유닛(113)에 의해 출력된 포인트의 속성 정보의 잔차값을 양자화하기 위한 것일 수 있다. 예를 들어, 예측 변환 유닛(113)에 의해 출력된 포인트의 속성 정보의 잔차값은 양자화 스텝을 사용하여 양자화를 수행하여, 시스템 성능의 향상을 구현한다. 제2 산술 인코딩 유닛(116)은 제로 주행 길이 인코딩(Zero run length coding)을 사용하여 포인트의 속성 정보의 잔차값에 대해 엔트로피 인코딩을 수행하여, 속성 코드 스트림을 얻을 수 있다. 상기 속성 코드 스트림은 비트 스트림 정보일 수 있다.
이해해야 할 것은, 본 출원의 실시예에 있어서, 포인트 클라우드 중 포인트의 속성 정보의 예측값(predictedvalue)은 LOD 모드에서의 컬러 예측값(predictedColor)으로 지칭될 수도 있다. 포인트의 속성 정보의 참값에서 포인트의 속성 정보의 예측값을 감하면 포인트의 잔차값(residualvalue)을 얻을 수 있다. 포인트의 속성 정보의 잔차값은 LOD 모드에서의 컬러 잔차값(residualColor)으로 지칭될 수도 있다. 포인트의 속성 정보의 예측값과 포인트의 속성 정보의 잔차값을 가하면 포인트의 속성 정보의 재구축값(reconstructedvalue)을 생성할 수 있다. 포인트의 속성 정보의 재구축값은 LOD 모드에서의 컬러 재구축값(reconstructedColor)으로 지칭될 수도 있다.
도 3은 본 출원의 실시예에서 제공하는 디코딩 프레임워크(200)의 예시적 블록도이다.
도 3에 도시된 바와 같이, 디코딩 프레임워크(200)는 인코딩 기기로부터 포인트 클라우드의 코드 스트림을 획득할 수 있고, 코드를 파싱하는 것을 통해 포인트 클라우드에서의 포인트의 위치 정보와 속성 정보를 얻을 수 있다. 포인트 클라우드의 디코딩은 위치 디코딩과 속성 디코딩을 포함한다.
하나의 실시예에 있어서, 위치 디코딩의 과정은, 기하 코드 스트림에 대해 산술 디코딩을 수행하는 단계; 옥트리를 구축한 후 병합을 수행하고, 포인트의 위치 정보에 대해 재구축을 수행하여, 포인트의 위치 정보의 재구축 정보를 얻는 단계; 및 포인트의 위치 정보의 재구축 정보에 대해 좌표 변환을 수행하여, 포인트의 위치 정보를 얻는 단계를 포함한다. 포인트의 위치 정보는 포인트의 기하 정보로 지칭될 수도 있다.
속성 디코딩 과정은, 속성 코드 스트림을 파싱하는 것을 통해, 포인트 클라우드 중 포인트의 속성 정보의 잔차값을 획득하는 단계; 포인트의 속성 정보의 잔차값에 대해 역양자화를 수행하는 것을 통해, 역양자화된 포인트의 속성 정보의 잔차값을 얻는 단계; 위치 디코딩 과정에서 획득된 포인트의 위치 정보의 재구축 정보에 기반하여, 세 가지 예측 모드의 한 가지를 선택하여 포인트 클라우드 예측을 수행하여, 포인트의 속성 정보의 재구축값을 얻는 단계; 및 포인트의 속성 정보의 재구축값에 대해 컬러 공간 역변환을 수행하여, 디코딩 포인트 클라우드를 얻는 단계를 포함한다.
도 3에 도시된 바와 같이, 위치 디코딩은, 제1 산술 디코딩 유닛(201), 옥트리 분석(synthesize octree) 유닛(202), 기하 재구축(Reconstruct geometry) 유닛(203) 및 좌표 역변화(inverse transform coordinates) 유닛(204)을 통해 구현될 수 있다. 속성 인코딩은, 제2 산술 디코딩 유닛(210), 역양자화(inverse quantize) 유닛(211), RAHT 유닛(212), 예측 변화(predicting transform) 유닛(213), 리프팅 변화(lifting transform) 유닛(214) 및 컬러 공간 역변환(inverse trasform colors) 유닛(215)을 통해 구현될 수 있다.
설명해야 할 것은, 압축 해제는 압축의 역과정이고, 유사하게, 디코딩 프레임워크(200)에서의 각 유닛의 기능은 인코딩 프레임워크(100) 중 상응되는 유닛의 기능을 참조할 수 있다. 예를 들어, 디코딩 프레임워크(200)는 포인트 클라우드 중 포인트와 포인트 사이의 유클리드 거리에 따라 포인트 클라우드를 복수 개의 LOD로 구획할 수 있고; 다음, 순차적으로 LOD 중 포인트의 속성 정보에 대해 디코딩을 수행하며; 예를 들어, 제로 주행 길이 인코딩 기술 중 제로의 개수(zero_cnt)를 계산하여, 제로의 개수에 기반하여 잔차에 대해 디코딩을 수행하고; 다음, 디코딩 프레임워크(200)는 디코딩된 잔차값에 기반하여 역양자화를 수행하고, 모든 포인트 클라우드가 디코딩 완료될 때까지, 역양자화된 잔차값과 현재 포인트의 예측값을 가하여 상기 포인트 클라우드의 재구축값을 얻을 수 있다. 현재 포인트는 향후 LOD 중 포인트의 최근접 이웃으로 사용되고, 현재 포인트의 재구축값을 이용하여 향후 포인트의 속성 정보에 대해 예측을 수행할 수 있다. 이외에, 역변환(transform)과 역양자화 (scale/scaling)에 관련하여, 직교 변환의 경우, 그 중의 하나의 매트릭스가 변환하기 위한 것이면, 다른 하나의 매트릭스는 역변환하기 위한 것이다. 디코딩 방법에 있어서, 디코더 중 사용되는 매트릭스를 "변환"(transform) 매트릭스로 지칭할 수 있다.
상기 인코딩 프레임워크(100)에 있어서, 양자화 유닛(115)은 양자화 스텝 고정 기술 또는 양자화 스텝 가변화 기술을 통해 예측 변환 유닛(113)에 의해 출력된 포인트의 속성 정보의 예측 잔차값에 대해 양자화 스텝을 사용하여 양자화를 수행할 수 있다. 양자화 스텝 고정 기술 중 모든 LOD 중 포인트의 예측 잔차값에 대해 고정 양자화 스텝을 채택하여 양자화 제거를 수행하고, 양자화 스텝 가변화 기술의 경우, LOD의 층간 분리 양자화 기술에 기반하여, 각 층의 LOD에 하나의 양자화 파라미터의 증량을 설정하고 속성 파라미터 세트에서 제공하는 양자화 파라미터와 오버랩하여, 각층 LOD의 유효 양자화 파라미터를 획득하며, 그 구체적인 양자화 파라미터의 증량 설정은 아래의 표 1에 도시된 바와 같다.
층 양자화 파라미터의 증량(Layer_QP_Delta)
LOD R5 R4 R3 R2 R1
0 -7 -7 -7 -7 -7
1 -6 -6 -6 -6 -6
2 -5 -5 -5 -5 -5
3 -4 -4 -4 -4 -4
4 -3 -3 -3 -3 -3
5 -2 -2 -2 -2 -2
6 -1 -1 -1 -1 -1
7 0 0 0 0 0
8 1 1 1 1 1
9 2 2 2 2 2
10 3 3 3 3 3
11 4 4 4 4 4
12 5 5 5 5 5
13 6 6 6 6 6
14 7 7 7 7 7
양자화 파라미터의 증량 설정표
표 1에 도시된 바와 같이, LOD0 내지 LOD14는 상이한 LOD를 나타내고, R1 내지 R5는 상이한 코드 레이트를 나타내며, 즉 상이한 양자화 파라미터(Quantization Parameter, Qp)를 나타내며, Qp의 값이 클수록 코드 레이트가 높으며, R1은 Qp의 값이 10인 것을 나타내고, R2는 Qp의 값이 16인 것을 나타내며, 매번 Qp의 값은 6 증가되며, R5는 Qp의 값이 비교적 높은 것을 나타내고, 즉 양자화 스텝가 비교적 크면, 코드 스트림은 작아지므로, 코드 레이트가 아주 낮다.
이상의 분석을 통해, 양자화 스텝 고정 기술과 양자화 스텝 가변화 기술의 예측 정확도는 모두 향상되어야 함을 알 수 있다. 양자화 스텝 고정 기술은, 향후 LOD에서의 포인트가 앞의 LOD 중 포인트의 재구축값을 이용하여 예측 변환을 수행할 때, 앞의 LOD 중 포인트의 재구축값이 향후 LOD에서의 포인트의 예측 변환에 영향을 미치므로, 앞의 특정 개수의 층의 LOD의 양자화 스텝가 비교적 크면, 그에 대응되는 재구축 오차도 비교적 크며, 포인트의 속성 정보의 예측 변환 기술에 따라, 재구축 오차의 전달을 초래함으로써, 향후 LOD 중 포인트의 예측 효과에 영향을 주고, 예측의 정확도가 저하되는 문제점을 고려하지 못하였다. 이외에, 자화 스텝 가변화 기술은, LOD 계층수 및 각 층의 LOD 포인트 수의 특성을 충분히 고려하지 못하고, 스테핑의 방식을 기계적으로 채택하여 각 층의 LOD의 양자화 파라미터의 증량을 설정하며, 앞의 특정 개수의 층의 LOD 포인트의 재구축값의 질량이 향후 포인트의 예측 효과에 대한 영향을 고려하지 못하여, 앞의 특정 개수의 층의 LOD의 양자화 스텝가 비교적 큰 것을 초래하여, 코드 레이트와 인코딩 품질을 모두 잘 고려하지 못한다.
본 출원의 실시예는 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더 및 디코더를 제공하여, 포인트의 속성 정보의 예측 정확도를 향상시킬 수 있다.
도 4는 본 출원의 실시예에 따른 포인트 클라우드의 인코딩 방법(300)의 예시적 흐름도를 도시하고, 상기 인코딩 방법(300)은 인코더에 의해 실행될 수 있다. 예를 들어, 도 1에 도시된 인코딩 프레임워크(100)는, 포인트 클라우드 인코더 TMC13이다. 설명의 편의를 위해, 아래에 인코더를 실행 주체로 하여 본 출원의 기술 방안을 설명한다.
도 4에 도시된 바와 같이, 상기 인코딩 방법(300)은,
포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻는 단계 S301;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계 S302 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는 단계 S303를 포함할 수 있다.
요약하면, 인코더는 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻음으로써, 상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는다.
본 출원에서 제공하는 방안에 있어서, 상기 포인트 클라우드에서의 포인트의 속성 정보에 대해 예측을 수행하는 과정에서, 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행하기 위한 양자화 가중을 도입하고, 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 결합하여 상기 타깃 포인트의 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻음으로써, 상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는다. 타깃 포인트의 양자화 가중을 도입하는 것을 통해, 상기 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 양자화 스텝에 대해 보정을 수행하는 것에 해당되며, 즉, 상기 타깃 포인트의 중요 정도에 따라 상기 타깃 포인트의 양자화 스텝을 자체 적응적으로 조절할 수 있음으로써, 조절된 양자화 스텝에 기반하여 상기 타깃 포인트의 예측 잔차값에 대해 양자화를 수행하고, 상기 포인트 클라우드에서의 포인트의 속성 정보에 대해 예측을 수행하는 과정에서, 인코딩 순서 중 위치가 앞쪽에 가까운 포인트의 경우, 예측에서 비교적 중요할 때, 그 양자화 스텝가 과도하게 큰 것을 피할 수 있음으로써, 비교적 큰 재구축 오차가 발생되는 것을 피할 수 있으므로, 양자화 가중이 높은 포인트가 비교적 작은 양자화 스텝을 채택하여 양자화하여 그 재구축 오차를 줄이는 것에 해당되며, 인코딩 순서 중 위치가 뒤쪽에 가까운 포인트의 경우, 그 예측 정확도를 향상시키고, 디코딩 효과를 향상시킬 수 있다.
본 출원에서 제공하는 기술방안에 기반하여, G-PCC 참조 소프트웨어 TMC13 V11.0에서 테스트를 수행하고, CTC CY 테스트 조건으로 움직임 이미지 전문가 그룹(Moving Picture Experts Group)에서 요구하는 일부 테스트 시퀀스에 대해 테스트를 수행하며, 테스트 결과는 아래의 표 2에 도시된 바와 같고, 아래에 표 2를 결합하여 성능 향상 효과를 설명한다.
테스트 시퀀스 휘도 색도(블루 색차) 색도(레드 색차)
A 타입 포인트 클라우드 시퀀스 -10.5％ -20.5% -21.6%
B 타입 포인트 클라우드 시퀀스 -4.3% -10.9% -11.5%
A 타입, B 타입 포인트 클라우드 시퀀스의 평균값 -7.2% -15.5% -16.3%
표 2에 도시된 바와 같이, 본 출원의 실시예의 방안을 채택하고, "-"은 비요가드 증량 비트 레이트(Bjøntegaard delta bit rate, BD-BitRate, BD-BR 또는 BDBR)의 하강을 나타내고, BDBR는 동일한 피크 신호 대 잡음비(Peak Signal to Noise Ratio, PSNR)에서의 코드 레이트 차이를 나타내고, BDBR가 작을수록 인코딩 알고리즘의 성능이 더 좋다. 표 2에 도시된 바와 같이, A 타입 포인트 클라우드 시퀀스는 포인트의 컬러 정보와 다른 속성 정보를 포함하는 포인트의 포인트 클라우드를 나타내고, B 타입 포인트 클라우드 시퀀스는 다만 포인트의 컬러 정보만 포함하는 포인트의 포인트 클라우드를 포함하며, A 타입, B 타입 포인트 클라우드 시퀀스의 BDBR 평균값을 통해, 양자화 가중 도입을 통해 인코딩 알고리즘의 성능을 향상시키는 것을 객관적이고 진실되게 반영한다.
설명해야 할 것은, 일반적으로, 코드 레이트 하강, PSNR 증가는, 새로운 방법이 비교적 좋은 성능을 가지는 것을 설명할 수 있다. 그러나, 코드 레이트가 원래의 방법에 비해 조금 낮아졌지만, PSNR, 즉, 비디오의 품질이 낮아지는 경우가 발생할 수 있으며, 이런 경우, BDBR를 채택하여 인코딩 알고리즘의 성능을 가늠할 수 있다. 물론, 비디오 처리 과정에 있어서, 다른 파라미터를 이용하여 인코딩 알고리즘의 성능을 가늠할 수 있으며, 새로운 방법을 이용하여 얻은 비디오는 원래의 방법으로 얻은 비디오에 비해 코드 레이트와 PSNR에서의 변화 상황을 나타내며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다. 예를 들어, 비요가드 증량 피크 신호 대 잡음비(Bjøntegaard delta peak signal-to-noise rate, BD-PSNR 또는 BDPSNR)를 채택하여 인코딩 알고리즘의 성능을 가늠할 수도 있으며, BDPSNR는 동일한 코드 레이트에서의 PSNR의 차이를 나타내며, BDPSNR가 클수록 인코딩 알고리즘의 성능이 더 좋다.
설명해야 할 것은, 본 출원의 실시예에 있어서, 설명의 편의함을 위해, 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 예측 잔차값에 대해 양자화를 수행하기 전의 예측값을 예측 잔차값으로 지칭하고, 상기 타깃 포인트의 양자화 가중에 기반하여 상기 예측 잔차값에 대해 처리를 수행한 후 또한, 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 예측 잔차값에 대해 처리를 수행하기 전의 예측값을 가중 잔차값으로 지칭하며, 상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 예측 잔차값에 대해 양자화를 수행한 후의 예측값을 양자화 잔차값으로 지칭한다. 물론, 상기 명명 방식은 다만 본 출원의 예일 뿐이고, 본 출원에 대한 한정으로 이해하면 안된다. 본 출원의 대체 가능한 실시예에 있어서, 상기 양자화 잔차값은 가중 양자화 잔차값으로 지칭될 수도 있고, 심지어 직접 잔차값으로 약칭될 수 있다.
본 출원의 일부 실시예에 있어서, 상기 방법(300)은 또한,
상기 타깃 포인트의 인덱스를 결정하는 단계; 및 상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을, 상기 타깃 포인트의 양자화 가중으로 결정하는 단계를 포함할 수 있다.
요약하면, 인코더는 포인트의 인덱스에 기반하여 포인트의 양자화 가중을 획득할 수 있다.
선택 가능하게, 상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일하다. 예를 들어, QuantWeight[index]는 포인트 인덱스가 index의 양자화 가중인 것을 나타내고, 이때, QuantWeight[ ]는 상기 포인트 클라우드에서의 모든 포인트의 양자화 가중의 숫자 조합을 저장한 것으로 이해할 수 있고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 일치하고, 포인트의 인덱스를 통해 포인트의 양자화 가중을 조회할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 방법(300)은 또한,
상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하는 단계를 포함할 수 있고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며; 상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은, 상기 복수 개의 LOD 계층 중 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 크다. M은 0보다 큰 양의 정수이다. 예를 들어, 이전 7층의 LOD 중 각 포인트의 양자화 가중의 초기값을 512로 설정하면, 나머지 LOD 중 각 포인트의 양자화 가중의 초기값을 256으로 설정한다.
하나의 구현 방식에 있어서, 상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하며, N은 0보다 큰 양의 정수이다. 예를 들어, 타깃 포인트의 경우, 상기 타깃 포인트의 양자화 가중에 기반하여, 상기 타깃 포인트의 N 개의 최근접 포인트에서의 각 최근접 포인트의 양자화 가중을 업데이트하고; N은 0보다 큰 양의 정수이다. 하나의 구현 방식에 있어서, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하고, 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정되며; 상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트한다. 하나의 구현 방식에 있어서, 상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득한다.
선택 가능하게, 상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값이다.
설명해야 할 것은, 본 출원의 실시예는 초기값에 대한 구체적인 값을 한정하지 않는다. 예를 들어, 상기 초기값은 256, 512 또는 다른 구체적인 값일 수 있다. 256로 초기화하는 것은 상기 포인트 클라우드 중 모든 포인트의 양자화 가중의 값이 모두 256으로 설정된 것을 가리킨다.
인코더가 역순으로 상기 포인트 클라우드에서의 각 포인트를 순회 완료한 후, 각 포인트의 양자화 가중은 상기 포인트 클라우드의 포인트의 속성 정보에 대해 예측을 수행하는 과정에서의 중요성에 따라 업데이트되고, 중요한 포인트일수록 그 양자화 가중 값은 더 크다.
하나의 구현 방식에 있어서, 아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하며;
;
여기서, 는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기 는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, 는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는 에 대해 우측 시프트 연산을 수행하는 비트수를 나타낸다. 선택 가능하게, T[i]의 값은 i의 증가에 따라 감소된다.
예를 들어, 상기 포인트 클라우드에서의 모든 포인트의 양자화 가중의 초기값이 256으로 설정된 다음, 인코딩 순서에 따라 각 포인트를 역순으로 순회하여 세 개의 최근접 포인트의 양자화 가중을 업데이트하며, 현재 순회된 포인트의 인덱스가 index이고, 현재 포인트의 세 개의 최근접 포인트의 인덱스는 각각 indexN1, indexN2, indexN3인 것으로 가정하면, 현재 포인트의 세 개의 최근접 포인트의 양자화 가중은,
으로 표기될 수 있다.
현재 포인트의 양자화 가중을 이용하여 아래의 방식에 따라 그의 세 개의 최근접 포인트의 양자화 가중에 대해 업데이트를 수행하면,
이다.
여기서, k의 값은 8이다. 32, 16, 8은 각각 현재 포인트가 첫 번째, 두 번째, 세 번째의 최근접 포인트에 대한 영향 가중이고, 상기 영향 가중은 신텍스로서 포인트 클라우드의 속성 파라미터 세트에 정의될 수 있고, 즉, 속성 파라미터 세트를 통해 영향 가중의 값을 설정할 수 있다. 인코더가 속성 정보의 인코딩 과정에서 상기 속성 파라미터 세트를 활성화하거나 방문할 수 있으므로, 상기 속성 파라미터 세트로부터 포인트의 영향 가중의 값을 호출한다. >>는 우측 시프트 연산을 나타낸다. 물론, 본 출원의 실시예는 k 및 영향 가중의 구체적인 값을 한정하지 않고, 상기 숫자는 다만 예시적인 설명이며, 본 출원에 대한 한정으로 이해하면 안된다. 예를 들어, 본 출원의 대체 가능한 실시예에 있어서, 또한 첫 번째, 두 번째, 세 번째의 최근접 포인트의 영향 가중을 각각 64, 32, 16으로 수정할 수 있다. 현재 포인트의 양자화 가중이 256이고, 최근접 포인트 0(즉 첫 번째 최근접 포인트)의 양자화 가중도 256이면, (32Х256)>>8의 결과는 32이고, 즉, 연산 결과가 우측으로 8 비트 이동되었으며, 이때, 최근접 포인트 0의 양자화 가중은 256+32=288로 업데이트되며, 이 결과는 포인트 클라우드의 모든 포인트의 양자화 가중을 포함하는 숫자 조합QuantWeight[]에 동시에 저장될 수 있으며, 최근접 포인트 0을 순회할 때, 양자화 가중 288을 사용하여 최근접 포인트 0의 세 개의 이웃에 대해 업데이트를 수행한다.
아래에 표 3을 결합하여 속성 파라미터 세트의 신텍스를 소개한다.
표 3 속성 파라미터 세트
표 3에 도시된 바와 같이, 는 속성 파라미터 세트를 나타내고, 는 색도 편차를 나타내며, 는 현재 포인트가 제i 최근접 포인트에 대한 영향 가중을 나타내고, 여기서, i는 0, 1, 2인 것은 현재 포인트의 첫 번째, 두 번째, 세 번째의 최근접 포인트를 나타낸다. 구체적으로, 첫 번째의 최근접 포인트는 현재 포인트와 가장 가까운 이웃 포인트를 나타내고, 두 번째의 최근접 포인트는 현재 포인트와 두 번째로 가까운 이웃 포인트를 나타내며, 이와 같은 방식으로 유추한다.
본 출원의 일부 실시예에 있어서, 상기 단계 S302는,
타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계; 및 상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함할 수 있다.
선택 가능하게, 상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같다.
선택 가능하게, 아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정하고;
;
여기서, 는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, 는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 실시예에 있어서, 상기 타깃 포인트의 양자화 스텝가 비교적 작게 설정될 때, 상기 타깃 포인트의 양자화 가중은 양자화 스텝을 초과할 수 있으며, 이때, 양자화 가중과 양자화 스텝에 대해 양자에서의 더 작은 값을 선택하여 유효 양자화 가중을 얻어야 함으로써, 인코더가 예측 잔차값에 대해 양자화 작업을 수행하도록 보장하고, 즉 인코더의 인코딩 성능을 보장한다.
선택 가능하게, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱이다.
선택 가능하게, 상기 타깃 포인트의 양자화 가중의 값이 2의 양의 정수 거듭 제곱과 같지 않으며, 상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정한다.
예를 들어, 상기 타깃 포인트의 양자화 가중의 값이 18이면, 하드 웨어를 편리하게 구현하기 위해, 18을 18과 가장 접근하는 2의 양의 정수 거듭 제곱으로 전환할 수 있고, 즉 16 또는 32로 전환할 수 있으며, 예를 들어 18을 16으로 전환하고, 즉, 18을 16으로 대체한다. 상기 타깃 포인트의 양자화 가중의 값이 30이면, 이에 가장 접근하는 2의 양의 정수 거듭 제곱은 32로 변경되고, 이때, 상기 타깃 포인트의 양자화 가중은 32로 전환되며; 2의 양의 정수 거듭 제곱의 경우, 이진법 시프트 작업을 통해 자체 적응 양자화의 기능을 구현할 수 있어, 하드 웨어를 용이하게 구현할 수 있다.
본 출원의 실시예에 있어서, 상기 유효 양자화 가중의 값을 2의 양의 정수 거듭 제곱으로 구성하는 것을 통해, 가중의 곱셈 연산을 시프트 연산으로 처리하여, 인코더의 처리 효율을 향상시킬 수 있음으로써, 인코더의 성능을 향상시킨다.
설명해야 할 것은, 본 출원의 다른 대체 가능한 실시예에 있어서, 먼저 타깃 포인트의 양자화 가중과 타깃 포인트의 양자화 스텝 중 최소치를 선택하고, 다음 상기 최소치에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정할 수 있다. 물론, 다른 방식을 통해 유효 양자화 가중을 결정할 수도 있으며, 본 출원의 실시예는 이에 대해 구체적으로 한정하지 않는다. 예를 들어, 직접 상기 타깃 포인트의 양자화 가중을 상기 타깃 포인트의 유효 양자화 가중으로 결정할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 단계 S302는,
상기 유효 양자화 가중을 이용하여 상기 예측 잔차값을 곱하여, 가중 잔차값을 얻는 단계; 및 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 가중 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함할 수 있다.
구체적으로, 인코더는 예측 변환을 통해 현재 포인트의 속성 정보의 예측값을 얻을 수 있고, 현재 포인트의 속성 정보의 참값을 이미 알고 있으면, 참값에서 예측값을 감하는 것을 통해 현재 포인트의 속성 정보의 예측 잔차값을 얻을 수 있으며, 예측 잔차값에 유효 양자화 가중을 곱하여 가중 예측 잔차값을 얻고, 양자화 스텝을 이용하여 가중 예측 잔차값에 대해 양자화를 수행하여, 양자화 가중 예측 잔차값을 얻을 수 있고, 즉, 양자화 잔차값을 얻은 다음, 현재 포인트의 양자화 잔차값에 대해 엔트로피 인코딩을 수행하여 코드 스트림에 기입한다.
대응되게, 디코더는 먼저 재구축된 위치 정보에 따라 포인트 클라우드 중 각 포인트의 양자화 가중을 계산하고, 양자화 스텝와 비교하는 것을 통해 각 포인트의 유효 양자화 가중을 결정하며, 다음, 코드 스트림을 파싱하여 현재 포인트의 양자화 잔차값을 얻고, 역양자화하여 가중 예측 잔차값을 얻으며, 가중 예측 잔차값을 유효 양자화 가중으로 나누어 예측 잔차값을 얻고, 디코더는 예측 변환을 통해 현재 포인트의 속성 정보의 예측값을 결정하며, 다음, 현재 포인트의 속성 정보의 예측값과 예측 잔차값에 기반하여 현재 포인트의 속성 정보의 재구축값을 얻고, 디코더는 현재 포인트의 속성 정보의 재구축값을 획득한 후, 다음 포인트를 순서에 따라 순회하여 디코딩과 재구축을 수행한다.
요약하면, 본 출원의 실시예에 있어서, 인코더는 양자화하기 전, 예측 잔차값에 대해 유효 양자화 가중을 곱하고 가중화를 수행하고; 디코더는 역양자화한 후, 역양자화된 가중 예측 잔차값을 유효 양자화 가중으로 나누어 가중 영향을 제거하여, 예측 잔차값을 얻는다. 설명해야 할 것은, 양자화는 손상이 없는 것이 아니므로, 디코더가 얻은 가중 예측 잔차값이 인코더가 얻은 가중 예측 잔차값과 무조건 같은 건 아니다.
본 출원의 일부 실시예에 있어서, 상기 단계 S302는,
아래의 공식을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함할 수 있고,
;
여기서, 는 상기 양자화 잔차값을 나타내고, 은 상기 예측 잔차값을 나타내며, 는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 단계 S302는 아래와 같은 단계를 포함할 수 있다.
아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트한다.
;
는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타내고,
Figure pct00024
는 올림 연산을 나타내며;
상기 타깃 포인트의 업데이트 이후의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는다.
본 출원의 일부 실시예에 있어서, 상기 단계 S301은,
상기 타깃 포인트의 위치 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻는 단계; 상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻는 단계; 포인트 클라우드에서의 상기 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 참값을 얻는 단계; 및 상기 타깃 포인트의 속성 정보의 예측값과 상기 타깃 포인트의 속성 정보의 참값에 따라, 상기 예측 잔차값을 얻는 단계를 포함할 수 있다.
인코더는 포인트 클라우드에서의 하나의 타깃 포인트의 위치 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻고; 상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻으며; 포인트 클라우드에서의 상기 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 참값을 얻고; 상기 타깃 포인트의 속성 정보의 예측값과 상기 타깃 포인트의 속성 정보의 참값에 따라, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻으며; 상기 예측 잔차값에 기반하여 상기 코드 스트림을 얻는다.
도 5는 본 출원의 실시예의 포인트 클라우드의 디코딩 방법(400)에 따른 예시적 흐름도를 도시하고, 상기 방법(400)은 디코딩 엔드에 의해 실행될 수 있다. 예를 들어, 도 3에 도시된 디코딩 프레임워크(200)는, 포인트 클라우드 디코더TMC13이다. 설명의 편의를 위해, 아래에 디코더를 실행 주체로 하여 본 출원의 기술 방안을 설명한다.
도 5에 도시된 바와 같이, 상기 방법(400)은,
포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계 S401;
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻는 단계 S402 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ;
상기 재구축 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻는 단계 S403; 및
상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻는 단계 S404를 포함할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 방법(400)은 또한,
상기 타깃 포인트의 인덱스를 결정하는 단계; 및
상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을 상기 타깃 포인트의 양자화 가중으로 결정하는 단계를 포함할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 단계 S402는,
타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계; 및
상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계를 포함할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같다.
본 출원의 일부 실시예에 있어서, 아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정한다.
;
여기서, 는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, 는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같다.
본 출원의 일부 실시예에 있어서, 상기 타깃 포인트의 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같지 않고, 이때, 상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근한 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 단계 S402는,
상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 가중 잔차값을 얻는 단계; 및
상기 가중 잔차값에서 상기 유효 양자화 가중을 나누어, 상기 재구축 잔차값을 얻는 단계를 포함할 수 있다.
본 출원의 일부 실시예에 있어서, 상기 단계 S402는,
아래의 공식을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계를 포함하고,
;
여기서, 는 상기 양자화 잔차값을 나타내고, 은 상기 재구축 잔차값을 나타내며, 는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 단계 S402는 아래와 같은 단계를 포함할 수 있다.
아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트한다.
;
여기서, 는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타내며;
상기 타깃 포인트의 업데이트된 후의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는다.
본 출원의 일부 실시예에 있어서, 상기 방법(400)은 또한,
상기 타깃 포인트의 양자화 가중에 기반하여, 상기 타깃 포인트의 N 개의 최근접 포인트에서의 각 최근접 포인트의 양자화 가중을 업데이트하는 단계를 포함할 수 있고; N은 0보다 큰 양의 정수이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하며, N은 0보다 큰 양의 정수이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값이다.
본 출원의 일부 실시예에 있어서, 상기 방법(400)은 또한,
상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하는 단계를 포함할 수 있고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며;
상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은 상기 복수 개의 LOD 계층에서 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 크다.
본 출원의 일부 실시예에 있어서, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하고, 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정되며; 상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트한다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득한다.
본 출원의 일부 실시예에 있어서, 아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트한다.
;
여기서, 는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기 는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, 는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는에 대해 우측 시프트 연산을 수행하는 비트수를 나타낸다.
본 출원의 일부 실시예에 있어서, T[i]의 값은 i의 증가에 따라 감소된다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일하다.
본 출원의 일부 실시예에 있어서, 상기 방법(400)은 또한,
상기 코드 스트림에 대해 파싱을 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻는 단계; 및 상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻는 단계를 포함할 수 있다.
이상 첨부 도면을 결합하여 본 출원의 바람직한 실시형태에 대해 상세하게 설명하였지만, 본 출원은 상기 실시형태에서의 구체적 설명에 한정되지 않고, 본 출원의 기술 사상 범위 내에서, 본 출원의 기술 방안에 대해 여러가지 간단한 변형을 수행할 수 있고, 이러한 간단한 변형은 모두 본 출원의 보호범위에 속한다. 예를 들어, 상기 구체적 실시형태에서 설명된 각 구체적 기술적 특징이, 모순되지 않는 경우, 임의의 적합한 방식으로 조합을 수행할 수 있고, 불필요한 중복을 면하기 위해, 본 출원은 각 가능한 조합 방식에 대해 별도로 설명을 하지 않는다. 또 예를 들어, 본 출원의 각 상이한 실시형태 사이에도 임의의 조합을 수행할 수 있고, 본 출원의 사상에 위배되지 않는 한, 본 출원에 개시된 내용으로 간주한다. 또 이해해야 할 것은, 본 출원의 다양한 방법 실시예에 있어서, 상기 각 과정의 시퀀스의 크기는 실행 순서를 의미하는 것이 아니며, 각 과정의 실행 순서는 그 기능 및 내부 논리에 의해 결정되어야 하며, 본 출원의 실시예의 실시 과정에 대해 어떠한 한정도 하지 않아야 한다.
아래에 도면을 결합하여 본 출원의 실시예에서 제공하는 포인트 클라우드의 인코더 또는 디코더에 대해 설명한다.
도 6은 본 출원의 실시예에서 제공하는 포인트 클라우드의 인코더(500)의 예시적 블록도이다.
도 6에 도시된 바와 같이, 상기 인코더(500)는,
포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻기 위한 제1 처리 유닛(501);
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 제2 처리 유닛(502) - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻기 위한 인코딩 유닛(503)을 포함할 수 있다.
설명해야 할 것은, 상기 인코더(500)는 도 1에 도시된 인코딩 프레임워크(100)에 결합될 수도 있고, 상기 인코더(500)에서의 유닛을 인코딩 프레임워크(100)에서의 관련 유닛으로 대체 또는 결합할 수 있다. 예를 들어, 상기 제1 처리 유닛(501)은 인코딩 프레임워크(100)에서의 예측 변환 유닛(113)의 관련 기능을 구현하기 위한 것일 수 있고, 심지어 위치 인코딩 기능 및 속성 정보에 대해 예측을 수행하기 전의 기능을 구현하기 위한 것일 수도 있다. 또 예를 들어, 상기 제2 처리 유닛(502)은 상기 인코딩 프레임워크(100)에서의 양자화 유닛(115)을 대체하기 위한 것일 수 있다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 또한,
상기 타깃 포인트의 인덱스를 결정하고;
상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을, 상기 타깃 포인트의 양자화 가중으로 결정하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하고;
상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정하기 위한 것이고,
;
여기서, 는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, 는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같지 않고, 상기 제2 처리 유닛(502)은 구체적으로,
상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
상기 유효 양자화 가중과 상기 예측 잔차값을 곱하여, 가중 잔차값을 얻고;
상기 타깃 포인트의 양자화 스텝을 이용하여 상기 가중 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
아래의 공식을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻기 위한 것이고,
;
여기서, attrResidualQuant2는 상기 양자화 잔차값을 나타내고, attrResidualQuant1은 상기 예측 잔차값을 나타내며, effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트하고 - effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타내고,
Figure pct00045
는 올림 연산을 나타냄 - ;
;
상기 타깃 포인트의 업데이트된 후의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 또한,
상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이고, N은 0보다 큰 양의 정수이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(501)은 또한,
상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하기 위한 것이고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며;
상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은 상기 복수 개의 LOD 계층에서 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 크다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하고 - 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정됨 - ;
상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 제2 처리 유닛(502)은 구체적으로,
상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(502)은 구체적으로,
아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이고,
;
여기서, 는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, 는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는에 대해 우측 시프트 연산을 수행하는 비트수를 나타낸다.
본 출원의 일부 실시예에 있어서, T[i]의 값은 i의 증가에 따라 감소된다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일하다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(501)은 구체적으로,
상기 타깃 포인트의 위치 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻고;
상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻으며;
포인트 클라우드에서의 상기 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 참값을 얻고;
상기 타깃 포인트의 속성 정보의 예측값과 상기 타깃 포인트의 속성 정보의 참값에 따라, 상기 예측 잔차값을 얻기 위한 것이다.
도 7은 본 출원의 실시예에서 제공하는 포인트 클라우드의 디코더(600)의 예시적 블록도이다.
도 7에 도시된 바와 같이, 상기 디코더(600)는,
포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 파싱 유닛(601);
상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻기 위한 제1 처리 유닛(602) - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ;
상기 재구축 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻기 위한 제2 처리 유닛(603); 및
상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻기 위한 제3 처리 유닛(604)을 포함할 수 있다.
설명해야 할 것은, 상기 디코더(600)는 도 3에 도시된 디코딩 프레임워크(200)에 결합될 수 있고, 상기 디코더(600)에서의 유닛을 디코딩 프레임워크(200)에서의 관련 유닛으로 대체 또는 결합할 수 있다. 예를 들어, 상기 파싱 유닛(601)은 디코딩 프레임워크(200)에서의 예측 변환 유닛(213)의 관련 기능을 구현하기 위한 것일 수 있고, 심지어 위치 디코딩 기능 및 제2 산술 디코딩 유닛(210)의 기능을 구현하기 위한 것일 수도 있다. 또 예를 들어, 상기 제1 처리 유닛(602)과 상기 제2 처리 유닛(603)은 상기 디코딩 프레임워크(200)에서의 역양자화 유닛(211)을 대체하기 위한 것일 수 있다. 또 예를 들어, 상기 제3 처리 유닛(604)은 상기 디코딩 프레임워크(200)에서의 컬러 공간 역변환 유닛(215)의 기능을 구현하기 위한 것일 수 있다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 또한,
상기 타깃 포인트의 인덱스를 결정하고;
상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을 상기 타깃 포인트의 양자화 가중으로 결정하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하고;
상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같다.
본 출원의 일부 실시예에 있어서, 상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같지 않고, 상기 제1 처리 유닛(602)은,
상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정하기 위한 것이고,
;
여기서, effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, QuantWeight[index]는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 QuantWeight[index]에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 가중 잔차값을 얻고;
상기 가중 잔차값에서 상기 유효 양자화 가중을 나누어, 상기 재구축 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
아래의 공식을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻기 위한 것이고,
;
여기서, attrResidualQuant2는 상기 양자화 잔차값을 나타내고, attrResidualQuant1은 상기 재구축 잔차값을 나타내며, effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타낸다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트하고 - effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타냄 - ;
;
상기 타깃 포인트의 업데이트된 후의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 또한,
상기 타깃 포인트의 양자화 가중에 기반하여, 상기 타깃 포인트의 N 개의 최근접 포인트에서의 각 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이고; N은 0보다 큰 양의 정수이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이고, N은 0보다 큰 양의 정수이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값이다.
본 출원의 일부 실시예에 있어서, 상기 제2 처리 유닛(603)은 구체적으로,
상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하기 위한 것이고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며;
상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은 상기 복수 개의 LOD 계층에서 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 크다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하고 - 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정됨 - ;
상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 제1 처리 유닛(602)은 구체적으로,
상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하기 위한 것이다.
본 출원의 일부 실시예에 있어서, 상기 제1 처리 유닛(602)은 구체적으로,
아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하기 위한 것이고,
;
여기서, newneighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기 neighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, QuantWeight[index-c]는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는 에 대해 우측 시프트 연산을 수행하는 비트수를 나타낸다.
본 출원의 일부 실시예에 있어서, T[i]의 값은 i의 증가에 따라 감소된다.
본 출원의 일부 실시예에 있어서, 상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일하다.
본 출원의 일부 실시예에 있어서, 상기 파싱 유닛(601)은 구체적으로,
상기 코드 스트림에 대해 파싱을 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻고;
상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻기 위한 것이다.
이해해야 할 것은, 장치 실시예와 방법 실시예는 서로 대응되고, 유사한 설명은 방법 실시예를 참조할 수 있다. 중복을 피하기 위해, 여기서 더이상 설명하지 않는다. 구체적으로, 인코더(500)는 본 출원의 실시예의 방법(300)을 실행하는 상응 주체에 대응될 수 있고, 인코더(500)에서의 각 유닛은 각각 방법(300)에서의 상응 프로세스를 구현하기 위한 것이며, 유사하게, 디코더(600)는 본 출원의 실시예의 방법(400)을 실행하는 상응 주체에 대응될 수 있고, 디코더(600)에서의 각 유닛은 각각 방법(400)에서의 상응 프로세스를 구현하기 위한 것이며, 간결함을 위해, 여디서 더이상 설명하지 않는다.
또한 이해해야 할 것은, 본 출원의 실시예가 관련된 인코더 또는 디코더에서의 각 유닛은 각각 또는 전부 병합되어 하나 또는 복수 개의 다른 유닛으로 구성될 수 있고, 또는 그 중의 특정 유닛은 다시 분할되어 기능이 더 작은 복수 개의 유닛으로 구성될 수도 있으며, 이는 동일한 작업을 구현할 수 있고, 본 출원의 실시예의 기술적 효과의 구현에 영향주지 않는다. 다시 말하면, 상기 유닛은 논리 기능에 기반하여 구획된 것이고, 실제 응용에 있어서, 하나의 유닛의 기능은 복수 개의 유닛으로 구현될 수 있고, 또는 복수 개의 유닛의 기능은 하나의 유닛으로 구현될 수 있다. 물론, 본 출원의 다른 실시예에 있어서, 상기 인코더 또는 디코더도 다른 유닛을 포함할 수 있고, 실제 응용에 있어서, 이런 기능은 또한 다른 유닛의 도움으로 구현될 수 있으며, 복수 개의 유닛의 도움으로 구현될 수 있다.
본 출원의 다른 실시예에 따라, 중앙 처리 유닛(CPU), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 등과 같은 처리 소자와 저장 소자를 포함하는 범용 컴퓨터의 범용 컴퓨팅 기기에서 상응하는 방법에 관련된 각 단계를 실행할 수 있는 컴퓨터 프로그램(프로그램 코드 포함)을 작동하여, 본 출원의 실시예에 관련된 인코더 또는 디코더를 구성하고, 및 본 출원의 실시예에서 제공하는 인코딩 방법 또는 디코딩 방법을 구현할 수 있다. 컴퓨터 프로그램은 예를 들어, 컴퓨터 판독 가능한 저장 매체에 기록될 수 있고, 컴퓨터 판독 가능한 저장 매체를 통해 임의의 처리 능력을 구비하는 전자기기에 로딩되고, 그 중에서 작동되어 본 출원의 실시예의 상응하는 방법을 구현할 수 있다, 다시 말하면, 상기 관련된 유닛은 하드웨어 형태를 통해 구현될 수 있고, 소프트웨어 형태의 명령어를 통해 구현될 수도 있으며, 또한 소프트웨어와 하드웨어를 결합한 형태으로 구현될 수 있다. 구체적으로, 본 출원의 실시예에서의 방법 실시예의 각 단계는 프로세서에서의 하드웨어의 집성 논리 회로 및 소프트웨어 형태의 명령어 중 적어도 하나를 통해 완료될 수 있고, 본 출원의 실시예에서 개시된 방법의 단계를 결합하여 하드웨어 디코딩 프로세서의 실행 완료 또는 디코딩 프로세서에서의 하드웨어 및 소프트웨어 조합으로 실행 완료를 직접 반영할 수 있다. 선택 가능하게, 소프트웨어는 랜덤 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리, 전기적 소거 가능 프로그래머블 메모리, 레지스터 등 본 기술 분야에서 널리 알려진 저장 매체에 위치할 수 있다. 상기 저장 매체는 메모리에 위치하고, 프로세서는 메모리의 정보를 판독한 후 하드웨어와 결합하여 상기 방법의 실시예의 단계들을 완료한다.
도 8은 본 출원의 실시예에서 제공하는 전자 기기(700)의 예시적 구조도이다.
도 8에 도시된 바와 같이, 상기 전자 기기(700)는 적어도 프로세서(710) 및 컴퓨터 판독 가능한 저장 매체(720)를 포함한다. 여기서, 프로세서(710) 및 컴퓨터 판독 가능한 저장 매체(720)는 버스 또는 다른 방식을 통해 연결될 수 있다. 컴퓨터 판독 가능한 저장 매체(720)는 컴퓨터 프로그램(721)을 저장하기 위한 것이고, 컴퓨터 프로그램(721)은 컴퓨터 명령어를 포함하고, 프로세서(710)는 컴퓨터 판독 가능한 저장 매체(720)에 저장된 컴퓨터 명령어를 실행하기 위한 것이다. 프로세서(710)은 전자 기기(700)의 컴퓨팅 코어 및 제어 코어이고, 하나 또는 복수 개의 컴퓨터 명령어를 구현하는 데 적용되고, 구체적으로 하나 또는 복수 개의 컴퓨터 명령어를 로딩하고 실행하는 데 적용됨으로써, 상응하는 방법 프로세스 또는 상응하는 기능을 구현한다,
예로서, 프로세서(710)은 중앙 처리 장치(Central Processing Unit, CPU)로 지칭될 수도 있다. 프로세서(710)는 또한 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 장치, 분리형 게이트 또는 트랜지스터 논리 장치, 분리형 하드웨어 컴포넌트 등을 포함할 수 있지만, 이에 한정하지 않는다.
예로서, 컴퓨터 판독 가능한 저장 매체(720)는 고속 RAM 메모리일 수 있고, 비휘발성 메모리(Non-VolatileMemory)일 수도 있으며, 예를 들어 적어도 하나의 디스크 메모리일 수 있고; 선택 가능하게, 또한, 적어도 하나의 상기 설명된 프로세서(710)에서 멀리 떨어진 위치에 위치하는 컴퓨터 판독 가능한 저장 매체일 수 있다. 구체적으로, 컴퓨터 판독 가능한 저장 매체(720)는 휘발성 메모리 및 비휘발성 메모리 중 적어도 하나를 포함하지만 이에 한정하지 않는다. 여기서, 비 휘발성 메모리는 판독 전용 메모리(Read-Only Memory, ROM), 프로그래머블 판독 전용 메모리(Programmable ROM, PROM), 소거 가능 프로그래머블 판독 전용 메모리(Erasable PROM, EPROM), 전기적 소거 가능 판독 전용 프로그래머블 메모리(Electrically EPROM, EEPROM) 또는 플래시 메모리일 수 있다. 휘발성 메모리는 외부 쾌속 캐시 역할을 하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적인 설명을 통해, 많은 형태의 RAM이 사용 가능하며, 예를 들어, 정적 랜덤 액세스 메모리(Static RAM, SRAM), 동적 랜덤 액세스 메모리(Dynamic RAM, DRAM), 동기식 동적 랜덤 액세스 메모리(Synchronous DRAM, SDRAM), 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기식 동적 랜덤 액세스 메모리(Enhanced SDRAM, ESDRAM), 동기식 연결 동적 랜덤 액세스 메모리(synch link DRAM, SLDRAM) 및 직접 메모리 버스 랜덤 액세스 메모리(Direct Rambus RAM, DR RAM)이다.
하나의 구현 방식에 있어서, 상기 전자 기기(700)는 도 1에 도시된 인코딩 프레임워크(100) 또는 도 6에 도시된 인코더(500)일 수 있고; 상기 컴퓨터 판독 가능한 저장 매체(720) 중 제1 컴퓨터 명령어가 저장되고; 프로세서(710)로 로딩되고 컴퓨터 판독 가능한 저장 매체(720)에 저장된 제1 컴퓨터 명령어를 실행하여, 도 4에 도시된 방법의 실시예에서의 상응하는 단계를 구현하며; 구체적인 구현에 있어서, 컴퓨터 판독 가능한 저장 매체(720)에서의 제1 컴퓨터 명령어는 프로세서(710)에 의해 로딩되고 상응하는 단계를 실행하여, 중복을 면하며, 여기서 더이상 설명하지 않는다.
하나의 구현 방식에 있어서, 상기 전자 기기(700)는 도 3에 도시된 디코딩 프레임워크(200) 또는 도 7에 도시된 디코더(600)일 수 있고; 상기 컴퓨터 판독 가능한 저장 매체(720) 중 제1 컴퓨터 명령어가 저장되고; 프로세서(710)로 로딩되고 컴퓨터 판독 가능한 저장 매체(720)에 저장된 제2 컴퓨터 명령어를 실행하여, 도 5에 도시된 방법의 실시예에서의 상응하는 단계를 구현하며; 구체적인 구현에 있어서, 컴퓨터 판독 가능한 저장 매체(720)에서의 제2 컴퓨터 명령어는 프로세서(710)에 의해 로딩되고 상응하는 단계를 실행하여, 중복을 피하기 위해, 여기서 더이상 설명하지 않는다.
본 출원의 다른 한 측면에 따라, 본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체(Memory)를 더 제공하며, 컴퓨터 판독 가능한 저장 매체는 전자 기기(700)에서의 기억 기기이며, 프로그램과 데이터를 저장하기 위한 것이다. 예를 들어, 컴퓨터 판독 가능한 저장 매체(720)이다. 이해할 수 있는 것은, 이 곳의 컴퓨터 판도 가능한 저장 매체(720)는 전자 기기(700)에서의 내장형 저장 매체를 포함할 수 있을 뿐만 아니라, 전자 기기(700)가 지지하는 확장 저장 매체도 포함할 수 있다. 컴퓨터 판독 가능한 저장 매체는 저장 공간을 제공하고, 상기 저장 공간은 전가 기기(700)의 작업 시스템을 저장한다. 또한, 상기 저장 공간에는 프로세서(710)에 의해 로딩되고 실행되는 하나 또는 복수 개의 컴퓨터 명령어가 저장되고, 이런 컴퓨터 명령어는 하나 또는 복수 개의 컴퓨터 프로그램(721)(프로그램 코드를 포함)일 수 있다.
본 출원의 다른 한 측면에 따라, 컴퓨터 프로그램 제품 또는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램 제품 또는 컴퓨터 프로그램은 컴퓨터 명령어를 포함하며, 상기 컴퓨터 명령어는 컴퓨터 판독 가능한 저장 매체에 저장된다. 예를 들어, 컴퓨터 프로그램(721)이다. 이때, 전자 기기(700)는 컴퓨터일 수 있고, 프로세서(710)는 컴퓨터 판독 가능한 저장 매체(720)로 부터 상기 컴퓨터 명령어를 판독하고, 프로세서(710)는 상기 컴퓨터 명령어를 실행하여, 상기 컴퓨터가 상기 여러가지 선택 가능한 방식에서 제공되는 인코딩 방법 또는 디코딩 방법을 실행하도록 한다.
다시 말하면, 소프트웨어로 구현할 경우, 컴퓨터 프로그램 제품의 형태로 전체적으로 또는 부분적으로 구현할 수 있다. 상기 컴퓨터 프로그램 제품은 하나 또는 복수 개의 컴퓨터 명령어를 포함한다. 컴퓨터에서 상기 컴퓨터 프로그램 명령어를 로딩하고 실행할 때, 전부 또는 부분적으로 본 출원의 실시예의 프로세스를 작동하고 또는 본 출원의 실시예의 기능을 구현한다. 상기 컴퓨터는 범용 컴퓨터, 특수 목적 컴퓨터, 컴퓨터 네트워크 또는 다른 프로그래머블 장치일 수 있다. 상기 컴퓨터 명령어는 컴퓨터 판독 가능한 저장 매체에 저장될 수 있거나, 하나의 컴퓨터 판독 가능한 저장 매체로부터 다른 검퓨터 판독 가능한 저장 매체로 전송을 수행할 수 있으며, 예를 들어, 상기 컴퓨터 명령어는 하나의 웹 사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 광섬유, 디지털 가입자 회선(digital subscriber line, DSL)) 또는 무선(예를 들어 적외선, 무선, 마이크로파 등) 형태로 다른 웹 사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다.
본 기술분야의 통상의 기술자는 본문에서 공개된 실시양태에서 설명한 각 예시적 유닛 및 프로세스 단계를 결합하여 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 조합을 통해 실시될 수 있음을 이해할 것이다. 이러한 기능이 하드웨어 형태로 실행될지 아니면 소프트웨어 형태로 실행될지는 기술 방안의 특정 응용 및 설계 제약 조건에 따라 결정된다. 전문 기술자는 각 특정 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 출원의 범위를 벗어나는 것으로 간주되어서는 안된다.
마지막으로 설명해야 할 것은, 이상의 내용은, 다만 본 출원의 구체적인 실시 형태일뿐이고, 본 출원의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 출원에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호범위는 청구범위의 보호범위를 기준으로 해야 한다.

Claims (42)

  1. 포인트 클라우드의 인코딩 방법으로서,
    포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻는 단계;
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
    상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  2. 제1항에 있어서,
    상기 포인트 클라우드의 인코딩 방법은,
    상기 타깃 포인트의 인덱스를 결정하는 단계; 및
    상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을 상기 타깃 포인트의 양자화 가중으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  3. 제1항에 있어서,
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계는,
    타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계; 및
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  4. 제3항에 있어서,
    상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같은 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  5. 제3항에 있어서,
    상기 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계는,
    아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계를 포함하고,
    ;
    effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, QuantWeight[index]는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 QuantWeight[index]에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타내는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  6. 제3항에 있어서,
    상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같은 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  7. 제3항에 있어서,
    상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같지 않고, 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계는,
    상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  8. 제3항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계는,
    상기 유효 양자화 가중을 이용하여 상기 예측 잔차값을 곱하여, 가중 잔차값을 얻는 단계; 및
    상기 타깃 포인트의 양자화 스텝을 이용하여 상기 가중 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  9. 제3항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계는,
    아래의 공식을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함하고,
    ;
    attrResidualQuant2는 상기 양자화 잔차값을 나타내고, attrResidualQuant1은 상기 예측 잔차값을 나타내며, effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타내는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  10. 제3항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계는,
    아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트하는 단계 - effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타냄 - ; 및
    newQstep=Qstep/effectiveQuantWeight;
    상기 타깃 포인트의 업데이트된 후의 양자화 스텝을 이용하여 상기 예측 잔차값에 대해 양자화를 수행하여, 상기 양자화 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  11. 제1항에 있어서,
    상기 포인트 클라우드의 인코딩 방법은,
    상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 더 포함하고, N은 0보다 큰 양의 정수인 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  12. 제11항에 있어서,
    상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값인 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  13. 제11항에 있어서,
    상기 포인트 클라우드의 인코딩 방법은,
    상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하는 단계를 포함하고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며;
    상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은 상기 복수 개의 LOD 계층에서 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 큰 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  14. 제11항에 있어서,
    상기 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계는,
    상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계 - 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정됨 - ; 및
    상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  15. 제14항에 있어서,
    상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계는,
    상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  16. 제11항에 있어서,
    상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계는,
    아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 포함하고,
    ;
    newneighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기 neighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, QuantWeight[index-c]는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는 에 대해 우측 시프트 연산을 수행하는 비트수를 나타내는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  17. 제14항에 있어서,
    T[i]의 값은 i의 증가에 따라 감소되는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  18. 제1항에 있어서,
    상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일한 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  19. 제1항에 있어서,
    상기 포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻는 단계는,
    상기 타깃 포인트의 위치 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻는 단계;
    상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻는 단계;
    포인트 클라우드에서의 상기 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 참값을 얻는 단계; 및
    상기 타깃 포인트의 속성 정보의 예측값과 상기 타깃 포인트의 속성 정보의 참값에 따라, 상기 예측 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 인코딩 방법.
  20. 포인트 클라우드의 디코딩 방법으로서,
    포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻는 단계;
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻는 단계 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ;
    상기 재구축 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻는 단계; 및
    상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  21. 제20항에 있어서,
    상기 포인트 클라우드의 디코딩 방법은,
    상기 타깃 포인트의 인덱스를 결정하는 단계; 및
    상기 타깃 포인트의 인덱스에 대응되는 양자화 가중을 상기 타깃 포인트의 양자화 가중으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  22. 제20항에 있어서,
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻는 단계는,
    타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계; 및
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  23. 제22항에 있어서,
    상기 유효 양자화 가중은 상기 타깃 포인트의 양자화 스텝보다 작거나 같은 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  24. 제22항에 있어서,
    상기 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계는,
    아래의 공식을 이용하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계를 포함하고,
    ;
    effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, QuantWeight[index]는 상기 타깃 포인트의 양자화 가중을 나타내며, k는 상기 QuantWeight[index]에 대해 우측 시프트 연산을 수행하는 비트수를 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타내는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  25. 제22항에 있어서,
    상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같은 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  26. 제22항에 있어서,
    상기 유효 양자화 가중의 값은 2의 양의 정수 거듭 제곱과 같지 않고, 타깃 포인트의 양자화 가중에 기반하여 상기 타깃 포인트의 유효 양자화 가중을 결정하는 단계는,
    상기 타깃 포인트의 양자화 가중의 값에 기반하여, 상기 타깃 포인트의 양자화 가중에 가장 접근하는 2의 양의 정수 거듭 제곱을, 상기 유효 양자화 가중으로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  27. 제22항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계는,
    상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 가중 잔차값을 얻는 단계; 및
    상기 가중 잔차값을 이용하여 상기 유효 양자화 가중으로 나누어, 상기 재구축 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  28. 제22항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계는,
    아래의 공식을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계를 포함하고,
    ;
    attrResidualQuant2는 상기 양자화 잔차값을 나타내고, attrResidualQuant1은 상기 재구축 잔차값을 나타내며, effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 가중을 나타내고, Qstep은 상기 타깃 포인트의 양자화 스텝을 나타내는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  29. 제22항에 있어서,
    상기 타깃 포인트의 유효 양자화 가중과 상기 타깃 포인트의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계는,
    아래의 공식을 이용하여 상기 타깃 포인트의 양자화 스텝을 업데이트하는 단계 - effectiveQuantWeight는 상기 타깃 포인트의 유효 양자화 스텝을 나타내고, newQstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트된 후의 상기 타깃 포인트의 양자화 스텝을 나타내며, Qstep은 상기 타깃 포인트의 유효 양자화 스텝에 기반하여 업데이트되기 전의 상기 타깃 포인트의 양자화 스텝을 나타냄 - ; 및
    newQstep=Qstep/effectiveQuantWeight;
    상기 타깃 포인트의 업데이트된 후의 양자화 스텝을 이용하여 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 재구축 잔차값을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  30. 제22항에 있어서,
    상기 포인트 클라우드의 디코딩 방법은,
    상기 포인트 클라우드의 인코딩 순서의 역순에 따라, 상기 포인트 클라우드에서의 포인트를 순회하는 것을 통해, 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 더 포함하고, N은 0보다 큰 양의 정수인 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  31. 제30항에 있어서,
    상기 포인트 클라우드에서의 각 포인트의 양자화 가중의 초기값은 기설정값인 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  32. 제30항에 있어서,
    상기 포인트 클라우드의 디코딩 방법은,
    상기 포인트 클라우드를 하나 또는 복수 개의 LOD 계층으로 구획하는 단계를 더 포함하고, 각 LOD 계층은 하나 또는 복수 개의 포인트를 포함하며;
    상기 복수 개의 LOD 계층에서의 이전 M층의 LOD에서의 포인트의 양자화 가중의 초기값은 상기 복수 개의 LOD 계층에서 나머지 LOD에서의 포인트의 양자화 가중의 초기값보다 큰 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  33. 제30항에 있어서,
    상기 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계는,
    상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계 - 상기 영향 가중은 상기 현재 포인트와 상기 N 개의 최근접 포인트의 위치 정보에 의해 결정됨 - ; 및
    상기 현재 포인트의 양자화 가중과 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중에 기반하여, 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  34. 제33항에 있어서,
    상기 포인트 클라우드의 속성 파라미터 세트는 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 포함하고; 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계는,
    상기 속성 파라미터 세트를 조회하는 것을 통해, 상기 현재 포인트가 상기 N 개의 최근접 포인트에서의 각 최근접 포인트에 대한 영향 가중을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  35. 제30항에 있어서,
    상기 현재 포인트의 양자화 가중에 기반하여 상기 현재 포인트의 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계는,
    아래의 공식에 기반하여 상기 N 개의 최근접 포인트의 양자화 가중을 업데이트하는 단계를 포함하고,
    ;
    newneighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트된 후의 i 번째의 최근접 포인트의 양자화 가중을 나타내고, 상기 neighborQuantWeight[i]는 상기 현재 포인트의 양자화 가중에 기반하여 업데이트되기 전의 상기 i 번째의 최근접 포인트의 양자화 가중을 나타내며, QuantWeight[index-c]는 상기 현재 포인트의 양자화 가중을 나타내고, T[i]는 상기 현재 포인트가 상기 i 번째의 최근접 포인트에 대한 영향 가중을 나타내며, k는 에 대해 우측 시프트 연산을 수행하는 비트수를 나타내는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  36. 제35항에 있어서,
    T[i]의 값은 i의 증가에 따라 감소되는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  37. 제20항에 있어서,
    상기 포인트 클라우드의 양자화 가중은 숫자 조합으로 저장되고, 상기 숫자 조합의 차원과 상기 포인트 클라우드 중 포인트의 개수는 동일한 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  38. 제20항에 있어서,
    상기 포인트 클라우드의 디코딩 방법은,
    상기 코드 스트림에 대해 파싱을 수행하여, 상기 타깃 포인트의 위치 정보의 재구축 정보를 얻는 단계; 및
    상기 타깃 포인트의 위치 정보의 재구축 정보에 따라, 상기 타깃 포인트의 속성 정보의 예측값을 얻는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드의 디코딩 방법.
  39. 포인트 클라우드의 인코더로서,
    포인트 클라우드에서의 타깃 포인트의 속성 정보에 대해 처리를 수행하여, 상기 타깃 포인트의 속성 정보의 예측 잔차값을 얻기 위한 제1 처리 유닛;
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여 상기 양자화 잔차값에 대해 양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 제2 처리 유닛 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ; 및
    상기 양자화 잔차값에 대해 인코딩을 수행하여, 코드 스트림을 얻기 위한 인코딩 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드의 인코더.
  40. 포인트 클라우드의 디코더로서,
    포인트 클라우드의 코드 스트림에 대해 파싱을 수행하여, 상기 포인트 클라우드의 타깃 포인트의 속성 정보의 양자화 잔차값을 얻기 위한 파싱 유닛;
    상기 타깃 포인트의 양자화 가중과 상기 타깃 포인트의 양자화 스텝에 기반하여, 상기 양자화 잔차값에 대해 역양자화를 수행하여, 상기 타깃 포인트의 속성 정보의 재구축 잔차값을 얻기 위한 제1 처리 유닛 - 상기 타깃 포인트의 양자화 가중은 상기 타깃 포인트의 양자화 스텝에 대해 가중화를 수행할 때 채택되는 가중치임 - ;
    상기 재구축 잔차값과 상기 타깃 포인트의 속성 정보의 예측값에 따라, 상기 타깃 포인트의 속성 정보의 재구축값을 얻기 위한 제2 처리 유닛; 및
    상기 타깃 포인트의 속성 정보의 재구축값에 따라, 디코딩 포인트 클라우드를 얻기 위한 제3 처리 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드의 디코더.
  41. 전자 기기로서,
    컴퓨터 프로그램 실행에 적용되는 프로세서; 및
    컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 포함하고, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 때, 제1항 내지 제19항 중 어느 한 항에 따른 포인트 클라우드의 인코딩 방법 또는 제20항 내지 제38항 중 어느 한 항에 따른 포인트 클라우드의 디코딩 방법을 구현하는 것을 특징으로 하는 전자 기기.
  42. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체는 컴퓨터 명령어를 포함하고, 상기 컴퓨터 명령어는 프로세서에 의해 로딩되고, 제1항 내지 제19항 중 어느 한 항에 따른 포인트 클라우드의 인코딩 방법 또는 제20항 내지 제38항 중 어느 한 항에 따른 포인트 클라우드의 디코딩 방법을 실행하는 데 적용되는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.

KR1020237024952A 2020-12-22 2020-12-22 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더 KR20230124673A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/138421 WO2022133752A1 (zh) 2020-12-22 2020-12-22 点云的编码方法、解码方法、编码器以及解码器

Publications (1)

Publication Number Publication Date
KR20230124673A true KR20230124673A (ko) 2023-08-25

Family

ID=82157036

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237024952A KR20230124673A (ko) 2020-12-22 2020-12-22 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더

Country Status (6)

Country Link
US (1) US20230328246A1 (ko)
EP (1) EP4261785A4 (ko)
JP (1) JP2023553503A (ko)
KR (1) KR20230124673A (ko)
CN (1) CN116783887A (ko)
WO (1) WO2022133752A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210018254A (ko) * 2018-06-06 2021-02-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
EP3809373A4 (en) * 2018-06-13 2021-07-28 Panasonic Intellectual Property Corporation of America THREE-DIMENSIONAL DATA ENCODING PROCESS, THREE-DIMENSIONAL DATA DECODING PROCESS, THREE-DIMENSIONAL DATA ENCODING DEVICE AND TRIDIMENSIONAL DATA DECODING DEVICE
CN112368742A (zh) * 2018-06-14 2021-02-12 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US11030777B2 (en) * 2018-09-14 2021-06-08 Sony Group Corporation Adaptive subband coding for lifting transform
WO2020143007A1 (zh) * 2019-01-10 2020-07-16 深圳市大疆创新科技有限公司 用于三维数据点集处理的方法和设备
BR112021013402A2 (pt) * 2019-02-05 2021-09-14 Panasonic Intellectual Property Corporation Of America Método de codificação de dados tridimensionais, método de decodificação de dados tridimensionais, dispositivo de codificação de dados tridimensionais, e dispositivo de decodificação de dados tridimensionais
CN109889840B (zh) * 2019-03-20 2022-11-22 北京大学深圳研究生院 点云编码和解码的方法、编码设备和解码设备

Also Published As

Publication number Publication date
EP4261785A1 (en) 2023-10-18
CN116783887A (zh) 2023-09-19
US20230328246A1 (en) 2023-10-12
EP4261785A4 (en) 2023-10-18
WO2022133752A1 (zh) 2022-06-30
JP2023553503A (ja) 2023-12-21

Similar Documents

Publication Publication Date Title
CN113994383A (zh) 点云编解码方法和装置
CN112399165B (zh) 解码方法及装置以及计算机设备和存储介质
US20230237707A1 (en) Point cloud encoding and decoding method, encoder, decoder and codec system
US20230342985A1 (en) Point cloud encoding and decoding method and point cloud decoder
WO2022062369A1 (zh) 点云编解码方法与系统、及点云编码器与点云解码器
US20230351639A1 (en) Point cloud encoding and decoding method, encoder and decoder
US20230237704A1 (en) Point cloud decoding and encoding method, and decoder, encoder and encoding and decoding system
KR20230124673A (ko) 포인트 클라우드의 인코딩 방법, 디코딩 방법, 인코더및 디코더
WO2023240455A1 (zh) 点云编码方法、编码装置、编码设备以及存储介质
JP2024505796A (ja) 点群復号化方法、点群符号化方法、復号器及び符号器
WO2023159428A1 (zh) 编码方法、编码器以及存储介质
WO2023197337A1 (zh) 索引确定方法、装置、解码器以及编码器
WO2023197338A1 (zh) 索引确定方法、装置、解码器以及编码器
JP2024500701A (ja) 点群符号化方法、点群復号化方法、点群符号化と復号化システム、点群エンコーダ及び点群デコーダ
TWI806481B (zh) 點雲中鄰居點的選擇方法及裝置、編碼設備、解碼設備及電腦設備
WO2022217472A1 (zh) 点云编解码方法、编码器、解码器及计算机可读存储介质
WO2023023918A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2024077548A1 (zh) 点云解码方法、点云编码方法、解码器和编码器
WO2022257155A1 (zh) 解码方法、编码方法、解码器、编码器以及编解码设备
WO2023097694A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2023240660A1 (zh) 解码方法、编码方法、解码器以及编码器
WO2024064043A1 (en) Point cloud decoding method, point cloud encoding method, decoder and encoder

Legal Events

Date Code Title Description
A201 Request for examination