KR20210122836A - 룩업 테이블들을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화 - Google Patents

룩업 테이블들을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화 Download PDF

Info

Publication number
KR20210122836A
KR20210122836A KR1020217028521A KR20217028521A KR20210122836A KR 20210122836 A KR20210122836 A KR 20210122836A KR 1020217028521 A KR1020217028521 A KR 1020217028521A KR 20217028521 A KR20217028521 A KR 20217028521A KR 20210122836 A KR20210122836 A KR 20210122836A
Authority
KR
South Korea
Prior art keywords
value
quantization
lookup table
result
inverse
Prior art date
Application number
KR1020217028521A
Other languages
English (en)
Inventor
알렉산드레 자게토
다닐로 그라지오시
알리 타바타바이
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210122836A publication Critical patent/KR20210122836A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

양자화 체계는 효율을 개선하기 위해 순방향 및 역방향 양자화 룩업 테이블들에 의해 나눗셈 연산을 대체한다.

Description

룩업 테이블들을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화
관련 출원에 대한 상호 참조
본 출원은 2019년 7월 1일 출원되고 "룩업 테이블을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화"를 제목으로 하는 미국 가특허 출원 일련번호 제62/869,129호의 35 U.S.C. §119(e)하에서의 우선권을 주장하고, 이는 모든 목적들을 위해 그 전체로 참조로서 본원에 통합된다.
기술분야
본 발명은 3차원 그래픽들(three dimensional graphics)에 관한 것이다. 더 구체적으로는, 본 발명은 3차원 그래픽들의 코딩에 관한 것이다.
포인트 클라우드들(point clouds)은 3D 스캐너들, 라이다(LIDAR) 센서들에 의해 캡처되거나, 가상 현실(Virtual Reality, VR)/증강 현실(Augmented Reality, AR)과 같은 대중적인 응용들에서 사용되는, 3D 데이터의 송신을 위한 후보 포맷으로 고려되어 왔다. 포인트 클라우드들은 3D 공간 내의 포인트들의 세트이다. 공간 위치(X,Y,Z) 이외에, 각각의 포인트는 보통 색(R,G,B) 또는 심지어 반사율 및 시간적 타임스탬프들(예를 들어, 라이다 이미지 내의)과 같은 연관된 속성들을 갖는다. 표적 3D 객체들의 높은 충실도(fidelity) 표현을 획득하기 위해, 디바이스들은 대략 수천 또는 심지어 수백만 포인트들 정도의 포인트 클라우드들을 캡처한다. 또한, VR/AR 응용에 사용되는 동적 3D 장면들에 대해, 모든 단일 프레임은 종종 고유의 조밀한 포인트 클라우드를 가지며, 이는 초당 수백만 포인트 클라우드들의 송신을 초래한다. 이러한 대량의 데이터의 실행 가능한 송신을 위해, 압축이 종종 적용된다.
2017년에, MPEG는 포인트 클라우드들의 압축을 위한 제안 요청(call for proposal, CfP)을 발행했다. 여러 제안들의 평가 후에, MPEG는 포인트 클라우드 압축을 위한 2개의 상이한 기술들: a) 3D 대 2D의 투영 기술들에 기초한 비디오-기반 포인트 클라우드 압축(Video-based Point Cloud Compression, V-PCC); 및 b) 기하 구조 코딩을 위한 옥트리 및 속성 코딩을 위한 3D 변환과 같은 3D 고유 코딩 기술들을 사용하는 기하 구조-기반 포인트 클라우드 압축(Geometry-based Point Cloud Compression, G-PCC)을 고려하고 있다.
MPEG는 3개의 구별되는 포인트 클라우드 카테고리들을 식별한다: (1) 동적으로 취득된 포인트 클라우드들, (2) 정적 포인트 클라우드들, 및 (3) 동적 포인트 클라우드들. 2개의 테스트 모델들, 즉 V-PCC 패러다임을 반영하는 카테고리 2에 대한 TMC2, 및 G-PCC 패러다임을 반영하는 카테고리들 1 및 3에 대한 TMC13이 제안된다.
양자화 체계는 효율을 개선하기 위해 순방향 및 역방향 양자화 룩업 테이블들로 나눗셈 연산을 대체한다.
일 태양에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은 양자화 파라미터를 수신하는 단계, 순방향 룩업 테이블 및 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하는 단계, 및 양자화된 값을 획득하기 위해 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하는 단계를 포함한다. 청구항 1의 방법은, 역방향 룩업 테이블 및 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하는 단계 및 재구성된 값을 획득하기 위해 양자화된 값에 대해 역양자화를 수행하는 단계를 더 포함한다. 값에 대해 양자화를 수행하는 단계는 값에 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 단계를 포함한다. 결과는 s + M + N만큼 우측 시프트되고, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택된다. 양자화된 값에 대해 역양자화를 수행하는 단계는 양자화된 값에 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프팅하는 단계를 포함한다. 결과는 s만큼 좌측 시프트되고, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이다. 디바이스는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant), 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함한다.
다른 태양에서, 장치는 양자화 파라미터를 수신하고, 순방향 룩업 테이블 및 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며, 순방향 양자화 스텝 값을 사용하여 값에 대한 양자화를 수행하여 양자화된 값을 획득하기 위한 어플리케이션을 저장하기 위한 비일시적 메모리, 및 메모리에 결합된 프로세서를 포함하고, 프로세서는 어플리케이션을 프로세싱하도록 구성된다. 어플리케이션은 추가로: 역방향 룩업 테이블과 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하고, 재구성된 값을 획득하기 위해 양자화된 값에 대해 역양자화를 수행하기 위한 것이다. 값에 대해 양자화를 수행하는 것은 값에 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함한다. 결과는 s + M + N만큼 우측 시프트되고, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택된다. 양자화된 값에 대해 역양자화를 수행하는 것은 양자화된 값에 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함한다. 결과는 s만큼 좌측 시프트되며, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이다. 장치는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함한다.
다른 태양에서, 시스템은 양자화 파라미터를 수신하고, 순방향 룩업 테이블 및 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며, 순방향 양자화 스텝값을 사용하여 값에 대한 양자화를 수행하여 양자화된 값을 획득하도록 구성되는 인코더, 및 역방향 룩업 테이블 및 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하며, 양자화된 값에 대해 역양자화를 수행하여 재구성된 값을 획득하도록 구성되는 디코더를 포함한다. 값에 대해 양자화를 수행하는 것은 값에 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함한다. 결과는 s + M + N만큼 우측 시프트되고, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택된다. 양자화된 값에 대해 역양자화를 수행하는 것은 양자화된 값에 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함한다. 결과는 s만큼 좌측 시프트되고, 여기서 s는 6으로 나눈 양자화 파라미터 이하의 최대 정수이다. 인코더는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함한다.
도 1은 일부 실시예들에 따른, 룩업 테이블들을 사용하여 RAHT(Region-Adaptive Hierarchical Transform) 및 양자화 통합을 리프팅(lifting)하는 방법의 흐름도를 도시한다.
도 2는 일부 실시예들에 따른 룩업 테이블 양자화 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다.
도 3은 일부 실시예들에 따른 예시적인 인코더 및 디코더 구성의 다이어그램을 도시한다.
양자화 체계는 효율을 개선하기 위해 순방향 및 역방향 양자화 룩업 테이블들에 의해 나눗셈 연산을 대체한다.
동영상을 전문으로 연구하는 전문가 그룹(Moving Picture Experts Group, MPEG)은 현재 포인트 클라우드 압축(Point Cloud Compression, PCC)에 대한 표준을 정의하고 있다. 포인트 클라우드들은 3차원 장면들 및 객체들을 표현하는 데 사용되고, 그들의 기하학적 또는 외관 특성들에 의해 설명되는 볼륨 요소들(복셀들)로 구성된다. TMC13은 기여자들에 의해 승인된 새로운 제안들을 지속적으로 통합하는 MPEG에 의해 유지되고 배포된 테스트 모델 소프트웨어이다. G-PCC라고 불리는, 기하학적 특성들에 기초한 표준의 압축 체계는 양자화 프레임워크를 사용하여 속성 코딩을 수행할 수 있고 또한 TMC13 소프트웨어에서 구현된다. 양자화는 값들의 범위가 단일 값에 맵핑되는 프로세스이고, 따라서 손실 압축 체계를 초래한다. G-PCC의 맥락에서, 양자화는 변환된 속성 계수들의 동적 범위를 감소시킨다.
이전에, 양자화는 간단한 분할에 의해 행해졌다. 본 명세서에 설명된 것과 같이, 양자화 및 역방향 양자화를 위한 양자화 테이블들의 사용이 대신 구현된다. 양자화 파라미터(QP)가 주어지면, 2개의 상이한 양자화 테이블들(순방향(fLUT) 및 역방향(gLUT))에 기초하여 순방향 및 역방향 양자화 스텝(ForQstep 및 InvQstep)이 도출된다. 입력 값은 ForQstep을 사용하여 양자화되고 InvQstep을 사용하여 역양자화된다. 체계는 양자화 프로세스에서 나눗셈 연산의 제거를 허용한다. 동일한 QP로, fLUT가 사용되면, 순방향 양자화 스텝(ForQstep)이 획득되고, gLUT가 사용되면, 역방향 양자화 스텝(InvQstep)이 획득된다. 일부 실시예들에서, ForQstep 및 InvQstep을 획득하기 위해 동일한 방법이 채용되며, 유일한 차이는 어느 테이블이 사용되는지 - fLUT 또는 gLUT - 이다.
도 1은 일부 실시예들에 따른, 룩업 테이블을 사용하여 RAHT(Region-Adaptive Hierarchical Transform) 및 양자화 통합을 리프팅하는 방법의 흐름도를 도시한다. 단계(100)에서, 양자화 파라미터(QP)가 수신/선택된다. 단계(102)에서, 순방향 룩업 테이블(fLUT)이 ForQstep을 도출하기 위해 사용되고, 단계(104)에서, 역방향 룩업 테이블(gLUT)이 InvQstep을 도출하기 위해 사용된다. 단계(106)에서, 값(예를 들어, 계수)이 ForQstep을 사용하여 양자화되어 양자화된 값을 초래하고, 양자화된 값은 단계(108)에서 InvQstep을 사용하여 역양자화되며, 이는 재구성된 값을 초래한다. 일부 실시예들에서, 더 적거나 추가적인 단계들이 구현된다. 일부 실시예들에서, 단계들의 순서는 수정된다.
예시적인 구현은 본 명세서에 설명된다. 주어진 QP 값들에 대해,
gLUT = [161 181 203 228 256 287]
s = [QP / 6] 및
Figure pct00001
이다.
그러면, 이전 접근에 의하면
Figure pct00002
이다. 그러나, 이는 정밀도의 손실을 초래한다.
대신에, 본 명세서에 설명된 방법에서,
Figure pct00003
로 한다.
M과 N은 사용자(또는 인공 지능을 사용하는 컴퓨팅 디바이스)가 정밀도를 조정하기 위해 선택할 수 있는 임의의 값들이다. 예를 들어, 일부 구현들에서 더 높은 M과 N 값들은 더 높은 정밀도를 초래한다.
그러면, LUT 기반 공식은 다음과 같이 정의된다:
Figure pct00004
즉, qCoef는 계수 곱하기 fLUT 값과 동일하며, 그 결과는 s + M + N만큼 우측으로 시프트된다.
역양자화는 다음에 의해 달성된다,
Figure pct00005
일 예에서, N=8 및 M=14이고, 이는 fLUT가 다음과 같이 되는 것을 의미한다:
fLUT = [26052 23173 20662 18396 16384 14614].
다른 예에서, 개선된 정밀도를 위해, M은 18로 설정될 수 있고, 이 경우 fLUT는 다음과 같이 된다:
fLUT = [41682 370767 330586 294337 262144 233829].
도 2는 일부 실시예들에 따른 룩업 테이블 양자화 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다. 컴퓨팅 디바이스(200)는 3D 컨텐츠를 포함하는 이미지들 및 비디오들과 같은 정보를 취득, 저장, 계산, 프로세스, 통신 및/또는 디스플레이하는 데 사용될 수 있다. 컴퓨팅 디바이스(200)는 룩업 테이블 양자화 태양들 중 임의의 것을 구현할 수 있다. 일반적으로, 컴퓨팅 디바이스(200)를 구현하기에 적합한 하드웨어 구조는 네트워크 인터페이스(202), 메모리(204), 프로세서(206), I/O디바이스(들)(208), 버스(210) 및 저장 디바이스(212)를 포함한다. 프로세서의 선택은 충분한 속도를 갖는 적합한 프로세서가 선택되는 한 중요하지 않다. 메모리(204)는 본 기술분야에 알려진 임의의 종래의 컴퓨터 메모리일 수 있다. 저장 디바이스(212)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고해상도 디스크/드라이브, 울트라-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 저장 디바이스를 포함할 수 있다. 컴퓨팅 디바이스(200)는 하나 이상의 네트워크 인터페이스들(202)을 포함할 수 있다. 네트워크 인터페이스의 예는 이더넷 또는 다른 유형의 LAN에 접속된 네트워크 카드를 포함한다. I/O 디바이스(들)(208)는 다음 중 하나 이상을 포함할 수 있다: 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 다른 디바이스들. 룩업 테이블 양자화 방법을 구현하기 위해 사용되는 룩업 테이블 양자화 어플리케이션(들)(230)은 저장 디바이스(212) 및 메모리(204)에 저장되고, 어플리케이션들이 통상적으로 프로세싱되는 대로 프로세싱될 가능성이 있다. 도 2에 보여진 더 많거나 더 적은 구성 요소들이 컴퓨팅 디바이스(200)에 포함될 수 있다. 일부 실시예들에서, 룩업 테이블 양자화 하드웨어(220)가 포함된다. 도 2의 컴퓨팅 디바이스(200)가 룩업 테이블 양자화 방법을 위한 어플리케이션들(230) 및 하드웨어(220)를 포함하지만, 룩업 테이블 양자화 방법은 컴퓨팅 디바이스 상에서 하드웨어, 펌웨어, 소프트웨어 또는 그들의 임의의 조합으로 구현될 수 있다. 예를 들어, 일부 실시예들에서, 룩업 테이블 양자화 어플리케이션들(230)은 메모리에 프로그래밍되고 프로세서를 사용하여 실행된다. 다른 예에서, 일부 실시예들에서, 룩업 테이블 양자화 하드웨어(220)는 룩업 테이블 양자화 방법을 구현하도록 특별히 설계된 게이트들을 포함하는 프로그래밍된 하드웨어 로직이다.
일부 실시예들에서, 룩업 테이블 양자화 어플리케이션(들)(230)은 여러 어플리케이션들 및/또는 모듈들을 포함한다. 일부 실시예들에서, 모듈들은 또한 하나 이상의 서브 모듈들을 포함한다. 일부 실시예들에서, 더 적거나 추가적인 모듈들이 포함될 수 있다.
적합한 컴퓨팅 디바이스들의 예들은 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(예를 들어, DVD 라이터/플레이어, 고해상도 디스크 라이터/플레이어, 초고해상도 디스크 라이터/플레이어), 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리(예를 들어, 스마트 워치), 차량(예를 들어, 자율 주행 차량) 또는 임의의 다른 적합한 컴퓨팅 디바이스를 포함한다.
도 3은 일부 실시예들에 따른 예시적인 인코더 및 디코더 구성의 도면을 도시한다. 인코더 디바이스(300)는 양자화를 위한 룩업 테이블(310)을 포함하고, 디코더 디바이스(302)는 역방향 양자화를 위한 룩업 테이블(312)을 포함한다. 인코더 디바이스(300) 및 디코더 디바이스(302)는 보여지는 것과 같이 네트워크(304)(예를 들어, 인터넷, 셀룰러 네트워크, 로컬 영역 네트워크)를 통해 또는 직접 통신할 수 있다. 예를 들어, 인코더 디바이스(300)는 본 명세서에 설명된 것과 같이 양자화를 수행하여 양자화된 값을 생성하고, 양자화된 값은 역양자화를 수행하여 재구성된 값을 생성하는 디코더 디바이스(302)에 전송된다. 인코더 디바이스(300) 및 디코더 디바이스(302)는 본 명세서에 설명된 임의의 컴퓨팅 디바이스의 일부일 수 있다. 도 3은 제1 디바이스 상의 인코더 및 제2 디바이스 상의 디코더를 보여주지만, 일부 구현들에서 인코더 및 디코더는 동일한 디바이스 상에 있다. 예를 들어, 양 디바이스들은 인코더 및 디코더 둘 다를 갖는다(예를 들어, 코덱).
룩업 테이블 양자화 방법을 이용하기 위해, 디바이스는 3D 컨텐츠를 취득하고 수신하며, 3D 컨텐츠의 적절하고 효율적인 디스플레이를 가능하게 하도록 최적화된 방식으로 컨텐츠를 프로세스 및/또는 전송한다. 룩업 테이블 양자화 방법은 사용자 지원으로 또는 사용자 개입 없이 자동으로 구현될 수 있다.
동작시에, 룩업 테이블 양자화 방법은 분할 대신에 룩업 테이블들을 이용함으로써 효율을 개선한다. 본 명세서에 설명된 방법은 기하 구조 기반 인코더 또는 다른 인코더와 함께 이용될 수 있다. 본 명세서에 설명된 방법은 RAHT 및 리프팅에 의해 사용될 수 있다. 결과들은 본 명세서에 설명되는 방법이 G-PCC의 현재 구현과 비교할 때 비슷하거나 더 나은 성능을 유발한다는 것을 보여준다.
룩업 테이블들을 사용하는 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화의 일부 실시예들
1. 디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,
양자화 파라미터를 수신하는 단계;
순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하는 단계; 및
상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하는 단계
를 포함하는, 방법.
2. 제1항에 있어서,
역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하는 단계; 및
재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하는 단계
를 더 포함하는, 방법.
3. 제2항에 있어서,
상기 값에 대한 양자화를 수행하는 단계는 상기 값에 상기 순방향 룩업 테이블 값을 곱하고, 결과를 우측 시프트하는 단계를 포함하는, 방법.
4. 제3항에 있어서,
상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 방법.
5. 제2항에 있어서,
상기 양자화된 값에 대해 역양자화를 수행하는 단계는 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고, 결과를 좌측 시프트하는 단계를 포함하는, 방법.
6. 제5항에 있어서,
상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 방법.
7. 제1항에 있어서,
상기 디바이스는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 방법.
8. 장치로서,
어플리케이션을 저장하기 위한 비일시적 메모리 - 상기 어플리케이션은:
양자화 파라미터를 수신하고;
순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며;
상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하기 위한 것임 -; 및
상기 메모리에 결합되고, 상기 어플리케이션을 프로세싱하도록 구성된 프로세서
를 포함하는, 장치.
9. 제8항에 있어서,
상기 어플리케이션은 추가로:
역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하고;
재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하기 위한 것인, 장치.
10. 제9항에 있어서,
상기 값에 대해 양자화를 수행하는 것은 상기 값에 상기 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함하는, 장치.
11. 제10항에 있어서,
상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 장치.
12. 제9항에 있어서,
상기 양자화된 값에 대해 역양자화를 수행하는 것은 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함하는, 장치.
13. 제12항에 있어서,
상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 장치.
14. 제9항에 있어서,
상기 장치는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 장치.
15. 시스템으로서,
인코더 및 디코더를 포함하고,
상기 인코더는:
양자화 파라미터를 수신하고;
순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며;
상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하도록 구성되고,
상기 디코더는:
역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하고; 및
재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하도록 구성되는, 시스템.
16. 제15항에 있어서,
상기 값에 대해 양자화를 수행하는 것은 상기 값에 상기 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함하는, 시스템.
17. 제16항에 있어서,
상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 시스템.
18. 제15항에 있어서,
상기 양자화된 값에 대해 역양자화를 수행하는 것은 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함하는, 시스템.
19. 제18항에 있어서,
상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 시스템.
20. 제15항에 있어서,
상기 인코더는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 시스템.
본 발명은 본 발명의 구성 및 동작의 원리들의 이해를 용이하게 하기 위한 상세들을 통합하는 특정 실시예들에 관해 설명되었다. 본 명세서에서 특정 실시예들 및 그들의 상세들에 대한 이러한 참조는 본 명세서에 첨부된 청구항들의 범위를 제한하는 것을 의도하지 않는다. 다른 다양한 수정들이 청구항들에 의해 정의되는 발명의 사상 및 범위를 벗어나지 않고 예시를 위해 선택되는 실시예들에서 이루어질 수 있다는 것이 본 기술분야의 통상의 기술자에게 용이하게 명백할 것이다.

Claims (20)

  1. 디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,
    양자화 파라미터를 수신하는 단계;
    순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하는 단계; 및
    상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하는 단계; 및
    재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하는 단계
    를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 값에 대한 양자화를 수행하는 단계는 상기 값에 상기 순방향 룩업 테이블 값을 곱하고, 결과를 우측 시프트하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 방법.
  5. 제2항에 있어서,
    상기 양자화된 값에 대해 역양자화를 수행하는 단계는 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고, 결과를 좌측 시프트하는 단계를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 방법.
  7. 제1항에 있어서,
    상기 디바이스는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 방법.
  8. 장치로서,
    어플리케이션을 저장하기 위한 비일시적 메모리 - 상기 어플리케이션은:
    양자화 파라미터를 수신하고;
    순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며;
    상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하기 위한 것임 -; 및
    상기 메모리에 결합되고, 상기 어플리케이션을 프로세싱하도록 구성된 프로세서
    를 포함하는, 장치.
  9. 제8항에 있어서,
    상기 어플리케이션은 추가로:
    역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하고;
    재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하기 위한 것인, 장치.
  10. 제9항에 있어서,
    상기 값에 대해 양자화를 수행하는 것은 상기 값에 상기 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함하는, 장치.
  11. 제10항에 있어서,
    상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 장치.
  12. 제9항에 있어서,
    상기 양자화된 값에 대해 역양자화를 수행하는 것은 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함하는, 장치.
  13. 제12항에 있어서,
    상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 장치.
  14. 제9항에 있어서,
    상기 장치는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 장치.
  15. 시스템으로서,
    인코더 및 디코더를 포함하고,
    상기 인코더는:
    양자화 파라미터를 수신하고;
    순방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 순방향 양자화 스텝 값을 도출하며;
    상기 순방향 양자화 스텝 값을 사용하여 값에 대해 양자화를 수행하여 양자화된 값을 획득하도록 구성되고,
    상기 디코더는:
    역방향 룩업 테이블 및 상기 양자화 파라미터를 사용하여 역방향 양자화 스텝 값을 도출하고; 및
    재구성된 값을 획득하기 위해 상기 양자화된 값에 대해 역양자화를 수행하도록 구성되는, 시스템.
  16. 제15항에 있어서,
    상기 값에 대해 양자화를 수행하는 것은 상기 값에 상기 순방향 룩업 테이블 값을 곱하고 결과를 우측 시프트하는 것을 포함하는, 시스템.
  17. 제16항에 있어서,
    상기 결과는 s + M + N만큼 우측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수이고, M과 N은 사용자에 의해 선택되는, 시스템.
  18. 제15항에 있어서,
    상기 양자화된 값에 대해 역양자화를 수행하는 것은 상기 양자화된 값에 상기 역방향 룩업 테이블 값을 곱하고 결과를 좌측 시프트하는 것을 포함하는, 시스템.
  19. 제18항에 있어서,
    상기 결과는 s만큼 좌측 시프트되고, s는 6으로 나눈 상기 양자화 파라미터 이하의 최대 정수인, 시스템.
  20. 제15항에 있어서,
    상기 인코더는 개인용 컴퓨터, 랩탑 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기, 셀룰러/모바일 전화, 스마트 기기, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 음악 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어, 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리, 또는 차량을 포함하는, 시스템.
KR1020217028521A 2019-07-01 2020-06-29 룩업 테이블들을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화 KR20210122836A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962869129P 2019-07-01 2019-07-01
US62/869,129 2019-07-01
US16/812,117 US11368693B2 (en) 2019-07-01 2020-03-06 Forward and inverse quantization for point cloud compression using look-up tables
US16/812,117 2020-03-06
PCT/IB2020/056140 WO2021001745A1 (en) 2019-07-01 2020-06-29 Forward and inverse quantization for point cloud compression using look-up tables

Publications (1)

Publication Number Publication Date
KR20210122836A true KR20210122836A (ko) 2021-10-12

Family

ID=74066145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217028521A KR20210122836A (ko) 2019-07-01 2020-06-29 룩업 테이블들을 사용한 포인트 클라우드 압축을 위한 순방향 및 역방향 양자화

Country Status (6)

Country Link
US (1) US11368693B2 (ko)
EP (1) EP3970368A1 (ko)
JP (1) JP7450861B2 (ko)
KR (1) KR20210122836A (ko)
CN (1) CN113796068B (ko)
WO (1) WO2021001745A1 (ko)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9822573D0 (en) * 1998-10-16 1998-12-09 Matra Marconi Space Uk Ltd Block adaptive quantisation
US8069201B2 (en) * 2003-11-25 2011-11-29 Texas Instruments Incorporated 8×8 transform and quantization
US7895250B2 (en) * 2005-05-25 2011-02-22 Qualcomm Incorporated Fixed point integer division techniques for AC/DC prediction in video coding devices
US8254443B2 (en) * 2009-08-28 2012-08-28 Ericsson Television, Inc. Latency rate distortion optimisation
US8582646B2 (en) * 2011-01-14 2013-11-12 Sony Corporation Methods for delta-QP signaling for decoder parallelization in HEVC
US9363519B2 (en) * 2011-04-01 2016-06-07 Google Inc. Detecting displayed channel using audio/video watermarks
US9270986B2 (en) 2012-04-13 2016-02-23 Qualcomm Incorporated Level decision in rate distortion optimized quantization
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9445109B2 (en) * 2012-10-16 2016-09-13 Microsoft Technology Licensing, Llc Color adaptation in video coding
KR101552694B1 (ko) * 2014-01-27 2015-09-11 한국생산기술연구원 점군데이터를 위한 실시간 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
CN107211134B (zh) * 2015-01-29 2020-05-29 Vid拓展公司 用于调色编码模式的逃逸色彩编码
WO2017165494A2 (en) * 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals

Also Published As

Publication number Publication date
US11368693B2 (en) 2022-06-21
US20210006791A1 (en) 2021-01-07
EP3970368A1 (en) 2022-03-23
CN113796068A (zh) 2021-12-14
JP2022536973A (ja) 2022-08-22
CN113796068B (zh) 2024-07-02
JP7450861B2 (ja) 2024-03-18
WO2021001745A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
KR102402494B1 (ko) 지오메트리 정보의 모션 보상
JP7276697B2 (ja) ポイントクラウドジオメトリパディング
KR102431117B1 (ko) 포인트 클라우드 맵핑
KR102599314B1 (ko) 포인트 클라우드 압축을 위한 양자화 단차 파라미터
JP7371691B2 (ja) ホモグラフィ変換を使用した点群符号化
US20170064279A1 (en) Multi-view 3d video method and system
JP2022522730A (ja) ポイントクラウドグローバルテトリスパッキング
CN117280680A (zh) 动态网格对齐的并行方式
JP7450861B2 (ja) ルックアップテーブルを使用するポイントクラウド圧縮のためのフォワード及び逆量子化
US20230025378A1 (en) Task-driven machine learning-based representation and compression of point cloud geometry
US20230306683A1 (en) Mesh patch sub-division
US12101505B2 (en) Fast recolor for video based point cloud coding
WO2023180841A1 (en) Mesh patch sub-division
EP4128161A1 (en) Fast recolor for video based point cloud coding

Legal Events

Date Code Title Description
E902 Notification of reason for refusal