KR20210023884A - 적응적 계수 그룹에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 - Google Patents

적응적 계수 그룹에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20210023884A
KR20210023884A KR1020207037173A KR20207037173A KR20210023884A KR 20210023884 A KR20210023884 A KR 20210023884A KR 1020207037173 A KR1020207037173 A KR 1020207037173A KR 20207037173 A KR20207037173 A KR 20207037173A KR 20210023884 A KR20210023884 A KR 20210023884A
Authority
KR
South Korea
Prior art keywords
coefficient group
coefficient
image block
size
transform coefficients
Prior art date
Application number
KR1020207037173A
Other languages
English (en)
Inventor
야 첸
파브리스 르레아넥
탕지 푸와리에
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18305901.3A external-priority patent/EP3595309A1/en
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20210023884A publication Critical patent/KR20210023884A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

비디오 인코딩 및 디코딩을 위한 다양한 구현들이 제시되고, 이는, 픽처 내의 인코딩 또는 디코딩되는 블록에 대해, 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 것; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩 또는 디코딩하는 것을 수반한다. 계수 그룹 모드는, 이미지 블록 크기, 이미지 블록 내부의 논-제로 변환 계수들의 수, 이미지 블록 내부의 변환 계수의 위치, 디코딩된 신택스 요소 중 적어도 하나로부터 결정될 수 있으며, 여기서, 계수 그룹 모드는, 계수 그룹 내부에서 적어도 하나의 계수가 논-제로임을 표시하는 계수 그룹 유의 플래그가 코딩/디코딩되는지를 지정할 수 있고, 및/또는 계수 그룹의 적어도 하나의 크기를 지정할 수 있다.

Description

적응적 계수 그룹에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
비디오를 비트스트림으로 코딩하는 방법 및 장치가 개시된다. 대응하는 디코딩 방법 및 장치가 추가로 개시된다.
비디오 압축 분야에서, 압축 효율은 항상 어려운 작업이다.
기존의 비디오 코딩 표준들에서, 코딩될 픽처들은 규칙적인 정사각형 블록들 또는 유닛들로 분할된다. 예측, 에러 잔차들의 변환 및 양자화는 보통 이러한 정사각형 유닛들에서 수행된다. 이어서, 양자화된 변환 계수들은 비트레이트를 더 감소시키도록 엔트로피 코딩된다. 양자화된 변환 계수들의 코딩 스테이지에 관한 것이라면, 정사각형 유닛 내의 계수들의 파싱이 계수들을 재구성하기 위해 인코딩할 정보 및 코딩 신택스를 최적화하는 중요한 역할을 하는 몇몇 스킴들이 제안되었다.
새로운 비디오 코딩 스킴들의 출현으로, 인코딩에 사용되는 유닛들이 항상 정사각형 유닛이 아닐 수 있고 직사각형 유닛들이 예측 및 변환에 사용될 수 있다. 정사각형 유닛들에 대해 정의된 고전적인 파싱 스킴들은 직사각형 유닛들이 사용되는 경우에 더 이상 적절하지 않을 수 있는 것으로 보인다.
따라서, 비디오를 코딩 및 디코딩하기 위한 새로운 방법이 필요하다.
본 개시의 양태에 따르면, 비디오를 코딩하는 방법이 개시된다. 이러한 방법은 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 단계; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하는 단계를 포함한다. 계수 그룹 모드는 이미지 블록의 크기, 이미지 블록 내부의 논-제로(non-zero) 변환 계수들의 수, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정된다. 계수 그룹 모드는 계수 그룹 유의 플래그가 코딩되는지를 지정하고, 또는/및 계수 그룹의 크기를 지정한다.
본 개시의 다른 양태에 따르면, 비디오를 코딩하는 장치가 개시된다. 이러한 장치는 이미지 블록의 크기, 이미지 블록 내부의 논-제로 변환 계수들의 수, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 수단; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하는 수단을 포함한다.
본 개시의 양태에 따르면, 비디오를 코딩하는 장치가 제공되고, 이 장치는, 프로세서, 및 프로세서에 결합된 적어도 하나의 메모리를 포함하며, 프로세서는, 이미지 블록의 크기, 이미지 블록 내부의 논-제로 변환 계수들의 수, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하고; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하도록 구성된다.
본 개시의 다른 양태에 따르면, 비디오를 디코딩하는 방법이 개시된다. 이러한 방법은 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하고; 계수 그룹 모드에 응답하여 변환 계수들의 세트를 디코딩하는 단계를 포함한다. 계수 그룹 모드는 이미지 블록의 크기, 디코딩된 신택스 요소, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정된다.
본 개시의 다른 양태에 따르면, 비디오를 디코딩하는 장치가 개시된다. 이러한 장치는 이미지 블록의 크기, 디코딩된 신택스 요소, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하고; 계수 그룹 모드에 응답하여 변환 계수들의 세트를 디코딩하는 수단을 포함한다.
본 개시의 양태에 따르면, 비디오를 디코딩하는 장치가 제공되고, 이 장치는, 프로세서, 및 프로세서에 결합된 적어도 하나의 메모리를 포함하며, 프로세서는, 이미지 블록의 크기, 디코딩된 신택스 요소, 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하고; 계수 그룹 모드에 응답하여 변환 계수들의 세트를 디코딩하도록 구성된다.
본 개시는 또한 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 아래에 개시된 실시예들 중 어느 하나에 따른 비디오를 코딩 또는 디코딩하는 방법을 수행하기 위한 소프트웨어 코드 명령어들을 포함하는 컴퓨터 프로그램에 관한 것이다.
본 개시는 또한 전술한 설명들 중 임의의 것의 방법 또는 장치에 따라 생성된 비디오를 포함하는 신호를 제공한다. 본 개시는 또한, 전술한 방법들에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독가능 저장 매체를 제공한다. 본 개시는 전술한 방법들에 따라 생성된 비트스트림을 송신하기 위한 방법 및 장치를 또한 제공한다. 본 실시예들은 설명된 방법들 중 임의의 것을 수행하기 위한 명령어들을 포함하는 컴퓨터 프로그램 제품을 또한 제공한다.
전술한 것은 발명의 대상(subject matter) 실시예들의 일부 양태들의 기초적인 이해를 제공하기 위하여 발명의 대상의 간략한 요약을 나타낸다. 이 요약은 본 발명의 대상의 광범위한 개요는 아니다. 이것은 실시예들의 핵심적/결정적 요소들을 식별하거나 본 발명 대상의 범위를 묘사하려고 하는 것이 아니다. 그것의 유일한 목적은 발명의 대상의 몇몇 개념을 추후 제시될 더 상세한 설명에 대한 서론으로서 간략한 방식으로 제시하는 것이다.
본 개시의 추가적인 특징들 및 이점들은 첨부 도면들을 참조하여 진행되는 예시적인 실시예들의 다음과 같은 상세한 설명으로부터 명백해질 것이다.
도 1은 HEVC 표준에 따라 코딩된 픽처를 표현하기 위해 사용되는 코딩 트리 유닛들 및 코딩 트리를 도시한다.
도 2는 8x8 코딩 블록에서 HEVC 표준에 의해 지원되는 스캐닝 순서들을 도시한다.
도 3a는 스캔 영역을 도시한다.
도 3b는 스캔 영역에서의 스캔 순서의 예를 도시한다.
도 4는 본 개시의 제1 실시예의 제1 변형에 따른 코딩 방법을 도시한다.
도 5는 본 개시의 제1 실시예의 다른 변형에 따른 코딩 방법을 도시한다.
도 6은 본 개시의 제2 실시예의 변형에 따른 코딩 방법을 도시한다.
도 7은 본 개시의 제3 실시예의 변형에 따른 코딩 방법을 도시한다.
도 8은 본 개시의 제3 실시예에 따라 상이한 코딩 블록 크기에 대해 CG 크기를 적응시키는 것을 도시한다.
도 9a 및 도 9b는 본 개시의 제4 실시예의 변형들에 따라 32x32 코딩 블록에 대해 몇몇 적응적 크기들을 적용하는 예를 도시한다.
도 10은 본 개시의 실시예에 따른 예시적인 인코더를 도시한다.
도 11은 본 개시의 실시예에 따른 예시적인 디코더를 도시한다.
도 12는 다양한 양태들 및 실시예들이 구현되는 시스템의 예의 블록도를 도시한다.
도 13은 본 개시의 실시예에 따른 디코딩 방법을 도시한다.
도 14는 본 개시의 실시예에 따른 코딩 방법을 도시한다.
하나 이상의 구현의 기술분야는 일반적으로 비디오 압축에 관한 것이다. 적어도 일부 실시예들은 추가로 기존의 비디오 압축 시스템들에 비해 압축 효율을 개선하는 것에 관한 것이다. 적어도 하나의 실시예는 변환 계수 코딩을 위한 적응적 계수 그룹 및 적응적 계수 그룹 크기들을 제안한다.
HEVC 비디오 압축 표준에서, 픽처는 소위 CTU(Coding Tree Unit)들로 분할되며, 그 크기는 전형적으로 64x64, 128x128, 또는 256x256 픽셀들이다. 각각의 CTU는 압축된 도메인에서 코딩 유닛(CU)에 의해 표현된다. 그 다음, 각각의 CU에는 일부 인트라 또는 인터 예측 파라미터들(예측 정보)이 부여된다. 그렇게 하기 위해, 그것은 하나 이상의 예측 유닛(PU)으로 공간적으로 파티셔닝되고, 각각의 PU는 일부 예측 정보를 할당받는다. 인트라 또는 인터 코딩 모드는 도 1에서 도시된 바와 같은 CU 레벨에 할당된다.
분할 후에, 인트라(intra) 또는 인터(inter) 예측이 인트라 또는 인터 프레임 상관을 이용하기 위해 사용되고, 이어서, 종종 예측 에러들 또는 예측 잔차들로서 표시되는, 원래의 블록과 예측된 블록 간의 차이들이 변환되고, 양자화되며, 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축된 데이터는 엔트로피 코딩, 양자화, 변환, 및 예측에 대응하는 역 프로세스들에 의해 디코딩된다.
HEVC에서, 코딩 블록의 양자화된 변환 계수들은 비중첩(non-overlapped) 계수 그룹(coefficient group)(CG)들을 사용하여 코딩되고, 각각의 CG는 코딩 블록의 4x4 블록의 계수들을 포함한다. 예로서, 8x8 블록에 포함되는 CG들은 도 2에 도시된다. 코딩 블록 내부의 CG들, 및 CG 내의 16개의 변환 계수는 3개의 미리 정의된 스캔 순서: 대각선, 수평, 수직 중에서 선택된 스캔 패턴에 따라 스캔 및 코딩된다. 인터 블록들의 경우, 도 2의 좌측에 있는 대각선 스캐닝이 항상 사용되는 반면, 4x4 및 8x8 인트라 블록의 경우, 스캐닝 순서는 그 블록에 대해 활성인 인트라 예측 모드에 의존한다.
디코더 측에서, 전체 블록 파싱 프로세스는 다음의 단계들을 포함한다:
1. 하기 신택스 요소들에 의해 표현되는 마지막 유의 좌표를 디코딩한다: last_sig_coeff_x_prefix, last_sig_coeff_y_prefix,last_sig_coeff_x_suffix, 및 last_sig_coeff_y_suffix. 이것은 전체 블록에서 마지막 논-제로 계수들의 공간적 위치(x-좌표 및 y-좌표)를 디코더에 제공한다.
그 다음, 코딩 블록 내의 마지막 유의 계수를 포함하는 CG로부터 코딩 블록 내의 좌측 상단 CG까지의 각각의 연속적인 CG에 대해, 다음 단계들이 적용된다:
2. HEVC 규격에서 coded_sub_block_flag라고 불리는 CG 유의 플래그를 디코딩한다. 이것은 적어도 하나의 계수가 CG 내부에서 논-제로임을 표시한다.
3. 고려된 CG 내의 각각의 계수에 대한 유의 계수 플래그를 디코딩한다. 이것은 HEVC 규격에서의 신택스 요소 sig_coeff_flag에 대응한다. 이는 어느 계수가 CG에서 논-제로인지를 표시한다.
다음 파싱 스테이지들은 고려된 CG에서 논-제로인 것으로 알려진 계수들에 대한 계수 레벨들을 목표로 한다. 이들은 다음의 신택스 요소들을 수반한다:
4. coeff_abs_level_greater1_flag: 이 플래그는 현재 계수의 절대 값이 1보다 큰지 여부를 표시한다. 그렇지 않다면, 절대 값은 1과 같다.
5. coeff_abs_level_greater2_flag: 이 플래그는 현재 계수의 절대 값이 2보다 큰지 여부를 표시한다. 그렇지 않다면, 절대 값은 2와 같다.
6. coeff_sign_flag: 이것은 논-제로 계수들의 부호(0: 양, 1: 음)를 표시한다.
7. coeff_abs_level_remaining: 이것은 절대 값이 2보다 큰 계수의 절대 값을 표시한다.
모든 스캔 패스들은 다음 CG를 처리하기 전에 그 CG 내의 모든 양자화된 계수들이 재구성될 수 있을 때까지 주어진 CG에 대해 디코딩된다.
CG를 사용하는 이점은 일부 주파수 영역들에서 모두 제로들인 변환 계수들을 코딩하는 것을 스킵하는 것이다. coded_sub_block_flag를 0으로 설정함으로써, 이는 이 CG 내부의 모든 계수들이 제로들이라는 것을 표시하고, 비트들이 절약될 수 있고, 코딩 프로세스가 가속화될 수 있다. 그러나, 코딩 블록 내부의 변환 계수들의 대부분이 논-제로인 경우, 대부분의 플래그들의 값이 1이기 때문에 각각의 4x4 CG에 대해 하나의 추가적인 coded_sub_block_flag를 코딩하는 것이 비용이 많이 든다. 따라서, 적어도 하나의 실시예는 CG 및 CG 크기를 사용하는 적응을 제안한다. 유리하게는, 적어도 하나의 실시예는 코딩 설계의 최소 복잡도 증가와 함께 양호한 압축 효율(레이트 왜곡 성능)을 제공하는 방식으로 CG 및 CG 크기를 효율적으로 적응시킨다.
실제로, 예를 들어, HEVC 또는 JVET에서와 같이 CG를 사용하는 것은 또한 비-유의 변환 계수들만을 포함하는 일부 주파수 영역들에 대한 코딩 시간 및 코딩 비트들을 절약할 수 있다. 고정된 4x4 CG 크기를 적용하는 것은 변환 계수들의 대부분이 유의(significant)일 때 최적이 아닐 수 있다. 특히 더 큰 해상도 비디오들(4k, 8k 등)이 점점 더 많이 요구되고, 더 큰 코딩 블록 크기들의 수가 비교적 증가되고, 이는 CG 크기가 종래 기술에서 4x4로 고정되면 많은 coded_sub_block_flag들이 시그널링될 필요가 있다는 것을 표시한다.
문헌 "Description of SDR, HDR and 360° video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon"(문헌 JVET-J0024 by E.Alshina et al., 10th Meeting: San Diego, US, 10-20 Apr. 2018)에서, 코딩 블록에서 스캐닝될 영역은 스캔 영역 정보(SRx, SRy)에 의해 결정되고, 여기서 도 3a에 도시된 바와 같이 SRx는 가장 우측 논-제로 계수들의 x-축이고, SRy는 가장 하부의 논-제로 계수들의 y-축이다. 스캔 영역 내의 계수들만이 도 3b에 도시된 바와 같이 역 지그재그 스캔 순서로 스캔 영역의 우측 하단 코너로부터 코딩된다. 따라서, 시그널링될 coded_sub_block_flag가 없다. 그러나, 스캔 영역 내부의 대부분의 변환 계수들이 제로들이면, 이러한 제로 계수들을 코딩하는 것이 또한 비용이 많이 들 것이다.
따라서, 적어도 하나의 실시예의 일반적인 양태는 CG를 적응시킴으로써 코딩 효율을 개선하는 것을 목적으로 한다. 이 섹션은 적어도 하나의 구현을 상세히 설명한다. 이하에서는, CG 및 CG 크기를 상이한 조건들 및 파라미터들에 적응시키는 몇몇 실시예들이 설명된다. 이는 다음과 같이 조직된다. 먼저, 변환 계수 디코딩에서 사용되는 계수 그룹 CG 및 계수 그룹 CG 크기 중 하나를 적응시키는 것을 포함하는 디코딩을 위한 일반적인 실시예가 설명된다. 두 번째로, 변환 계수들 인코딩에서 사용되는 계수 그룹 CG 및 계수 그룹 CG 크기 중 하나를 적응시키는 것을 포함하는 코딩을 위한 일반적인 실시예가 설명되고, 세 번째로, 변환 계수들 코딩에서 사용되는 계수 그룹 CG 및 계수 그룹 CG 크기를 유의 계수들의 수에 적응시키는 것을 포함하는 제1 실시예의 다양한 구현들이 설명된다. 네 번째로, 변환 계수 코딩에서 사용되는 CG 및 CG 크기를 코딩 블록 크기에 적응시키는 것을 포함하는 제2 실시예의 다양한 구현들이 개시된다. 이어서, 변환 계수 코딩에서 사용되는 CG 및 CG 크기를 변환 계수의 위치에 적응시키는 것을 포함하는 제3 실시예의 다양한 구현들이 개시된다. 마지막으로, CG의 가능한 적응적 크기들이 픽처 또는 슬라이스 헤더에서 미리 정의되거나 비트스트림 내의 일부 신택스들을 사용하여 직접 생성되는 실시예들 중 임의의 것의 다양한 구현들이 설명된다.
CG 모드를 결정하는 단계를 포함하는 디코딩 방법
본 원리들은 도 11의 엔트로피 디코딩 모듈(230) 내의 디코더에서 유리하게 구현된다. 도 13은 적어도 하나의 실시예의 일반적인 양태에 따른 예시적인 디코딩 방법(1300)을 도시한다. 단계 1301에서, 디코딩할 비디오의 이미지의 적어도 하나의 블록이 액세스되고, 이 블록은 디코딩할 적어도 하나의 양자화된 변환 계수들의 세트를 포함한다.
실시예에 따르면, 단계 1310은 계수 그룹 모드를 결정하는 단계를 포함한다. 디코더에서, 계수 그룹 모드를 결정하는 것은 암시적이거나 명시적이다.
따라서, 이후에 노출되는 다양한 실시예들에 따르면, 블록의 크기, 즉, 블록에 포함되는 변환 계수들의 수에 따라, 이미지 블록 내부의 논-제로 변환 계수의 위치에 따라, 계수 그룹 모드는 디코더에서 암시적으로 결정된다. 또는, 다른 실시예에 따르면, (변형 정보를 지정하고, 예를 들어, encode_CG, adaptive_CG_size로 명명된) 디코딩된 신택스 요소에 따라, 계수 그룹 모드는 디코더에서 명시적으로 결정된다. 변형에서, 계수 그룹 모드를 결정하는 것은 계수 그룹 유의 플래그가 코딩되는지를 지정하는 신택스 요소(encode_CG)를 디코딩하는 것을 포함한다. 다른 변형에서, 계수 그룹 모드를 결정하는 것은 계수 그룹 유의 플래그가 코딩되는지 및 계수 그룹의 크기를 지정하는 신택스 요소(adaptive_CG_size)를 디코딩하는 것을 포함한다. 계수 그룹 모드가 디코딩될 때, 인코더에서의 그의 획득은 제1 및 제2 실시예와 관련하여 나중에 설명된다.
여기에 설명된 실시예들에 따르면, 계수 그룹 유의 플래그가 코딩될 때 계수 그룹 유의 플래그(HEVC에서 coded_sub_block_flag로 명명됨)를 코딩할지 또는 계수 그룹의 적어도 하나의 크기는 아래에 설명된 실시예들 중 어느 하나에 따라 결정된다.
예를 들어, 계수 그룹의 크기는 섹션 4 및 5에서 제3 및 제4 실시예에 관하여 이하에서 설명되는 바와 같이 이미지 블록 내부의 변환 계수의 위치로부터 또는 이미지 블록의 크기로부터 결정된다. 예를 들어, 계수 그룹의 크기는 블록의 크기의 2의 거듭제곱에 의한 나눗셈으로부터 도출된다.
다른 예에 따르면, CG 크기는 블록 크기에 기초한다. 예를 들어, CG 크기는 블록의 폭을 2의 거듭제곱으로 나누고 블록의 높이를 다른 2의 거듭제곱으로 나누는 것에 의해 도출된다.
다른 예에 따르면, 상이한 크기들의 계수 그룹들의 배열은 상기의 블록에서의 상기의 적어도 하나의 변환 서브블록의 위치에 기초한다. 예를 들어, 저주파수 계수들의 CG에는 더 큰 CG 크기가 사용되는 반면 고주파수 계수들의 CG에는 더 작은 CG 크기가 사용된다.
다른 예에 따르면, 스캔 영역이 결정되고, 이 방법은 이미지의 블록 대신에 스캔 영역에 적용된다.
단계 1320에서, 변환 계수들의 세트는 결정된 계수 그룹 모드에 응답하여 디코딩된다. 계수 그룹 모드가 계수 그룹 유의 플래그(HEVC에서 coded_sub_block_flag로 명명됨)를 코딩할지를 지정하는 변형에 따르면, 디코딩 단계 1320의 예시적인 실시예가 설명된다. 예를 들어, encode_CG로 명명된 플래그가 결정되고, 이는 계수 그룹 유의 플래그가 코딩되는 경우 1로 설정되는 단계 1310이다. 이어서, 단계 1321에서, 플래그 encode_CG가 테스트된다. encode_GC가 1로 설정되면(예), 변환 계수들의 하나의 세트는 그룹에 의해 디코딩된다. 그 후, CG에 대해 설명되고 공통 비디오 압축 표준들에서 사용되는 기존의 신택스 및 디코딩 프로세스는 어떠한 수정들도 필요로 하지 않고 재사용될 수 있다. 따라서, 단계 1322에서, 디코딩할 각각의 연속적인 CG가 액세스된다. 이 변형예에서, CG의 크기는 4X4이다. 본 기술분야의 통상의 기술자는 CG의 크기가 변하는 변형에 쉽게 적응할 것이다. 게다가, 본 기술분야의 통상의 기술자는 단계가 블록 내의 마지막 유의 계수를 포함하는 CG로부터 블록 내의 좌측 상단 CG까지 블록 내의 CG들에 적용된다는 것을 이해할 것이다. 이전에 설명된 디코딩 표준의 단계 2 및 3에 대응하는 단계 1323에서, CG 유의 플래그 coded_sub_block_flag는 현재의 4x4 CG에 대해 디코딩되고, 더 정확하게는 플래그가 엔트로피 디코더에서 파싱된다. CG 내의 어느 계수가 논-제로인지를 표시하는 유의 계수 플래그 sig_coeff_flag가 또한 디코딩된다. 그 다음, 테스트 1324에서, CG 내의 논-제로 계수들 sig_coeff_flag가 체크된다. 전술한 디코딩 표준의 단계들 4-7에 대응하는 단계 1325에서, 현재 CG 내의 논-제로 계수들이 디코딩된다. CG 내의 모든 계수들이 제로인 경우, 이 단계 1325는 스킵된다. 그 후, 단계 1326에서, 모든 CG 블록들이 디코딩되었는지가 체크된다. 디코딩할 CG가 더 없다면, 디코딩 단계 1320은 종료되고, 그렇지 않고 디코딩할 CG가 더 있다면, 단계들(1322, 1323, 1324 및 1326)은 반복된다.
encode_GC가 제로로 설정되면(아니오), 적어도 하나의 변환 계수들은 그룹에 의해 디코딩되지 않는다. 예를 들어, 블록 내의 마지막 유의 계수로부터 블록 내의 좌측 상단 계수까지의 적어도 하나의 변환 계수는 전술한 디코딩 표준의 단계들 4-7에서 설명된 바와 같이 디코딩된다.
단계 1330에서, 모든 블록들이 디코딩되었는지가 체크된다. 디코딩할 블록이 더 없다면, 디코딩은 단계 1340에서 종료되고, 그렇지 않고 디코딩할 블록이 더 많으면, 단계들 1310, 1320, 1330은 반복된다.
CG 모드를 결정하는 단계를 포함하는 코딩 방법
본 원리들은 도 10의 엔트로피 코딩 모듈(145) 내의 인코더에서 유리하게 구현된다. 도 14는 적어도 하나의 실시예의 일반적인 양태에 따른 예시적인 인코딩 방법(1400)을 도시한다. 단계 1401에서, 인코딩할 비디오의 이미지의 적어도 하나의 블록이 액세스된다. 블록은 인코딩할 적어도 하나의 양자화된 변환 계수들의 세트를 포함한다.
실시예에 따르면, 단계 1410은 계수 그룹 모드를 결정하는 것을 포함한다. 이후에 노출되는 다양한 실시예들에 따른 인코더에서, 블록의 크기, 즉, 블록에 포함되는 변환 계수들의 수에 따라, 이미지 블록 내부의 논-제로 변환 계수들의 수에 따라, 이미지 블록 내부의 논-제로 변환 계수의 위치에 따라, 계수 그룹 모드가 결정된다.
특정 실시예에 따르면, 계수 그룹 모드는 디코더에 대한 명시적 시그널링을 위해 인코딩된다. 따라서, 시그널링을 위해 신택스 요소들의 변형이 정의된다. 변형에서, 계수 그룹 모드를 코딩하는 신택스 요소(예를 들어, enable_CG로 명명됨)는 계수 그룹 유의 플래그가 코딩되는지를 지정한다. 다른 변형에서, 신택스 요소(예를 들어, adaptive_CG_size로 명명됨)는 계수 그룹 유의 플래그가 코딩되는지 및 계수 그룹의 적어도 하나의 크기를 지정한다. 계수 그룹 모드를 결정하고 코딩하기 위한 변형 구현들은 나중에 섹션 3의 제1 및 제2 실시예들과 관련하여 설명된다.
다른 특정 실시예에 따르면, 계수 그룹 모드는 디코더에 암시적으로 시그널링되는데, 즉 디코더는 블록 크기 또는 이미지 블록 내의 변환 계수의 위치와 같은 이용가능한 정보로부터 계수 그룹 모드를 결정한다. 계수 그룹 모드를 결정하고 코딩하기 위한 변형 구현들은 나중에 섹션들 4 및 5에서 제3 및 제4 실시예와 관련하여 설명된다.
여기에 설명된 실시예들에 따르면, 계수 그룹 유의 플래그가 코딩될 때 계수 그룹 유의 플래그(HEVC에서 coded_sub_block_flag로 명명됨)를 코딩할지 또는 계수 그룹의 적어도 하나의 크기는 디코더에 대해 위에 설명된 실시예들 중 어느 하나에 따라 결정된다.
게다가, 예를 들어, 계수 그룹 모드는 이미지 블록 내부의 논-제로 변환 계수들의 수로부터 결정된다.
계수 그룹 모드의 특정한 실시예에 따르면, 계수 그룹 모드를 결정하는 것은 제1 값을 획득하고; 이미지 블록의 논-제로 변환 계수들의 수를 획득하고, 이미지 블록의 논-제로 변환 계수들의 수가 제1 값보다 큰 경우에 계수 그룹 유의 플래그를 코딩하기로 결정하고, 그렇지 않으면 계수 그룹 유의 플래그를 코딩하지 않기로 결정하는 것을 포함한다.
계수 그룹 모드의 다른 특정 실시예에 따르면, 복수의(예를 들어, 상세히 후술되는 바와 같이 3개의) 제1 값이 획득되고 계수 그룹 유의를 코딩할지 및 계수 그룹의 크기는 이미지 블록의 논-제로 변환 계수들의 수와 복수의 제1 수 사이의 비교에 응답한다.
변형에 따르면, 제1 값 또는 적어도 하나의 제1 값은 이미지 블록의 크기로부터 결정된다.
단계 1420에서, 변환 계수들의 세트는 결정된 계수 그룹 모드에 응답하여 코딩된다. 계수 그룹 모드가 계수 그룹 유의 플래그(HEVC에서 coded_sub_block_flag로 명명됨)를 코딩할지를 지정하는 변형에 따르면, 인코딩 단계 1420의 예시적인 실시예가 설명된다. 예를 들어, 계수 그룹 유의 플래그가 이전의 결정에 따라 코딩되면 1로 설정되는 단계 1410에서 encode_CG로 명명된 플래그가 결정된다. 그 후, 단계 1421에서, 플래그 encode_CG가 테스트된다. encode_GC가 1로 설정되면(예), 변환 계수들의 하나의 세트는 계수 그룹들을 사용하여 코딩된다. 그 후, CG에 대해 설명되고 공통의 비디오 압축 표준들에서 사용되는 기존의 신택스 및 디코딩 프로세스가 어떤 수정들도 필요로 하지 않고 재사용될 수 있으며, 디코딩 프로세스의 역이다. 따라서, 단계 1322에서, 인코딩할 각각의 연속적인 CG가 액세스된다. 이 변형예에서, CG의 크기는 4X4이다. 본 기술분야의 통상의 기술자는 CG의 크기가 변하는 변형에 쉽게 적응할 것이다. 게다가, 본 기술분야의 통상의 기술자라면 인코딩 단계 1420이 블록 내의 마지막 유의 계수를 포함하는 CG로부터 블록 내의 좌측 상단 CG까지 스캐닝 순서로 블록 내의 CG들에 적용된다는 것을 이해할 것이다. 단계 1423은 현재 CG 내의 논-제로 계수의 수를 카운팅한다. 그 후, 단계 1424에서, 현재 4x4 CG에 대한 CG 유의 플래그 coded_sub_block_flag가 결정되고 엔트로피 코딩된다. CG 내의 어느 계수가 논-제로인지를 표시하는 유의 계수 플래그 sig_coeff_flag도 코딩된다. 그 후, 테스트 1425에서, CG 내의 논-제로 계수들이 체크된다. 단계 1426에서, 현재 CG 내의 논-제로 계수들이 코딩된다. CG 내의 모든 계수들이 제로인 경우, 이 단계 1426은 스킵된다. 그 후, 단계 1327에서, 모든 CG 블록들이 코딩되었는지가 체크된다. 코딩할 CG가 더 이상 없는 경우, 인코딩 단계 1420이 종료되고, 그렇지 않고 인코딩할 CG가 더 남아 있는 경우, 단계들 1422, 1423, 1424, 1425 및 1326이 반복된다.
encode_GC가 제로로 설정되면(아니오), 적어도 하나의 변환 계수는 계수 그룹 유의 플래그를 사용하여 코딩되지 않는다. 예를 들어, 블록 내의 마지막 유의 계수로부터 블록 내의 좌측 상단 계수까지의 블록의 변환 계수들은 스캐닝 순서에 따라 코딩된다.
임의로, 단계 1430에서, 블록의 encode_GC는 코딩되고 비트스트림에 삽입된다.
단계 1440에서, 이미지 내의 모든 블록들이 코딩되었는지가 체크된다. 코딩할 블록이 더 이상 없는 경우, 단계 1450에서 코딩이 종료되고, 그렇지 않고 디코딩할 블록이 더 있으면, 단계들 1401, 1410, 1420, 1340이 반복된다.
전술한 것은 발명의 대상(subject matter) 실시예들의 몇몇 양태들의 기초적인 이해를 제공하기 위하여 간략화된 디코딩 및 코딩 방법을 제시한다. 이와 같이, 인코딩 및 디코딩 단계는 전술한 하위 단계들로 한정되지 않는다. 본 개시의 추가적인 특징들, 변형들 및 장점들은 예시적인 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다.
CG 및 CG 크기를 유의 계수들의 수에 적응시키는 것
비디오 압축 시스템들에서 언급된 바와 같이, CG 유의 플래그들 coded_sub_block_flag는 코딩 블록 내의 마지막 유의 계수를 포함하는 CG로부터 코딩 블록 내의 좌측 상단 CG까지의 각각의 4x4 CG에 대해 설정된다. 그러나, 코딩 블록 내부의 변환 계수들의 대부분이 중요한 경우, 또는 달리 말해서, 유의 계수들의 분포가 코딩 블록의 CG에서 조밀한 경우, 대부분의 플래그들의 값이 1이기 때문에 하나의 추가적인 coded_sub_block_flag를 코딩하는 것이 비용이 많이 든다. 전술한 제안이 구현되었지만, 시그널링될 coded_sub_block_flag는 없다. 그러나, 스캔 영역 내부의 대부분의 변환 계수들이 제로이면, 이러한 제로 계수들을 코딩하는 것이 또한 매우 비용이 많이 들 것이다.
따라서, 제1 실시예는 CG 및 CG 크기를 코딩 블록 또는 스캔 영역 내부의 유의 계수들의 수에 적응시키는 것을 포함한다.
이를 위해, 유의 계수들의 수 NUMnz가 인코더에서 결정되고, 그 후 유의 계수들의 수 NUMnz가 주어진 값 THsig와 비교된다. THsig 값은 코딩 블록 크기(width, height), 또는 스캔 영역 크기(SRx, SRy)에 따라 결정된다. 비교 결과에 기초하여, 제1 실시예는 CG의 사용 및 크기를 표시하기 위해 하나의 추가적인 신택스를 결정하고 디코더에 시그널링하는 것을 포함한다.
제1 실시예의 제1 변형에서, 플래그 encode_CG는 유의 계수들의 수 NUMnz가 대응하는 값 THsig보다 큰 경우에 거짓으로 설정된다. 따라서, 시그널링될 coded_sub_block_flag가 존재하지 않으며, 이는 코딩 블록 내부의 마지막 유의 계수로부터의 모든 연속적인 변환 계수들 또는 스캔 영역 내부의 모든 계수들이 코딩될 것임을 표시한다. 반대로, 유의 계수들의 수 NUMnz가 대응하는 값 THsig 이하이면, 플래그 encode_CG는 참으로 설정되고, 마지막 유의 계수를 포함하는 CG로부터의 또는 스캔 영역 내부의 마지막 CG로부터의 각각의 4x4 CG에 대한 coded_sub_block_flag가 시그널링된다. 제1 실시예의 제1 변형에 의해 제안된 잔차 코딩의 전체 프로세스는 도 4에 의해 도시되며, 회색 부분은 CG를 시그널링하기로 결정하거나 시그널링하지 않기로 결정하는 것이다.
제1 실시예의 다른 변형에 따르면, 값 THsig는 코딩 블록의 크기 또는 스캔 영역의 크기에 기초하여 결정된다. 하나의 비제한적인 예는 수학식 1에 도시된 바와 같이 크기의 함수로서, 더 정확하게는 면적의 함수로서 THsig 값을 획득하기 위해 룩업 테이블에 액세스하는 것을 포함한다.
Figure pct00001
수학식 1: 코딩 블록 면적/크기 정보로부터 THsig를 결정
여기서, area는 (width*height) 또는 (SRx*SRy)이다.
제1 실시예의 다른 변형에 따르면, 값 THsig는 수학식 2에 도시된 바와 같이, 코딩 블록 또는 스캔 영역 내부의 변환 계수들의 총 수의 백분율 또는 분수 r에 기초하여 결정된다:
Figure pct00002
수학식 2: 코딩 블록 면적/크기 정보로 THsig를 결정
여기서 분수 r이 코딩 블록 크기에 기초하여 상이한 비제한적인 예로서, 분수 r은 모든 코딩 블록 크기에 대해
Figure pct00003
,
Figure pct00004
...로 고정된다. 이전 변형에 대해, 코딩 블록 크기(width, height)는 수학식 2에서 스캔 영역 크기(SRx, SRy)로 대체될 수 있다.
제1 실시예의 다른 변형에 따르면, 값 THsig는 수학식 3에 도시된 바와 같이, 코딩 블록 또는 스캔 영역 내부의 변환 계수들의 총 수로부터 하나의 CG 내부의 변환 계수들의 수(CG 크기가 4x4인 경우 16)를 감산함으로써 결정된다:
Figure pct00005
수학식 3: 코딩 블록 크기 및 CG 크기 정보로 THsig를 결정
여기서, 이전 변형에 대해, 코딩 블록 크기(width, height)는 수학식 3에서 스캔 영역 크기(SRx, SRy)로 대체될 수 있다.
제1 실시예의 다른 변형에 따르면, 플래그 encode_CG는 또한 도 5에 도시된 바와 같이 레이트 왜곡 탐색 루프에 따라 결정될 수 있다.
제2 실시예에서, 이는 제1 실시예와 유사하다: adaptive_CG_size로 명명된 하나의 신택스는 CG의 사용 및 크기를 표시하기 위해 디코더에 시그널링된다. 차이점은 이 추가적인 신택스가 플래그가 아니라는 것이다. 실시예의 특정 변형에 따르면, adaptive_CG_size의 값은 [0, 3]으로부터 선택될 수 있다. 더 많은 값들이 본 원리들과 호환가능하다.
제1 실시예에 언급된 것과 동일하게, adaptive_CG_size는 유의 계수들의 수 NUMnz가 대응하는 THsig보다 큰 경우에 제로로 설정된다. 부호화될 coded_sub_block_flag가 없다. 신택스 adaptive_CG_size가 제로가 아니면, 마지막 유의 계수를 포함하는 CG로부터의 또는 스캔 영역 내부의 마지막 CG로부터의 각각의 CG에 대한 coded_sub_block_flag가 시그널링된다. 차이점은 CG의 크기가 4x4로 고정되지 않는다는 것이지만, 수학식에 도시된 바와 같이 adaptive_CG_size의 값에 의존된다:
Figure pct00006
수학식 4: 신택스 adaptive_CG_size로 적응적 CG 크기 SizeCG를 도출
3개의 논-제로
Figure pct00007
은 3개의 가능한 적응적 CG 크기
Figure pct00008
을 표시한다. adaptive_CG_size의 값은, 수학식에 도시된 바와 같이, 유의 계수들의 수 NUMnz를 3개의 미리 정의된 임계값 THsig, THsig _1 및 THsig_2와 비교함으로써 결정된다:
Figure pct00009
수학식 5: 신택스 adaptive_CG_size의 값을 결정
제2 실시예에 의해 제안된 잔차 코딩의 전체 프로세스가 도 6에 도시되며, 회색 부분은 adaptive_CG_size의 값을 결정하는 것이다.
제2 실시예의 변형에서, adaptive_CG_size 값의 가능한 수는 SizeCG가 코딩 블록 크기 또는 스캔 영역 크기보다 크지 않다는 것을 보장할 수 있는 임의의 정수 값일 수 있다.
제2 실시예의 다른 변형에서, adaptive_CG_size의 함수로서의 SizeCG의 도출 규칙들은 상이할 수 있다. 그리고, SizeCG는 또한 직사각형 코딩 블록들에 더 잘 적응하기 위한 직사각형 형상일 수 있다.
CG 크기를 코딩 블록 크기에 적응시키는 것
전술한 바와 같이, 4k 및 8k 해상도 비디오들이 크게 요구되고, 더 큰 코딩 블록 크기들의 수가 비교적 증가되고, 이는 CG 크기가 4x4로 고정되면 많은 coded_sub_block_flag들이 시그널링될 필요가 있음을 표시한다. 따라서, 실시예는 CG 크기를 코딩 블록 크기에 적응시키는 것을 포함한다.
제3 실시예에서, CG의 적응적 크기(widthCG, heightCG)는 2m 및 2n으로 코딩 블록 크기(width, height)를 분할함으로써 도출되고, 최소 적응적 CG 크기는 수학식 6에 도시된 바와 같이 여전히 4x4이다:
Figure pct00010
Figure pct00011
수학식 6: 코딩 블록 크기 정보로 적응적 CG 크기를 도출
적응적 CG 크기는 디코더에서 동일한 프로세스로 도출되므로, 이 실시예에서는 추가적인 신택스가 필요하지 않다. 도 7은 제3 실시예의 변형에 의해 제안된 잔차 코딩을 도시하며, 회색 부분은 적응적 CG 크기를 도출하는 것이다.
변형에서, 적응적 CG 크기는 코딩 블록 크기의 함수로서 룩업 테이블을 사용함으로써 미리 정의된 CG 크기들(정사각형 또는 직사각형)의 세트로부터 선택될 수 있다. 이러한 룩업 테이블을 코딩 블록 영역의 함수로서 설계하는 하나의 비제한적인 예가 수학식 7에 도시된다:
Figure pct00012
수학식 7: 코딩 블록의 면적/크기에 기초한 세트로부터의 적응적 CG 크기
이러한 룩업 테이블을 코딩 블록 크기(width, height) 중 최소 치수의 함수로서 설계하는 다른 비제한적인 예가 수학식 8에 도시된다:
Figure pct00013
수학식 8: 코딩 블록의 min(width, height)에 기초한 세트로부터의 적응적 CG 크기
상이한 코딩 블록 크기들에서 제3 실시예에 의해 제안된 적응적 CG 크기를 적용하는 예가 도 8에 도시된다.
CG 크기를 변환 계수 위치에 적응시키는 것
앞서 설명된 실시예들에서, 각각의 코딩 블록에 대해 하나의 적응적 CG 크기만이 결정되고 적용될 것이다. 즉, 코딩 블록 내부에서, CG 크기는 일정하게 유지되지만, CG 크기는 코딩 블록으로부터 다른 코딩 블록으로 변경될 수 있다. 그러나, 논-제로 변환 계수들의 분포는 동일한 코딩 블록 내부에서도 하나의 CG로부터 다른 CG로 변경된다. 공지된 바와 같이, 더 중요한 계수들은 고주파수 도메인에 비해 저주파수 도메인에 위치한다. 적응적 CG 크기를 사용하는 성능을 더 향상시키기 위해, 하나의 코딩 블록 내부의 상이한 주파수 도메인에 대해 여러 적응적 CG 크기들이 적용될 수 있다.
따라서, 실시예는 코딩 블록 내부의 복수의 CG 크기를 상이한 주파수 도메인들에 위치하는 변환 계수들의 위치들에 적응시키는 것을 포함한다.
제4 실시예의 변형에서, 더 큰 CG 크기는 저주파수 도메인에서 정의되고, 더 작은 CG 크기(4x4보다 작지 않음)는 고주파수 도메인에서 정의된다. 수학식 9에 도시된 바와 같이, 저주파수 도메인 SizeCG _ Lowfreq에 사용되는 적응적 CG 크기는 2m으로 코딩 블록 크기(width, height)의 최소 치수를 분할함으로써 도출될 수 있고, 고주파수 도메인 SizeCG _ Highfreq에 사용되는 적응적 CG 크기는 2n으로 SizeCG _ Lowfreq에 의해 도출될 수 있다(최소 적응적 CG 크기는 여전히 4x4이다):
Figure pct00014
Figure pct00015
수학식 9: 적응적 CG 크기들 SizeCG _ Lowfreq 및 SizeCG _ Highfreq를 도출
SizeCG _ Lowfreq=8 및 SizeCG _ Highfreq=4인, 32x32 코딩 블록에 적용되는 제4 실시예의 이러한 변형의 예가 도 9a에 도시된다.
제4 실시예의 다른 변형에서, 더 작은 적응적 CG 크기(4x4보다 작지 않음)는 저주파수 도메인에 적용되는 반면, 더 큰 CG 크기는 고주파수 도메인에 적용된다. SizeCG _Lowfreq=8 및 SizeCG _ Highfreq=4인, 32x32 코딩 블록에 적용되는 제4 실시예의 이러한 변형의 예가 도 9b에 도시된다.
제4 실시예의 또 다른 변형에서, 더 큰 적응적 CG 크기 SizeCG _ Lowfreq는 좌측 상단 DC 계수들을 포함하는 CG에만 사용될 수 있다. 다른 주파수 도메인들에서의 나머지 CG들은 동일한 더 작은 적응적 CG 크기 SizeCG _ Highfreq를 적용할 것이다.
제4 실시예의 또 다른 변형예에서, 하나보다 많은 쌍의 적응적 CG 크기들(SizeCG_Lowfreq, SizeCG _ Highfreq)이 존재할 수 있다. 예를 들어, 중간 레벨 적응적 CG 크기 SizeCG _ Midfreq는 또한 더 큰 크기의 코딩 블록들에 대해 사용될 수 있다.
추가적인 실시예들 및 정보
이러한 문서는 도구들, 특징들, 실시예들, 모델들, 접근법들 등을 포함하는, 다양한 양태들을 설명한다. 다수의 이 양태들은 특별한 점을 설명하고, 적어도 개별 특성들을 보여주기 위해, 제한하는 것일 수 있는 방식으로 종종 설명된다. 그러나, 이는 설명의 명료함을 위한 것이고, 그들 양태들의 적용 또는 범위를 제한하지 않는다. 실제로, 추가의 양태들을 제공하기 위해 상이한 양태들 모두가 결합되고 교환될 수 있다. 더구나, 양태들은 이전의 출원들에서 설명된 양태들과 결합되고 교환될 수 있다.
이 문서에서 설명되고 구상되는 양태들은 많은 상이한 형태들로 구현될 수 있다. 도 10, 도 11 및 도 12는 일부 실시예들을 아래에 제공하지만, 다른 실시예들이 생각되고 도 10, 도 11 및 도 12의 논의는 구현들의 범위를 제한하지 않는다. 양태들 중 적어도 하나는 대체로 비디오 인코딩 및 디코딩에 관한 것이고 적어도 하나의 다른 양태는 대체로 생성되거나 또는 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 양태들은 방법, 장치, 설명된 방법들 중 임의의 것에 따른 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들을 저장하는 컴퓨터 판독가능 저장 매체, 및/또는 설명된 방법들 중 임의의 것에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.
본 출원에서, "재구성된" 및 "디코딩된"이란 용어들은 교환적으로 사용될 수 있으며, "픽셀" 및 "샘플"이란 용어들은 교환적으로 사용될 수 있으며, "이미지", "픽처" 및 "프레임"이란 용어들은 교환적으로 사용될 수 있다. 필수적은 아니지만 통상적으로, 용어 "재구성된"은 인코더 측에서 사용되는 한편, "디코딩된"은 디코더 측에서 사용된다.
HDR(high dynamic range) 및 SDR(standard dynamic range)이라는 용어들이 본 개시에서 사용된다. 그 용어들은 종종 동적 범위의 특정 값들을 본 기술분야의 통상의 기술자들에게 전달한다. 그러나, HDR에 대한 참조가 "더 높은 동적 범위"를 의미하는 것으로 이해되고 SDR에 대한 참조가 "더 낮은 동적 범위"를 의미하는 것으로 이해되는 추가적인 실시예들이 또한 의도된다. 이러한 추가적인 실시예들은 종종 용어들 "하이 다이내믹 레인지" 및 "표준 다이내믹 레인지"와 연관될 수 있는 다이내믹 레인지의 임의의 특정 값들에 의해 제약되지 않는다.
다양한 방법들이 본 명세서에서 설명되고, 방법들 각각은 설명된 방법을 달성하기 위한 하나 이상의 단계 또는 동작들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 동작들의 특정 순서가 요구되지 않으면, 특정 단계들 및/또는 동작들의 순서 및/또는 사용은 수정되거나 결합될 수 있다.
본 문서에서 설명되는 다양한 방법들 및 다른 양태들은 도 10 및 도 11에 도시된 바와 같이 비디오 인코더(100) 및 디코더(200)의 모듈들, 예를 들어, 엔트로피 코딩 및/또는 엔트로피 디코딩 모듈들(145, 230)을 수정하기 위해 사용될 수 있다. 더구나, 현재의 양태들은 VVC 또는 HEVC로 제한되지 않고, 예를 들어, 미리 존재하든 또는 장래에 개발되든 간에, 다른 표준들 및 권고들과, (VVC 및 HEVC를 포함한) 임의의 이러한 표준들 및 권고들의 확장들에 적용될 수 있다. 달리 표시되거나, 또는 기술적으로 배제되지 않는 한, 이 문서에서 설명되는 양태들은 개별적으로 또는 조합하여 사용될 수 있다.
본 문서에서 다양한 수치 값들, 예를 들어, 적응적 CG 크기 [0:3]에 대한 값, 상이한 룩업 테이블들, 고려되는 코딩 블록 크기가 사용된다. 특정 값들은 예시적인 목적들을 위한 것이고 설명되는 양태들은 이러한 특정 값들로 제한되지는 않는다.
도 10은 인코더(100)를 도시한다. 이 인코더(100)의 변형들이 구상되지만, 모든 예상되는 변동들을 설명하지 않고 인코더(100)는 명료함을 위해 아래에서 설명된다.
인코딩되기 전에, 비디오 시퀀스는 프리 인코딩 처리(101), 예를 들어, 입력 컬러 픽처에 컬러 변환을 적용하는 것(예를 들어, RGB 4:4:4로부터 YCbCr 4:2:0로의 변환), 또는 (예를 들면 컬러 컴포넌트들 중 하나의 컬러 컴포넌트의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분산을 얻기 위하여 입력 픽처 컴포넌트들의 리매핑을 수행하는 것을 겪을 수 있다. 메타데이터는 전-처리(pre-processing)에 연관되고, 비트스트림에 부착된다.
인코더(100)에서, 픽처는 아래에서 설명되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는 예를 들어, CU 유닛으로 파티셔닝되고(102) 처리된다. 각각의 유닛은 예를 들어, 인트라 또는 인터 모드를 사용하여 인코딩된다. 유닛이 인트라 모드에서 인코딩될 때, 이는 인트라 예측(160)을 수행한다. 인트라 모드에서, 모션 추정(175) 및 보상(170)이 수행된다. 인코더는 유닛을 인코딩하기 위해 사용할 인트라 모드 또는 인터 모드 중 하나를 결정(105)하고, 예를 들어, 예측 모드 플래그에 의해 인트라/인터 결정을 표시한다. 예측 잔차들은, 예를 들어, 원래의 이미지 블록에서 예측된 블록을 감산함으로써(110) 계산된다.
예측 잔차들이 이어서 변환되고(125) 양자화된다(130). 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들은 비트스트림을 출력하도록 엔트로피 코딩된다(145). 인코더는 변환을 건너 뛰고 비변환된 잔차 신호에 직접 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 둘 다를 건너 뛸 수 있으며, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접 코딩될 수 있다.
인코더는 추가적 예측들을 위한 기준을 제공하기 위해 인코딩된 블록을 디코딩한다. 예측 잔차들을 디코딩하기 위해, 양자화된 변환 계수들은 역 양자화되고(140) 역 변환된다(150). 디코딩된 예측 잔차들 및 예측된 블록을 결합하면(155), 이미지 블록이 재구성된다. 인-루프 필터들(165)은, 예를 들어, 인코딩 아티팩트들을 줄이기 위한 블록화제거(deblocking)/SAO(Sample Adaptive Offset) 필터링을 수행하기 위해 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(180)에 저장된다.
도 11은 비디오 디코더(200)의 블록도를 도시한다. 디코더(200)에서, 비트스트림은 아래에서 설명되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 일반적으로 도 10에 설명된 바와 같이 인코딩 패스에 역방향인 디코딩 패스를 수행한다. 인코더(100)는 비디오 데이터를 인코딩하는 부분으로서 비디오 디코딩을 또한 일반적으로 수행한다.
특히, 디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은, 변환 계수들, 모션 벡터들 및 다른 코딩된 정보를 획득하기 위해 먼저 엔트로피 디코딩된다(230). 픽처 파티션 정보는 픽처가 파티셔닝되는 방법을 표시한다. 디코더는 그러므로 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할할 수 있다(235). 예측 잔차들을 디코딩하기 위해, 변환 계수들은 역 양자화되고(240) 역 변환된다(250). 디코딩된 예측 잔차들 및 예측된 블록을 조합하면(255), 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 모션 보상 예측(즉, 인터 예측)(275)으로부터 획득될 수 있다(270). 인-루프 필터들(265)은 재구성된 이미지에 대해 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.
디코딩된 픽처는 포스트 디코딩 처리(285), 예를 들어, 역 컬러 변환(예를 들어, YCbCr 4:2:0부터 RGB 4:4:4로의 변환) 또는 프리 인코딩 처리(101)에서 수행되는 리매핑 프로세스의 역을 수행하는 역 리매핑을 추가로 겪을 수 있다. 포스트 디코딩 처리는 프리 인코딩 처리에서 도출되고 비트스트림에서 시그널링되는 메타데이터를 사용할 수 있다.
도 12는 다양한 양태들 및 실시예들이 구현되는 시스템의 일례의 블록도를 예시한다. 시스템(1000)은 아래에서 설명되는 다양한 컴포넌트들을 포함하는 디바이스로서 실시될 수 있고 이 문서에서 설명되는 양태들의 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예는 개인용 컴퓨터들, 랩톱 컴퓨터들, 스마트폰들, 태블릿 컴퓨터들, 디지털 멀티미디어 셋톱 박스들, 디지털 텔레비전 수신기들, 개인 비디오 기록 시스템들, 접속된 가전 기기들, 및 서버들과 같은 다양한 전자 디바이스들을 포함하지만 이에 한정되지는 않는다. 시스템(1000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로, 다중의 IC, 및/또는 개별 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 처리 및 인코더/디코더 요소들은 다중의 IC 및/또는 개별 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해 다른 유사한 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 결합된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에서 설명된 양태들 중 하나 이상을 구현하도록 구성된다.
시스템(1000)은, 예를 들어, 본 문서에 설명된 다양한 양태들을 구현하기 위해, 그 안에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 내장된 메모리, 입력 출력 인터페이스, 및 본 기술분야에 공지된 다양한 다른 회로들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예를 들어, 휘발성 메모리 디바이스 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이에 한정되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.
시스템(1000)은, 예를 들어, 인코딩된 비디오 또는 디코딩된 비디오를 제공하기 위해 데이터를 처리하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 다를 포함할 수 있다. 또한, 인코더/디코더 모듈(1030)은 시스템(1000)의 별도 요소로서 구현될 수 있거나, 또는 본 기술분야의 통상의 기술자에게 공지된 바와 같이 하드웨어 및 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.
본 문서에 설명된 다양한 양태들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030) 상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속하여 프로세서(1010)에 의한 실행을 위해 메모리(1020) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에 설명된 프로세스들의 수행 동안 다양한 아이템들 중 하나 이상을 저장할 수 있다. 이러한 저장된 아이템들은 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 행렬들, 변수들, 및 수학식들, 공식들, 동작들 및 동작 논리의 처리로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이에 한정되지는 않는다.
몇몇 실시예들에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030)의 내부에 있는 메모리는 명령어들을 저장하고 및 인코딩 또는 디코딩 동안 필요한 처리를 위한 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 처리 디바이스 외부의 메모리(예를 들어, 처리 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030) 중 하나일 수 있음)가 이러한 기능들 중 하나 이상을 위해 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예들에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하기 위해 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속 외부 동적 휘발성 메모리는 MPEG-2, HEVC, 또는 VVC(Versatile Video Coding)와 같은 비디오 코딩 및 디코딩 동작들을 위한 작업 메모리로서 사용된다.
시스템(1000)의 요소들에의 입력은 블록(1130)에 표시된 바와 같이 다양한 입력 디바이스들을 통해 제공될 수 있다. 이러한 입력 디바이스들은 (i) 예를 들어, 브로드캐스터에 의해 OTA(over the air)로 송신되는 RF 신호를 수신하는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이에 제한되지는 않는다.
다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 본 기술분야에 공지된 바와 같은 연관된 제각기 입력 처리 요소들을 갖는다. 예를 들어, RF 부분은 (i) 원하는 주파수를 선택하는 것(또한 신호를 선택하는 것, 또는 주파수들의 대역으로 신호를 대역 제한하는 것으로 지칭됨), (ii) 선택된 신호를 하향 변환하는 것, (iii) 주파수들의 더 좁은 대역으로 다시 대역 제한하여 특정 실시예들에서 채널로 지칭될 수 있는(예를 들어) 신호 주파수 대역을 선택하는 것, (iv) 하향 변환된 및 대역 제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 원하는 데이터 패킷들의 스트림을 선택하기 위해 역 다중화하는 것에 필요한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이러한 기능들을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기들, 신호 선택기들, 대역 제한기들, 채널 선택기들, 필터들, 다운컨버터들, 복조기들, 에러 정정기들, 및 디멀티플렉서들을 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수)로 또는 기저대역으로 하향 변환하는 것을 포함하여, 다양한 이러한 기능들을 수행하는 튜너를 포함할 수 있다. 하나의 셋톱 박스 실시예에서, RF 부분 및 그것의 연관된 입력 처리 요소는 유선(예를 들어, 케이블) 매체를 통해 송신되는 RF 신호를 수신하고, 필터링, 하향 변환, 및 원하는 주파수 대역으로의 다시 필터링에 의해 주파수 선택을 수행한다. 다양한 실시예들은 전술한 (및 다른) 요소들의 순서를 재배열하고, 이 요소들의 일부를 제거하고, 및/또는 유사하거나 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은, 예를 들어, 증폭기들과 아날로그-투-디지털 변환기를 삽입하는 것과 같이 기존 요소들 사이 내에 요소들을 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.
또한, USB 및/또는 HDMI 단말들은 USB 및/또는 HDMI 접속들을 통해 다른 전자 디바이스들에 시스템(1000)을 접속하기 위한 제각기 인터페이스 프로세서들을 포함할 수 있다. 입력 처리의 다양한 양태들, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정이, 예를 들어, 별도의 입력 처리 IC 내에서 또는 필요에 따라 프로세서(1010) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태들은 필요에 따라 별도의 인터페이스 IC들 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조된, 에러 정정된, 및 역 다중화된 스트림은, 예를 들어, 프로세서(1010), 및 출력 디바이스 상의 프리젠테이션을 위해 필요한 대로 데이터 스트림을 처리하기 위해 메모리 및 저장 요소들과 조합하여 동작하는 인코더/디코더(1030)를 포함하는 다양한 처리 요소들에 제공된다.
시스템(1000)의 다양한 요소들은 통합된 하우징 내에 제공될 수 있고, 통합된 하우징 내에서, 다양한 요소들은 적절한 접속 배열(1140), 예를 들어, I2C 버스, 배선, 및 인쇄 회로 기판들을 포함하는 본 기술분야에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고 그들 사이에 데이터를 송신할 수 있다.
시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 가능하게 하는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는 통신 채널(1060)을 통해 데이터를 송신하고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 한정되는 것은 아니다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이에 한정되지는 않고, 통신 채널(1060)은 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.
데이터는, 다양한 실시예들에서, IEEE 802.11과 같은 Wi-Fi 네트워크를 사용하여 시스템(1000)에 스트리밍된다. 이러한 실시예들의 Wi-Fi 신호는 Wi-Fi 통신들을 위해 적응되는 통신 인터페이스(1050) 및 통신 채널(1060)을 통해 수신된다. 이러한 실시예들의 통신 채널(1060)은 스트리밍 애플리케이션들 및 다른 OTT(over-the-top) 통신들을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 전형적으로 접속된다. 다른 실시예들은 입력 블록(1130)의 HDMI 접속을 통해 데이터를 전달하는 셋톱 박스를 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다. 또 다른 실시예들은 입력 블록(1130)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템(1000)에 제공한다.
시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변기기들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변기기들(1120)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(1000)의 출력에 기초하는 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함한다. 다양한 실시예들에서, 제어 신호들은 AV.Link, CEC, 또는 사용자 개입을 사용하거나 사용하지 않고 디바이스-투-디바이스 제어를 가능하게 하는 다른 통신 프로토콜들과 같은 시그널링을 사용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변기기들(1120) 사이에서 통신된다. 출력 디바이스들은 각각의 인터페이스들(1070, 1080, 및 1090)을 통한 전용 접속들을 통해 시스템(1000)에 통신가능하게 결합될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은, 예를 들어, 텔레비전과 같은 전자 디바이스에서 시스템(1000)의 다른 컴포넌트들과 함께 단일 유닛에 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는, 예를 들어, 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.
디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별도의 셋톱 박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상으로부터 분리될 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속들을 통해 제공될 수 있다.
실시예들은 프로세서(1010)에 의해 구현되는 컴퓨터 소프트웨어에 의해 또는 하드웨어에 의해, 또는 하드웨어 및 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 타입일 수 있고 비제한적 예들로서, 광학적 메모리 디바이스들, 자기 메모리 디바이스들, 반도체 기반 메모리 디바이스들, 고정식 메모리, 및 이동식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적절한 임의의 타입으로 될 수 있고, 비제한적 예들로서 마이크로프로세서들, 범용 컴퓨터들, 특수 목적 컴퓨터들, 및 멀티 코어 아키텍처에 기초한 프로세서들 중 하나 이상을 포함할 수 있다.
다양한 구현들은 디코딩을 수반한다. 본 출원에서 사용되는 "디코딩"은 디스플레이에 적합한 최종 출력을 생성하기 위해, 예를 들어, 수신된 인코딩된 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 엔트로피 디코딩, 역 양자화, 역 변환, 및 차동 디코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 이러한 프로세스들은 또한, 또는 대안적으로, 본 출원에서 설명된 다양한 구현들의 디코더에 의해 수행되는 프로세스들, 예를 들어, 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를, 계수 그룹에 의해, 디코딩하기 위한 계수 그룹 모드를 결정하는 것; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 디코딩하는 것을 포함하고; 계수 그룹 모드는 이미지 블록의 크기, 디코딩된 신택스 요소, 이미지 블록의 유의 변환 계수의 위치 중 적어도 하나로부터 결정된다.
추가 예들로서, 하나의 실시예에서, "디코딩"은 엔트로피 디코딩만을 지칭하고, 다른 실시예에서, "디코딩"은 차동 디코딩만을 지칭하고, 다른 실시예에서, "디코딩"은 엔트로피 디코딩 및 차동 디코딩의 조합을 지칭한다. "디코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되거나 일반적으로 더 넓은 디코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 맥락에 기초하여 명백할 것이며, 본 기술분야의 통상의 기술자에 의해 잘 이해될 것으로 여겨진다.
다양한 구현들은 인코딩을 수반한다. "디코딩"에 관한 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같은 "인코딩"은 인코딩된 비트스트림을 생성하기 위해, 예를 들어, 입력 비디오 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포함할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 인코더에 의해 통상적으로 수행되는 프로세스들, 예를 들어, 파티셔닝, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 이러한 프로세스들은 또한, 또는 대안적으로, 본 출원에서 설명된 다양한 구현들의 인코더에 의해 수행되는 프로세스들, 예를 들어, 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를, 계수 그룹에 의해, 코딩하기 위한 계수 그룹 모드를 결정하는 것; 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하는 것을 포함하고; 계수 그룹 모드는 이미지 블록의 크기, 이미지 블록의 유의 변환 계수들의 수, 이미지 블록의 유의 변환 계수의 위치 중 적어도 하나로부터 결정된다.
추가의 예들로서, 하나의 실시예에서 "인코딩"은 엔트로피 인코딩만을 지칭하고, 다른 실시예에서 "인코딩"은 차동 인코딩만을 지칭하며, 다른 실시예에서 "인코딩"은 차동 인코딩 및 엔트로피 인코딩의 조합을 지칭한다. "인코딩 프로세스"라는 문구가 구체적으로 동작들의 서브세트를 지칭하도록 의도되거나 일반적으로 더 넓은 인코딩 프로세스를 지칭하도록 의도되는지는 특정 설명들의 문맥에 기초하여 분명할 것이고, 본 기술분야의 통상의 기술자들에 의해 잘 이해될 것으로 여겨진다.
본 명세서에서 사용되는 신택스 요소들, 예를 들어, encodeCG, adaptive_CG_size는 설명적 용어들이라는 점을 유의한다. 이와 같이, 이들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.
도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것이 이해되어야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 대응하는 방법/프로세스의 흐름도를 또한 제공한다는 것이 이해되어야 한다.
다양한 실시예들은 레이트 왜곡 최적화를 언급한다. 특히, 인코딩 프로세스 동안, 계산 복잡도의 제약들이 종종 주어지면, 레이트와 왜곡 사이의 균형 또는 트레이드-오프가 일반적으로 고려된다. 레이트 왜곡 최적화는 일반적으로 레이트와 왜곡의 가중 합인 레이트 왜곡 함수를 최소화하는 것으로 공식화된다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 이 접근법들은, 코딩 및 디코딩 이후에 재구성된 신호의 그 코딩 비용 및 관련 왜곡의 완전한 평가와 함께, 모든 고려된 모드들 또는 코딩 파라미터 값들을 포함하는, 모든 인코딩 옵션들의 광범위한 테스팅에 기초할 수 있다. 인코딩 복잡성을 피하기 위해, 특히 재구성된 것이 아니라 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산을 이용하여 더 빠른 접근법들이 또한 사용될 수 있다. 이들 2개의 접근법의 혼합은 또한, 예컨대, 가능한 인코딩 옵션들 중 일부에 대해서만 근사화된 왜곡, 및 다른 인코딩 옵션들에 대한 완전한 왜곡을 사용함으로써 사용될 수 있다. 다른 접근법들은 가능한 인코딩 옵션들의 서브세트만을 평가한다. 보다 일반적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기법들 중 임의의 기법을 사용하지만, 최적화가 반드시 코딩 비용 및 관련 왜곡 둘 다의 완전한 평가인 것은 아니다.
본 개시에서 설명되는 구현들 및 양태들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 구현 형태의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의되더라도), 논의되는 특징들의 구현은 다른 형태들(예를 들어, 장치 또는 프로그램)로 또한 구현될 수 있다. 장치는 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 일반적으로 처리 디바이스들을 지칭하는, 예를 들어, 컴퓨터, 마이크로프로세서, 집적회로, 또는 프로그램가능 논리 디바이스를 포함하는 프로세서로 구현될 수 있다. 프로세서들은 또한 예를 들어, 컴퓨터들, 휴대 전화들, 휴대용/개인 정보 단말기들(portable/personal digital assistants)("PDAs"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은, 통신 디바이스들을 포함한다.
"하나의 실시예" 또는 "실시예" 또는 "하나의 구현" 또는 "구현"뿐만 아니라 그의 다른 변형들에 대한 참조는, 실시예와 관련하여 설명된 특정한 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 이 문서의 전체에 걸쳐 다양한 곳들에서 나타나는 "하나의 실시예에서" 또는 "실시예에서" 또는 "하나의 구현에서" 또는 "구현에서"란 문구, 뿐만 아니라 임의의 다른 변형들의 출현들은 반드시 모두가 동일한 실시예를 말하는 것은 아니다.
추가적으로, 이 문서는 다양한 정보 피스들을 "결정하는 것"을 언급할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 정보를 메모리로부터 검색하는 것 중 하나 이상을 포함할 수 있다.
게다가, 이 문서는 다양한 정보 피스들에 "액세스하는 것"을 언급할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
추가적으로, 이 문서는 다양한 정보 피스들을 "수신하는 것"을 언급할 수 있다. 수신하는 것은, "액세스하는 것"에서와 같이 광의의 용어가 되도록 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 정보를 (예를 들어, 메모리로부터) 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 통상적으로 예를 들어, 정보를 저장하는 것, 정보를 처리하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 하나의 방식 또는 다른 방식으로 수반된다.
예를 들어, "A/B", "A 및/또는 B(A and/or B)" 및 "A 및 B 중 적어도 하나(at least one of A and B)"의 경우들에서, 이하의 "/", "및/또는(and/or)", 및 "~ 중 적어도 하나(at least one of)" 중 임의의 것의 사용은, 처음 열거된 옵션(A)만을 선택함, 또는 두 번째로 열거된 옵션(B)만을 선택함, 또는 옵션들 둘 다(A 및 B)를 선택함을 망라하려는 의도임을 알 것이다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 문구는 첫 번째로 열거된 옵션(A)만의 선택, 또는 두 번째로 열거된 옵션(B)만의 선택, 또는 세 번째로 열거된 옵션(C)만의 선택, 또는 첫 번째와 두 번째로 열거된 옵션들(A 및 B)만의 선택, 또는 첫 번째와 세 번째로 열거된 옵션들(A 및 C)만의 선택, 또는 두 번째와 세 번째로 열거된 옵션들(B 및 C)만의 선택, 또는 3개의 옵션(A 및 B 및 C) 전부의 선택을 포함하는 것으로 의도된다. 이것은 본 기술분야 및 관련 기술분야의 통상의 기술자에게 명백한 바와 같이 열거된 많은 항목들에 대해 확장될 수 있다.
또한, 여기에 사용된 바와 같이, 단어 "신호"는 다른 것들 중에서, 대응하는 디코더에게 무언가를 표시하는 것을 지칭한다. 예를 들어, 특정 실시예들에서, 인코더는 encodeCG, adaptive_CG_size와 같은 복수의 파라미터 또는 신택스 요소들 중 특정한 하나의 계수 그룹 모드를 시그널링한다. 이러한 방식으로, 실시예에서, 인코더 측 및 디코더 측 둘 다에서 동일한 파라미터가 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 다른 것들뿐만 아니라 이미 특정 파라미터를 갖는 경우, 단순히 디코더가 특정 파라미터를 알고 선택하는 것을 허용하기 위해 송신(암시적 시그널링) 없이 시그널링이 사용될 수 있다. 임의의 실제 기능들의 송신을 회피함으로써, 다양한 실시예들에서 비트 절약이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있다는 것을 알아야 한다. 예를 들어, 하나 이상의 신택스 요소, 플래그들 및 기타 등등은 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하기 위해 사용된다는 점을 알아야 한다. 전술한 것은 단어 "신호"의 동사 형태와 관련되지만, 단어 "신호"는 명사로서 여기에 사용될 수도 있다.
본 기술분야의 통상의 기술자에게 분명할 바와 같이, 구현들은, 예를 들어, 저장 또는 송신될 수 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 설명된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호가 설명된 실시예의 비트스트림을 반송하기 위해 포맷팅될 수 있다. 이러한 신호는, 예를 들어, 전자기 파로서 (예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 것과 같이 각종의 상이한 유선 또는 무선 링크를 통해 송신될 수 있다. 그 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
다수의 실시예가 설명되었다. 이 실시예들은, 적어도, 다양한 상이한 청구항 카테고리들 및 타입들에 걸쳐, 모든 조합들을 포함하는 다음의 일반화된 발명들 및 청구항들을 제공한다:
● 이미지 블록을 인코딩하는 코딩 방법으로서, 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 단계;- 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하는 단계를 포함하고; 계수 그룹 모드는 이미지 블록의 크기, 이미지 블록의 유의 변환 계수들의 수, 이미지 블록의 변환 계수의 위치 중 적어도 하나로부터 결정되는 방법.
● 이미지 블록을 디코딩하는 디코딩 방법으로서, 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하는 단계; 계수 그룹 모드에 응답하여 변환 계수들의 세트를 디코딩하는 단계를 포함하고, 계수 그룹 모드는 이미지 블록의 크기, 이미지 블록의 변환 계수의 위치, 디코딩된 신택스 요소 중 적어도 하나로부터 결정되는 방법.
● 코딩/디코딩 방법으로서, 계수 그룹 모드는 계수 그룹 유의 플래그가 코딩되는지를 지정하고, 계수 그룹 유의는 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로인 것을 표시하는 방법.
● 코딩/디코딩 방법으로서, 계수 그룹 모드는 계수 그룹 유의 플래그가 코딩되는지를 지정하고- 계수 그룹 유의 플래그는 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로인 것을 표시함 -, 계수 그룹의 적어도 하나의 크기를 지정하는 방법.
● 코딩/디코딩 방법으로서, 계수 그룹 모드는 계수 그룹 유의 플래그를 코딩하기 위한 계수 그룹의 크기를 지정하고, 계수 그룹 유의는 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로인 것을 표시하는 방법.
● 코딩 방법으로서, 계수 그룹 모드에 응답하여 이미지 블록의 변환 계수들의 세트를 인코딩하는 것은, 계수 그룹 모드가 계수 그룹 유의 플래그를 코딩하도록 지정하는 경우, 이미지 블록의 현재 계수 그룹 내부에서 논-제로 변환 계수들의 수를 결정하는 것; 현재 계수 그룹에 대한 계수 그룹 유의 플래그를 결정하고, 현재 계수 그룹 내부에서 논-제로 변환 계수들의 수가 널(null)이 아닌 경우, 현재 계수 그룹의 적어도 하나의 계수를 코딩하는 것; 그렇지 않고 계수 그룹 모드가 계수 그룹 유의 플래그를 코딩하지 않도록 지정하는 경우, 이미지 블록의 적어도 하나의 변환 계수를 인코딩하는 것을 포함하는 방법.
● 코딩 방법으로서, 계수 그룹 모드를 결정하는 것은 제1 값을 획득하고, 이미지 블록의 유의 변환 계수들의 수를 획득하는 것을 포함하고; 계수 그룹 모드는, 이미지 블록의 유의 변환 계수들의 수가 제1 값보다 큰 경우에 계수 그룹 유의 플래그가 코딩되는 것을 지정하는 방법.
● 코딩 방법으로서, 계수 그룹 모드를 결정하는 것은 적어도 하나의 제1 값을 획득하는 것; 이미지 블록의 유의 변환 계수들의 수를 획득하는 것을 포함하고; 계수 그룹 모드는 계수 그룹 유의 플래그를 코딩하도록 지정하고 계수 그룹의 적어도 하나의 크기는 이미지 블록의 논-제로 변환 계수들의 수와 적어도 하나의 제1 유의 계수 수 사이의 비교에 응답하는 방법.
● 이미지 블록의 크기로부터 제1 값을 결정.
● 스캔 영역을 결정하고, 이미지 블록 대신에 스캔 영역에 코딩/디코딩 방법을 적용.
● 계수 그룹 모드를 인코딩/디코딩하는 단계를 포함하는 코딩/디코딩 방법
● 디코딩 방법으로서, 상기의 계수 그룹 모드를 결정하는 것은, 계수 그룹 유의 플래그가 코딩되는 것을 지정하거나 계수 그룹의 적어도 하나의 크기를 지정하는 신택스 요소(encode_CG, adaptive_CG_size)를 디코딩하는 것을 포함하는 방법.
● 큰 코딩 블록 크기(32x32, 64x64...)에 적용되는 코딩/디코딩 방법.
● 루마 컴포넌트에 대해 적용되는 코딩/디코딩 방법.
● 크로마 컴포넌트들에 대해 적용되는 코딩/디코딩 방법.
● 인터-코딩된 블록들에 적용되는 코딩/디코딩 방법.
● 인트라-코딩된 블록들에 적용되는 코딩/디코딩 방법.
● 일부 변환 타입들에 적용되는 코딩/디코딩 방법.
● 설명된 신택스 요소들, 또는 그의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호.
● 디코더가 인코더에 의해 사용되는 것에 대응하는 방식으로 CG들을 적응할 수 있게 하는 시그널링 신택스 요소들에 삽입함.
● 설명된 신택스 요소들, 또는 그의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성 및/또는 송신 및/또는 수신 및/또는 디코딩함.
● 설명되는 실시예들 중 임의의 것에 따른 CG의 적응을 수행하는 TV, 셋톱 박스, 휴대 전화, 태블릿, 또는 다른 전자 디바이스.
● 설명되는 실시예들 중 임의의 것에 따른 CG의 적응을 수행하고, (예를 들어, 모니터, 스크린, 또는 다른 타입의 디스플레이를 사용하여) 결과적인 이미지를 디스플레이하는 TV, 셋톱 박스, 휴대 전화, 태블릿, 또는 다른 전자 디바이스.
● 인코딩된 이미지를 포함하는 신호를 수신하기 위해 (예를 들어, 튜너를 사용하여) 채널을 튜닝하고, 설명되는 실시예들 중 임의의 것에 따른 CG의 적응을 수행하는 TV, 셋톱 박스, 휴대 전화, 태블릿, 또는 다른 전자 디바이스.
● 인코딩된 이미지를 포함하는 무선을 통한(over the air) 신호를 (예를 들어, 안테나를 사용하여) 수신하고, 설명된 실시예들 중 임의의 것에 따른 필터 파라미터들의 적응을 수행하는 TV, 셋톱 박스, 휴대 전화, 태블릿, 또는 다른 전자 디바이스.
다양한 다른 일반화된, 뿐만 아니라 특정화된 발명들 및 청구항들이 본 개시의 전체에 걸쳐 또한 지원되고 구상된다.

Claims (16)

  1. 이미지 블록을 인코딩하는 코딩 방법으로서,
    - 상기 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 단계;
    - 상기 계수 그룹 모드에 응답하여 상기 이미지 블록의 상기 변환 계수들의 세트를 인코딩하는 단계를 포함하고;
    상기 계수 그룹 모드는 상기 이미지 블록의 크기, 상기 이미지 블록 내부의 논-제로 변환 계수들의 수, 상기 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정되는 코딩 방법.
  2. 이미지 블록을 디코딩하는 디코딩 방법으로서,
    - 상기 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하는 단계;
    - 상기 계수 그룹 모드에 응답하여 상기 변환 계수들의 세트를 디코딩하는 단계를 포함하고;
    상기 계수 그룹 모드는 상기 이미지 블록의 크기, 디코딩된 신택스 요소, 상기 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정되는 디코딩 방법.
  3. 이미지 블록을 인코딩하도록 구성된 코딩 디바이스로서,
    - 상기 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 코딩하기 위한 계수 그룹 모드를 결정하는 수단;
    - 상기 계수 그룹 모드에 응답하여 상기 이미지 블록의 상기 변환 계수들의 세트를 인코딩하는 수단을 포함하고;
    상기 계수 그룹 모드는 상기 이미지 블록의 크기, 상기 이미지 블록 내부의 논-제로 변환 계수들의 수, 상기 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정되는 코딩 디바이스.
  4. 이미지 블록을 디코딩하도록 구성된 디코딩 디바이스로서,
    - 상기 이미지 블록의 변환 계수들의 세트 중 적어도 하나의 계수를 디코딩하기 위한 계수 그룹 모드를 결정하는 수단;
    - 상기 계수 그룹 모드에 응답하여 상기 변환 계수들의 세트를 디코딩하는 수단을 포함하고;
    상기 계수 그룹 모드는 상기 이미지 블록의 크기, 디코딩된 신택스 요소, 상기 이미지 블록 내부의 변환 계수의 위치 중 적어도 하나로부터 결정되는 디코딩 디바이스.
  5. 제1항 또는 제2항에 따른 방법, 또는 제3항 또는 제4항에 따른 장치에 있어서,
    상기 계수 그룹 모드는 계수 그룹 유의 플래그가 코딩되는지를 지정하고, 상기 계수 그룹 유의 플래그는 상기 이미지 블록의 상기 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로임을 표시하는 방법 또는 장치.
  6. 제1항 또는 제2항에 따른 방법, 또는 제3항 또는 제4항에 따른 장치에 있어서,
    상기 계수 그룹 모드는 계수 그룹 유의 플래그가 코딩되는지를 지정하고- 상기 계수 그룹 유의 플래그는 상기 이미지 블록의 상기 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로임을 표시함 -, 상기 계수 그룹의 적어도 하나의 크기를 지정하는 방법 또는 장치.
  7. 제1항 또는 제2항에 따른 방법, 또는 제3항 또는 제4항에 따른 장치에 있어서,
    상기 계수 그룹 모드는 계수 그룹 유의 플래그를 코딩하기 위한 계수 그룹의 적어도 하나의 크기를 지정하고, 상기 계수 그룹 유의 플래그는 상기 이미지 블록의 상기 변환 계수들의 세트 중 적어도 하나의 계수를 포함하는 계수 그룹 내부에서 적어도 하나의 계수가 논-제로인 것을 표시하는 방법 또는 장치.
  8. 제1항 및 제5항에 따른 방법, 또는 제3항 및 제5항에 따른 장치에 있어서,
    상기 계수 그룹 모드에 응답하여 상기 이미지 블록의 변환 계수들의 세트를 인코딩하는 것은,
    - 상기 계수 그룹 모드가 상기 계수 그룹 유의 플래그를 코딩하도록 지정하는 경우, 상기 이미지 블록의 현재 계수 그룹 내부의 논-제로 변환 계수들의 수를 결정하는 것; 상기 현재 계수 그룹에 대한 상기 계수 그룹 유의 플래그를 결정하고 코딩하고, 현재 계수 그룹 내부의 상기 논-제로 변환 계수들의 수가 널(null)이 아닌 경우, 상기 현재 계수 그룹의 적어도 하나의 논-제로 계수를 코딩하는 것;
    - 그렇지 않고 상기 계수 그룹 모드가 상기 계수 그룹 유의 플래그를 코딩하지 않도록 지정하는 경우, 상기 이미지 블록의 상기 적어도 하나의 변환 계수를 인코딩하는 것을 포함하는 방법 또는 장치.
  9. 제1항 및 제5항에 따른 방법, 또는 제8항에 따른 방법, 또는 제3항 및 제5항에 따른 장치, 또는 제8항에 따른 장치에 있어서,
    상기 계수 그룹 모드를 결정하는 것은:
    - 제1 값을 획득하는 것;
    - 상기 이미지 블록의 상기 논-제로 변환 계수들의 수를 획득하는 것을 포함하고;
    상기 계수 그룹 모드는, 상기 이미지 블록의 상기 논-제로 변환 계수들의 수가 상기 제1 값보다 큰 경우에 계수 그룹 유의 플래그를 코딩하도록 지정하고, 그렇지 않으면, 상기 계수 그룹 모드는 계수 그룹 유의 플래그를 코딩하지 않도록 지정하는 방법 또는 장치.
  10. 제1항 및 제6항에 따른 방법, 또는 제3항 및 제6항에 따른 장치에 있어서,
    상기 계수 그룹 모드를 결정하는 것은:
    적어도 하나의 제1 값을 획득하는 것;
    상기 이미지 블록의 상기 논-제로 변환 계수들의 수를 획득하는 것을 포함하고;
    상기 계수 그룹 모드는 계수 그룹 유의를 코딩하도록 지정하고 상기 계수 그룹의 적어도 하나의 크기는 상기 이미지 블록의 상기 논-제로 변환 계수들의 수와 상기 적어도 하나의 제1 값 사이의 비교에 응답하는 방법 또는 장치.
  11. 제9항 또는 제10항에 따른 방법, 또는 제9항 또는 제10항에 따른 장치에 있어서,
    상기 제1 값 또는 적어도 하나의 제1 값은 상기 이미지 블록의 크기로부터 결정되는 방법 또는 장치.
  12. 제7항에 따른 방법, 또는 제7항에 따른 장치에 있어서,
    상기 계수 그룹의 적어도 하나의 크기는 상기 이미지 블록의 크기로부터 또는 상기 이미지 블록 내부의 변환 계수의 위치로부터 결정되는 방법 또는 장치.
  13. 제1항 및 제5항, 제1항 및 제6항 중 어느 한 항에 따른 방법, 또는 제3항 및 제5항, 제3항 및 제6항 중 어느 한 항에 따른 장치에 있어서,
    상기 계수 그룹 모드를 인코딩하는 것을 추가로 포함하는 방법 또는 장치.
  14. 제2항 및 제5항, 제2항 및 제6항 중 어느 한 항에 따른 방법, 또는 제4항 및 제5항, 제4항 및 제6항 중 어느 한 항에 따른 장치에 있어서,
    상기 계수 그룹 모드를 결정하는 것은:
    - 계수 그룹 유의 플래그가 코딩되는지를 지정하거나, 계수 그룹 유의 플래그가 코딩되는지 및 상기 계수 그룹의 적어도 하나의 크기를 지정하는 신택스 요소(encode_CG, adaptive_CG_size)를 디코딩하는 것을 포함하는 방법 또는 장치.
  15. 제1항 또는 제2항 또는 제5항 내지 제14항 중 어느 한 항에 따른 방법, 또는 제3항 또는 제4항 또는 제5항 내지 제14항에 따른 장치에 있어서,
    스캔 영역이 결정되고, 상기 방법은 상기 이미지의 상기 블록 대신에 상기 스캔 영역에 적용되는 방법 또는 장치.
  16. 제1항 및 제5항에 따른 방법, 또는 제8항에 따른 방법, 또는 제3항 및 제5항에 따른 장치, 또는 제8항에 따른 장치에 있어서,
    상기 계수 그룹 모드를 결정하는 것은, 상기 계수 그룹 모드가, 상기 계수 그룹 유의 플래그로 인코딩된 상기 블록의 레이트 왜곡 비용 및 상기 계수 그룹 유의 플래그 없이 인코딩된 상기 블록의 레이트 왜곡 비용의 비교에 기초하여 계수 그룹 유의 플래그를 코딩하도록 지정하는 것을 포함하는 방법 또는 장치.
KR1020207037173A 2018-06-29 2019-06-28 적응적 계수 그룹에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치 KR20210023884A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305835 2018-06-29
EP18305835.3 2018-06-29
EP18305901.3 2018-07-09
EP18305901.3A EP3595309A1 (en) 2018-07-09 2018-07-09 Method and apparatus for video encoding and decoding based on adaptive coefficient group
PCT/US2019/039694 WO2020006338A1 (en) 2018-06-29 2019-06-28 Method and apparatus for video encoding and decoding based on adaptive coefficient group

Publications (1)

Publication Number Publication Date
KR20210023884A true KR20210023884A (ko) 2021-03-04

Family

ID=67226356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037173A KR20210023884A (ko) 2018-06-29 2019-06-28 적응적 계수 그룹에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Country Status (5)

Country Link
US (2) US11503309B2 (ko)
EP (1) EP3815371A1 (ko)
KR (1) KR20210023884A (ko)
CN (1) CN112335246B (ko)
WO (1) WO2020006338A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438595B2 (en) * 2019-11-29 2022-09-06 Tencent America LLC Video coding method and system using a scan region based coefficient coding
CN116918330A (zh) * 2021-02-23 2023-10-20 抖音视界有限公司 对非二元块的残差编解码

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206448B2 (en) * 2002-02-28 2007-04-17 At&T Corp. System and method for using pattern vectors for video and image coding and decoding
GB2559062B (en) * 2011-10-17 2018-11-14 Kt Corp Video decoding method using transform method selected from a transform method set
KR101892329B1 (ko) * 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
US9036710B2 (en) * 2012-03-08 2015-05-19 Blackberry Limited Unified transform coefficient encoding and decoding
EP2946553B1 (en) * 2013-01-16 2019-01-02 BlackBerry Limited Transform coefficient coding for context-adaptive binary entropy coding of video
US9215464B2 (en) * 2013-09-19 2015-12-15 Blackberry Limited Coding position data for the last non-zero transform coefficient in a coefficient group
US10631013B2 (en) * 2015-06-11 2020-04-21 Lg Electronics Inc. Method for re-positioning significant coefficient in image encoding/decoding process and device therefor
WO2016208590A1 (ja) 2015-06-22 2016-12-29 凸版印刷株式会社 ホログラム画像形成用媒体及びそれを用いた画像表示媒体
US10382768B2 (en) * 2015-06-23 2019-08-13 Mediatek Singapore Pte. Ltd. Method and apparatus for transform coefficient coding of non-square blocks
WO2018026028A1 (ko) * 2016-08-02 2018-02-08 엘지전자(주) 서브 계수 그룹을 이용하여 레지듀얼 신호를 인코딩, 디코딩하는 방법 및 장치
CN114928745B (zh) * 2018-09-02 2024-04-19 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法
CN117097895A (zh) * 2018-09-23 2023-11-21 Lg 电子株式会社 编码/解码视频信号的方法及其装置

Also Published As

Publication number Publication date
US11503309B2 (en) 2022-11-15
US20210274196A1 (en) 2021-09-02
US20230051873A1 (en) 2023-02-16
CN112335246B (zh) 2024-03-12
EP3815371A1 (en) 2021-05-05
WO2020006338A1 (en) 2020-01-02
CN112335246A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN113228650B (zh) 基于块的表面的视频编码或解码的量化
CN113950834A (zh) 用于隐式多变换选择的变换选择
CN112970264A (zh) 基于相邻样本相关参数模型的译码模式的简化
US20210274182A1 (en) Context-based binary arithmetic encoding and decoding
US20230051873A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
CN114208178A (zh) 用于视频编码和解码的二次变换
EP4218240A1 (en) Template matching prediction for versatile video coding
KR20210020915A (ko) 이미지 블록들의 비대칭 이진 파티셔닝에 기초한 비디오 인코딩 및 디코딩을 위한 방법 및 장치
KR20210058846A (ko) 인트라 변환 코딩 및 광각 인트라 예측의 조화
EP3641311A1 (en) Encoding and decoding methods and apparatus
EP4118833A1 (en) High-level constraint flag for local chroma quantization parameter control
EP3595309A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
US20220360781A1 (en) Video encoding and decoding using block area based quantization matrices
US20220368890A1 (en) Most probable mode signaling with multiple reference line intra prediction
US20220224902A1 (en) Quantization matrices selection for separate color plane mode
US20220038704A1 (en) Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
EP3664450A1 (en) Method and device for picture encoding and decoding
KR20220057630A (ko) 코딩 툴들과의 변환 크기 상호작용들
WO2022207400A1 (en) Template matching prediction for video encoding and decoding
WO2023046463A1 (en) Methods and apparatuses for encoding/decoding a video
WO2022101018A1 (en) A method and an apparatus for encoding or decoding a video
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
EP3994883A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
WO2020117628A1 (en) Method and device for picture encoding and decoding

Legal Events

Date Code Title Description
A201 Request for examination