KR20220057630A - 코딩 툴들과의 변환 크기 상호작용들 - Google Patents

코딩 툴들과의 변환 크기 상호작용들 Download PDF

Info

Publication number
KR20220057630A
KR20220057630A KR1020227012261A KR20227012261A KR20220057630A KR 20220057630 A KR20220057630 A KR 20220057630A KR 1020227012261 A KR1020227012261 A KR 1020227012261A KR 20227012261 A KR20227012261 A KR 20227012261A KR 20220057630 A KR20220057630 A KR 20220057630A
Authority
KR
South Korea
Prior art keywords
transform
block
size
coding tool
video
Prior art date
Application number
KR1020227012261A
Other languages
English (en)
Inventor
카람 나서
탕기 포이리에르
프랜크 갈핀
야 첸
Original Assignee
인터디지털 브이씨 홀딩스 프랑스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 filed Critical 인터디지털 브이씨 홀딩스 프랑스 에스에이에스
Publication of KR20220057630A publication Critical patent/KR20220057630A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

이산 삼각법 변환들을 구현하기 위한 방법들 및 장치는 최대 변환 크기에 기초한다. 하나의 실시예에서, 매트릭스 기반 인트라 예측은 최대 변환 크기에 관계없이, 특정된 크기에 이르기까지 코딩 단위 크기들에 대해 인에이블된다. 다른 실시예에서, 저주파수 분리불가능 변환들은 코딩 이득을 개선하는 데 사용된다. 비트스트림 내의 신택스는 사용되는 코딩 툴을 나타내는 데 사용될 수 있다.

Description

코딩 툴들과의 변환 크기 상호작용들
본 실시예들 중 적어도 하나는 대체적으로, 비디오 인코딩 또는 디코딩, 압축 또는 압축해제를 위한 방법 또는 장치에 관한 것이다.
높은 압축 효율을 달성하기 위해, 이미지 및 비디오 코딩 스킴들은 일반적으로, 모션 벡터 예측을 포함한 예측을 채용하고, 비디오 콘텐츠에서 공간적 및 시간적 리던던시를 레버리징하도록 변환한다. 대체적으로, 인트라 또는 인터 예측은 인트라 또는 인터 프레임 상관관계를 이용하는 데 사용되고, 이어서, 종종 예측 에러들 또는 예측 잔차들로 표시되는, 오리지널 이미지와 예측 이미지 사이의 차이들은 변환되고, 양자화되고, 엔트로피 코딩된다. 비디오를 재구성하기 위해, 압축 데이터는 엔트로피 코딩, 양자화, 변환, 및 예측에 대응하는 역 프로세스들에 의해 디코딩된다.
VVC(Versatile Video Coding) 표준의 개발 시, 최대 변환 크기는 32 내지 64의 변수이다. 최대 변환 크기는 다른 변환 코딩 툴들과 상호작용한다.
본 실시예들 중 적어도 하나는 대체적으로, 비디오 인코딩 또는 디코딩을 위한 방법 또는 장치에 관한 것으로, 보다 구체적으로는, 비디오 인코더 또는 비디오 디코더 내의 최대 변환 크기와 변환 코딩 툴들 사이의 상호작용을 위한 방법 또는 장치에 관한 것이다.
제1 태양에 따르면, 방법이 제공된다. 방법은, 최대 변환 크기에 기초하여 코딩 툴을 인에이블시키기 위한 단계; 블록을 포함하는 샘플들의 서브세트에 대해 이산 삼각법 변환(Discrete Trigonometric Transform)의 적어도 일부분을 수행하는 단계; 및 인에이블된 코딩 툴을 사용하여 블록을 인코딩하는 단계를 포함한다.
제2 태양에 따르면, 방법이 제공된다. 방법은, 최대 변환 크기에 기초하여 코딩 툴을 인에이블시키기 위한 단계; 블록을 포함하는 샘플들의 서브세트에 대해 역 이산 삼각법 변환(inverse Discrete Trigonometric Transform)의 적어도 일부분을 수행하는 단계; 및 인에이블된 코딩 툴을 사용하여 블록을 디코딩하는 단계를 포함한다.
다른 태양에 따르면, 장치가 제공된다. 장치는 프로세서를 포함한다. 프로세서는 전술된 방법들 중 임의의 것을 실행함으로써 비디오의 블록을 인코딩하거나 비트스트림을 디코딩하도록 구성될 수 있다.
적어도 하나의 실시예의 다른 대체적인 태양에 따르면, 디코딩 실시예들 중 임의의 것에 따른 장치, 및 (i) 신호를 수신하도록 구성된 안테나 - 신호는 비디오 블록을 포함함 -, (ii) 비디오 블록을 포함하는 수신된 신호를 주파수들의 대역으로 제한하도록 구성된 대역 제한기, 또는 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는 디바이스가 제공된다.
적어도 하나의 실시예의 다른 대체적인 태양에 따르면, 기술된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체가 제공된다.
적어도 하나의 실시예의 다른 대체적인 태양에 따르면, 기술된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 비디오 데이터를 포함하는 신호가 제공된다.
적어도 하나의 실시예의 다른 대체적인 태양에 따르면, 기술된 인코딩 실시예들 또는 변형들 중 임의의 것에 따라 생성된 데이터 콘텐츠를 포함하도록 비트스트림이 포맷화된다.
적어도 하나의 실시예의 다른 대체적인 태양에 따르면, 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 기술된 디코딩 실시예들 또는 변형들 중 임의의 것을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.
대체적인 태양들의 이들 및 다른 태양들, 특징들 및 이점들은 첨부된 도면들과 관련하여 읽혀질 예시적인 실시예들의 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 표준의 포괄적 비디오 압축 스킴을 도시한다.
도 2는 표준의 포괄적 비디오 압축해제 스킴을 도시한다.
도 3은 대체적으로 기술된 태양들의 구현을 위한 예시적인 프로세서 기반 서브시스템을 도시한다.
도 4는 기술된 태양들 하의 방법의 하나의 실시예를 도시한다.
도 5는 기술된 태양들 하의 방법의 다른 실시예를 도시한다.
도 6은 기술된 태양들 하의 예시적인 장치를 도시한다.
본 실시예들 중 적어도 하나는 대체적으로, 비디오 인코딩 또는 디코딩을 위한 방법 또는 장치에 관한 것으로, 보다 구체적으로는, 비디오 인코더 또는 비디오 디코더 내의 최대 변환 크기와 변환 코딩 툴들 사이의 상호작용을 위한 방법 또는 장치에 관한 것이다.
본 명세서에 기술된 대체적인 태양들은 비디오 압축 분야에 있다. 그것은 최대 변환 크기와 다른 변환 코딩 툴들 사이의 상호작용이며, 여기서 VVC의 최근의 채택에 있어서, 최대 변환 크기는 32 내지 64의 변수가 된다. 그것의 값은 하기와 같이 계산된다:
Figure pct00001
최대 변환 크기는 하기의 툴들과 상호작용한다:
1- 제로-아웃(Zero-out) 프로세스: 초기에, VVC는 큰 변환 크기의 복잡성을 감소시키기 위해 제로-아웃을 수행한다. 2차원 DCT2 변환에 대해, 상단-좌측 32x32 계수들만이 유지되는 반면, 나머지는 0으로 설정된다. 즉, 64x64, 64x32 및 32x32에 대해, 수평 방향 및 수직 방향 둘 모두에서 처음 32개 계수들을 계산하기 위해 DCT2가 수행된다. 유사하게, 상단 좌측 16x16 계수들을 유지하기 위해 비-DCT2 변환들(DST7 및 DCT8)이 제로-아웃을 수행한다. JVET-00545의 채택으로, 최대 변환 크기가 32일 때 그것이 제로-아웃을 어떻게 수행했는지는 해결되지 않는다.
드래프트 텍스트(draft text)의 캡처가 하기에 보여지며, 여기서 제로-아웃은 음영처리된다:
Figure pct00002
이는 tu_mts_idx가 0 초과인 경우 - 이는 MTS 변환들(DST7, DST7)이 사용됨을 의미함 -, 제로-아웃 폭 및 높이가 16으로 설정되는 반면, tu_mts_idx가 0인 경우(DCT2)에 제로-아웃이 32로 설정됨을 보여준다.
2- MTS-크기: MTS 또는 다중 변환 선택(multiple transform selection)은 VVC에 채택된 변환 툴이며, 여기서 DST7과 DCT8 쌍들 사이의 선택은 다른 변환 쌍들로서 허용되고 이는 DCT2 변환 쌍을 향상시킨다. MTS는 4x4 내지 32x32의 블록 크기들에 대해 수행된다. 즉, 절반 크기 DCT2. JVET-00545의 채택으로, 최대 변환 크기가 32일 때 MTS-크기가 어떻게 고려되는지는 해결되지 않는다.
드래프트 텍스트의 캡처가 하기에 보여지며, 여기서 mts 크기는 음영처리된다:
Figure pct00003
Figure pct00004
이는 MaxTbSizeY에 관계없이, 폭 및 높이 둘 모두가 32 미만인 경우 MTS가 시그널링됨을 보여준다.
3- 크로마 변환 크기: VVC에서, 크로마 크기는 루마 크기의 절반이다. 즉, 크로마 변환 블록들은 2x2 내지 32x32가 허용되는 반면, 루마 크기는 4x4 내지 64x64에 대한 것이다. JVET-00545의 채택으로, 최대 변환 크기가 32일 때 그것이 크로마 크기를 어떻게 고정시켰는지는 해결되지 않는다.
VVC 스펙(spec)에서, 크로마 크기는 하기와 같이 계산된다:
[표 6-1]
Figure pct00005
maxTbWidth = (cIdx = = 0) ? MaxTbSizeY : MaxTbSizeY / SubWidthC (8-41)
maxTbHeight = (cIdx = = 0) ? MaxTbSizeY : MaxTbSizeY / SubHeightC (8-42)
여기서 cIdx는 색상 인덱스(루마의 경우 0, 크로마의 경우 1)이다.
공통 테스팅 조건(common testing condition, CTC)에서, 4:2:0의 크로마 포맷이 사용되고, 최대 변환 크기(MaxTbSizeY)는 64이다. 따라서, 최대 변환 크기는 CTC에서 크로마의 경우 32이다. 그러나, MaxTbSizeY가 32인 경우, 크로마 최대 크기는 현재 스펙에 따라 16이다.
4- 변환 스킵 크기: VVC에서, DCT2와 동일한 범위를 갖는 블록 크기들에 대해 변환 스킵이 수행된다. 다시 말해, 변환 스킵은 4x4 내지 64x64의 블록 크기들에 대해 수행된다. JVET-00545의 채택으로, 최대 변환 크기가 32일 때 변환 스킵 크기가 어떻게 고정되는지는 해결되지 않는다.
VVC 스펙에서, 최대 변환 스킵 크기는 하기와 같이 정의된다:
log2_transform_skip_max_size_minus2는 변환 스킵에 사용되는 최대 블록 크기를 특정하고, 0 내지 3의 범위 내에 있을 것이다.
존재하지 않을 때, log2_transform_skip_max_size_minus2의 값은 0과 동일한 것으로 추론된다.
변수 MaxTsSize는 1 << (log2_transform_skip_max_size_minus2 + 2)과 동일하게 설정된다.
즉, 최대 MaxTsSize는 MaxTbSizeY 값에 관계없이, 4 내지 32의 값들을 취할 수 있다.
5- BDCM 크기: BD-PCM은 블록 기반 델타 펄스 코드 변조이다. 이는 변환 스킵 잔차들을 위한 코딩 툴이다. 이는 현재, 변환 스킵과 동일한 크기 조건들로 허용된다. 즉, MaxTsSize에 이르기까지. 하기의 텍스트는 BDPCM 플래그(음영 처리됨)를 코딩하기 위한 조건을 보여준다.
Figure pct00006
6 - MIP
VVC 드래프트(6)에서, MIP(matrix-based intra prediction)는 인트라 예측 모드이며, 여기서 예측 신호는 기준 샘플들을, 일정한 시프트들을 갖고서, 일부 트레이닝된 예측 매트릭스들과 곱함으로써 생성된다. 모드는 CU 크기가 최대 허용된 변환 크기 치수들 이하일 때 시그널링된다. 이러한 제한은 메모리 요건뿐만 아니라 코딩 복잡성을 제한하기 위해 필요했다. 이는, MIP가 매트릭스 기반 방법이기 때문인데, 여기서 보다 큰 블록들의 경우에 예측 매트릭스들이 더 크다.
초기에, 최대 변환 크기(MaxTbSizeY)는 VTM5.0에서 64로서 지속적으로 유지된다. 그러나, VTM6.0에서, 이러한 값은 64 또는 32 중 어느 하나일 수 있다. VTM6.0의 드래프트 텍스트의 샘플이 하기에 제공된다(음영처리된 부분이 MIP 부분을 나타냄):
Figure pct00007
여기서 MaxTbSizeY 값은 64로 고정되었다. 그러나, JVET-00545의 채택으로, MaxTbSizeY는 64 또는 32 중 어느 하나일 수 있다.
직관적으로, MaxTbSizeY가 32인 경우, MIP는 32x32의 CU 크기들에 이르기까지 시그널링된다. 이는 더 큰 CU들이 MIP를 사용하는 것을 방지하고, 따라서, 코딩 효율을 제한한다. 현재 기술된 태양들은 최대 변환 크기에 관계없이, 64x64에 이르기까지의 CU에 대한 MIP를 인에이블시키는 것을 제안한다. 이는 CU 크기가 MaxTbSizeY보다 더 클 때 TU 타일링(tiling)을 인에이블시킴으로써 행해진다.
초기에, 최대 변환 크기는 VTM5.0에서 64로서 지속적으로 유지된다. 그러나, JVET-00545의 최근 채택으로, 최대 변환 크기(MaxTbSizeY)는 64 또는 32 중 어느 하나일 수 있는데, 이는 SPS 플래그(sps_sbt_max_size_64_flag)에 의해 제어된다. 이것이 발생할 때, 제로-아웃 프로세스, MTS-크기, 크로마 변환 크기, 변환 스킵 크기 및 BDCM 크기는 이러한 변화에 적응될 필요가 있다.
대체적인 태양은 최대 변환 크기에 따라 하기의 툴들의 시그널링을 채택할 것을 제안한다: 제로-아웃 프로세스, MTS-크기, 크로마 변환 크기, 변환 스킵 크기 및 BDCM. 영향받는 코덱 모듈은 도 1 및 도 2의 인트라 코딩 설계(160, 260)이다.
실시예 1: 제로-아웃 프로세스
이러한 실시예에서, 제로-아웃 프로세스는 최대 변환 크기에 의존한다. 이러한 방식으로, 최대 크기가 64 대신 32인 경우, 제로-아웃 크기는 절반으로 감소된다. 이는 하기의 텍스트에 (이탤릭체로) 표시된다.
Figure pct00008
이는 또한, DCT2 변환 및 다른 MTS 변환들(DST7 및 DCT8)에 대해 독립적으로 행해질 수 있다. 즉, 그것을 행하기를 원하는 경우, DCT2에 대해서만:
Figure pct00009
달리, DST7/DCT8에 대해서만,
Figure pct00010
실시예 2: MTS-크기
MTS 시그널링은 32x32의 크기들에 이르기까지 허용된다. 이는, 그것이 64이든 32이든, MaxTbSizeY로부터 독립적이다. MaxTbSizeY와의 연결을 이루기 위해, MaxTbSizeY/2 x MaxTbSizeY/2에 이르기까지의 크기들로의 MTS의 시그널링을 허용할 수 있다. 이는 하기의 설명에 이탤릭체로 표시된다:
Figure pct00011
Figure pct00012
이는 서브블록 변환(subblock transform, SBT) 툴에 직접적으로 영향을 미친다는 것에 유의해야 한다. SBT는 DCT2, DST7 및 DCT8로부터 변환들을 암묵적으로 선택하는 인터 블록들에 대한 변환 단위 파티셔닝 툴이다. 본 스펙에 따르면:
변수 implicitMtsEnabled는 하기와 같이 도출된다:
- sps_mts_enabled_flag가 1과 동일하고 하기의 조건들 중 하나가 참(ture)인 경우, implicitMtsEnabled는 1과 동일하게 설정된다:
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT과 동일하지 않다
- cu_sbt_flag는 1과 동일하고, Max(nTbW, nTbH)는 32 이하이다
- sps_explicit_mts_intra_enabled_flag는 0과 동일하고, CuPredMode[ 0 ][ xTbY ][ yTbY ]는 MODE_INTRA와 동일하고, lfnst_idx[ x0 ][ y0 ]은 0과 동일하고, intra_mip_flag[ x0 ][ y0 ]은 0과 동일하다
- 그렇지 않은 경우, implicitMtsEnabled는 0과 동일하게 설정된다.
수평 변환 커널(kernel)을 특정하는 변수 trTypeHor 및 수직 변환 커널을 특정하는 변수 trTypeVer은 하기와 같이 도출된다:
- cIdx가 0 초과인 경우, trTypeHor 및 trTypeVer은 0과 동일하게 설정된다.
- 달리, implicitMtsEnabled가 1과 동일한 경우, 하기 사항이 적용된다:
- IntraSubPartitionsSplitType이 ISP_NO_SPLIT과 동일하지 않거나 sps_explicit_mts_intra_enabled_flag가 0과 동일하고 CuPredMode[ 0 ][ xTbY ][ yTbY ]가 MODE_INTRA와 동일한 경우, trTypeHor 및 trTypeVer은 하기와 같이 도출된다:
trTypeHor = (nTbW >= 4 && nTbW <= 16) ? 1 : 0 (8-975)
trTypeVer = (nTbH >= 4 && nTbH <= 16) ? 1 : 0 (8-976)
- 그렇지 않은 경우(cu_sbt_flag가 1과 동일함), trTypeHor 및 trTypeVer은 cu_sbt_horizontal_flag 및 cu_sbt_pos_flag에 따라 표 8-15에서 특정된다.
- 그렇지 않은 경우, trTypeHor 및 trTypeVer은 tu_mts_idx[ xTbY ][ yTbY ]에 따라 표 8-14에서 특정된다.
[표 8-15]
Figure pct00013
여기서 2의 변환 유형은 DCT8을 의미하고, 1의 변환 유형은 DST7을 의미한다.
즉, MTS가 MaxTbSizeY/2로 제한되고 MaxTbSizeY가 32일 때, 상기의 표는 사용될 수 없는데, 이는 크기 32x32의 DST7 및 DCT8이 지원되지 않기 때문이다. 대신, DCT2가 사용되어야 한다. 대응하는 스펙 변화는 하기와 같다:
변수 implicitMtsEnabled는 하기와 같이 도출된다:
- sps_mts_enabled_flag가 1과 동일하고 하기의 조건들 중 하나가 참인 경우, implicitMtsEnabled는 1과 동일하게 설정된다:
- IntraSubPartitionsSplitType은 ISP_NO_SPLIT과 동일하지 않다
- cu_sbt_flag는 1과 동일하고, Max(nTbW, nTbH)는 MaxTbSizeY/2 이하이다
- sps_explicit_mts_intra_enabled_flag는 0과 동일하고, CuPredMode[ 0 ][ xTbY ][ yTbY ]는 MODE_INTRA와 동일하고, lfnst_idx[ x0 ][ y0 ]은 0과 동일하고, intra_mip_flag[ x0 ][ y0 ]은 0과 동일하다.
실시예 3: 크로마 변환 크기
VVC 스펙에 따르면, 크로마 최대 변환 폭 및 높이는 최대 루마 1의 절반일 수 있다. 그러나, 최대 루마 변환 크기가 32일 수 있기 때문에, 크로마의 최대 크기는 16일 수 있다. 이는, 작은 숫자이고 실제로 유용하지 않은 것으로 보인다. 따라서, 본 실시예는 크로마 크기의 최소치를 32로 고정한다. 스펙은 하기와 같이 (이탤릭체로) 변경될 수 있다:
Figure pct00014
실시예 4: 변환 스킵 크기
변환 스킵 플래그는 32x32의 크기들에 이르기까지 시그널링될 수 있다. 이는, 64이든 32이든, 최대 변환 블록 크기와는 독립적이다. 최대 변환 크기와의 연결을 이루기 위해, 텍스트는 하기와 같이 수정된다:
log2_transform_skip_max_size_minus2는 변환 스킵에 사용되는 최대 블록 크기를 특정하고, 0 내지 MaxTbLog2SizeY-3의 범위 내에 있을 것이다.
MaxTbLog2SizeY가 (VVC 스펙에 따라) 하기와 같이 계산되는 경우:
MaxTbLog2SizeY = sps_max_luma_transform_size_64_flag ? 6 : 5 (7-28)
실시예 5: BDCM
BDPCM은 변환 스킵과 동일한 조건들을 사용하여 시그널링된다. 따라서, 상기의 실시예 4는 마찬가지로 BDPCM에 적용가능하다.
실시예 6: MIP
기술된 대체적인 태양들은 최대 변환 크기에 관계없이, 64x64에 이르기까지의 CU에 대한 MIP를 인에이블시키는 것을 제안한다. 이는 CU 크기가 MaxTbSizeY보다 더 클 때 TU 타일링을 인에이블시킴으로써 행해진다. 이는 MaxTbSizeY가 32일 때 코딩 효율을 개선하기 위한 것이다.
본 발명의 기본 아이디어는 MaxTbSizeY에 관계없이, 64x64에 이르기까지의 크기의 CU에 대한 MIP를 허용하기 위한 것이다. 이는 CU 크기가 32x32보다 더 클 때 MIP를 인에이블시킴으로써 MaxTbSizeY가 32로 설정될 때 코딩 성능을 개선하기 위한 것이다. 실험적으로, MIP는 큰 치수들을 갖는 시퀀스들에 대해 더 양호하게 수행한다고 보여진다. 하기의 결과들은 VTM 소프트웨어를 앵커로서 취함으로써 생성되고, 테스트는 MIP가 없는 VTM이다:
Figure pct00015
명백히, MIP는 클래스 A1(큰 치수)에 대해 0.6% 이득을 제공하고, 클래스 C(작은 치수)에 대해 0.3을 제공한다. 따라서, MaxTbSizeY가 32일 때 64x64 CU에 대한 MIP를 인에이블시키는 것은 큰 치수를 갖는 시퀀스들에 대한 코딩 이익을 제공한다. 또한, 그것은 어떠한 추가적인 툴들도 요구하지 않는데, 이는 MIP의 동일한 구조가 유지되기 때문이다.
현재 설계와 비교하여, 변환 크기가 더 작더라도, 그것은 64x64에 이르기까지의 CU에 대한 MIP를 수행하도록 인코더에 대해 더 큰 유연성을 허용한다.
이는 TU 타일링에 의해 달성될 수 있다. 즉, CU를 다수의 TU들로 분할하고 MIP를 독립적으로 수행한다. 하기를 행하기 위한 두 가지 방법이 있다:
1- TU 타일링 이후 MIP 예측
2- MIP 예측 이후 TU 타일링
즉, 크기 64x64, 32x64 또는 64x32의 CU를 고려하고 MaxTbSizeY가 32임을 고려하면, 제1 옵션은, CU를 32x32의 TU들로 분할하고, 32x32 블록들에 대해 MIP를 수행하여, 예측 신호를 생성하고 잔차를 코딩하는 것이다. 그렇게 할 때, 재구성된 32x32 블록들로부터의 기준 샘플들은 예측 신호를 생성하는 데 사용될 수 있다. 제2 옵션은, 큰 CU(64x64, 32x64 또는 64x32)로 MIP를 수행하고, 이어서, CU를 크기 32x32의 TU들로 분할하고 잔차를 코딩하는 것이다. 제2 옵션은 VTM의 현재 설계와 더 비슷하다. 이는, 종래의 인트라 예측(각도, DC 또는 평면)에 대해, 예측 신호가 TU들과 동일한 크기로 생성되어, 기준 샘플 재구성 블록들이 이웃 블록들의 예측을 개선하는 데 사용될 수 있도록 하기 때문이다.
대응하는 스펙 텍스트는 하기에서 이탤릭체로 보여진다:
Figure pct00016
Figure pct00017
스펙 텍스트는, 변환 단위 치수들이 최대 변환 크기보다 더 클 때 이미 TU 타일링을 지원하며, 이는 하기의 텍스트(음영처리됨)에 표시된다.
Figure pct00018
실시예 7: LFNST 인덱스
스펙 텍스트에서, LFNST(low-frequency non-separable transform)가 MaxTbSizeY에 이르기까지 허용된다. 초기 동기(motivation)는, TU 잔차들을 디코딩한 후 LFNST 인덱스가 디코딩되는 크기 128x128의 큰 CU들을 디코딩할 때 레이턴시 문제를 회피시키는 것이었다. 따라서, 초기에 64였던 최대 변환 크기에 이르기까지 LFNST를 허용하는 것이 결정되었다. JVET-00545의 채택으로, 레이턴시의 문제는 CU 크기가 64x64이고 MaxTbSizeY가 32일 때의 경우에 중요하지 않다. 따라서, 이러한 경우에 있어서의 LFNST 인덱스가, MaxTbSIzeY가 32로 설정될 때 코딩 이득을 개선할 수 있게 할 수 있다.
대응하는 스펙 변화는 이탤릭체로 되어 있다:
Figure pct00019
또한, 1차 변환이 DCT2 일 때에만(조건: tu_mts_idx[ x0 ][ y0 ] = = 0) LFNST가 허용되므로, 이러한 조건은 다수의 TU들에 대해 검사될 필요가 있다. 변화는 하기와 같다:
Figure pct00020
Figure pct00021
즉, TU들 중 임의의 것이 DCT2를 사용하고 있지 않는지 여부를 검사하는 변수 MTS_notDCT2를 정의한다. 그러한 경우, LFNST는 허용되지 않는다.
본 명세서에 기술된 대체적인 태양들 하의 방법(400)의 하나의 실시예가 도 4에 도시되어 있다. 방법은 시작 블록(401)에서 시작되고, 제어는 최대 변환 크기에 기초하여 코딩 툴을 인에이블시키기 위한 블록(410)으로 진행한다. 제어는 블록(410)으로부터 블록(420)으로 진행하여, 블록을 포함하는 샘플들의 서브세트에 대해 이산 삼각법 변환의 적어도 일부분을 수행한다. 제어는 블록(420)으로부터 블록(430)으로 진행하여, 인에이블된 코딩 툴을 사용하여 블록을 인코딩하고, 샘플들의 변환된 서브세트를 사용하여 블록에 대한 변환 계수들을 결정한다.
본 명세서에 기술된 대체적인 태양들 하의 방법(500)의 하나의 실시예가 도 5에 도시되어 있다. 방법은 시작 블록(501)에서 시작되고, 제어는 최대 변환 크기에 기초하여 코딩 툴을 인에이블시키기 위한 블록(510)으로 진행한다. 제어는 블록(510)으로부터 블록(520)으로 진행하여, 블록을 포함하는 샘플들의 서브세트에 대해 역 이산 삼각법 변환의 적어도 일부분을 수행한다. 제어는 블록(520)으로부터 블록(530)으로 진행하여, 인에이블된 코딩 툴을 사용하여 블록을 디코딩한다.
도 6은 최대 변환 크기에 따라 다양한 코딩 툴들을 사용하여 비디오를 압축, 인코딩 또는 디코딩하기 위한 장치(600)의 하나의 실시예를 도시한다. 장치는 프로세서(1410)를 포함하고, 적어도 하나의 포트를 통해 메모리(1420)에 상호접속될 수 있다. 프로세서(1410) 및 메모리(1420) 둘 모두는 또한, 외부 접속부들에 대한 하나 이상의 추가적인 상호접속부들을 가질 수 있다.
프로세서(610)는 또한, 비트스트림에 정보를 삽입하거나 그 내의 정보를 수신하도록, 그리고 기술된 태양들 중 임의의 것을 사용하여 압축, 인코딩 또는 디코딩하도록 구성된다.
본 문서는 툴들, 특징부들, 실시예들, 모델들, 접근법들 등을 포함한 다양한 태양들을 기술한다. 이들 태양들 중 많은 것은 특이성을 갖고서 기술되며, 적어도, 개별 특성들을 보여주기 위해, 종종, 제한사항으로 들릴 수 있는 방식으로 기술된다. 그러나, 이는 설명에서의 명료성의 목적을 위한 것이며, 이들 태양들의 적용 또는 범주를 제한하지 않는다. 실제로, 모든 상이한 태양들이 조합될 수 있고, 추가 태양들을 제공하기 위해 상호교환될 수 있다. 또한, 태양들이 조합될 수 있고, 마찬가지로 이전의 출원에 기술된 태양들과 상호교환될 수 있다.
본 문서에서 기술되고 고려되는 태양들은 많은 상이한 형태들로 구현될 수 있다. 하기의 도 1, 도 2, 및 도 3은 일부 실시예들을 제공하지만, 다른 실시예들이 고려되고, 도 1, 도 2 및 도 3의 논의는 구현예들의 외연을 제한하지 않는다. 태양들 중 적어도 하나의 태양은 대체적으로 비디오 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 다른 태양은 대체적으로, 생성되거나 인코딩된 비트스트림을 송신하는 것에 관한 것이다. 이들 및 다른 태양들은 기술된 방법들 중 임의의 방법에 따라 비디오 데이터를 인코딩 또는 디코딩하기 위한 명령어들이 저장된 방법, 장치, 컴퓨터 판독가능 저장 매체, 및/또는 기술된 방법들 중 임의의 방법에 따라 생성된 비트스트림이 저장된 컴퓨터 판독가능 저장 매체로서 구현될 수 있다.
본 출원에서, "재구성된" 및 "디코딩된"이라는 용어들은 상호교환가능하게 사용될 수 있고, "픽셀" 및 "샘플"이라는 용어들은 상호교환가능하게 사용될 수 있고, "이미지", "픽처" 및 "프레임"이라는 용어들은 상호교환가능하게 사용될 수 있다. 반드시 그렇지는 않지만, 일반적으로, "재구성된"이라는 용어는 인코더 측에서 사용되는 반면, "디코딩된"은 디코더 측에서 사용된다.
다양한 방법들이 본 명세서에 기술되고, 방법들 각각은 기술된 방법을 달성하기 위한 하나 이상의 단계들 또는 액션들을 포함한다. 방법의 적절한 동작을 위해 단계들 또는 액션들의 특정 순서가 요구되지 않는 한, 특정 단계들 및/또는 액션들의 순서 및/또는 사용이 수정되거나 조합될 수 있다.
본 문서에 기술된 다양한 방법들 및 다른 태양들은, 도 1 및 도 2에 도시된 바와 같이, 비디오 인코더(100) 및 디코더(200)의 모듈들, 예를 들어, 인트라 예측, 엔트로피 코딩, 및/또는 디코딩 모듈들(160, 360, 145, 330)을 수정하는 데 사용될 수 있다. 게다가, 본 태양들은 VVC 또는 HEVC로 제한되지 않으며, 예를 들어, 기존에 존재하든 향후 개발되든, 다른 표준들 및 권고들, 및 임의의 그러한 표준들 및 권고들(VVC 및 HEVC를 포함함)의 확장들에 적용될 수 있다. 달리 나타내거나 기술적으로 배제되지 않는 한, 본 문서에 기술된 태양들은 개별적으로 또는 조합하여 사용될 수 있다.
다양한 수치 값들, 예를 들어 {{1,0}, {3,1}, {1,1}}이 본 문서에서 사용된다. 특정 값들은 예시적인 목적들을 위한 것이며, 기술된 태양들은 이들 특정 값들로 제한되지 않는다.
도 1은 인코더(100)를 도시한다. 이러한 인코더(100)의 변형들이 고려되지만, 인코더(100)는 모든 예상된 변형들을 기술하지 않고서 명료성의 목적들을 위해 후술된다.
인코딩되기 전, 비디오 시퀀스는 사전-인코딩 프로세싱(101), 예를 들어, 입력 색상 픽처에 색상 변환을 적용하거나(예컨대, RGB 4:4:4로부터 YCbCr 4:2:0로의 변환), 또는 입력 픽처 성분들의 리맵핑을 수행하여, (예를 들어, 색상 성분들 중 하나의 성분의 히스토그램 등화를 사용하여) 압축에 더 탄력적인 신호 분포를 얻는 것을 거칠 수 있다. 메타데이터는 사전-프로세싱과 연관될 수 있고, 비트스트림에 부착될 수 있다.
인코더(100)에서, 픽처는 후술되는 바와 같이 인코더 요소들에 의해 인코딩된다. 인코딩될 픽처는, 예를 들어 CU들의 단위들로 파티셔닝(102) 및 프로세싱된다. 각각의 단위는, 예를 들어, 인트라 모드 또는 인터 모드를 사용하여 인코딩된다. 단위가 인트라 모드에서 인코딩될 때, 그것은 인트라 예측(160)을 수행한다. 인터 모드에서, 모션 추정(175) 및 보상(170)이 수행된다. 인코더는 인트라 모드 또는 인터 모드 중에서 단위를 인코딩하기 위해 사용할 하나의 모드를 결정(105)하고, 예를 들어, 예측 모드 플래그에 의한 인트라/인터 결정을 나타낸다. 예측 잔차들은, 예를 들어, 예측된 블록을 오리지널 이미지 블록으로부터 감산(110)함으로써 계산된다.
이어서, 예측 잔차들이 변환(125) 및 양자화(130)된다. 양자화된 변환 계수들뿐만 아니라 모션 벡터들 및 다른 신택스 요소들이 엔트로피 코딩(145)되어 비트스트림을 출력한다. 인코더는 변환을 스킵할 수 있고, 변환되지 않은 잔차 신호에 직접적으로 양자화를 적용할 수 있다. 인코더는 변환 및 양자화 둘 모두를 바이패스할 수 있는데, 즉, 잔차는 변환 또는 양자화 프로세스들의 적용 없이 직접적으로 코딩된다.
인코더는 인코딩된 블록을 디코딩하여, 추가 예측들을 위한 기준을 제공한다. 양자화된 변환 계수들은 예측 잔차들을 디코딩하기 위해 역 양자화(140) 및 역 변환(150)된다. 디코딩된 예측 잔차들 및 예측된 블록을 조합(155)하여, 이미지 블록이 재구성된다. 인-루프 필터들(165)이, 예를 들어, 인코딩 아티팩트들을 감소시키기 위해 디블록킹/SAO(Sample Adaptive Offset) 필터링을 수행하도록, 재구성된 픽처에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(180)에 저장된다.
도 2는 비디오 디코더(200)의 블록도를 도시한다. 디코더(200)에서, 비트스트림은 후술되는 바와 같이 디코더 요소들에 의해 디코딩된다. 비디오 디코더(200)는 대체적으로, 도 1에 기술된 바와 같이, 인코딩 패스에 상반되는 디코딩 패스를 수행한다. 인코더(100)는 또한, 대체적으로, 비디오 데이터를 인코딩하는 것의 일부로서 비디오 디코딩을 수행한다.
디코더의 입력은 비디오 인코더(100)에 의해 생성될 수 있는 비디오 비트스트림을 포함한다. 비트스트림은, 변환 계수들, 모션 벡터들, 및 다른 코딩된 정보를 획득하기 위해 제1 엔트로피 디코딩(230)된다. 픽처 파티션 정보는 픽처가 어떻게 파티셔닝되는지를 나타낸다. 따라서, 디코더는 디코딩된 픽처 파티셔닝 정보에 따라 픽처를 분할(235)할 수 있다. 변환 계수들은 예측 잔차들을 디코딩하기 위해 역 양자화(240) 및 역 변환(250)된다. 디코딩된 예측 잔차들 및 예측된 블록을 조합(255)하여, 이미지 블록이 재구성된다. 예측된 블록은 인트라 예측(260) 또는 모션 보상 예측(즉, 인터 예측)(275)으로부터 획득(270)될 수 있다. 인-루프 필터들(265)은 재구성된 이미지에 적용된다. 필터링된 이미지는 기준 픽처 버퍼(280)에 저장된다.
디코딩된 픽처는 추가로, 사후-디코딩 프로세싱(285), 예를 들어, 역 색상 변환(예컨대, YCbCr 4:2:0으로부터 RGB 4:4:4로의 변환), 또는 사전-인코딩 프로세싱(101)에서 수행되는 리맵핑 프로세스의 역을 수행하는 역 리맵핑을 거칠 수 있다. 사후-디코딩 프로세싱은, 사전-인코딩 프로세싱에서 도출되고 비트스트림에 시그널링되는 메타데이터를 사용할 수 있다.
도 3은 다양한 태양들 및 실시예들이 구현되는 시스템의 일례의 블록도를 도시한다. 시스템(1000)은 후술되는 다양한 컴포넌트들을 포함하는 디바이스로서 구현될 수 있으며, 본 문서에 기술된 태양들 중 하나 이상을 수행하도록 구성된다. 그러한 디바이스들의 예들은, 다양한 전자 디바이스들, 예컨대 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱박스, 디지털 TV 수신기, 개인 비디오 기록 시스템, 커넥티드 가전, 및 서버를 포함하지만, 이들로 제한되지 않는다. 시스템(1000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로, 다수의 IC들, 및/또는 이산 컴포넌트들로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(1000)의 프로세싱 및 인코더/디코더 요소들은 다수의 IC들 및/또는 이산 컴포넌트들에 걸쳐 분산된다. 다양한 실시예들에서, 시스템(1000)은, 예를 들어, 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트들을 통해, 다른 유사한 시스템들, 또는 다른 전자 디바이스들에 통신가능하게 커플링된다. 다양한 실시예들에서, 시스템(1000)은 본 문서에 기술된 태양들 중 하나 이상을 구현하도록 구성된다.
시스템(1000)은, 예를 들어 본 문서에 기술된 다양한 태양들을 구현하기 위해 내부에 로딩된 명령어들을 실행하도록 구성된 적어도 하나의 프로세서(1010)를 포함한다. 프로세서(1010)는 임베디드 메모리, 입출력 인터페이스, 및 당업계에 알려진 바와 같은 다양한 다른 회로부들을 포함할 수 있다. 시스템(1000)은 적어도 하나의 메모리(1020)(예컨대, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(1000)은, EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들로 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리를 포함할 수 있는 저장 디바이스(1040)를 포함한다. 저장 디바이스(1040)는, 비제한적인 예들로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능 저장 디바이스를 포함할 수 있다.
시스템(1000)은, 예를 들어, 데이터를 프로세싱하여 인코딩된 비디오 또는 디코딩된 비디오를 제공하도록 구성된 인코더/디코더 모듈(1030)을 포함하고, 인코더/디코더 모듈(1030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(1030)은 인코딩 및/또는 디코딩 기능들을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 둘 모두를 포함할 수 있다. 추가적으로, 인코더/디코더 모듈(1030)은 시스템(1000)의 별개의 요소로서 구현될 수 있거나, 또는 당업자에게 알려진 바와 같은 하드웨어와 소프트웨어의 조합으로서 프로세서(1010) 내에 통합될 수 있다.
본 문서에 기술된 다양한 태양들을 수행하기 위해 프로세서(1010) 또는 인코더/디코더(1030) 상에 로딩될 프로그램 코드는 저장 디바이스(1040)에 저장될 수 있고, 후속적으로, 프로세서(1010)에 의한 실행을 위해 메모리(1020) 상에 로딩될 수 있다. 다양한 실시예들에 따르면, 프로세서(1010), 메모리(1020), 저장 디바이스(1040), 및 인코더/디코더 모듈(1030) 중 하나 이상은 본 문서에 기술된 프로세스들의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 그러한 저장된 항목들은, 입력 비디오, 디코딩된 비디오 또는 디코딩된 비디오의 부분들, 비트스트림, 매트릭스들, 변수들, 및 방정식들, 공식들, 연산들 및 연산 로직의 프로세싱으로부터의 중간 또는 최종 결과들을 포함할 수 있지만, 이들로 제한되지 않는다.
여러 실시예들에서, 프로세서(1010) 및/또는 인코더/디코더 모듈(1030) 내부의 메모리는 명령어들을 저장하기 위해 그리고 인코딩 또는 디코딩 동안 필요한 프로세싱을 위한 작업 메모리를 제공하기 위해 사용된다. 그러나, 다른 실시예들에서, 프로세싱 디바이스(예를 들어, 프로세싱 디바이스는 프로세서(1010) 또는 인코더/디코더 모듈(1030) 중 어느 하나일 수 있음) 외부의 메모리가 이들 기능들 중 하나 이상에 사용된다. 외부 메모리는 메모리(1020) 및/또는 저장 디바이스(1040), 예를 들어, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 여러 실시예들에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하는 데 사용된다. 적어도 하나의 실시예에서, RAM과 같은 고속의 외부 동적 휘발성 메모리는 비디오 코딩 및 디코딩 동작들을 위한, 예컨대 MPEG-2, HEVC, 또는 VVC를 위한 작업 메모리로서 사용된다.
시스템(1000)의 요소들에 대한 입력은 블록(1130)에 표시된 바와 같은 다양한 입력 디바이스들을 통해 제공될 수 있다. 그러한 입력 디바이스들은, (i) 예를 들어 브로드캐스터에 의한 공중무선통신(over the air)으로 송신된 RF 신호를 수신하는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이들로 제한되지 않는다.
다양한 실시예들에서, 블록(1130)의 입력 디바이스들은 당업계에 알려진 바와 같은 각자의 입력 프로세싱 요소들을 연관시켰다. 예를 들어, RF 부분은, (i) 원하는 주파수를 선택하는 것(신호를 선택하는 것, 신호를 주파수들의 대역으로 대역-제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향변환(downconvert)하는 것, (iii) (예를 들어) 소정 실시예들에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 주파수들의 더 좁은 대역으로 다시 대역-제한하는 것, (iv) 하향변환되고 대역-제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 데이터 패킷들의 원하는 스트림을 선택하기 위해 역다중화하는 것에 필요한 요소들과 연관될 수 있다. 다양한 실시예들의 RF 부분은 이들 기능들을 수행하기 위한 하나 이상의 요소들, 예를 들어 주파수 선택기, 신호 선택기, 대역-제한기, 채널 선택기, 필터, 하향변환기, 복조기, 에러 정정기, 및 역다중화기를 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 기저대역 인근(near-baseband) 주파수)로 또는 기저대역으로 하향변환하는 것을 포함한, 다양한 이들 기능들을 수행하는 동조기를 포함할 수 있다. 하나의 셋톱박스 실시예에서, RF 부분 및 그의 연관된 입력 프로세싱 요소는 유선(예를 들어, 케이블) 매체를 통해 송신된 RF 신호를 수신하고, 원하는 주파수 대역에 대해 필터링, 하향변환, 및 다시 필터링함으로써 주파수 선택을 수행한다. 다양한 실시예들은 전술된 (및 다른) 요소들의 순서를 재배열하고/하거나, 이들 요소들 중 일부를 제거하고/하거나, 유사한 또는 상이한 기능들을 수행하는 다른 요소들을 추가한다. 요소들을 추가하는 것은, 기존 요소들 사이에 요소들을 삽입하는 것, 예를 들어 증폭기 및 아날로그-디지털 변환기를 삽입하는 것을 포함할 수 있다. 다양한 실시예들에서, RF 부분은 안테나를 포함한다.
추가적으로, USB 및/또는 HDMI 단자들은 시스템(1000)을, USB 및/또는 HDMI 접속부들을 통해 다른 전자 디바이스들에 접속시키기 위한 각자의 인터페이스 프로세서들을 포함할 수 있다. 입력 프로세싱의 다양한 태양들, 예를 들어, 리드-솔로몬(Reed-Solomon) 에러 정정은 필요에 따라, 예를 들어, 별개의 입력 프로세싱 IC 내에서 또는 프로세서(1010) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 프로세싱의 태양들은 필요에 따라, 별개의 인터페이스 IC들 내에서 또는 프로세서(1010) 내에서 구현될 수 있다. 복조, 에러 정정, 및 역다중화된 스트림은, 예를 들어, 출력 디바이스 상에서의 프레젠테이션을 위해 필요에 따라 데이터스트림을 프로세싱하도록 메모리 및 저장 요소들과 조합하여 동작하는 프로세서(1010), 및 인코더/디코더(1030)를 포함한 다양한 프로세싱 요소들에 제공된다.
시스템(1000)의 다양한 요소들이 집적 하우징 내에 제공될 수 있다. 집적 하우징 내에서, 다양한 요소들은 I2C 버스, 배선, 및 인쇄 회로 기판들을 포함한 적합한 접속 배열물(1140), 예를 들어, 당업계에 알려져 있는 바와 같은 내부 버스를 사용하여, 상호접속될 수 있고 그들 사이에서 데이터를 송신할 수 있다.
시스템(1000)은 통신 채널(1060)을 통해 다른 디바이스들과의 통신을 인에이블시키는 통신 인터페이스(1050)를 포함한다. 통신 인터페이스(1050)는, 통신 채널(1060)을 통해 데이터를 송신 및 수신하도록 구성된 송수신기를 포함할 수 있지만, 이로 제한되지 않는다. 통신 인터페이스(1050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이들로 제한되지 않으며, 통신 채널(1060)은, 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.
다양한 실시예들에서, IEEE 802.11과 같은 무선 네트워크를 사용하여 데이터가 시스템(1000)으로 스트리밍된다. 이들 실시예들의 무선 신호는, 예를 들어, Wi-Fi 통신을 위해 적응되는 통신 채널(1060) 및 통신 인터페이스(1050)를 통해 수신된다. 이들 실시예들의 통신 채널(1060)은 전형적으로, 스트리밍 애플리케이션들 및 다른 오버더톱(over-the-top) 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크들에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 다른 실시예들은 입력 블록(1130)의 HDMI 접속부를 통해 데이터를 전달하는 셋톱박스를 사용하여, 시스템(1000)에 스트리밍된 데이터를 제공한다. 또 다른 실시예들은 입력 블록(1130)의 RF 접속부를 사용하여 시스템(1000)에 스트리밍된 데이터를 제공한다.
시스템(1000)은 디스플레이(1100), 스피커들(1110), 및 다른 주변기기 디바이스들(1120)을 포함하는 다양한 출력 디바이스들에 출력 신호를 제공할 수 있다. 다른 주변기기 디바이스들(1120)은, 실시예들의 다양한 예들에서, 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(1000)의 출력에 기초하여 기능을 제공하는 다른 디바이스들 중 하나 이상을 포함한다. 다양한 실시예들에서, 제어 신호들은, 사용자 개입으로 또는 사용자 개입 없이 디바이스-대-디바이스 제어를 인에이블시키는 AV.Link, CEC, 또는 다른 통신 프로토콜들과 같은 시그널링을 사용하여 시스템(1000)과 디스플레이(1100), 스피커들(1110), 또는 다른 주변기기 디바이스들(1120) 사이에서 통신된다. 출력 디바이스들은 각자의 인터페이스들(1070, 1080, 1090)을 통해 전용 접속부들을 거쳐 시스템(1000)에 통신가능하게 커플링될 수 있다. 대안적으로, 출력 디바이스들은 통신 인터페이스(1050)를 통해 통신 채널(1060)을 사용하여 시스템(1000)에 접속될 수 있다. 디스플레이(1100) 및 스피커들(1110)은 전자 디바이스, 예를 들어, 텔레비전에서 시스템(1000)의 다른 컴포넌트들과 함께 단일 유닛으로 통합될 수 있다. 다양한 실시예들에서, 디스플레이 인터페이스(1070)는 디스플레이 드라이버, 예를 들어, 타이밍 제어기(T Con) 칩을 포함한다.
디스플레이(1100) 및 스피커(1110)는 대안적으로, 예를 들어, 입력(1130)의 RF 부분이 별개의 셋톱박스의 일부인 경우, 다른 컴포넌트들 중 하나 이상과 별개일 수 있다. 디스플레이(1100) 및 스피커들(1110)이 외부 컴포넌트들인 다양한 실시예들에서, 출력 신호는, 예를 들어, HDMI 포트들, USB 포트들, 또는 COMP 출력들을 포함하는 전용 출력 접속부들을 통해 제공될 수 있다.
실시예들은 프로세서(1010)에 의해 또는 하드웨어에 의해 구현되는 컴퓨터 소프트웨어에 의해, 또는 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다. 비제한적인 예로서, 실시예들은 하나 이상의 집적 회로들에 의해 구현될 수 있다. 메모리(1020)는 기술적 환경에 적절한 임의의 유형의 것일 수 있고, 비제한적인 예들로서, 광학 메모리 디바이스, 자기 메모리 디바이스, 반도체 기반 메모리 디바이스, 고정 메모리, 및 착탈식 메모리와 같은 임의의 적절한 데이터 저장 기술을 사용하여 구현될 수 있다. 프로세서(1010)는 기술적 환경에 적절한 임의의 유형의 것일 수 있고, 비제한적인 예들로서, 마이크로프로세서, 범용 컴퓨터, 특수 목적 컴퓨터, 및 멀티-코어 아키텍처에 기초한 프로세서 중 하나 이상을 포괄할 수 있다.
다양한 구현예들이 디코딩을 수반한다. 본 출원에서 사용되는 바와 같이, "디코딩"은, 예를 들어, 디스플레이에 적합한 최종 출력을 생성하기 위해 수신된 인코딩된 시퀀스에 대해 수행되는 프로세스들의 전부 또는 일부를 포괄할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 디코더에 의해 전형적으로 수행되는 프로세스들, 예를 들어, 엔트로피 디코딩, 역 양자화, 역 변환, 및 차동 디코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 디코더에 의해 수행되는 프로세스들을 포함하여, 예를 들어, 다양한 인트라 예측 기준 어레이들에 사용될 가중치들의 인덱스를 추출한다.
추가 예들로서, 하나의 실시예에서, "디코딩"은 엔트로피 디코딩만을 지칭하고, 다른 실시예에서, "디코딩"은 차동 디코딩만을 지칭하고, 또 다른 실시예에서, "디코딩"은 엔트로피 디코딩과 차동 디코딩의 조합을 지칭한다. "디코딩 프로세스"라는 어구가, 구체적으로 동작들의 서브세트를 지칭하는 것으로 의도되는지 아니면 대체적으로 더 넓은 디코딩 프로세스를 지칭하는 것으로 의도되는지는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해되는 것으로 여겨진다.
다양한 구현예들이 인코딩을 수반한다. "디코딩"에 관한 상기의 논의와 유사한 방식으로, 본 출원에서 사용되는 바와 같은 "인코딩"은, 예를 들어, 인코딩된 비트스트림을 생성하기 위해 입력 비디오 시퀀스에 대해 수행된 프로세스들의 전부 또는 일부를 포괄할 수 있다. 다양한 실시예들에서, 그러한 프로세스들은 인코더에 의해 전형적으로 수행되는 프로세스들, 예를 들어, 파티셔닝, 차동 인코딩, 변환, 양자화, 및 엔트로피 인코딩 중 하나 이상을 포함한다. 다양한 실시예들에서, 그러한 프로세스들은 또한, 또는 대안적으로, 본 출원에 기술된 다양한 구현예들의 인코더에 의해 수행되는 프로세스들, 예를 들어, 인트라 예측 기준 어레이들의 가중화를 포함한다.
추가 예들로서, 하나의 실시예에서, "인코딩"은 엔트로피 인코딩만을 지칭하고, 다른 실시예에서, "인코딩"은 차동 인코딩만을 지칭하고, 또 다른 실시예에서, "인코딩"은 차동 인코딩과 엔트로피 인코딩의 조합을 지칭한다. "인코딩 프로세스"라는 어구가, 구체적으로 동작들의 서브세트를 지칭하는 것으로 의도되는지 아니면 대체적으로 더 넓은 인코딩 프로세스를 지칭하는 것으로 의도되는지는 특정 설명들의 맥락에 기초하여 명확할 것이며, 당업자에 의해 잘 이해되는 것으로 여겨진다.
본 명세서에 사용된 바와 같은 신택스 요소들은 설명적 용어들임에 유의한다. 이와 같이, 그들은 다른 신택스 요소 명칭들의 사용을 배제하지 않는다.
도면이 흐름도로서 제시될 때, 그것은 또한, 대응하는 장치의 블록도를 제공한다는 것이 이해될 것이다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한, 대응하는 방법/프로세스의 흐름도를 제공한다는 것이 이해될 것이다.
다양한 실시예들은 레이트 왜곡 계산 또는 레이트 왜곡 최적화를 언급한다. 인코딩 프로세스 동안, 계산 복잡성의 제약들을 종종 고려해 볼 때, 레이트와 왜곡 사이의 균형 또는 트레이드-오프가 일반적으로 고려된다. 레이트 왜곡 최적화는 일반적으로, 레이트 왜곡 함수를 최소화하는 것으로 공식화되는데, 이는 레이트와 왜곡의 가중 합이다. 레이트 왜곡 최적화 문제를 해결하기 위한 상이한 접근법들이 있다. 예를 들어, 접근법들은 코딩 및 디코딩 후의 재구성된 신호의 그들의 코딩 비용 및 관련 왜곡의 완전한 평가와 함께, 모든 고려된 모드들 또는 코딩 파라미터 값들을 포함한, 모든 인코딩 옵션들의 광범위한 테스팅에 기초할 수 있다. 특히 재구성된 것이 아니라 예측 또는 예측 잔차 신호에 기초한 근사화된 왜곡의 계산과 함께 인코딩 복잡성을 덜기 위해, 더 빠른 접근법들이 또한 사용될 수 있다. 이들 2개의 접근법들의 혼합은 또한, 예컨대, 가능한 인코딩 옵션들 중 일부만에 대한 근사화된 왜곡 및 다른 인코딩 옵션들에 대한 완전한 왜곡을 사용함으로써 사용될 수 있다. 다른 접근법들은 가능한 인코딩 옵션들의 서브세트만을 평가한다. 보다 대체적으로, 많은 접근법들은 최적화를 수행하기 위해 다양한 기법들 중 임의의 것을 채용하지만, 최적화는 반드시 코딩 비용 및 관련 왜곡 둘 모두의 완전한 평가인 것은 아니다.
본 명세서에 기술된 구현예들 및 태양들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법으로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 장치 또는 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 프로세서에서 구현될 수 있으며, 이는, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들을 지칭한다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀룰러폰, 휴대용/개인 휴대 정보 단말기("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.
"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 기술된 특정 특징부, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 문서 전체에 걸쳐 다양한 곳들에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 어구뿐만 아니라 임의의 다른 변형들의 출현들은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.
추가적으로, 본 문서는 다양한 정보를 "결정"하는 것을 언급할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 취출하는 것 중 하나 이상을 포함할 수 있다.
또한, 본 문서는 다양한 정보에 "액세스"하는 것을 언급할 수 있다. 정보에 액세스하는 것은, 예를 들어, 정보를 수신하는 것, (예를 들어, 메모리로부터) 정보를 취출하는 것, 정보를 저장하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.
추가적으로, 본 문서는 다양한 정보를 "수신"하는 것을 언급할 수 있다. 수신하는 것은 "액세스"하는 것과 같이, 광범위한 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 정보를 (예를 들어, 메모리로부터) 취출하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신"하는 것은 전형적으로, 예를 들어 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안, 하나의 방식으로 또는 다른 방식으로 수반된다.
예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우에, 하기의 "/", "및/또는", 및 "~ 중 적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A)만의 선택, 또는 제2 열거된 옵션(B)만의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포괄하도록 의도된다는 것이 이해될 것이다. 추가 예로서, "A, B 및/또는 C" 및 "A, B, 및 C 중 적어도 하나"의 경우들에 있어서, 그러한 어구는, 제1 열거된 옵션(A)만의 선택, 또는 제2 열거된 옵션(B)만의 선택, 또는 제3 열거된 옵션(C)만의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B)만의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C)만의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C)만의 선택, 또는 3개의 옵션들(A 및 B 및 C) 모두의 선택을 포괄하도록 의도된다. 이는, 본 기술분야 및 관련 기술분야들의 당업자에게 명백한 바와 같이, 열거된 바와 같은 많은 항목들에 대해 확장될 수 있다.
또한, 본 명세서에 사용된 바와 같이, "신호"라는 단어는, 특히, 대응하는 디코더에 대한 무언가를 나타내는 것을 지칭한다. 예를 들어, 소정 실시예들에서, 인코더는 인트라 예측 기준 어레이들에 사용될 복수의 가중치들 중 특정 가중치를 시그널링한다. 이러한 방식으로, 일 실시예에서, 동일한 파라미터는 인코더 측 및 디코더 측 둘 모두에서 사용된다. 따라서, 예를 들어, 인코더는 디코더가 동일한 특정 파라미터를 사용할 수 있도록 디코더에 특정 파라미터를 송신(명시적 시그널링)할 수 있다. 반대로, 디코더가 이미 특정 파라미터뿐만 아니라 다른 것들을 갖는 경우, 시그널링은, 단순히 디코더가 특정 파라미터를 알고 선택할 수 있게 하도록, 송신(암시적 시그널링) 없이 사용될 수 있다. 임의의 실제 기능들의 송신을 회피시킴으로써, 다양한 실시예들에서 비트 절감이 실현된다. 시그널링은 다양한 방식들로 달성될 수 있음이 이해될 것이다. 예를 들어, 하나 이상의 신택스 요소들, 플래그들 등이 다양한 실시예들에서 대응하는 디코더에 정보를 시그널링하는 데 사용된다. 전술한 사항이 "신호"라는 단어의 동사 형태와 관련되지만, "신호"라는 단어는 또한 본 명세서에서 명사로서도 사용될 수 있다.
당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 비트스트림을 전달하도록 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
실시예들은 여러가지 상이한 청구항 카테고리들 및 유형들에 걸쳐, 단독으로 또는 조합하여, 하기의 특징들 또는 엔티티들 중 하나 이상을 포함할 수 있다:
Figure pct00022
최대 변환 크기에 관계없이, 결정된 크기에 이르기까지 코딩 단위들에 대한 매트릭스 기반 인트라 예측을 인에이블시킨다.
Figure pct00023
코딩 단위 크기가 최대 변환 크기보다 더 클 때 변환 단위 타일링을 인에이블시킨다.
Figure pct00024
결정된 크기에 이르기까지 LFNST를 인에이블시킨다.
Figure pct00025
임의의 변환 단위들이 변환으로서 DCT2를 사용하고 있지 않는지 여부를 나타내는 신택스 요소를, 비트스트림에 포함하거나 또는 그에 대해 비트스트림을 검사하며, 그렇게 표시되는 경우, LFNST를 허용하지 않는다.
Figure pct00026
기술된 신택스 요소들, 또는 이들의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호.
Figure pct00027
기술된 신택스 요소들, 또는 이들의 변형들 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성하고/하거나 송신하고/하거나 수신하고/하거나 디코딩한다.
Figure pct00028
기술된 실시예들 중 임의의 것에 따라 인-루프 필터링을 수행하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.
Figure pct00029
기술된 실시예들 중 임의의 것에 따라 인-루프 필터링을 수행하고 생성된 이미지를 (예컨대, 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 디스플레이하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.
Figure pct00030
인코딩된 이미지를 포함하는 신호를 수신하기 위해 채널을 (예컨대, 동조기를 사용하여) 동조시키고, 기술된 실시예들 중 임의의 것에 따라 인-루프 필터링을 수행하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.
Figure pct00031
인코딩된 이미지를 포함하는 신호를 공중무선통신으로 (예컨대, 안테나를 사용하여) 수신하고, 기술된 실시예들 중 임의의 것에 따라 인-루프 필터링을 수행하는 TV, 셋톱박스, 셀폰, 태블릿, 또는 다른 전자 디바이스.
다양한 다른 일반화된, 그리고 특수화된 발명들 및 청구항들이 또한 본 개시내용 전체에 걸쳐 지지되고 고려된다.

Claims (15)

  1. 비디오 인코딩을 위한 방법으로서,
    최대 변환 크기에 기초하여 코딩 툴을 인에이블시키는 단계;
    블록을 포함하는 샘플들의 서브세트에 대해 이산 삼각법 변환(Discrete Trigonometric Transform)의 적어도 일부분을 수행하는 단계; 및
    인에이블된 코딩 툴을 사용하여 블록을 인코딩하는 단계를 포함하는, 방법.
  2. 장치로서,
    프로세서를 포함하고, 프로세서는,
    최대 변환 크기에 기초하여 코딩 툴을 인에이블시키도록;
    블록을 포함하는 샘플들의 서브세트에 대해 이산 삼각법 변환의 적어도 일부분을 수행하도록; 그리고
    인에이블된 코딩 툴을 사용하여 블록을 인코딩하도록 구성되는, 장치.
  3. 방법으로서,
    최대 변환 크기에 기초하여 코딩 툴을 인에이블시키는 단계;
    블록을 포함하는 샘플들의 서브세트에 대해 역 이산 삼각법 변환(inverse Discrete Trigonometric Transform)의 적어도 일부분을 수행하는 단계; 및
    인에이블된 코딩 툴을 사용하여 블록을 디코딩하는 단계를 포함하는, 방법.
  4. 장치로서,
    프로세서를 포함하고, 프로세서는,
    최대 변환 크기에 기초하여 코딩 툴을 인에이블시키도록;
    블록을 포함하는 샘플들의 서브세트에 대해 역 이산 삼각법 변환의 적어도 일부분을 수행하도록; 그리고
    인에이블된 코딩 툴을 사용하여 블록을 디코딩하도록 구성되는, 장치.
  5. 제1항 또는 제3항의 방법 또는 제2항 또는 제4항의 장치에 있어서, 상기 코딩 툴은 매트릭스 기반 인트라 예측인, 방법 또는 장치.
  6. 제1항 또는 제3항의 방법 또는 제2항 또는 제4항의 장치에 있어서, 상기 코딩 툴은 변환 단위 타일링(tiling)인, 방법 또는 장치.
  7. 제1항 또는 제3항의 방법 또는 제2항 또는 제4항의 장치에 있어서, 상기 코딩 툴은 결정된 변환 크기에 이르기까지의 LFNST(low-frequency non-separable transform)인, 방법 또는 장치.
  8. 제7항에 있어서, 상기 결정된 변환 크기는 32 x 32인, 방법 또는 장치.
  9. 제7항에 있어서, 상기 LFNST는 임의의 변환 단위들이 DCT2를 사용하지 않는 경우에 허용되지 않는, 방법 또는 장치.
  10. 제1항 또는 제3항의 방법 또는 제2항 또는 제4항의 장치에 있어서, 상기 코딩 툴들은 비트스트림에 표시되는, 방법 또는 장치.
  11. 제7항에 있어서, 상기 결정된 변환 크기는 64 x 64인, 방법 또는 장치.
  12. 디바이스로서,
    제4항 내지 제11항 중 어느 한 항에 따른 장치; 및
    (i) 신호를 수신하도록 구성된 안테나 - 신호는 비디오 블록을 포함함 -, (ii) 비디오 블록을 포함하는 수신된 신호를 주파수들의 대역으로 제한하도록 구성된 대역 제한기, 및 (iii) 비디오 블록을 나타내는 출력을 디스플레이하도록 구성된 디스플레이 중 적어도 하나를 포함하는, 디바이스.
  13. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성된 데이터 콘텐츠를 포함하는 비일시적 컴퓨터 판독가능 매체.
  14. 프로세서를 사용한 재생을 위해, 제1항 및 제5항 내지 제11항 중 어느 한 항의 방법에 따라 또는 제2항 및 제5항 내지 제11항 중 어느 한 항의 장치에 의해 생성된 비디오 데이터를 포함하는 신호.
  15. 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 제1항, 제3항 및 제5항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품.
KR1020227012261A 2019-09-13 2020-09-08 코딩 툴들과의 변환 크기 상호작용들 KR20220057630A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP19306103 2019-09-13
EP19306103.3 2019-09-13
EP19306152 2019-09-20
EP19306152.0 2019-09-20
PCT/EP2020/074996 WO2021048077A1 (en) 2019-09-13 2020-09-08 Transform size interactions with coding tools

Publications (1)

Publication Number Publication Date
KR20220057630A true KR20220057630A (ko) 2022-05-09

Family

ID=72322472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227012261A KR20220057630A (ko) 2019-09-13 2020-09-08 코딩 툴들과의 변환 크기 상호작용들

Country Status (8)

Country Link
US (1) US20230143712A1 (ko)
EP (1) EP4029270A1 (ko)
JP (1) JP2022547607A (ko)
KR (1) KR20220057630A (ko)
CN (1) CN114631314A (ko)
MX (1) MX2022003022A (ko)
TW (1) TW202118299A (ko)
WO (1) WO2021048077A1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11240534B2 (en) * 2019-04-05 2022-02-01 Qualcomm Incorporated Extended multiple transform selection for video coding
WO2020246849A1 (ko) * 2019-06-06 2020-12-10 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114208178A (zh) * 2019-08-06 2022-03-18 交互数字Vc控股法国有限公司 用于视频编码和解码的二次变换

Also Published As

Publication number Publication date
US20230143712A1 (en) 2023-05-11
MX2022003022A (es) 2022-06-14
TW202118299A (zh) 2021-05-01
CN114631314A (zh) 2022-06-14
WO2021048077A1 (en) 2021-03-18
JP2022547607A (ja) 2022-11-14
EP4029270A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
KR20220047725A (ko) 암시적 다중 변환 선택을 위한 변환 선택
EP3703366A1 (en) Method and device for picture encoding and decoding
US20220046244A1 (en) Directions for wide angle intra prediction
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
US20230051873A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
US20210051326A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
KR20210058846A (ko) 인트라 변환 코딩 및 광각 인트라 예측의 조화
JP2021528893A (ja) 可変重みを使用する複数参照イントラ予測
US20230096533A1 (en) High-level constraint flag for local chroma quantization parameter control
KR20220123643A (ko) 삼각형 병합 모드에서의 서브-블록 병합 후보들
EP3745722A1 (en) Implicit multiple transform selection
US20230143712A1 (en) Transform size interactions with coding tools
US20220224902A1 (en) Quantization matrices selection for separate color plane mode
US20220368890A1 (en) Most probable mode signaling with multiple reference line intra prediction
US20220368912A1 (en) Derivation of quantization matrices for joint cb-br coding
EP3595309A1 (en) Method and apparatus for video encoding and decoding based on adaptive coefficient group
WO2023046463A1 (en) Methods and apparatuses for encoding/decoding a video
EP3994883A1 (en) Chroma format dependent quantization matrices for video encoding and decoding
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
KR20210028645A (ko) 다수의 영역에 대한 인-루프 필터

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant