KR20220065758A

KR20220065758A - 코딩 블록의 스케일링 프로세스

Info

Publication number: KR20220065758A
Application number: KR1020227005816A
Authority: KR
Inventors: 쿠이 판; 리 창; 카이 창; 유에 왕
Original assignee: 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드; 바이트댄스 아이엔씨
Priority date: 2019-09-20
Filing date: 2020-09-21
Publication date: 2022-05-20
Also published as: JP7479457B2; JP2024028787A; US11523126B2; JP2022549607A; US20220210481A1; EP4014502A1; JP2022548936A; WO2021052493A1; KR102698094B1; EP4014486A4; CN114430901B; WO2021052492A1; CN114424574A; US20230345056A1; US11716491B2; EP4014486A1; EP4014502A4; US20220210453A1; CN117596400A; CN114430901A

Abstract

비디오 및 이미지 코딩을 위한 크로마 스케일링을 갖는 루마 맵핑을 위한 방법, 시스템, 및 장치가 개시된다. 비디오 처리의 예시적인 방법은 루마 블록, 제1 크로마 블록 및 제2 크로마 블록을 포함하는 현재 영역에 대해, 디코딩 동안, 제1 크로마 블록 및 제2 크로마 블록이 루마 블록의 매핑된 샘플 값에 기초하여 처리되는 순서를 지정하는 규칙에 따라 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 디코딩 동안, 루마 블록의 매핑된 샘플 값에 기초하여 제1 크로마 블록과 제2 크로마 블록이 처리되는 순서를 지정한다.

Description

코딩 블록의 스케일링 프로세스

이 특허 문서는 비디오 코딩 및 디코딩에 관한 것이다.

파리협약에 따른 대응하는 특허법 및/또는 규칙에 따라, 이 출원은 2019년 9월 20일에 출원된 국제 특허 출원 번호 PCT/CN2019/106925의 우선권과 이익을 적시에 주장하기 위해 이루어진다. 법에 따라 모든 목적을 위해, 상기 출원의 전체 공개는 이 출원의 공개의 일환으로 참조로 통합된다.

비디오 압축의 발전에도 불구하고 디지털 비디오는 여전히 인터넷 및 기타 디지털 통신 네트워크에서 가장 큰 대역폭을 사용한다. 비디오를 수신하고 표시할 수 있는 연결된 사용자 장치의 수가 증가함에 따라 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.

디지털 비디오 코딩과 관련된 장치, 시스템 및 방법, 특히 루마 매핑(luma mapping) 및 크로마 스케일링(chroma scaling)이 사용되는 비디오 및 이미지 코딩 및 디코딩에 관한 것이다.

하나의 예에서, 비디오 처리 방법이 공개된다. 방법은, 루마 블록(luma block), 제1 크로마 블록(first chroma block) 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 디코딩 동안,제1 크로마 블록 및 제2 크로마 블록이 루마 블록의 매핑된 샘플 값에 기초하여 처리되는 순서를 지정하는 규칙에 따라 비디오의 현재 영역과 비디오의 비트스트림 표현(bitstream representation) 사이의 변환을 수행하는 단계를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은, 루마 블록(luma block), 제1 크로마 블록(first chroma block), 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환(conversion)을 수행하는 단계를 포함하고, 변환은 크로마 잔차(chroma residual)의 공동 코딩(joint coding)(JCCR) 동작을 포함하고, 제1 크로마 블록 및 제2 크로마 블록은 비디오의 제1 크로마 컬러 컴포넌트 및 비디오의 제2 크로마 컬러 컴포넌트에 각각 대응하고, 및 JCCR 동작은 제1 크로마 컬러 컴포넌트의 값에 대응하는 입력 및 제2 크로마 컬러 컴포넌트의 유도된 값에 대응하는 출력을 갖는 시프팅 동작(shifting operation)을 사용하는 잔차 또는 계수 스케일링 프로세스(scaling process)를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 이진 트리 파티션(vertical binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수평 이진 트리 파티션(horizontal binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(vertical ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 이 방법은 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(horizontal ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은 비디오의 크로마 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 크로마 블록의 잔차는 스케일링 인자(scaling factor)가 특정 루마 영역의 정보에 액세스하지 않고 결정된다는 규칙에 따라 결정되는 스케일링 인자에 의해 스케일링된다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 규칙은 크로마 CU의 복수의 크로마 샘플의 잔차에 적용된 복수의 스케일링 인자에 대한 유도 방법을 지정하고, 여기서 유도 방법은 크로마 CU가 변환을 위해 다중 트랜스폼 유닛(transform unit)(TU)으로 더 분할되는지 여부와 관계없다.

다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 규칙은 크로마 CU가 다중 트랜스폼 유닛(multiple transform unit)(TU)로 분할될 때 크로마 잔차 스케일링 동작이 활성화되는지 여부를 지정한다.

또 다른 측면에서, 전술한 방법은 프로세서 실행 코드 형태로 구현되고 컴퓨터 판독 가능 프로그램 매체(computer-readable program medium)에 저장된다.

또 다른 측면에서, 전술한 방법을 수행하도록 구성되거나 작업 가능한 장치가 개시된다. 장치는 이 방법을 구현하도록 프로그래밍된 프로세서를 포함할 수 있다.

또 다른 예시적인 측면에서, 비디오 디코더 장치는 본 명세서에 설명된 바와 같은 방법을 구현할 수 있다.

개시된 기술의 및 기타 측면 및 특징은 도면, 설명 및 청구범위에서 보다 상세하게 설명된다.

도 1은 인코더 블록도의 예를 나타낸다.
도 2은 다중 유형 트리 분할 모드의 예를 나타낸다.
도 3은 중첩된 다중 유형 트리 코딩 트리 구조를 사용하여 쿼드트리(quadtree)에서 플래그 시그널링을 분할하는 예를 나타낸다.
도 4는 중첩된 다중 유형 트리 코딩 블록 구조를 갖는 쿼드트리의 예를 나타낸다.
도 5는 128Х128 코딩 블록에 대한 TT 분할이 없는 예를 나타낸다.
도 6은 VTM6에서 허용되지 않는 TT 및 BT 파티셔닝의 예를 나타낸다.
도 7은 크로마 스케일링 아키텍처를 사용한 루마 매핑의 예를 나타낸다.
도 8은 JEM에서 이차 트랜스폼의 예를 나타낸다.
도 9는 감소된 이차 트랜스폼(RST)의 예를 나타낸다.
도 10은 비디오 처리를 위한 디코딩 흐름을 나타낸다.
도 11은 두 개의 크로마 블록에 대해 LMCS가 한 번 적용된 디코딩 흐름의 예를 나타낸다(JCCR은 제1 컬러 컴포넌트 블록의 최종 잔차에 적용됨).
도 12는 제1 컬러 컴포넌트의 계수에 JCCR을 적용한 디코딩 흐름의 예를 나타낸다.
도 13은 비디오 시스템의 블록도이다.
도 14는 예시적인 비디오 처리 장치의 블록도이다.
도 15 내지 23은 예시적인 비디오 처리 방법의 흐름도이다.
도 24는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 25는 본 개시내용의 일부 실시예에 따른 인코더를 예시하는 블록도이다.
도 26은 본 개시의 일부 실시예들에 따른 디코더를 예시하는 블록도이다.

개시된 기술의 실시예는 압축 성능을 향상시키기 위해 기존 비디오 코딩 표준(예를 들어, HEVC, H.265)과 미래 표준에 적용될 수 있다. 섹션 제목은 설명의 가독성을 향상시키기 위해 본 문서에서 사용되고, 토론 또는 실시예(및/또는 구현)를 각 섹션으로만 제한하지 않는다.

1. 요약

이 문서는 비디오 코딩 기술(video coding technologies)과 관련이 있다. 특히, 비디오 코딩의 크로마 스케일링(chroma scaling)과 관련이 있다. HEVC와 같은 기존 비디오 코딩 표준 또는 최종 확정될 표준(다목적 비디오 코딩)에 적용될 수 있다. 미래의 비디오 부호화 표준이나 비디오 코덱에도 적용 가능(applicable)하다.

2. 배경

비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해 왔다. ITU-T는 H.261및 H.263을 제작했으며, ISO/IEC는 MPEG-1 및 MPEG-4 비주얼을 제작했으며, 두 조직은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 고급 비디오 코딩(AVC) 및 H.265/HEVC 표준을 공동 제작했다. H.262 이후, 비디오 코딩 표준은 시간적 예측(temporal prediction)과 트랜스폼 코딩(transform coding)이 사용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC를 넘어 미래의 비디오 코딩 기술을 연구하기 위해, 공동 비디오 연구팀(JVET: Joint Video Exploration Team)이 2015년에 VCEG와 MPEG의 공동으로 설립되었다. 그 이후로, JVET에 의해 많은 새로운 방법들이 채택되었고, 공동 연구 모델(JEM: Joint Exploration Model)이라고 명명된 참조 소프트웨어(reference software)에 적용되었다. 2018년 4월, VCEG(Q6/16)와 ISO/IEC JTC1 SC29/WG11(MPEG) 사이의 공동 비디오 전문가 팀(Joint Video Expert Team)(JVET)는 HEVC에 비해 50% 비트 전송률 감소를 목표로 하는 VVC 표준 작업을 위해 만들어졌다.

VVC 초안의 최신 버전, 즉 범용 비디오 코딩(Versatile Video Coding)(드래프트(Draft) 5)은 다음 위치에서 찾을 수 있다.

http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/15_Gothenburg/wg11/JVET-O2001-v14.zip

VTM이라는 VVC의 최신 참조 소프트웨어는 다음에서 찾을 수 있다.

https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1

2.1 일반적인 비디오 코덱의 코딩 흐름

도 1은 3개의 인루프 필터링 블록을 포함하는 VVC의 인코더 블록도의 예를 보여준다: 디블로킹 필터(deblocking filter)(DF), 샘플 적응형 오프셋(sample adaptive offset)(SAO) 및 ALF. 미리 정의된 필터를 사용하는 DF와 달리, SAO 및 ALF는 오프셋을 추가하고 오프셋 및 필터 계수를 시그널링 하는 코딩된 부가 정보(side information)와 함께 유한 임펄스 응답(finite impulse response)(FIR) 필터를 각각 적용하여 원래 샘플과 재구성된 샘플 사이의 평균 제곱 오류를 줄이기 위해 현재 픽처의 원래 샘플을 활용한다. ALF는 각 픽처의 마지막 처리 단계에 위치하며 이전 단계에서 만든 아티팩트를 포착하고 수정하려는 툴(tool)로 간주될 수 있다.

2.2 컬러 공간 및 크로마 서브샘플링(Color space and chroma subsampling)

컬러 모델(또는 컬러 시스템)이라고도 하는 컬러 공간은 일반적으로 3또는 4값 또는 컬러 컴포넌트(예를 들어, RGB)로 컬러 범위를 숫자의 줄로 묘사하는 추상적인 수학적 모델이다. 기본적으로 컬러 공간은 좌표계와 서브 공간의 정교화이다.

비디오 압축의 경우 가장 자주 사용되는 컬러 공간은 YCbCr 및 RGB이다.

YCBCR 또는 Y'CBCR로도 작성된 YCbCr, Y'CbCr 또는 Y Pb/Cb Pr/Cr은 비디오 및 디지털 사진 시스템에서 컬러 이미지 파이프 라인의 일부로 사용되는 컬러 공간 제품군이다. Y'는 루마 컴포넌트고 CB와 CR은 청색-차이 및 적색-차이 크로마 컴포넌트다. Y '(프라임 포함) 는 루미넌스(luminance) 인 Y와 구별되고, 즉, 감마 보정 RGB 원색을 기반으로 광 강도가 비선형 인코딩된다.

크로마 서브 샘플링(Chroma subsampling)은 루마보다 컬러 차이에 대한 인간 시각 시스템의 낮은 선명도를 사용하여 루마 정보보다 크로마 정보에 대해 더 낮은 해상도를 구현하여 이미지를 인코딩하는 방식이다.

2.2.1. 4:4:4

3개의 Y'CbCr 컴포넌트 각각은 동일한 샘플링 레이트를 가지므로 크로마 서브 샘플링이 없다. 이 방식(scheme)은 때때로 고급 필름 스캐너와 시네마틱 포스트 프로덕션에 사용된다.

2.2.2. 4:2:2

두 크로마 컴포넌트는 루마의 샘플 비율의 절반으로 샘플링되고: 수평 크로마 해상도가 반으로 줄어든다. 이렇게 하면 압축되지 않은 비디오 신호의 대역폭이 시각적 차이가 거의 또는 전혀 없는 3분의 1로 줄어든다.

2.2.3. 4:2:0

4:2:0에서, 수평 샘플링은 4:1:1에 비해 두 배가되지만, Cb 및 Cr 채널은 이 방식의 각 대체 줄에서만 샘플링되기 때문에 수직 해상도가 반으로 줄어든다. 따라서 데이터 속도(data rate)는 동일하다. Cb와 Cr은 각각 수평 및 수직 모두에서 2의 인자로 서브 샘플링 된이다. 4:2:0 방식의 세 가지 변형이 있으며, 수평 및 수직 위치가 상이하다.

MPEG-2에서는 Cb와 Cr이 수평으로 구비된다. Cb와 Cr은 수직 방향의 픽셀 사이에 위치된다(중간에 위치됨).

JPEG/JFIF, H.261 및 MPEG-1에서 Cb와 Cr은 대체 루마 샘플 사이의 중간에 교차하여 위치된다.

4:2:0 DV에서 Cb와 Cr은 수평 방향으로 공동 위치로 지정된다. 수직 방향으로는 교대선에 공동으로 구성된다.

2.3. 파티션 나누기

2.3.1. 트리 구조를 사용한 CTU 파티션(Partitioning of the CTUs using a tree structure)

HEVC에서, CTU는 다양한 로컬 특성에 적응하기 위해 코딩 트리로 표시된 4차 트리(quatemary-tree structure) 구조를 사용하여 CU로 분할된다. 인터 픽처(시간) 또는 인트라 픽처(공간) 예측을 사용하여 픽처 영역을 코딩할지 여부는 리프 CU 레벨(leaf CU level)에서 결정된다. 각각의 리프 CU는 PU 분할 유형에 따라 1개, 2개 또는 4개의 PU로 더 분할될 수 있다. 하나의 PU 내에서, 동일한 예측 과정이 적용되고 대응하는 정보는 PU 유닛으로 디코더로 전송된다. PU 분할 유형에 기반한 예측 프로세스를 적용하여 잔차 블록을 얻은 후, 리프 CU(leaf CU)는 CU에 대한 코딩 트리와 유사한 다른 4차 트리 구조(quaternary-tree structure)에 따라 트랜스폼 유닛(TU)들로 파티션될 수 있다. HEVC 구조의 주요 특징 중 하나는 CU, PU 및 TU를 포함하는 다중 파티션(multiple partition) 개념을 갖는다는 것이다.

VVC에서 이진 및 삼진 분할 세그멘테이션 구조(binary and ternary splits segmentation structure)를 사용하는 중첩된 다중 유형 트리가 있는 쿼드트리는 다중 파티션 유닛 유형의 개념을 대체하고, 즉, 최대 트랜스폼 길이에 비해 크기가 너무 큰 CU에 필요한 경우를 제외하고 CU, PU 및 TU 개념의 분리를 제거하고 CU 파티션 형태에 대해 더 많은 유연성을 지원한다. 코딩 트리 구조에서, CU는 정사각형 또는 직사각형 형태를 가질 수 있다. 코딩 트리 유닛(CTU)는 먼저 4차 트리(quaternary tree)(쿼드트리(quadtree)라고도 함) 구조로 파티션된다. 그런 다음, 4차 트리 리프 노드(quaternary tree leaf node)는 다중 유형 트리 구조(multi-type tree structure)로 더 파티션될 수 있다. 도 2에 도시된 바와 같이, 다중형 트리 구조에는 수직 이진 분할(SPLIT_BT_VER), 수평 이진 분할(SPLIT_BT_HOR), 수직 삼진 분할(SPLIT_TT_VER) 및 수평 삼진 분할(SPLIT_TT_HOR)의 4가지 분할 유형들이 있다. 다중 유형 트리 리프 노드들은 코딩 유닛(CUs: coding units)이라고 하며, CU가 최대 트랜스폼 길이에 비해 너무 크지 않은 경우 이 세그멘테이션은 어떠한 추가 파티션 없이 예측 및 트랜스폼 처리에 사용된다. 이는 대부분의 경우 CU, PU 및 TU가 중첩된 다중 유형 트리 코딩 블록 구조를 갖는 쿼드트리에서 동일한 블록 크기를 갖는다는 것을 의미한다. 최대 지원되는 트랜스폼 길이가 CU의 컬러 컴포넌트 너비 또는 높이보다 작은 경우 예외가 발생한다.

도 3은 중첩 된 다중 유형 트리 코딩 트리 구조를 가진 쿼드트리의 파티션 분할 정보의 신호 전달 메커니즘을 나타낸다. 코딩 트리 유닛 (CTU) 은 4차 트리의 루트로 취급되고, 먼저 4차 트리 구조에 의해 파티션된다. 그런 다음 각 4차 트리 리프 노드 (허용하기에 충분히 큰 경우) 는 다중 유형 트리 구조로 추가로 파티션된다. 멀티-타입 트리 구조에서, 노드가 더 파티셔닝되었는지 여부를 나타내기 위해 제1 플래그 (mtt_split_cu_flag) 가 시그널링되고; 노드가 추가로 파티션될 때, 분할 방향을 나타내기 위해 제2 플래그 (mtt_split_cu_vertical_flag) 가 시그널링되고, 그 다음 제3 플래그 (mtt_split_cu_binary_flag) 는분할이 이진 분할인지 삼진 분할인지를 나타내기 위해 시그널링 된다. mtt_split_cu_수직_플래그 및 mtt_split_cu_binary_flag의 값을 기반으로 CU의 다중 유형 트리 슬리팅 모드 (MTTSplitMode) 는 에 표시된 대로 유도된다표2-1.

도 3은 중첩된 다중 유형 트리 코딩 트리 구조를 사용하여 쿼드트리에서 플래그 시그널링을 분할하는 예를 나타낸다.

표2-1: 다중 유형 트리 신택스 요소를 기반으로 하는 MTTSplitMode 유도

도 4는 쿼드트리 및 중첩된 다중 유형 트리 코딩 블록 구조(nested multi-type tree coding block structure)를 사용하여 여러 CU로 분할 CTU를 나타내고, 여기서 굵은 블록 가장자리는 쿼드트리 파티션을 나타내고 나머지 가장자리는 다중 유형 트리 파티션을 나타낸다. 중첩된 다중 유형 트리 파티션을 갖는 쿼드트리는 CU로 구성된 콘텐츠 적응형 코딩 트리 구조를 제공한다. CU의 크기는 CTU만큼 크거나 루마 샘플 유닛으로 4Х4만큼 작을 수 있다. 4:2:0 크로마 형식의 경우 최대 크로마 CB 크기는 64Х64이고 최소 크로마 CB 크기는 2Х2이다.

니VVC에서, 지원되는 최대 루마 트랜스폼 크기는 64Х64이고 지원되는 최대 크로마 트랜스폼 크기는 32Х32이다. CB의 폭 또는 높이가 최대 트랜스폼 폭 또는 높이보다 클 경우, CB는 수평 및/또는 수직 방향으로 자동 분할되어 대응하는 방향의 트랜스폼 크기 제한을 충족한다.

다음 파라미터는 중첩된 다중 유형 트리 코딩 트리 방식이 있는 쿼드트리에 대한 SPS 신택스 요소에 의해 정의되고 지정된다.

- CTU 크기: 4차 트리의 루트 노드 크기

- MinQTSize: 허용되는 최소 쿼드트리 리프 노드 크기

- MaxBTSize: 허용되는 최대 이진 트리 루트 노드 크기

- MaxMTTDepth: 쿼드트리 리프에서 다중 유형 트리 분할의 최대 허용 계층 깊이이다.

- MinBTSize: 허용되는 최소 이진 트리 리프 노드 크기

중첩된 다중 유형 트리 코딩 트리 구조를 갖는 쿼드트리의 하나의 예에서, CTU 크기는 4:2:0 크로마 샘플의 두 개의 대응하는 64Х64 블록이 있는 128Х128 루마 샘플로 설정되고, minQTSize는 16Х16으로 설정되고, maxBTSize는 128Х128로 설정되고, maxTTSize는 64Х64로 설정되고, MinBtSize 및 MinTtSize는 4x4로 설정되고, MaxMttDepth는 4로 설정된다. 4차 트리 파티션은 먼저 CTU에 적용되어 4차 트리 리프 노드를 생성한다. 4차 트리 리프 노드들은 16Υ16(즉, MinQTSize) 내지 128Υ128(즉, CTU 크기)의 크기를 가질 수 있다. 리프 쿼드트리 노드가 128Υ128인 경우, 크기가 MaxBTSize(즉, 64Υ64)를 초과하므로 이진 트리로 더 분할될 수 없다. 그렇지 않으면, 리프 쿼드트리 노드를 다중 유형 트리로 더 파티션할 수 있다. 따라서, 4차 트리 리프 노드는 다중 유형 트리의 루트 노드이기도 하며 다중 유형 트리 깊이 (mttDepth) 가 0이다. 다중 유형 트리 깊이가 maxMTTDepth (즉, 4) 에 도달하면, 더 이상 분할이 고려되지 않는다. 다중 유형 트리 노드의 너비가 minBTSize와 같고 2 * minttSize보다 작거나 같은 경우, 더 이상 수평 분할이 고려되지 않는다. 마찬가지로, 다중 유형 트리 노드의 높이가 minBTSize와 같고 2 * minttSize보다 작거나 같은 경우, 더 이상 수직 분할이 고려되지 않는다.

VVC 하드웨어 디코더에서 64Х64 루마 블록 및 32Х32 크로마(Chroma) 파이프라이닝 설계를 허용하기 위해, 도 5와 같이, 루마 코딩 블록의 너비나 높이가 64보다 클 때 TT 분할이 금지된다. 크로마 코딩 블록의 너비나 높이가 32보다 큰 경우에도 TT 분할이 금지된다.

VTM6에서, 코딩 트리 방식은 루마 및 크로마가 별도의 블록 트리 구조를 갖는 기능을 지원한다. 현재, P 및 B 슬라이스의 경우, 한 CTU의 루마 및 크로마 CTB는 동일한 코딩 트리 구조를 공유해야 한다. 그러나, I 슬라이스의 경우, 루마와 크로마는 별도의 블록 트리 구조를 가질 수 있다. 별도의 블록 트리 모드가 적용될 때, 루마 CTB는 하나의 코딩 트리 구조에 의해 CU로 파티션되고, 크로마 CTB는 다른 코딩 트리 구조에 의해 크로마 CU로 파티션된다. 즉, I 슬라이스의 CU는 루마 컴포넌트의 코딩 블록 또는 두 크로마 컴포넌트의 코딩 블록으로 구성될 수 있으고, P 또는 B의 슬라이스의 CU는 비디오가 단색이 아닌 한 항상 세 가지 컬러 컴포넌트의 코딩 블록으로 구성된다.

2.3.2. 가상 파이프라인 데이터 유닛(Virtual pipeline data unit)(vPDU)

가상 파이프라인 데이터 유닛 (vPDU) 는 픽처에서 겹치지 않는 유닛으로 정의된다. 하드웨어 디코더에서 연속적인 vPDU는 동시에 여러 파이프라인 스테이지(stage)에서 처리된다. VPDU 크기는 대부분의 파이프라인 스테이지(stage)에서 버퍼 크기에 거의 비례하므로, VPDU 크기를 작게 유지하는 것이 중요gk다. 대부분의 하드웨어 디코더에서, VPDU 크기는 최대 트랜스폼 블록 (TB) 크기로 설정할 수 있다. 그러나, VVC에서, 삼진 트리 (TT) 및 이진 트리 (BT) 파티션으로 인해 vPDU 크기가 증가할 수 있다.

VPDU 크기를 64x64 루마 샘플로 유지하기 위해, 도 6과 같이 VTM6에는 다음과 같은 표준 파티션 제한 (신택스 신호 수정 포함) 이 적용된다.

- 너비나 높이가 있거나 너비와 높이가 모두 128인 CU에는 TT 분할이 허용되지 않는다.

- N이 64보다 작은 128xN CU의 경우 (즉, 너비가 128이고 높이가 128보다 작은 경우), 수평 BT는 허용되지 않는다.

- N이 64 이하인 Nx128 CU의 경우 (즉, 높이가 128이고 너비가 128보다 작은 경우), 수직 BT는 허용되지 않는다.

VPDU 크기는 최소 (64, CTU 크기) 로 설정되고 CTU 크기는 루마 CTB의 너비/높이이다.

2.4. 크로마 스케일링(LMCS)을 사용한 루마 매핑

VTM4에서, 크로마 스케일링의 루마 매핑(LMCS: luma mapping with chroma scaling)이라 불리는 코딩 툴(coding tool)이 루프 필터들 이전에 새로운 처리 블록으로서 추가된다. LMCS에는 두 가지 주요 컴포넌트들이 있다: 1) 적응형 조각별 선형 모델(adaptive piecewise linear model)에 기초하는 루마 컴포넌트의 루프 내 매핑(in-loop mapping); 2) 크로마 컴포넌트에 대해 루마 종속 크로마 잔차 스케일링이 적용됨.

도 7은 디코더의 관점에서 본 LMCS 아키텍처를 나타낸다. 도 7의 ?꼭? 청색 음영 블록은 매핑된 도메인에서 처리가 적용되는 위치를 나타내고; 및 이는 역양자화, 역트랜스폼, 루마 인트라 예측 및 루마 잔차와 함께 루마 예측의 추가가 포함된다. 도 7의 음영 처리되지 않은 블록은 원래(즉, 매핑되지 않은) 도메인에서 처리가 적용되는 위치를 나타낸다; 여기에는 디블로킹, ALF 및 SAO와 같은 루프 필터, 모션 보상 예측, 크로마 인트라 예측, 크로마 잔차와 함께 크로마 예측의 추가, 레퍼런스 픽처로서 디코딩 된 픽처의 저장이 포함된다. 도 7의 밝은 노란색 음영 블록은 루마 시그널링의 순방향 및 역 매핑 및 루마 종속 크로마 스케일링 프로세스를 포함하는 새로운 LMCS 기능 블록(functional block)이다. VVC의 다른 대부분의 툴과 마찬가지로 LMCS는 SPS 플래그를 사용하여 시퀀스 레벨에서 활성화/비활성화될 수 있다.

2.4.1. 조각별 선형 모델을 사용한 루마 매핑(Luma mapping with piecewise linear model)

루마 컴포넌트의 인-루프 매핑(in-loop mapping)은 압축 효율을 향상시키기 위해 동적 범위에 걸쳐 코드워드(codeword)를 재분배함으로써 입력 신호의 동적 범위를 조정한다. 루마 매핑은 순방향 매핑 함수(forward mapping function)인 FWDMap과 대응하는 역매핑 함수(inverse mapping function)인 InvMap을 사용한다. FWDMap 함수는 동일한 조각이 16개인 조각별 선형 모델을 사용하여 시그널링 된다. InvMap 함수는 시그널링 될 필요가 없으며 대신 FWDMap 함수에서 유도된다.

루마 매핑 모델은 슬라이스 레벨에서 시그널링 된다. 프레즌스 플래그(presence flag)가 먼저 시그널링된다. 루마 매핑 모델이 현재 슬라이스에 있으면, 대응하는 조각별 선형 모델 파라미터가 시그널링 된다. 조각별 선형 모델은 입력 신호의 동적 범위를 16개의 동일한 조각으로 파티션하고, 각 조각에 대해 선형 매핑 파라미터는 대응하는 조각에 할당된 코드워드 수를 사용하여 표현된다. 10비트 입력을 예로 들어 보겠다. 16개의 각 부분에는 디폴트로 64개의 코드워드가 할당된다. 시그널링된 코드워드 수는 스케일링 인자를 계산하고 그에 따라 매핑 함수를 조정하는 데 사용된다. 슬라이스 레벨에서, LMCS 프로세스가 현재 슬라이스에 적용되는지 여부를 나타내는 또 다른 LMCS enable 플래그가 시그널링 된다.

FWDMap 조각별 선형 모델의 각 i번째 조각 i = 0... 15는 두 개의 입력 피벗점(pivot point) InputPivot[] 과 두 개의 출력 (매핑된) 피벗점 MappedPivot[] 에 의해 정의된다.

InputPivot[[] 및 MappedPivot[] 은 다음과 같이 계산된다 (10비트 비디오라고 가정).

OrgCW = 64

i = 0:16 인 경우, InputPivot [i] = i * 또는 CW

i= 0:16 의 경우, MappedPivot [i] 는 다음과 같이 계산된다:

MappedPivot[　0　] = 0;

for( i = 0; i　<16　; i++)

MappedPivot[i + 1] = MappedPivot [i] + SignalledCW [i]

여기서 signalDCW[i] 는 i번째 조각에 대한 신호화된 코드워드 수이다.

도 7에 도시 된 바와 같이, 인터 코딩된 블록의 경우, 매핑된 도메인에서 모션 보상 예측이 수행된다. 즉, DPB 내의 레퍼런스 신호들에 기초하여 모션 보상된 예측 블록을 Y _pred 을 계산한 후, FWDMap 함수는 원래 도메인의 루마 예측 블록을 매핑된 도메인에 맵핑하기 위해 적용된다. 인트라 코딩된 블록의 경우, 매핑된 도메인에서 인트라 예측이 수행되므로 FWDMap 함수가 적용되지 않는다. 재구성된 블록 Y _r 이 계산된 후, InvMap 함수는 매핑된 도메인 백의 재구성된 루마 값을 원래 도메인의 재구성된 루마 값

의 재구성된 루마 값으로 변환하기 위해 적용된다. InvMap 함수는 내부 코딩된 루마 블록과 인터코딩된 루마 블록 모두에 적용된다.

루마 매핑 프로세스(순방향 및/또는 역방향 매핑)는 룩업 테이블(look-up-table)(LUT)을 사용하거나 온더플라이 계산(on-the-fly computation)을 사용하여 구현될 수 있다. LUT가 사용되면, 사용하면, FwdMapLUT 및 InvMapLUT는 슬라이스 레벨에서 사용하기 위해 미리 계산되고 미리 저장될 수 있고, 순방향 및 역방향 매핑은 각각 FwdMap(Y_pred)=FwdMapLUT[Y_pred] 및 InvMap(Y_r)=InvMapLUT[Y_r]로 간단히 구현할 수 있다. 대안적으로, 온더플라이 (on-the-fly) 계산이 사용될 수 있다. 포워드 매핑 함수 FWDMap을 예로 들어 보겠다. 루마 샘플이 속한 조각을 파악하기 위해 샘플 값을 오른쪽으로 6비트 (16개의 동일한 조각에 대응하는) 만큼 이동한다. 그런 다음, 해당 조각의 선형 모델 파라미터를 즉시 검색하고 적용하여 매핑된 루마 값을 계산한다. i를 조각 인덱스, a1, a2는 각각 InputPivot [i] 및 InputPivot [i+1] 이고 b1, b2는 각각 MappedPivot [i] 및 MappedPivot[i+1] 으로 매핑된다. fwdMap 함수는 다음과 같이 평가된다:

InvMap 함수는 매핑된 도메인의 조각 크기가 같지 않기 때문에, 샘플 값이 속한 조각을 알아낼 때 간단한 오른쪽 비트 시프트 대신 조건부 검사를 적용해야 한다는 점을 제외하면 유사한 방식으로 즉석에서 계산할 수 있다.

2.4.2. 루마 종속 크로마 잔차 스케일링(Luma-dependent chroma residual scaling)

크로마 잔차 스케일링은 루마 신호와 대응하는 크로마 신호 사이의 상호 작용을 보상하도록 설계되었다. 크로마 잔차 스케일링의 활성화 여부도 슬라이스 레벨에서 시그널링 된다. 루마 매핑이 활성화되고 이중 트리 파티션(dual tree partition)(별도의 크로마 트리라고도 함) 이 현재 슬라이스에 적용되지 않으면, 루마 종속 크로마 잔차 스케일링이 활성화되었는지 여부를 나타내는 추가 플래그가 시그널링 된다. 루마 매핑이 사용되지 않거나, 현재 슬라이스에서 이중 트리 파티션을 사용하는 경우, 루마 종속 크로마 잔차 스케일링이 비활성화된다. 또한, 루마 종속적 크로마 잔차 스케일링은 면적이 4보다 작거나 같은 크로마 블록에 대해서는 항상 비활성화된다.

크로마 잔차 스케일링은 대응하는 루마 예측 블록의 평균값에 따라 달라진다 (인트라 코딩된 블록과 인터코딩된 블록 모두). 루마 예측 블록의

평균으로 나타낸다. C_ScaleInv 값은 다음 단계에서 계산된다:

1) InvMap 함수를 기반으로 avgY'가 속한 조각별 선형 모델의 인덱스 Y_Idx를 구한다.

2) C_ScaleInv = cScaleInv[Y_Idx], 여기서 CScaleInv [] 는 미리 계산된 16피스 LUT이다.

현재 블록이 인트라, CIIP 또는 인트라 블록 복사 (IBC, 현재 픽처 참조 또는 CPR이라고도 함) 모드로 코딩된 경우,

는 인트라,

CIIP 또는 IBC 예측 루마 값의 평균으로 계산되고; 그렇지 않으면,

는 순방향 매핑된 인터 예측 루마 값(

in2.4.1)의 평균으로 계산된다. 샘플 기반으로 수행되는 루마 매핑과 달리, 전체 크로마 블록에 대한 상수 값이다.

에서, 크로마 잔차 스케일링이 다음과 같이 적용된다:

엔코더 측면:

디코더 측면:

2.5. 크로마 잔차의 공동 코딩(Joint coding of chroma residuals)(JCCR)

VVC Draft 6은 크로마 잔차가 공동으로 코딩되는 모드를 지원한다. 공동 크로마(joint chroma) 코딩 모드의 사용(활성화)은 TU 레벨 플래그 tu_joint_cbcr_residual_flag 에 의해 표시되고 선택된 모드는 크로마 CBF에 의해 암시적으로 표시된다. 플래그 tu_joint_cbcr_residual_flag는 TU에 대한 크로마 CBF 중 하나 또는 둘 모두가 1인 경우 존재한다. PPS 및 슬라이스 헤더에서, 크로마 QP 오프셋 값은 일반 크로마 잔차 코딩 모드에 대해 시그널링된 일반적인 크로마 QP 오프셋 값과 구별하기 위해 공동 크로마 잔차 코딩 모드에 대해 시그널링된다. 이러한 크로마 QP 오프셋 값은 공동 크로마 잔차 코딩 모드를 사용하여 코딩된 블록에 대한 크로마 QP 값을 유도하는 데 사용된다. 대응하는 공동 크로마 코딩 모드(표 3의 모드 2)가 TU에서 활성화되면, 이 크로마 QP 오프셋은 대응하는 TU의 양자화 및 디코딩 동안 적용된 루마 유도 크로마 QP에 추가된다. 다른 모드(표 3의 모드 1 및 3)의 경우(표 2 2: 크로마 잔차의 재구성. CSign 값은 슬라이스 헤더에 지정된 부호 값(+1 또는 -1)이고, resJointC[ ][ ]는 전송된 잔차다.), 크로마 QP는 기존 Cb 또는 Cr 블록과 동일한 방식으로 유도된다. 전송된 트랜스폼 블록에서 크로마 잔차(resCb 및 resCr)의 재구성 프로세스가 표 3에 나와 있다. 이 모드가 활성화되면, 하나의 단일 공동 크로마 잔차 블록(표 3의 resJointC[x][y])이 시그널링되고, 및 Cb에 대한 잔차 블록(resCb) 및 Cr에 대한 잔차 블록(resCr)은 슬라이스 헤더에 지정된 부호 값인 tu_cbf_cb, tu_cbf_cr, CSign의 정보를 고려하여 유도된다.

인코더 측에서, 공동 크로마 컴포넌트는 다음과 같이 유도된다. 모드(위의 표에 나열됨)에 따라, resJointC{1,2}는 인코더에 의해 다음과 같이 생성된다:

- 모드가 2와 같으면 (재구성이 있는 단일 잔차 Cb = C, Cr = CSign * C), 공동 잔차는 다음에 따라 결정된다.

resJointC[ x ][ y ] = ( resCb[ x ][ y ] + CSign * resCr[ x ][ y ] ) / 2.

- 그렇지 않으면, 모드가 1 (재구성 Cb = C, Cr = (CSign * C)/2) 인 경우 공동 잔차는 다음에 따라 결정된다.

resJointC[ x ][ y ] = ( 4 * resCb[ x ][ y ] + 2 * CSign * resCr[ x ][ y ] ) / 5.

- 그렇지 않으면, (모드가 3, 즉, 단일 잔차, 재구성 Cr = C, Cb = (CSign * C) /2와 같음), 공동 잔차는 다음에 따라 결정된다.

resJointC[ x ][ y ] = ( 4 * resCr[ x ][ y ] + 2 * CSign * resCb[ x ][ y ] ) / 5.

표2-2: 크로마 잔차의 재구성. CSign 값은 슬라이스 헤더에 지정된 부호 값 (+1 또는 ―1) 이고, resJointC [] [] 는 전송된 잔차이다.

이 디코딩 프로세스에 대응하는 사양은 다음과 같다:

tu_joint_cbcr_잔차_플래그 [x0] [y0] 은 크로마 컴포넌트 Cb와 Cr 모두에 대한 잔차 샘플이 단일 트랜스폼 블록으로 코딩되는지 여부를 지정한다. 어레이 인덱스 x0, y0은 픽처의 왼쪽 상단 루마 샘플을 기준으로 고려된 트랜스폼 블록의 왼쪽 상단 루마 샘플의 위치(x0, y0)를 지정한다.

tu_joint_cbcr_residual_flag [x0] [y0]이 1과 같으면 트랜스폼 유닛 신택스가 Cb 및 Cr 모두에 대한 잔차 샘플이 유도되는 단일 트랜스폼 블록에 대한 트랜스폼 계수 레벨을 포함함을 지정한다. tu_joint_cbcr_residual_flag[　x0　][　y0]이 0과 같으면 크로마 성분의 트랜스폼 계수 레벨이 신택스 요소 tu_cbf_cb [x0] [y0] 및 tu_cbf_cr [x0] [y0] [y0] 으로 표시된 대로 코딩되도록 지정한다.

ttu_joint_cbcr_residual_flag[　x0　][　y0　]이 존재하지 않으면, 0과 같은 것으로 유추된다.

tu_joint_cbcr_residual_flag[　x0　][　y0　], tu_cbf_cb[　x0　][　y0　] 및 tu_cbf_cr [x0] [y0] 에 따라, TuCResMode[x0] [y0] 은 다음과 같이 유도된다:

- tu_joint_cbcr_residual_flag[　x0　][　y0　]이 0과 같으면, 변수 TuCResMode [x0] [y0] 은 0으로 설정된다.

- 그렇지 않으면, tu_cbf_cb [x0] [y0] 이 1과 같고 tu_cbf_cr [x0] [y0] 이 0이면 변수 TuCResMode[x0] [y0] 은 1로 설정된다.

- 그렇지 않으면, tu_cbf_cb [x0] [y0] 이 1과 같으면 변수 TuCResMode [x0] [y0] 은 2로 설정된다.

- 그렇지 않으면, 변수 TucresMode [x0] [y0] 이 3으로 설정된다.

8.7.2 스케일링 및 트랜스폼 프로세스(Scaling and transformation process)

4. x = 0.. nTBW - 1, y = 0.. nTBh - 1인, 잔차 샘플 resSamples [x] [y] 는 다음과 같이 유도된다:

- Cidx가 codedCIdx와 동일한 경우 다음이 적용된다:

resSamples[　x　][　y　] = res[　x　][　y　] (8-947)

- 그렇지 않으면, TucresMode [xTBy] [YTBy] 가 2와 같으면 다음이 적용된다:

resSamples[　x　][　y　] = cSign * res[　x　][　y　] (8-948)

- 그렇지 않으면, 다음이 적용된다:

resSamples[　x　][　y　] = ( cSign * res[　x　][　y　] ) >> 1 (8-949)

2.6. 트랜스폼

일차 트랜스폼 및 이차 트랜스폼을 포함하는 이차 트랜스폼이 하나의 트랜스폼 블록에 적용될 수 있다.

일차 트랜스폼의 경우 DCT-II가 사용된다. 또한, MTS가 SPS에 대해 활성화될 때, 코딩된 정보/시그널링된 정보에 따라 다른 종류의 트랜스폼 행렬이 적용될 수 있다. 트랜스폼 스킵 모드는 트랜스폼 행렬이 동등 트랜스폼(identity transform)인 일차 트랜스폼만 적용하는 특수한 경우로 취급될 수 있다.

이차 트랜스폼의 경우, 분리할 수 없는 트랜스폼 행렬이 사용된다.

트랜스폼 관련 부품의 자세한 내용은 다음과 같다:

2.6.1. VVC의 다중 트랜스폼 집합(Multiple Transform Set)(MTS)

2.6.1.1. 명시적 다중 트랜스폼 세트(Explicit Multiple Transform Set) (MTS)

VTM4에서, 최대 64 Υ 64 크기의 큰 블록 크기 트랜스폼이 활성화되어 1080p 및 4K 시퀀스와 같은 고해상도 비디오에 주로 유용하다. 고주파 트랜스폼 계수는 크기(너비 또는 높이 또는 너비 와 높이 모두)가 64와 동일한 트랜스폼 블록에 대해 제로아웃되므로 저주파 계수만 유지된다. 예를 들어, MΥN 트랜스폼 블록의 경우, M을 블록 너비로, N을 블록 높이로, M이 64와 같을 때, 트랜스폼 계수의 왼쪽 32열만 유지된다. 마찬가지로, N이 64와 같으면, 트랜스폼 계수의 상위 32열만 유지된다. 트랜스폼 스킵 모드가 큰 블록에 사용되면, 전체 블록이 값을 제로아웃 되지 않고 사용된다.

HEVC에 사용된 DCT-II 외에도, MTS(다중 트랜스폼 선택) 방식은 인터 및 인트라 코딩 된 블록 모두 잔차 코딩에 사용된다. DCT8/DST7에서 선택한 여러 트랜스폼을 사용한다. 새로 도입된 트랜스폼 행렬은 DST-VII 및 DCT-VIII이다. 표2-3아래는 선택한 DST/DCT의 기초 함수를 나타낸다.

표2-3: VVC에서 사용되는 트랜스폼 행렬의 기초 함수(Basis function)이다.

트랜스폼 행렬(transform matrix)의 직교성을 유지하기 위해, 트랜스폼 행렬은 HEVC의 트랜스폼 행렬보다 더 정확하게 양자화 된다. 트랜스폼된 계수의 중간 값을 16비트 범위 내에서 유지하기 위하여, 수평 및 수직 트랜스폼 후 모든 계수는 10비트가 되어야 한다.

MTS 방식을 제어하기 위해, SPS 레벨에서 각각 인트라 및 인터에 대해 별도의 사용 플래그가 지정된다. SPS에서 MTS를 사용하도록 설정하면, MTS가 적용되었는지 여부를 나타내는 CU 레벨 플래그가 시그널링 된다. 여기서 MTS는 루마에만 적용된다. MTS CU 레벨 플래그는 다음 조건이 충족되면 시그널링된다.

- 너비와 높이가 32보다 작거나 같음

- CBF 플래그는 하나와 동일하다.

MTS CU 플래그가 0과 같으면 DCT2가 양방향으로 적용된다. 그러나, MTS CU 플래그가 하나와 같으면, 다른 두 플래그가 각각 수평 및 수직 방향에 대한 트랜스폼 유형을 나타내기 위해 추가로 시그널링 된다. 트랜스폼 및 시그널링 매핑 표는 표 2-4이다. 행렬 정밀도를 트랜스폼할 때, 8비트 일차 트랜스폼 코어(primary transform core)가 사용된다. 따라서, HEVC에 사용되는 모든 트랜스폼 코어는 4점 DCT-2 및 DST-7, 8점, 16점 및 32점 DCT-2를 포함하여 동일하게 유지된다. 또한 64포인트 DCT-2, 4점 DCT-8, 8점, 16점, 32점 DST-7 및 DCT-8을 포함한 다른 트랜스폼 코어는 8비트 일차 트랜스폼 코어를 사용한다.

표2-4: tu_mts_idx의 디코딩 된 값과 수평 및 수직 방향에 대한 대응하는 트랜스폼 행렬의 매핑

대형 DST-7 및 DCT-8의 복잡성을 줄이기 위해, DST-7 및 DCT-8 블록의 경우 크기(너비 또는 높이 또는 너비 와 높이)가 32에 대응하는 고주파 트랜스폼 계수가 제로아웃된다. 16x16 저주파 영역 내의 계수만 유지된다.

다른 트랜스폼이 적용되는 경우 외에, VVC는 HEVC에서 TS의 개념과 같은 트랜스폼 스킵(TS)이라는 모드도 지원한다. TS는 MTS의 특별한 경우로 처리된다.

2.6.2. LFNST (일명 RST/NSST)

JEM에서, 이차 트랜스폼은 순방향 일차 트랜스폼 및 양자화(인코더에서)와 역양자화(de-quantization) 및 역 일차 트랜스폼(디코더 측)사이에 적용된다. 도 8에 도시된 바와 같이, 4x4(또는 8x8) 이차 트랜스폼은 블록 크기에 따라 다르게 수행된다. 예를 들어, 4x4 이차 트랜스폼은 작은 블록(즉, 최소(너비, 높이) < 8) 및 8x8 이차 트랜스폼에 적용되어 8x8 블록당 더 큰 블록(즉, 최소(너비, 높이) > 4)에 적용된다.

이차 트랜스폼의 경우, 비분리 트랜스폼이 적용되므로 비분리 이차 트랜스폼(Non-Separable Secondary Transform)(NSST)이라 명명된다. 트랜스폼 세트당 완전히 35개의 트랜스폼 세트와 3개의 비분리 트랜스폼 행렬(커널, 16x16 행렬각)이 사용된다.

감소된 이차 트랜스폼(RST)은 VET-K0099에 도입되었고 인트라 예측 방향에 따라 JVET-L0133에 4개의 트랜스폼 세트(35개 트랜스폼 세트 대신) 매핑이 도입되었다. 이 기여에서, 16x48 및 16x16 행렬은 각각 8x8 및 4x4 블록에 사용된다. 표기 편의를 위해, 16x48 트랜스폼은 RST8x8과 16x16을 RST4x4로 표시한다. 이러한 방법은 최근 VVC에 의해 채택되었다.

도 9는 제안된 감소된 이차 트랜스폼 (RST) 을 나타낸다

이차 순방향 및 역방향 트랜스폼은 일차 트랜스폼과는 별개의 프로세스 단계이다.

인코더의 경우, 일차 순방향 트랜스폼이 먼저 수행된 다음 이차 순방향 트랜스폼 및 양자화 및 CABAC 비트 인코딩이 수행된다. 디코더의 경우, CABAC 비트 디코딩 및 역양자화의 경우 이차 역방향 트랜스폼이 먼저 수행된 다음 일차 역방향 트랜스폼이 수행된다. RST는 인트라 코딩된 TU에만 적용된다.

2.7. 코딩 툴 사이의 상호 작용

현재 VVC에서, 디코딩 순서는 도 10에 묘산된다.

3. 여기에 설명된 기술 솔루션으로 해결된 기술적 문제

현재 설계에는 다음과 같은 문제가 있다:

1. 현재 디코딩 순서에는 두 가지 단점이 있다:

a. 우선, 크로마 잔차 스케일링 프로세스는 계산 복잡성을 낭비하는 JCCR 코딩이라 할지라도 두 크로마 블록 각각에 적용된다.

b. 또 다른 한 가지, 중간 값에 대한 더 높은 정밀도가 의도라면, 역양자화/트랜스폼 후 잔차 대신 디코딩 된 계수에 JCCR을 직접 적용해야 한다.

2. JCCR 모드 1과 3에서 잔차의 반올림은 잔차의 부호 정보를 고려하지 않기 때문에 서브 옵션(Bin string)이다.

3. 루마 샘플의 최대 트랜스폼 크기가 32인 경우 BT 또는 TT에서 생성된 파티션이 VPDU 제한을 위반할 수 있다.

4. BT 및 TT 파티션을 최적화할 수 있다.

5. 루마 샘플의 최대 트랜스폼 크기가 32인 경우 LMCS가 제대로 작동하지 않을 수 있다.

6. 루마와 크로마 재구성 프로세스 사이의 종속성은 인코더와 디코더의 대기 시간을 증가시킨다.

4. 기술 및 실시예의 예

이하의 상세한 발명들은 일반적인 개념을 설명하기 위한 예로서 고려되어야 한다. 이러한 발명들은 좁은 의미로 해석되어서는 안된다. 또한, 이들 발명들은 어떠한 방식으로든 조합될 수 있다.

다음 논의에서, CU는 단일 트리 코딩 구조를 갖는 모든 3 컬러 컴포넌트와 연관된 정보를 포함할 수 있다. 또는 CU는 모노 컬러 코딩과 함께 루마 컬러 컴포넌트와 관련된 정보만을 포함할 수 있다. 또는 CU는 이중 트리 코딩 구조와 루마 컬러 컴포넌트 (예를 들어, YCbCr 포맷의 Y 컴포넌트 또는 GBR 포맷의 G 컴포넌트) 에만 관련된 정보를 포함할 수 있다. 또는 CU는 듀얼 트리 코딩 구조를 갖는 2개의 크로마 컴포넌트 (예를 들어, YCbCr 포맷의 Cb 및 Cr 컴포넌트 또는 GBR 포맷의 B 및 R 컴포넌트) 에만 관련된 정보를 포함할 수 있다.

다음 설명에서, "블록"은 코딩 유닛 (CU) 또는 트랜스폼 유닛(TU)또는 비디오 데이터의 임의의 직사각형 영역을 지칭할 수 있다. "현재 블록"은 현재 디코딩/코딩된 코딩 유닛 (CU) 또는 현재 디코딩/코딩된 트랜스폼 유닛(TU)또는 비디오 데이터의 임의의 디코딩/코딩된 코딩 직사각형 영역을 지칭할 수 있다. "CU" 또는 "TU"는 "코딩 블록(coding block)" 및 "트랜스폼 블록(transform block)"으로도 알려져 있다.

다음 설명에서, "현재 블록(current block)"은 현재 디코딩/코딩된 코딩 유닛 (CU) 또는 현재 디코딩/코딩된 트랜스폼 유닛(TU)을 지칭할 수 있다.

다음 설명에서, 코딩 정보는 예측 모드 (예를 들어, 인트라/인터/IBC 모드), 모션 벡터, 레퍼런스 픽처, 인터 예측 방향, 인트라 예측 모드, CIIP (결합된 인트라 인터 예측) 모드, ISP 모드, 아핀 인트라 모드, 채용된 트랜스폼 코어, 트랜스폼 스킵 플래그 등, 즉, 블록을 인코딩할 때 필요한 정보,을 포함한다.

SignShift(x, s)는 다음과 같이 정의된다:

, 여기서 변수 off는 0과 같지 않은 정수, 예를 들어 1<< (s-1) 로 설정된다.

SignShift(x, s)는 다음과 같이 정의된다:

,

여기서 변수 off는 0 또는 1<< (s-1) 와 같은 정수이다.

1. 디코딩 프로세스는 다음 순서로 호출되도록 수정된다:

a. 하나의 예에서, LMCS에서의 크로마 잔차 스케일링 프로세스는 동일한 트랜스폼 유닛 내의 2개의 크로마 컬러 컴포넌트에 대응하는 2개의 크로마 블록 중 하나에만 적용된다.

i. 하나의 예에서, 크로마 잔차 스케일링 프로세스는 제1 컬러 컴포넌트의 스케일링된 크로마 잔차 (예를 들어, 제1 컬러 컴포넌트의 최종 잔차) 를 유도하기 위해 제1 컬러 컴포넌트에 적용된다. 제1 컬러 컴포넌트의 스케일링된 크로마 잔차 (예를 들어, 크로마 블록에 적용된 LMCS와 함께) 는 제2 컬러 컴포넌트의 스케일링된 크로마 잔차 (예를 들어, 제1 컬러 컴포넌트의 최종 잔차) 를 유도하는데 이용될 수 있다.

1) 대안적으로, 제2 컬러 컴포넌트의 스케일링된 크로마 잔차를 유도하는 방법은 디코딩된 정보, 예를 들어, JCCR과 관련된 부가 정보에 의존할 수 있다.

2) 하나의 예에서, JCCR은 제1 컬러 컴포넌트의 스케일링된 크로마 잔차에 적용되고, 여기서 입력 (즉, resJointC) 은 제1 컬러 컴포넌트의 스케일링된 크로마표2-2 잔차다.

ii. 대안적으로, 또한, 필요한 경우 역양자화 및 역트랜스폼이 먼저 제1 컬러 컴포넌트에 적용되고; 그런 다음 필요한 경우 제1 컬러 컴포넌트의 최종 잔차를 유도하기 위해 크로마 잔차 스케일링을 제1 컬러 컴포넌트에 적용하고; 마지막으로, JCCR은 제2 컬러 컴포넌트에 대한 잔차를 유도하기 위해 제1 컬러 컴포넌트의 최종 잔차에 적용된다.

1) 대안적으로, 또한, 프로세스 후에, 제2 컬러 컴포넌트의 잔차에 클리핑이 추가로 적용될 수 있다.

a. 하나의 예에서, 잔차는 제2 컬러 컴포넌트/크로마 컴포넌트의 비트 깊이에 의존할 수 있는 범위로 클리핑될 수 있다.

i. 하나의 , 범위는 다음과 같이 정의될 수 있다: [- (1 << BitDepth _C), (1 << 비트심도 _C) ― 1].

iii. 디코딩 흐름의 예가 도 11에 나와 있다. 특정 프로세스 (예를 들어, 역트랜스폼) 의 경우, 디코딩된 정보에 따라 스킵될 수 있다는 것을 유의하라.

b. 하나의 예에서, LMCS의 크로마 잔차 스케일링 프로세스는 다음 두 단계로 나뉜다: 제1 단계는 입력 값 (A로 표시됨) 또는 절대 입력 값 (abs (A) 로 표시됨) 과 스케일링 인자 (S로 표시됨) 사이의 곱셈을 계산하는 것이고; 제2 단계는 시프트를 계산하는 것이다 (예를 들어, Shift (A, S) 또는 signShift(A, S)).

i. 제1 단계는 동일한 트랜스폼 유닛 내의 2개의 크로마 컬러 컴포넌트에 대응하는 2개의 크로마 블록 중 하나에만 적용되는 것이 제안된다.

1) 대안적으로, 또한, 제1 컬러 컴포넌트에 대해, 역양자화 후, 역트랜스폼 프로세스들이 필요하다면, 제1 단계는제1 컬러 컴포넌트의 시간적 크로마 잔차 블록을 생성하기 위해 적용된다.

a. 대안적으로, 또한, 제1 컬러 컴포넌트의 시간적 크로마 잔차 블록(temporary chroma residual block)은 예를 들어, Shift(A, S) 또는 SignShift(A, S) 와 같은 크로마 잔차 스케일링 프로세스의 제2 단계를 호출함으로써, 제1 컬러 컴포넌트의 최종 잔차 블록을 생성하는데 이용될 수 있다.

b. 대안적으로, 또한, 제1 컬러 컴포넌트의 시간적 크로마 잔차 블록은 제2 컬러 컴포넌트의 최종 잔차 블록을 생성하는데 이용될 수 있다. 예를 들어, JCCR 측 정보에 따르면, JCCR 모드가 2와 같지 않은 경우 CSign*Shift (A, S+1) 또는 CSign* SignShift(A, S+1) 를 사용하고, 여기서 CSign은 반전 부호가 JCCR 코딩된 블록에 적용되는지 여부를 나타내는 표시이다.

c. 하나의 예에서, 제1 컬러 컴포넌트의 디코딩된 계수들 (예를 들어, 비트스트림으로부터 파싱된 것들) 은 제2 컬러 컴포넌트의 계수들을 유도하기 위해 이용될 수 있다.

i. 대안적으로, 제2 컬러 컴포넌트의 계수들을 유도하는 방법은 디코딩된 정보, 예를 들어, JCCR과 관련된 부가 정보에 의존할 수 있다.

1) 하나의 예에서, JCCR은 제1 컬러 컴포넌트의 스케일링된 크로마 잔차에 적용되고, 여기서 에 대한 입력 (즉, resJointC) 은 제1 컬러 컴포넌트의 디코딩된표2-2 계수이다.

ii. 하나의 예에서, JCCR은 제1 컬러 컴포넌트와 연관된 디코딩된 계수들에 먼저 적용되어 제2 컬러 컴포넌트의 계수들을 유도할 수 있다.

1) 대안적으로, 또한, JCCR 이후에, 역양자화 및 역트랜스폼은 필요한 경우 2 컬러 컴포넌트에 각각 적용될 수 있고; 마지막으로, 크로마 잔차 스케일링은 2 컬러 컴포넌트 각각에 적용된다.

iii. 디코딩 흐름의 예가 도 12에 나와 있다. 특정 프로세스 (예를 들어, 역트랜스폼) 의 경우, 디코딩된 정보에 따라 스킵될 수 있다는 것을 유의하라.

d. 하나의 예에서, '제1 컬러 컴포넌트'는 Cb 컬러 컴포넌트(예를 들어, tu_cbf_cb)의 코딩된 블록 플래그(CBF)가 1과 같거나 2 컬러 컴포넌트(예를 들어, tu_cbf_cb 및 tu_cbf_cr)의 두 CBF가 모두 참인 경우 Cb(또는 B) 컬러 컴포넌트로 정의될 수 있다.

i. 대안적으로, '제2 컬러 컴포넌트'는 Cr (또는 R) 컬러 컴포넌트로 정의될 수 있다.

e. 하나의 예에서, Cr 컬러 컴포넌트 (예를 들어, tu_cbf_cr) 의 코딩된 블록 플래그 (CBF) 가 1과 같으면, '제1 컬러 컴포넌트'는 Cr (또는 R) 컬러 컴포넌트로서 정의될 수 있다.

i. 대안적으로, '제2 컬러 컴포넌트'는 Cb (또는 B) 컬러 컴포넌트로 정의될 수 있다.

2. JCCR (예를 들어, 모드 1 및/또는 3에 대한) 에서의 잔차/계수 스케일링 프로세스는 (x>>s) 로부터 수정되고, 여기서 변수 x는 제1 컬러 컴포넌트의 값이고, 함수의 출력은 제2 컬러 컴포넌트의 대응하는 유도된 값이다.

대안적으로, 프로세스가

로 수정된다.

3. JCCR은 0이 아닌 계수를 가진 모든 블록에 적용되는 대신 특정 코딩된 모드에 적용될 수 있다.

a. 하나의 예에서, 상이한 컬러 컴포넌트로부터 디코딩된 정보를 이용하는 크로스 컴포넌트 선형 예측 방법(cross-component linear prediction method)으로 코딩된 크로마 블록에 적용될 수 있다.

b. 하나의 예에서, 이것은 루마 블록으로부터 크로마 블록의 인트라 예측 모드들을 유도하는 직접 모드로 코딩된 크로마 블록에 적용될 수 있다.

c. 대안적으로, 또한, JCCR 부가 정보의 시그널링 (예를 들어, tu_joint_cbcr_residual_flag으로 표시되는 블록에 대해 JCCR이 적용되는지 여부)은 더 스킵 된다.

4. JCCR은 시그널링 되지 않고 특정 블록 차원(block dimension)에 적용될 수 있다. 블록 차원을 W*H로 나타내고, 여기서 W와 H는 크로마 샘플의 너비와 높이이다.

d. 하나의 예에서, W<=T1 및/또는 H<=T2인 경우, JCCR이 직접 적용될 수 있다.

e. 하나의 예에서, W<T1 및/또는 H<T2인 경우, JCCR이 직접 적용될 수 있다.

f. 하나의 예에서, W*H<=T3인 경우, JCCR을 직접 적용할 수 있다.

g. 하나의 예에서, W>=T1 및/또는 H>=T2인 경우, JCCR이 직접 적용될 수 있다.

h. 하나의 예에서, W>T1 및/또는 H>T2인 경우, JCCR이 직접 적용될 수 있다.

i. 하나의 예에서, W*H<=T3인 경우, JCCR을 직접 적용할 수 있다.

j. 상기 예에서, T1 및/또는 T2 및/또는 T3은 즉석에서 미리 정의되거나 시그널링되거나 유도될 수 있는 정수이다(예를 들어, 픽처/슬라이스 양자화 파라미터들에 따라) .

i. 상기 예에서, T1 및/또는 T2 및/또는 T3은 4, 8, 32, 16, 128로 설정될 수 있다.

k. 대안적으로, W 및 H는 현재 크로마 블록에 대응하는 루마 블록에서 루마 샘플에서의 폭 및 높이를 나타낼 수 있다.

5. SPLIT_BT_VER가 허용되는지 여부 (allowSplitBtVer) 는 현재 블록의 크기, VPDU 크기 (VpduSize) 및 최대 트랜스폼 블록 크기 (MaxTbSize) 에 따라 달라질 수 있다.

l. 하나의 예에서, 블록 너비가 VpduSize보다 작거나 같고 블록 높이가 VpduSize보다 크면 allowSplitbTver를 거짓(FASLE)과 동일하게 설정할 수 있다.

i. 하나의 예에서, VpduSize는 64로 설정되어 있다.

m. 하나의 예에서, 블록 너비가 최대 (VpduSize, MaxTbSize) 보다 작거나 같고 블록 높이가 최대 VpduSize, MaxTbSize) 보다 크면 allowSplitbVer를 거짓(FASLE)과 동일하게 설정할 수 있다.

i. 하나의 예에서, VpduSize는 64로 설정되고 MaxTbSize는 64로 설정된다.

ii. 하나의 예에서, VpduSize는 64로 설정되고 MaxTbSize는 32로 설정된다.

6. SPLIT_BT_HOR 허용 여부 (allowSplitBtHor) 는 현재 블록의 크기, VPDU 크기 (VpduSize) 및 최대 트랜스폼 블록 크기 (MaxTbSize) 에 따라 달라질 수 있다.

n. 하나의 예에서, 블록 높이가 VpduSize보다 작거나 같고 블록 너비가 VpduSize보다 클 때 allowSplitBThor는 거짓(FASLE)과 동일하게 설정될 수 있다.

i. 하나의 예에서, VpduSize는 64로 설정되어 있다.

o. 하나의 예에서, 블록 높이가 Max(VpduSize, MaxTbSize) 보다 작거나 같고 블록 너비가 Max(VpduSize, MaxTbSize) 보다 크면 allowSplitbThor 를 거짓(FASLE)과 동일하게 설정할 수 있다.

7. SPLIT_TT_VER가 허용되는지 여부 (allowSplitTtVer) 는 현재 블록의 크기, VPDU 크기 (VpduSize), 최대 트랜스폼 블록 크기 (MaxTbSize) 및 최대 삼진 트리 크기 (maxTTSize) 에 따라 달라질 수 있다.

p. 하나의 예에서, 블록 너비 또는 블록 높이가 Min(VpduSize, maxTTSize) 보다 크면 allowSplittVer를 거짓(FASLE)과 동일하게 설정할 수 있다.

i. 하나의 예에서, VpduSize는 64로 설정되어 있다.

q. 하나의 예에서, 블록 너비 또는 블록 높이가 Min(Max(VpduSize, MaxTbSize) 보다 큰 경우 allowSplittVer를 거짓(FASLE)과 동일하게 설정할 수 있다.

8. SPLIT_TT_HOR 허용 여부 (분할 허용) 는 현재 블록의 크기, VPDU 크기 (VpduSize), 최대 트랜스폼 블록 크기 (MaxTbSize) 및 최대 삼진 트리 크기 (maxTTSize) 에 따라 달라질 수 있다.

r. 하나의 예에서, 블록 너비 또는 블록 높이가 Min(VpduSize, maxTTSize) 보다 크면 allowSplitTtHor를 거짓(FASLE)과 동일하게설정할 수 있다.

i. 하나의 예에서, VpduSize는 64로 설정되어 있다.

s. 하나의 예에서, 블록 너비 또는 블록 높이가 Min(Max (VpduSize, maxTTSize) 보다 큰 경우 allowSplittThor 를 거짓(FASLE)과 동일하게 설정할 수 있다.

9. LMCS 프로세스에서 루마 블록으로부터 크로마 스케일링 인자를 유도할 때, 루마 코딩 유닛 (CU) 으로부터 정보를 패치(fetch) 하는 것은 허용되지 않는다. 루마 CU는 이에 대응한다.

10. LMCS 프로세스에서 루마 블록으로부터 크로마 스케일링 인자를 유도할 때, 루마 코딩 유닛 (CU) 으로부터 정보를 패치(fetch) 하는 것은 허용되지 않는다. 루마 CU는 현재 크로마 블록에서 대표 크로마 샘플(representative chroma sample)의 대응하는 루마 샘플을 커버하는 대응하는 루마 CU이다.

a. 대안적으로, 루마 CU는 현재 크로마 블록에서 임의의 크로마 샘플의 대응하는 루마 샘플을 커버하는 대응하는 루마 CU이다.

11. 크로마 CU가 다수의 TU로 분할되는지 여부에 관계없이 하나의 크로마 CU 내의 모든 크로마 샘플에 대해 동일한 스케일링 인자를 사용하는 것이 제안된다.

a. 대안적으로, 또한, 동일한 루마 재구성된 샘플이 크로마 CU가 다수의 TU로 분할되는지 여부에 관계없이 하나의 크로마 CU 내의 모든 크로마 샘플에 대한 스케일링 인자들을 유도하기 위해 액세스될 수 있다.

b. 대안적으로, 또한, 동일한 루마 재구성된 샘플이 모든 크로마 샘플에 대한 스케일링 인자들을 유도하기 위해 액세스될 수 있고, 이러한 루마 재구성된 샘플은 현재 크로마 CU의 대응하는 루마 CU 외부에 있는 샘플이다.

c. 대안적으로, 하나의 크로마 CU가 다수의 TU로 분할될 때, 크로마 잔차 스케일링은 TU의 일부, 예를 들어 CU의 상단 경계에 있는 TU들에만 적용될 수 있다.

d. 대안적으로, 하나의 크로마 CU가 다수의 TU로 분할될 때, 크로마 잔차 스케일링이 비활성화될 수 있다.

e. 하나의 예에서, 현재 CU 크기가 최대 TB 크기보다 클 때 위의 방법이 호출될 수 있다.

12. 제안된 방법을 활성화링할 것인지 및/또는 어떤 항목이 적용될 것인지의 표시는 비디오 유닛 레벨에서 시그널링될 수 있다.

a. 하나의 예에서, 비디오 유닛(video unit)은 타일/브릭/슬라이스/픽처/서브픽처/시퀀스/뷰 등일 수 있다.

b. 하나의 예에서, 제안된 방법들을 활성화할지 여부 및/또는 제안된 방법들을 활성화하는 방법은 시퀀스 파라미터 세트/뷰 파라미터 세트/적응 파라미터 세트/픽처 파라미터 세트/픽처 헤더/슬라이스 헤더에서 시그널링될 수 있다.

c. 대안적으로, 제안된 방법을 가능하게 할지 여부 및/또는 제안된 방법을 활성화하는 방법은 다른 신택스 요소에 의해 제어될 수 있다.

i. 하나의 예에서, JCCR이 활성화되었는지 여부에 의해 제어될 수 있다 (예를 들어, sps_joint_cbcr_enabled_flag).

ii. 하나의 예에서, 두 크로마 컴포넌트의 공존(co-located)하는 잔차 샘플이 반전된 부호 (예를 들어, slice_joint_cbcr_sign_flag) 를 갖는지 여부에 의해 제어될 수 있다.

iii. 하나의 예에서, 현재 블록이 인터 모드로 코딩되는지 여부에 의해 제어될 수 있다.

d. 제안된 방법들을 활성화할지 여부 및/또는 제안된 방법들을 활성화하는 방법은 블록 차원, 슬라이스 타입/픽처 타입/시간적 계층 인덱스/비디오 콘텐츠/컬러 컴포넌트/파티셔닝 트리 유형/코딩 모드/트랜스폼 정보 등과 같은 현재 블록 및/또는 이웃하는 (인접하거나 인접하지 않은) 블록의 코딩 정보에 의존할 수 있다.

i. 하나의 예에서, 폭이 T1보다 크지 않고 높이가 T2보다 크지 않은 블록의 경우, 제안된 방법이 적용될 수 있다.

ii. 하나의 예에서, 폭이 T1보다 크지 않거나 높이가 T2보다 크지 않은 블록의 경우, 제안된 방법이 적용될 수 있다.

iii. 하나의 예에서, 폭 x 높이가 T3보다 크지 않은 블록의 경우, 제안된 방법이 적용될 수 있다.

iv. 하나의 예에서, 현재 블록이 K와 같거나 같지 않은 JCCR 모드 (예를 들어, K=2) 로 코딩되는지 여부에 의해 제어될 수 있다.

도 13은 여기에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 처리 시스템(1300)을 도시하는 블록도이다. 다양한 구현은 시스템(1300)의 구성요소의 일부 또는 전부를 포함할 수 있다. 시스템(1300)은 비디오 콘텐츠를 수신하기 위한 입력(1302)을 포함할 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 포맷, 예를 들어 8 또는 10비트 다중 컴포넌트 픽셀 값으로 수신될 수 있거나 압축 또는 인코딩된 포맷일 수 있다. 입력(1302)은 네트워크 인터페이스, 주변 버스 인터페이스, 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예로는 이더넷, 수동 광 네트워크(PON) 등과 같은 유선 인터페이스와 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스가 있다.

시스템(1300)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법을 구현할 수 있는 코딩 컴포넌트(1304)를 포함할 수 있다. 코딩 컴포넌트(1304)는 비디오의 코딩된 표현을 생성하기 위해 입력(1302)으로부터 코딩 컴포넌트(1304)의 출력으로 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서 코딩 기술은 비디오 압축 또는 비디오 트랜스코딩 기술이라고도 한다. 코딩 컴포넌트(1304)의 출력은 컴포넌트(1306)에 의해 표현되는 바와 같이, 연결된 통신을 통해 저장되거나 전송될 수 있다. 입력(1302)에서 수신된 비디오의 저장되거나 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(1310)로 전송되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(1308)에 의해 사용될 수 있다. 비트스트림 표현에서 사용자가 볼 수 있는 비디오를 생성하는 프로세스를 비디오 압축 해제(decompression)라고도 한다. 또한, 특정 비디오 처리 작업을 "코딩" 작업(coding operation) 또는 툴(tools)로 지칭하지만, 코딩 툴 또는 작업이 인코더에서 사용되고 코딩 결과를 되돌리는 대응하는 디코딩 툴 또는 작업이 디코더에 의해 수행된다는 점을 이해할 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예로는 범용 직렬 버스(USB) 또는 고화질 멀티미디어 인터페이스(HDMI) 또는 디스플레이포트 등이 포함될 수 있다. 스토리지 인터페이스의 예로는 SATA(직렬 첨단 기술 첨부 파일), PCI, IDE 인터페이스 등이 있다. 본 문서에 기재된 기술은 휴대전화, 노트북, 스마트폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 기타 장치와 같은 다양한 전자 기기에 구현될 수 있다.

도 14는 비디오 처리 장치(video processing apparatus)(1400)의 블록 다이어그램이다. 장치(1400)는 본원에 기재된 하나 이상의 방법을 구현하는 데 사용될 수 있다. 장치(1400)는 스마트폰, 태블릿, 컴퓨터, 사물인터넷(IoT) 수신기 등에서 구현될 수 있다. 장치(1400)는 하나 이상의 프로세서(processor)(1402), 하나 이상의 메모리(memory)(1404) 및 비디오 처리 하드웨어(video processing hardware)(1406)를 포함할 수 있다. 프로세서(들)(1402)는 본 문서에 기재된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(1404)는 본 원에 기재된 방법 및 기술을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(1406)는 하드웨어 회로에서 본 문서에 기재된 일부 기술을 구현하는 데 사용될 수 있다. 일부 구현예에서, 하드웨어 (1406) 는 프로세서 (1402) 의 일부, 예를 들어 그래픽 프로세서일 수 있다.

도 15는 비디오 처리의 예제 방법(1500)의 흐름도입니다. 방법(1500)은, 동작(1510)에서, 루마 블록(luma block), 제1 크로마 블록(first chroma block) 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 디코딩 동안, 제1 크로마 블록 및 제2 크로마 블록이 루마 블록의 매핑된 샘플 값에 기초하여 처리되는 순서를 지정하는 규칙에 따라 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

도 16는 비디오 처리의 예시적인 방법(1600)의 흐름도이다. 방법(1600)은, 동작(1610)에서, 루마 블록(luma block), 제1 크로마 블록(first chroma block) 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 변환이 제1 크로마 컬러 컴포넌트의 값에 대응하는 입력 및 제2 크로마 컬러 컴포넌트의 유도된 값에 대응하는 출력으로 시프팅 동작을 사용하는 잔차 또는 계수 스케일링 프로세스를 포함하는 크로마 잔차 동작의 공동 코딩을 포함하도록, 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

도 17은 비디오 처리의 예시적인 방법(1700)의 흐름도이다. 방법 (1700) 은, 동작 (1710) 에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 이진 트리 파티션(vertical binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계를 포함한다.

방법(1700)은, 동작(1720)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

도 18는 비디오 처리의 예시적인 방법(1800)의 흐름도이다. 방법 (1800) 은, 동작 (1810) 에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수평 이진 트리 파티션(horizontal binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계를 포함한다.

방법(1800)은, 동작(1820)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

도 19는 비디오 처리의 예시적인 방법(1900)의 흐름도이다. 방법 (1900) 은, 동작 (1910) 에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(vertical ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계를 포함한다.

방법(1900)은, 동작(1920)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

도 20은 비디오 처리의 예시적인 방법(2000)의 흐름도이다. 방법 (2000) 은, 동작 (2010) 에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(horizontal ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계를 포함한다.

방법(2000)은, 동작(2020)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

도 21은 비디오 처리의 예시적인 방법(2100)의 흐름도이다. 방법 (2100) 은, 동작(2110)에서, 크로마 블록의 잔차가 특정 루마 영역의 정보에 액세스하지 않고 스케일링 인자가 결정된다고 지정하는 규칙에 따라 결정되는 스케일링 인자에 의해 스케일링되도록 비디오의 크로마 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

도 22는 비디오 처리의 예시적인 방법(2200)의 흐름도이다. 방법 (2200)은, 동작 (2210) 에서, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 크로마 CU의 복수의 크로마 샘플의 잔차에 적용된 복수의 스케일링 인자에 대한 유도 방법, 및 변환을 위해 크로마 CU가 다중 트랜스폼 유닛(TU)으로 더 분할되는지 여부와 관계없는 유도 방법을 지정하는 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

도 23은 비디오 처리의 예시적인 방법(2300)의 흐름도이다. 방법 (2300)은, 동작 (2310) 에서, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 크로마 CU가 다중 트랜스폼 유닛(transform unit)(TU)으로 분할될 때 크로마 잔차 스케일링 동작이 활성화되는지 여부를 지정하는 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

도 24는 본 개시물의 기법들을 이용할 수도 있는 예시적인 비디오 코딩 시스템(100)을 예시하는 블록도이다.

도 24에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 장치(source device)(110) 및 목적 장치(destination device)(120)를 포함할 수 있다. 소스 장치(110)는 인코딩된 비디오 데이터를 생성하고, 비디오 인코딩 장치로 참조될 수 있다. 목적 장치(120)는 소스 장치(110)에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수 있고, 비디오 디코딩 장치로 참조될 수 있다.

소스 장치(110)에는 비디오 소스(112), 비디오 인코더(114) 및 입력/출력(I/O) 인터페이스(116)가 포함될 수 있다.

비디오 소스(112)에는 비디오 캡처 장치, 비디오 컴텐츠 공급자로부터 비디오 데이터를 수신하는 인터페이스, 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템 또는 이러한 소스의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림에는 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스가 포함될 수 있다. 비트스트림에는 코딩된 픽처 및 관련 데이터가 포함될 수 있다. 코딩된 픽처는 픽처의 코딩된 표현(representation)이다. 관련 데이터에는 시퀀스 파라미터 세트, 픽처 파라미터 세트 및 기타 신택스 구조가 포함될 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수 있다. 인코딩된 비디오 데이터는 네트워크(130a)를 거쳐, I/O 인터페이스(116)를 통해 목적 장치(120)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 목적 장치(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수도 있다.

목적 장치(120)에는 I/O 인터페이스(126), 비디오 디코더(124) 및 디스플레이 장치(122)가 포함될 수 있다.

I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 장치(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 획득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 장치(122)는 디코딩된 비디오 데이터를 사용자에게 표시할 수 있다. 디스플레이 장치(122)는 목적 장치(120)와 통합될 수 있거나, 외부 디스플레이 장치와 인터페이스 하도록 구성된 목적 장치(120)의 외부에 위치할 수 있다.

비디오 인코더(114) 및 비디오 디코더(124)는 고효율 비디오 코딩(HEVC) 표준, 다목적 비디오 코딩(VVC) 표준 및 기타 현재 및/또는 추가 표준과 같은 비디오 압축 표준에 따라 동작할 수 있다.

도 25은 도 24에 도시된 시스템(100)에서 비디오 인코더(114)일 수 있는 비디오 인코더(200)의 예를 보여주는 블록도이다.

비디오 인코더(200)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 25의 예에서, 비디오 인코더(200)는 복수의 기능 컴포넌트를 포함한다. 본 개시에 기재된 기술은 비디오 인코더(200)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

비디오 인코더(video encoder)(200)의 기능 컴포넌트는 파티션 유닛(partition unit)(201)와, 모드 선택 유닛(mode select unit)(203), 모션 추정 유닛(motion estimation unit)(204), 모션 보상 유닛(motion compensation unit)(205) 및 인트라 예측 유닛(intra prediction unit)(206)을 포함할 수 있는 예측 유닛(predication unit)(202)과, 잔차 생생 유닛(residual generation unit)(207), 트랜스폼 유닛(transform unit)(208), 양자화 유닛(quantization unit)(209), 역양자화 유닛(inverse quantization unit)(210), 역트랜스폼 유닛(inverse transform unit)(211), 재구성 유닛(reconstruction unit)(212), 버퍼(buffer)(213), 및 엔트로피 인코딩 유닛(entropy encoding unit)(214)를 포함할 수 있다.

다른 예에서, 비디오 인코더(200)에는 더 많거나, 적거나, 다른 기능 컴포넌트가 포함될 수 있다. 예를 들어, 예측 유닛(202)는 인트라 블록 카피(IBC) 유닛을 포함할 수 있다. IBC 유닛은 IBC 모드에서 적어도 하나의 레퍼런스 픽처가 현재 비디오 블록이 있는 픽처인 경우 의 예측을 수행할 수 있다.

더욱이, 모션 추정부(204) 및 모션 보정부(205)와 같은 일부 컴포넌트는 고도로(highly) 통합될 수 있으나, 도 5의 예에서는 설명의 목적을 위해 분리된 것으로 표현되었다.

파티션 장치(201)는 픽처를 하나 이상의 비디오 블록으로 파티셔닝할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기를 지원할 수 있다.

모드 선택 유닛(203)는 오류 결과에 기초하여 코딩 모드, 예를 들면, 인트라 또는 인터 등을 선택하고, 결과인 인트라 또는 인터 코딩된 블록을, 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하고, 재구성 유닛(212)으로 제공하여 레퍼런스 픽처로 사용하기 위한 인커딩된 블록을 재구성한다. 일부 예에서, 모드 선택 유닛(203)는 인트라 및 인터 예측(CIIP) 모드의 조합을 선택할 수 있고, 이 모드에서 예측은 인터 예측 시그널 및 인트라 예측 시그널에 기초한다. 모드 선택 유닛(203)는 또한, 인터 예측의 경우 블록에 대한 모션 벡터의 해상도(예를 들어, 서브 픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.

현재 비디오 블록에서 인터 예측을 수행하기 위해, 모션 추정 유닛(204)는 버퍼(213)에서 현재 비디오 블록에 하나 이상의 레퍼런스 프레임을 비교하여 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록과 관련된 픽처 이외의 버퍼(213)로부터의 모션 정보 및 디코딩된 픽처 샘플에 기초하여 현재 비디오 블록에 대한 예측 비디오 블록을 결정할 수 있다.

모션 추정 유닛(204) 및 모션 보상 유닛(205)는 현재 비디오 블록이 I 슬라이스, P 슬라이스 또는 B 슬라이스에 있는지 여부에 따라 현재 비디오 블록에 대해 서로 다른 작업을 수행할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 유니-디렉셔널(uni-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 목록 0 또는 목록 1의 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 현재 비디오 블록과 레퍼런스 비디오 블록 사이의 공간 변위(spatial displacement)를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0 또는 목록 1에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스를 생성할 수 있다. 모션 추정 유닛(204)는 레퍼런스 인덱스, 예측 디렉션 표시기 및 모션 벡터를 현재 비디오 블록의 모션 정보로 출력할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록의 동작 정보에 의해 표시된 레퍼런스 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.

다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 바이-디렉셔널(bi-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 목록 0에서 레퍼런스 픽처를 검색할 수 있으며, 또한 현재 비디오 블록에 대한 다른 레퍼런스 비디오 블록에 대한 목록 1에서 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 레퍼런스 비디오 블록과 현재 비디오 블록 사이의 공간 변위를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0 및 목록 1에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스를 생성할 수 있다. 모션 추정 유닛(204)는 현재 비디오 블록의 모션 정보로서 현재 비디오 블록의 레퍼런스 인덱스 및 모션 벡터를 출력할 수 있다. 모션 보정 유닛(205)는 현재 비디오 블록의 동작 정보에 의해 표시된 레퍼런스 비디오 블록에 기초하여 현재 비디오 블록의 예측 비디오 블록을 생성할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 디코더의 디코딩 처리를 위한 전체 모션 정보 세트를 출력할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 현재 비디오에 대한 전체 모션 정보 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)는 다른 비디오 블록의 동작 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(motion estimation unit)(204)는 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 동작 정보와 충분히 유사하다고 결정할 수 있다.

하나의 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연결된 신텍스 구조에서 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 가지고 있음을 비디오 디코더(300)에 나타내는 값을 나타낼 수 있다.

또 다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연관된 신텍스 구조에서, 다른 비디오 블록 및 모션 벡터 차이(MVD)를 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 표시된 비디오 블록의 모션 벡터 사이의 차이를 나타낸다. 비디오 디코더(300)는 현재 비디오 블록의 모션 벡터를 결정하기 위해 표시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 사용할 수 있다.

위에서 설명한 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수 있는 예측 시그널링 기술의 두 가지 예는, 어드밴스드 모션 벡터 예측(AMVP) 및 병합 모드 시그널링을 포함한다.

인트라 예측 유닛(206)은 현재 비디오 블록에 대한 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대한 인트라 예측을 수행하는 경우, 인트라 예측 유닛(206)는 동일 픽처에서 다른 비디오 블록의 디코딩된 샘플에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터에는 예측된 비디오 블록 및 다양한 신텍스 요소가 포함될 수 있다.

잔차 생성 유닛(207)는 현재 비디오 블록으로부터 예측된 비디오 블록의 예측 비디오 블록(예를 들어, 마이너스 기호로 표시됨)을 빼서 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록에서 샘플의 상이한 샘플 컴포넌트에 대응하는 잔차 비디오 블록을 포함할 수 있다.

다른 예에서, 현재 비디오 블록에 대한 현재 비디오 블록에 대한 잔차 데이터가 없을 수 있고, 예를 들어 스킵(skip) 모드에서, 잔차 생성 유닛(207)는 빼기 동작을 수행하지 않을 수 있다.

트랜스폼 처리 유닛(208)는 현재 비디오 블록과 연결된 잔차 비디오 블록에 하나 이상의 트랜스폼을 적용하여 현재 비디오 블록에 대해 하나 이상의 트랜스폼 계수 비디오 블록을 생성할 수 있다.

트랜스폼 처리 유닛(208)는 현재 비디오 블록과 관련된 트랜스폼 계수 비디오 블록을 생성한 후, 양자화 유닛(209)는 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값에 기초하여 현재 비디오 블록과 관련된 트랜스폼 계수 비디오 블록을 양자화할 수 있다.

역양자화 유닛(210)와 역트랜스폼부 유닛(211)는 트랜스폼 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성하기 위해, 트랜스폼 계수 비디오 블록에 역양자화 유닛 및 역트랜스폼 유닛을 각각 적용할 수 있다. 재구성 유닛(212)는 예측 유닛(202)에 의해 생성된 하나 이상의 예측된 비디오 블록으로부터 대응하는 샘플에 재구성된 잔차 비디오 블록을 추가하여 버퍼(213)에 저장하기 위한 현재 블록과 연관된 재구성된 비디오 블록을 생성할 수 있다.

재구성 유닛(212)가 비디오 블록을 재구성한 후, 비디오 블록에서 비디오 차단 아티팩트를 줄이기 위해 루프 필터링 동작이 수행된다.

엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 함수 컴포넌트로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)가 데이터를 수신하는 경우, 엔트로피 인코딩 유닛(214)는 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력하기 위해 하나 이상의 엔트로피 인코딩 동작을 수행할 수 있다.

도 26은 도 24에 도시된 시스템(100)에서 비디오 디코더(114)일 수 있는 비디오 디코더(300)의 예를 도시하는 블록도이다.

비디오 디코더(300)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 26의 예에서, 비디오 디코더(300)는 복수의 함수 컴포넌트를 포함한다. 본 개시에 기재된 기술은 비디오 디코더(300)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

도 26의 예에서, 비디오 디코더(video decoder)(300)는 엔트로피 디코딩 유닛(entropy decoding unit)(301), 모션 보상 유닛(motion compensation unit)(302), 인트라 예측 유닛(intra prediction unit)(303), 역양자화 유닛(inverse quantization unit)(304), 역트랜스폼 유닛(inverse transformation uni)(305), 및 재구성 유닛(reconstruction unit)(306) 및 버퍼(buffer)(307)를 포함한다. 비디오 디코더(300)는, 일부 예에서, 비디오 인코더(200)(예를 들어, 도 25)에 대하여 기술된 인코딩 패스(pass)와 일반적으로 서로 주고 받는(reciprocal) 디코딩 패스를 수행할 수 있다.

엔트로피 디코딩 유닛(301)는 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림에는 엔트로피 코딩된 비디오 데이터(예를 들어, 비디오 데이터의 인코딩된 블록)가 포함될 수 있다. 엔트로피 디코딩 유닛(301)는 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터 모션 보상 유닛(302)는 모션 벡터, 모션 벡터 정밀도, 레퍼런스 픽처 목록 인덱스 및 기타 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상 유닛(302)는, 예를 들어 AMVP 및 병합 모드를 수행하여 이러한 정보를 결정할 수 있다.

모션 보상 유닛(302)는 보간 필터에 기초하여 보간(interpolation)을 수행하여 모션 보정 블록을 생성할 수 있다. 서브 픽셀 정밀도와 함께 사용되는 보간 필터에 대한 식별자가 신텍스 요소에 포함될 수 있다.

모션 보상 유닛(302)는 비디오 블록을 인코딩하는 동안 비디오 인코더(20)에서 사용하는 보간 필터를 사용하여 레퍼런스 블록의 서브 정수 픽셀에 대한 보간 값을 계산할 수 있다. 모션 보상 유닛(302)는 수신된 신텍스 정보에 따라 비디오 인코더(200)에서 사용하는 보간 필터를 결정하고 보간 필터를 사용하여 예측 블록을 생성할 수 있다.

모션 보상 유닛(302)는 인코딩된 비디오 시퀀스의 프레임 및/또는 슬라이스를 인코딩하는 데 사용되는 블록의 크기, 인코딩된 비디오 시퀀스의 각 매크로 블록이 파티셔닝되는 방식을 설명하는 파티션 정보, 각 파티션이 인코딩된 방법, 각 파티션이 인코딩되는 방식을 나타내는 모드, 각 인터-인코딩된 블록에 대한 하나 이상의 레퍼런스 프레임(및 레퍼런스 프레임 목록) 및 인코딩된 비디오 시퀀스를 디코딩하는 다른 정보들을 결정하기 위해 일부 신텍스 정보를 사용할 수 있다.

인트라 예측 유닛(303)는, 예를 들어 비트스트림에서 수신된 인트라 예측 모드를 사용하여 공간적으로 인접한 블록으로부터 예측 블록을 형성할 수 있다. 역양자화 유닛(303)는 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에서 디코딩된 양자화된 비디오 블록 계수를 역양자화(예를 들어, 비양자화(de-quantize))한다. 역트랜스폼 유닛(Inverse transform unit)(303)은 역트랜스폼을 적용한다.

재구성 유닛(Reconstruction unit)(306)은 모션 보상 유닛(202) 또는 인트라 예측 유닛(303)에 의해 생성된 대응하는 예측 블록과 잔차 블록을 합산하여 디코딩된 블록을 형성할 수 있다. 원하는 경우, 디블로킹 필터(deblocking filter)를 적용하여 차단 아티팩트를 제거하기 위해 디코딩된 블록을 필터링할 수도 있다. 그 후, 디코딩된 비디오 블록은 버퍼(buffer)(307) 에 저장되고, 버퍼(307)는 후속 모션 보상을 위한 레퍼런스 블록을 제공한다.

다음 솔루션은 일부 실시예에서 바람직한 솔루션으로 구현될 수 있다.

A1. 비디오 처리 방법에서, 루마 블록(luma block), 제1 크로마 블록(first chroma block) 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 디코딩 동안,제1 크로마 블록 및 제2 크로마 블록이 루마 블록의 매핑된 샘플 값에 기초하여 처리되는 순서를 지정하는 규칙에 따라 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함한다.

A2. 솔루션 A1의 방법에서, 제1 크로마 블록 및 제2 크로마 블록은 비디오의 제1 크로마 컬러 컴포넌트 및 비디오의 제2 크로마 컬러 컴포넌트에 각각 대응하고, 제1 크로마 컬러 컴포넌트 및 제2 크로마 컬러 컴포넌트는 동일한 트랜스폼 유닛에 있고, 규칙은 제1 크로마 블록 및 제2 크로마 블록의 처리와 연관된 크로마 잔차 스케일링 프로세스가 제1 크로마 블록 또는 제2 크로마 블록 중 어느 하나에 적용되는 것을 지정한다.

A3. 솔루션 A2의 방법에서, 규칙은 제1 크로마 블록 및 제2 크로마 블록의 처리와 연관된 크로마 잔차 스케일링 프로세스가 제1 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차를 유도하기 위해 제1 크로마 컬러 컴포넌트에 적용되는 것을 지정한다.

A4. 솔루션 A3의 방법에서, 규칙은 제1 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차가 제2 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차를 유도하기 위해 사용되는 것을 추가로 지정한다.

A5. 솔루션 A3의 방법에서, 규칙은 제2 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차가 크로마 잔차의 공동 코딩(JCCR) 동작과 관련된 부가 정보에 기초하여 유도되는 것을 추가로 지정한다.

A6. 솔루션 A3의 방법에서, 규칙은 크로마 잔차의 공동 코딩(JCCR) 동작이 제1 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차에 적용되는 것을 추가로 지정한다.

A7. 솔루션 A5의 방법에서, 규칙은 크로마 잔차 스케일링 프로세스를 적용하기 전에 역양자화 동작 및 역트랜스폼이 제1 크로마 컬러 컴포넌트에 적용되는 것을 추가로 지정한다.

A8. 솔루션 A7의 방법에서, 규칙은 제2 크로마 컬러 컴포넌트의 스케일링된 크로마 잔차에 클리핑 동작을 적용하는 것을 추가로 지정한다.

A9. 솔루션 A8의 방법에서, 클리핑 동작의 출력 범위(output range)는 제2 크로마 컬러 컴포넌트의 비트 깊이에 기초한다.

A10. 솔루션 A9의 방법에서, 출력 범위는 [- (1 << BitDepth _C), (1 << BitDepth _C) - 1] 로서 결정되고, 여기서 BitDepthC는 제2 크로마 컬러 컴포넌트의 비트 깊이이다.

A11. 솔루션 A1의 방법에서, 제1 크로마 블록 및 제2 크로마 블록은 비디오의 제1 크로마 컬러 컴포넌트 및 비디오의 제2 크로마 컬러 컴포넌트에 각각 대응하고, 규칙은 제1 크로마 블록 및 제2 크로마 블록의 처리와 연관된 크로마 잔차 스케일링 프로세스가 입력과 스케일링 인자 사이의 곱을 결정하는 제1 단계 - 입력은 입력 값 또는 입력 값의 절대 값을 포함함 - 및 입력에 시프팅 동작을 적용하는 제2 단계 - 시프팅 동작은 스케일링 인자를 사용함 - 를 포함하는 것을 지정한다.

A12. 솔루션 A11의 방법에서, 시프트 동작은

으로 정의되고, x는 입력이고, s는 스케일링 인자이고, off는 0이 아닌 정수이다.

A13. 솔루션 A12의 방법에서, 여기서 off = (1 << (s-1))이다.

A14. 솔루션 A11의 방법으로, 시프팅 동작은

과 같이 정의되고, 여기서 x는 입력이고, s는 스케일링 인자이고, off는 정수이다.

A15. 솔루션 A14의 방법에서, 여기서 off = 0 또는 off = (1 << (s-1))이다.

A16. 솔루션 A11 내지 15 중 어느 하나의 방법에서, 제1 크로마 컬러 컴포넌트 및 제2 크로마 컬러 컴포넌트는 동일한 트랜스폼 유닛에 있고, 규칙은 제1 단계가 제1 크로마 블록 또는 제2 크로마 블록 중 어느 하나에 적용되는 것을 지정한다.

A17. 솔루션 A16의 방법에서, 규칙은 제1 크로마 컬러 컴포넌트의 시간적 크로마 잔차 블록을 생성하기 위해 제1 단계를 적용하기 전에 역양자화 동작 및 역트랜스폼이 제1 크로마 컬러 컴포넌트에 적용되는 것을 추가로 지정한다.

A18. 솔루션 A17의 방법에서, 규칙은 제1 크로마 컬러 컴포넌트의 시간적 크로마 잔차 블록에 기초하여 제2 단계를 사용하여 제1 크로마 컬러 컴포넌트의 최종 잔차 블록이 생성되는 것을 추가로 지정한다.

A19. 솔루션 A17의 방법에서, 규칙은 제1 크로마 컬러 컴포넌트의 시간적 크로마 잔차 블록에 기초하여 제2 크로마 컬러 컴포넌트의 최종 잔차 블록이 생성되는 것을 추가로 지정한다.

A20. 솔루션 A19의 방법에서, 제2 크로마 컬러 컴포넌트의 최종 잔차 블록은 크로마 잔차의 공동 코딩(JCCR) 동작과 관련된 부가 정보에 기초하여 추가로 생성된다.

A21. 솔루션 A20의 방법에서, 부가 정보는 JCCR 동작으로 코딩된 비디오 블록에 반전 부호가 적용되는지 여부의 표시를 포함한다.

A22. 솔루션 A1의 방법에서, 제1 크로마 블록 및 제2 크로마 블록은 비디오의 제1 크로마 컬러 컴포넌트 및 비디오의 제2 크로마 컬러 컴포넌트에 각각 대응하고, 규칙은 제2 크로마 컬러 컴포넌트의 유도 계수가 제1 크로마 컬러 컴포넌트의 디코딩된 계수에 기초하는 것으로 지정한다.

A23. 솔루션 A22의 방법에서, 제2 크로마 컬러 컴포넌트의 계수를 유도하는 단계는 크로마 잔차의 공동 코딩(JCCR) 동작과 관련된 부가 정보에 더 기초한다.

A24. 솔루션 A22의 방법에서, 제2 크로마 컬러 컴포넌트의 계수는 제1 크로마 컬러 컴포넌트의 디코딩된 계수에 크로마 잔차의 공동 코딩(JCCR) 동작을 적용한 후에 유도된다.

A25. 솔루션 A1 내지 A24 중 임의의 솔루션의 방법에서, 제1 크로마 컬러 컴포넌트는 Cb 컬러 컴포넌트이고, 제2 크로마 컬러 컴포넌트는 Cr 컬러 컴포넌트이다.

A26. 솔루션 A1 내지 A24 중 임의의 솔루션의 방법에서, 제1 크로마 컬러 컴포넌트는 Cr 컬러 컴포넌트이고, 제2 크로마 컬러 컴포넌트는 Cb 컬러 컴포넌트이다.

A27. 비디오 처리 방법에서, 루마 블록(luma block), 제1 크로마 블록(first chroma block), 및 제2 크로마 블록(second chroma block)을 포함하는 현재 영역(current region)에 대해, 비디오의 현재 영역과 비디오의 비트스트림 표현 사이의 변환(conversion)을 수행하는 단계를 포함하고, 변환은 크로마 잔차(chroma residual)의 공동 코딩(joint coding)(JCCR) 동작을 포함하고, 제 1 크로마 블록 및 제 2 크로마 블록은 비디오의 제 1 크로마 컬러 컴포넌트 및 비디오의 제 2 크로마 컬러 컴포넌트에 각각 대응하고, 및 JCCR 동작은 제1 크로마 컬러 컴포넌트의 값에 대응하는 입력 및 제2 크로마 컬러 컴포넌트의 유도된 값에 대응하는 출력을 갖는 시프팅 동작(shifting operation)을 사용하는 잔차 또는 계수 스케일링 프로세스(scaling process)를 포함한다.

A28. 솔루션 A27의 방법에서, 시프팅 동작은

으로 정의 되고, x는 입력이고, s는 스케일링 인자이고, off는 0이 아닌 정수이다.

A29. 솔루션 A27의 방법에서, 시프팅 동작은

으로 정의 되고, x는 입력이고, s는 스케일링 인자이고, off는 정수이다.

A30. 솔루션 A27의 방법에서, 규칙은 JCCR 동작이 미리 결정된 모드로 코딩된 크로마 블록에 적용되는 것을 추가로 지정한다.

A31. 솔루션 A30의 방법에서, 미리 결정된 모드는 크로스 컴포넌트 선형 모델(cross-component linear model) (CCLM) 예측 모드이다.

A32. 솔루션 A30의 방법에서, 미리 결정된 모드는 대응하는 루마 블록에 기초하여 크로마 블록의 인트라 예측 모드를 유도하는 직접 모드이다.

A33. 솔루션 A30의 방법에서, JCCR 동작에 대한 부가 정보에 대한 시그널링은 비트스트림 표현으로부터 제외된다.

A34. 솔루션 A27의 방법에서, JCCR 동작이 비트스트림 표현으로부터 제외되는 JCCR 동작을 적용한다는 표시에도 불구하고, 크로마 샘플에서 높이 (H) 및 폭 (W) 을 갖는 비디오 블록에 적용된다.

A35. 솔루션 A34의 방법에서, 여기서 W ≤ T1 및 H ≤ T2이고, 및 T1 및 T2는 정수 임계값이다.

A36. 솔루션 A34의 방법에서, 여기서 W Х H ≤ T3이고, 및 T3은 정수 임계값이다.

A37. 솔루션 A34의 방법에서, 여기서 W ≥ T1 및 H ≥ T2이고, 및 T1 및 T2는 정수 임계값이다.

A38. 솔루션 A34의 방법에서, 여기서 W Х H ≥ T3이고, 및 T3은 정수 임계값이다.

A39. 솔루션 A35 또는 A37의 방법에서, T1 및 T2는 미리 정의되거나, 비트스트림 표현에서 시그널링되거나, 즉석에서 결정된다.

A40. 솔루션 A35 또는 A37의 방법에서, 여기서 T1=4, 8, 16, 32, 또는 128이고, T2=4, 8, 16, 32, 또는 128이다.

A41. 솔루션 A36 또는 A38의 방법에서, 여기서 T3= 4, 8, 16, 32, 또는 128이다.

A42. 비디오 처리 방법에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 이진 트리 파티션(vertical binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

A43. 솔루션 A42의 방법에서, 현재 블록의 폭이 VPDUSize보다 작거나 같고, 현재 블록의 높이가 VpduSize보다 클 때 수직 이진 트리 파티션이 현재 블록에 적용되지 않는다.

A44. 솔루션 A43의 방법에서, 여기서 VpduSize는 64이다.

A45. 솔루션 A42의 방법에서, 현재 블록의 폭이 max (VPDusize, maxTBsize) 보다 작거나 같고, 현재 블록의 높이가 max (VPDusize, maxTBsize) 보다 클 때 수직 이진 트리 파티션이 현재 블록에 적용되지 않는다.

A46. 솔루션 A45의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 64이다.

A47. 솔루션 A45의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 32이다.

A48. 비디오 처리 방법에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수평 이진 트리 파티션(horizontal binary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 및 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

A49. 솔루션 A48의 방법에서, 현재 블록의 높이가 VPDUSize보다 작거나 같고 현재 블록의 폭이 VpduSize보다 클 때 수평 이진 트리 파티션이 현재 블록에 적용되지 않는다.

A50. 솔루션 A49의 방법에서, 여기서 VpduSize는 64이다.

A51. 솔루션 A48의 방법에서, 현재 블록의 높이가 max (VpduSize, MaxTbSize) 보다 작거나 같고, 현재 블록의 폭이 max (VpduSize, MaxTbSize) 보다 클 때 수평 이진 트리 파티션이 현재 블록에 적용되지 않는다.

A52. 솔루션 A51의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 64이다.

A53. 솔루션 A51의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 32이다.

A54. 비디오 처리 방법에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(vertical ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

A55. 솔루션 A54의 방법에서, 현재 블록의 폭 또는 현재 블록의 높이가 min (VPDUSize, MaxTTSize) 보다 클 때 수직 삼진 트리 파티션이 현재 블록에 적용되지 않는다.

A56. 솔루션 A55의 방법에서, 여기서 VpduSize는 64이다.

A57. 솔루션 A54의 방법에서, 현재 블록의 폭 또는 현재 블록의 높이가 min (max (vPDuSize, maxTBsize), maxTTSize) 보다 클 때 수직 삼진 트리 파티션이 현재 블록에 적용되지 않는다.

A58. 솔루션 A57의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 64이다.

A59. 솔루션 A57의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 32이다.

A60. 비디오 처리 방법에서, 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 위해, 수직 삼진 트리 파티션(horizontal ternary tree partitioning)이 현재 블록의 크기, 현재 블록에 대해 구성된 가상 파이프라인 데이터 유닛(virtual pipeline data unit)(VPDU)(VpduSize로 표시됨)의 크기, 현재 블록에 대해 구성된 트랜스폼 블록(transform block)(MaxTbSize로 표시됨), 및 현재 블록에 대해 구성된 최대 삼진 트리 크기(maxTtSize로 표시됨)에 기초하여 현재 블록에 적용가능한지 결정하는 단계, 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

A61. 솔루션 A60의 방법에서, 현재 블록의 폭 또는 현재 블록의 높이가 min (VPDUSize, MaxTTSize) 보다 클 때 수평 삼진 트리 파티션이 현재 블록에 적용되지 않는다.

A62. 솔루션 A61의 방법에서, 여기서 VpduSize는 64이다.

A63. 솔루션 A60의 방법에서, 현재 블록의 폭 또는 현재 블록의 높이가 min (max (vPDuSize, maxTBsize), maxTTSize) 보다 큰 경우, 수평 삼진 트리 파티션이 현재 블록에 적용되지 않는다.

A64. 솔루션 A63의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 64이다.

A65. 솔루션 A63의 방법에서, 여기서 VpduSize는 64이고 MaxTbSize는 32이다.

A66. 비디오 처리 방법에서, 비디오의 크로마 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 크로마 블록의 잔차는 스케일링 인자가 특정 루마 영역의 액세스 정보 없이 없이 결정되는 것으로 지정하는 규칙에 따라 결정되는 스케일링 인자에 의해 스케일링된다

A67. 솔루션 A66의 방법에서, 특정 루마 영역은 크로마 블록의 대표 크로마 샘플의 대응하는 루마 샘플을 커버하는 루마 코딩 유닛에 대응한다.

A68. 솔루션 A66의 방법에서, 특정 루마 영역은 크로마 블록의 모든 크로마 샘플에 대응하는 루마 샘플을 커버하는 루마 코딩 유닛에 대응한다.

A69. 솔루션 A1 내지 A68 중 어느 하나의 방법에서, 변환을 수행하는 단계는 현재 블록 또는 현재 영역으로부터 비트스트림 표현을 생성하는 단계를 포함한다.

A70. 솔루션 A1 내지 A68 중 어느 하나의 방법에서, 변환을 수행하는 단계는 비트스트림 표현으로부터 현재 블록 또는 현재 영역을 생성하는 단계를 포함한다.

A71. 프로세서 및 명령이 있는 비일시적 메모리를 포함하는 비디오 시스템의 장치에 있어서, 명령은, 프로세서에 의해 실행될 때, 프로세서로 하여금 솔루션 A1 내지 A30의 방법 중 어느 하나의 방법을 구현하도록 하는 장치.

A72. 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 있어서, 컴퓨터 프로그램은 솔루션 A1 내지 A30의 방법 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.

A73. 하나 이상의 솔루션 A1 내지 A70에서 언급된 방법에 따라 생성된 비트스트림 표현을 저장하는 컴퓨터 판독가능 매체.

다음의 추가 솔루션은 일부 실시예에서 바람직한 기술 솔루션으로서 구현될 수 있다.

B1. 비디오 처리 방법에서, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 규칙은 크로마 CU의 복수의 크로마 샘플의 잔차에 적용된 복수의 스케일링 인자에 대한 유도 방법을 지정하고, 여기서 유도 방법은 크로마 CU가 변환을 위해 다중 트랜스폼 유닛(TU)으로 더 분할되는지 여부와 관계없다.

B2. 솔루션 B1의 방법에서, 규칙은 크로마 CU가 다중 트랜스폼 유닛(TU)으로 분할되는지 여부에 관계없이 복수의 스케일링 인자가 동일하다는 것을 지정한다.

B3. 솔루션 B1의 방법에서, 규칙은 크로마 CU가 다중 트랜스폼 유닛(TU)으로 분할되는지 여부에 관계없이 복수의 스케일링 인자 각각에 대한 유도 방법이 루마 재구성된 샘플(luma reconstructed sample)의 동일한 세트에 기초한다고 지정한다.

B4. 솔루션 B1의 방법에서, 규칙은 복수의 스케일링 인자 각각에 대한 유도 방법이 크로마 CU에 대응하는 루마 CU의 일부가 아닌 동일한 루마 재구성된 샘플의 세트에 기초한다고 지정한다.

B5. 비디오 처리 방법에서, 크로마 코딩 유닛(cu)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 현재 블록과 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 여기서 규칙은 크로마 CU가 다중 트랜스폼 유닛(multiple transform unit)(TU)로 분할될 때 크로마 잔차 스케일링 동작이 활성화되는지 여부를 지정한다.

B6. 솔루션 B5의 방법에서, 규칙은 크로마 잔차 스케일링 동작이 다중 TU의 서브세트에 적용되는 것을 지정한다.

B7. 솔루션 B6의 방법에서, 다중 TU의 서브세트는 크로마 CU의 상단 경계에서 TU를 포함한다.

B8. 솔루션 B5의 방법에서, 규칙은 크로마 잔차 스케일링 동작이 비활성화되도록 지정한다.

B9. 솔루션 B1 내지 B8 중 어느 임의의 솔루션의 방법에서, 규칙은 크로마 CU의 크기가 최대 트랜스폼 블록 (TB) 의 크기보다 크다는 것을 추가로 지정한다.

B10. 솔루션 B1 내지 B9 중 어느 하나의 방법에서, 규칙의 적용의 표시가 비트스트림 표현에서 시그널링된다.

B11. 솔루션 B10의 방법에서, 표시는 타일 레벨, 브릭 레벨, 슬라이스 레벨, 픽처 레벨, 서브-픽처 레벨, 시퀀스 레벨, 또는 뷰 레벨에서 시그널링된다.

B12. 솔루션 B10의 방법에서, 표시는 시퀀스 파라미터 세트 (SPS), 뷰 파라미터 세트, 적응 파라미터 세트 (APS), 픽처 파라미터 세트 (PPS), 픽처 헤더, 또는 슬라이스 헤더에서 시그널링된다.

B13. 솔루션 B1 내지 B9 중 어느 하나의 방법에서, 규칙의 적용은 비트스트림 표현 내의 하나 이상의 신택스 요소에 기초한다.

B14. 솔루션 B13의 방법에서, 규칙의 적용은 크로마 잔차의 공동 코딩(JCCR) 동작이 활성화되었는지 여부에 기초하고, 하나 이상의 신택스 요소는 sps_joint_cbcr_enabled_flag를 포함한다.

B15. 솔루션 B13의 방법에서, 규칙의 적용은 비디오의 두 크로마 컴포넌트의 공존된 잔차 샘플이 반전된 부호를 갖는지 여부에 기초하고, 하나 이상의 신택스 요소는 slice_joint_cbcr_sign_flag를 포함한다.

B16. 솔루션 B13의 방법에서, 규칙의 적용은 현재 블록이 인터 모드로 코딩되었는지 여부에 기초한다.

B17. 솔루션 B1 내지 B9 중 어느 하나의 방법에서, 규칙의 적용은 현재 블록 또는 이웃 블록의 코딩 정보에 기초한다.

B18. 솔루션 B17의 방법에서, 코딩 정보는 블록 차원, 슬라이스 타입, 픽처 타입, 시간 계층 인덱스, 비디오의 콘텐츠, 비디오의 컬러 컴포넌트, 현재 블록의 파티셔닝 트리 타입, 코딩 모드, 또는 트랜스폼 정보 중 적어도 하나를 포함한다.

B19. 솔루션 B17 또는 B18의 방법에서, 규칙은 현재 블록의 폭이 T1 보다 작거나 같거나 현재 블록의 높이가 T2 보다 작거나 같을 때 적용되고, T1 및 T2는 정수 임계값이다.

B20. 솔루션 B17 또는 B18의 방법에서, 규칙은 현재 블록의 폭과 현재 블록의 높이의 곱이 T3 이하일 때 적용되고, T3은 정수 임계값이다.

B21. 솔루션 B17 또는 B18의 방법에서, 규칙의 적용은 현재 블록이 K와 동일한 크로마 잔차 모드의 공동 코딩(JCCR)으로 코딩되는지 여부에 기초하고, K는 정수이다.

B22. 솔루션 B21의 방법에서, 여기서 K = 2이다.

B23. 솔루션 B21의 방법에서, 여기서 K ≠ 2이다.

B24. 솔루션 B1 내지 B23 중 어느 하나의 방법에서, 변환을 수행하는 단계는 현재 블록으로부터 비트스트림 표현을 생성하는 단계를 포함한다.

B25. 솔루션 B1 내지 B23 중 어느 하나의 방법에서, 변환을 수행하는 단계는 비트스트림 표현으로부터 현재 블록을 생성하는 단계를 포함한다.

B26. 프로세서 및 명령이 있는 비일시적 메모리를 포함하는 비디오 시스템의 장치에 있어서, 명령은, 프로세서에 의해 실행될 때, 프로세서로 하여금 솔루션 B1 내지 B25의 방법 중 어느 하나의 방법을 구현하도록 하는 장치.

B27. 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 있어서, 컴퓨터 프로그램은 솔루션 B1 내지 B25의 방법 중 어느 하나의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.

B28. 솔루션 B1 내지 B25 중 하나 이상에서 언급된 방법에 따라 생성된 비트스트림 표현을 저장하는 컴퓨터 판독가능 매체.

전술한 기술적 솔루션에서, 변환을 수행하는 단계는 변환 결과에 도달하기 위해 인코딩 또는 디코딩 동작 동안 이전 결정 단계의 결과들 (예를 들어, 특정 코딩 또는 디코딩 단계들을 사용하거나 사용하지 않는 것) 을 이용하는 단계를 포함한다. 전술한 솔루션에서, 비디오 처리는 비디오 코딩 또는 인코딩 또는 압축 또는 트랜스코딩 (한 포맷 또는 비트레이트에서 다른 포맷 또는 비트레이트로 변경), 디코딩 또는 압축 해제를 포함할 수 있다. 또한, 이러한 솔루션은 이미지와 같은 다른 시각적 데이터에도 적용될 수 있다.

본 문서에 기재된 개시 및 기타 솔루션, 예, 실시예, 모듈 및 기능적 작업은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있으며, 여기에는 이 문서 및 그 구조적 등가물 또는 그 중 하나 이상의 조합으로 구현될 수 있다. 개시된 및 기타 실시예는 하나 이상의 컴퓨터 프로그램 제품으로 구현될 수 있고, 즉, 컴퓨터 프로그램 지침의 하나 이상의 모듈을 컴퓨터 판독 가능한 매체에 인코딩 하여 실행하거나, 데이터 처리 장치의 작동을 제어할 수 있다. 컴퓨터가 읽을 수 있는 매체는 기계가 읽을 수 있는 저장 장치, 기계가 읽을 수 있는 스토리지 기판, 메모리 장치, 기계가 읽을 수 있는 전파 신호에 영향을 미치는 물질의 조성 또는 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는 예를 들어 프로그래밍 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 장치, 장치 및 컴퓨터를 포함한다. 이 장치에는 대응하는 컴퓨터 프로그램에 대한 실행 환경을 만드는 코드(예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 또는 하나 이상의 조합)가 포함될 수 있다. 전파된 신호는 인위적으로 생성된 신호, 예를 들어, 기계에서 생성된 전기, 광학 또는 전자기 신호이고, 이는 적합한 수신기 장치로 전송하기 위한 정보를 인코딩 하기 위해 생성된다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램, 스크립트 또는 코드라고도 함)은 컴파일 된 언어를 비롯한 모든 형태의 프로그래밍 언어로 작성할 수 있으며 독립 실행형 프로그램 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 컴포넌트, 서브루틴 또는 기타 유닛으로 모든 형태로 배포할 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 대응하는 프로그램에 전용되는 단일 파일 또는 여러 조정된 파일들(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드 일부를 저장하는 파일)에 저장할 수 있다. 컴퓨터 프로그램은 한 컴퓨터 또는 한 사이트에 위치하거나 여러 사이트에 분산되고 통신 네트워크에 의해 상호 연결된 여러 컴퓨터에서 실행하도록 배포할 수 있다.

이 문서에 설명된 프로세스 및 논리 흐름은 하나 이상의 프로그래밍 가능한 프로세서가 하나 이상의 프로그래밍 가능한 프로세서에서 수행하여 입력 데이터에서 작동하고 출력을 생성하여 기능을 수행할 수 있다. 프로세스 및 로직 흐름도 수행될 수 있으며, 장치는 특수 목적 논리 회로, 예를 들어, FPGA(필드 프로그래밍 가능한 게이트 어레이) 또는 ASIC(응용 프로그램 별 집적 회로)로 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서에는 예를 들어, 일반 및 특수 목적 마이크로프로세서와 모든 종류의 디지털 컴퓨터의 하나 이상의 프로세서가 포함된다. 일반적으로 프로세서는 읽기 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 지침과 데이터를 받게 된다. 컴퓨터의 필수 요소는 지침과 데이터를 저장하기 위한 하나 이상의 메모리 장치를 수행하기 위한 프로세서이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 전체를 포함하거나 작동 가능하게 연결된다. 그러나, 컴퓨터에 이러한 장치가 필요하지 않는다. 컴퓨터 프로그램 지침 및 데이터를 저장하는 데 적합한 컴퓨터 판독 가능한 미디어에는 반도체 메모리 장치, 예를 들어, EPROM, EEPROM 및 플래시 메모리 장치, 자기 디스크, 예를 들어, 내부 하드 디스크 또는 이동식 디스크; 마그네토 광학 디스크; 및 CD ROM 및 DVD-ROM 디스크를 비롯한 모든 형태의 비휘발성 메모리, 미디어 및 메모리 장치가 포함된다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보충되거나 통합될 수 있다.

이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 어떤 주제의 범위 나 청구 될 수 있는 것에 대한 제한으로 해석되어서는 안되고, 오히려 특정 기술의 특정 구현예에 특정할 수 있는 특징에 대한 설명으로 해석되어서는 안 된다. 이 특허 문서에 기재된 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 구현될 수 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합으로 다중 실시예들에서도 구현될 수 있다. 더욱이, 앞서와 같이 특징들은 특정 조합으로 작용하는 것으로 설명될 수 있고 심지어 처음에 그렇게 주장될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징은 어떤 경우에는 조합으로부터 제외될 수 있고, 주장된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.

마찬가지로, 동작은 특정 순서로 도면에 묘사되어 있지만, 바람직한 결과를 달성하기 위하여, 이러한 동작이 표시된 특정 순서 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 더욱이, 본 특허 문서에 기재된 실시예들에서, 다양한 시스템 구성 요소들의 분리가 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.

몇 가지 구현 및 예제만 설명되고 이 특허 문서에 설명되고 도시된 내용에 따라 다른 구현, 개선 및 변형을 만들 수 있다.

Claims

비디오 처리 방법에 있어서,
크로마 코딩 유닛(CU)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 현재 블록과 상기 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 상기 규칙은 상기 크로마 CU의 복수의 크로마 샘플의 잔차에 적용된 복수의 스케일링 인자에 대한 유도 방법을 지정하고, 상기 유도 방법은 상기 크로마 CU가 상기 변환을 위해 다중 트랜스폼 유닛(TU)으로 더 분할되는지 여부와 관계없는
방법.
제1항에 있어서,
상기 규칙은 상기 크로마 CU가 다중 트랜스폼 유닛(TU)으로 분할되는지 여부에 관계없이 상기 복수의 스케일링 인자가 동일하다는 것을 지정하는
방법.
제1항에 있어서,
상기 규칙은 상기 크로마 CU가 다중 트랜스폼 유닛(TU)으로 분할되는지 여부에 관계없이 상기 복수의 스케일링 인자 각각에 대한 유도 방법이 루마 재구성된 샘플의 동일한 세트에 기초한다고 지정하는
방법.
제1항에 있어서,
상기 규칙은 상기 복수의 스케일링 인자 각각에 대한 유도 방법이 상기 크로마 CU에 대응하는 루마 CU의 일부가 아닌 루마 재구성된 샘플의 동일한 세트에 기초한다고 지정하는
방법.
비디오 처리 방법에 있어서,
크로마 코딩 유닛(CU)을 포함하는 현재 블록에 대해, 규칙에 따라 비디오의 상기 현재 블록과 상기 비디오의 비트스트림 표현 사이의 변환을 수행하는 단계를 포함하고, 상기 규칙은 상기 크로마 CU가 다중 트랜스폼 유닛(TU)으로 분할될 때 크로마 잔차 스케일링 동작이 활성화되는지 여부를 지정하는
방법.
제5항에 있어서,
상기 규칙은 상기 크로마 잔차 스케일링 동작이 상기 다중 TU의 서브세트에 적용되는 것을 지정하는
방법.
제6항에 있어서,
상기 다중 TU의 서브세트는 상기 크로마 CU의 상단 경계에서 TU를 포함하는
방법.
제5항에 있어서,
상기 규칙은 상기 크로마 잔차 스케일링 동작이 비활성화되는 것을 지정하는
방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 규칙은 상기 크로마 CU의 크기가 최대 트랜스폼 블록 (TB) 의 크기보다 크다는 것을 추가로 지정하는
방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 규칙의 적용에 대한 표시가 상기 비트스트림 표현에서 시그널링되는
방법.
제10항에 있어서,
상기 표시는 타일 레벨, 브릭 레벨, 슬라이스 레벨, 픽처 레벨, 서브-픽처 레벨, 시퀀스 레벨 또는 뷰 레벨에서 시그널링되는
방법.
제10항에 있어서,
상기 표시는 시퀀스 파라미터 세트 (SPS), 뷰 파라미터 세트, 적응 파라미터 세트 (APS), 픽처 파라미터 세트 (PPS), 픽처 헤더, 또는 슬라이스 헤더에서 시그널링되는
방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 규칙의 적용은 상기 비트스트림 표현 내의 하나 이상의 신택스 요소에 기초하는
방법.
제13항에 있어서,
상기 규칙의 적용은 크로마 잔차의 공동 코딩(JCCR) 동작이 활성화되었는지 여부에 기초하고, 상기 하나 이상의 신택스 요소는 sps_joint_cbcr_enabled_flag를 포함하는
방법.
제13항에 있어서,
상기 규칙의 적용은 상기 비디오의 두 크로마 컴포넌트의 공존하는 잔차 샘플이 반전된 부호를 갖는지 여부에 기초하고, 상기 하나 이상의 신택스 요소는 slice_joint_cbcr_sign_flag를 포함하는
방법.
제13항에 있어서,
상기 규칙의 적용은 상기 현재 블록이 인터 모드로 코딩되었는지 여부에 기초하는
방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 규칙의 적용은 상기 현재 블록 또는 이웃 블록의 코딩 정보에 기초하는
방법.
제17항에 있어서,
상기 코딩 정보는 블록 차원, 슬라이스 타입, 픽처 타입, 시간 계층 인덱스, 상기 비디오의 콘텐츠, 상기 비디오의 컬러 컴포넌트, 상기 현재 블록의 파티셔닝 트리 타입, 코딩 모드, 또는 트랜스폼 정보 중 적어도 하나를 포함하는
방법.
제17항 또는 제18항에 있어서,
상기 규칙은 상기 현재 블록의 폭이 T1 보다 작거나 같거나 또는 상기 현재 블록의 높이가 T2 보다 작거나 같을 때 적용되고, T1 및 T2는 정수 임계값인
방법.
제17항 또는 제18항에 있어서,
상기 규칙은 상기 현재 블록의 폭과 상기 현재 블록의 높이의 곱이 T3 보다 작거나 같을 때 적용되고, T3은 정수 임계값인
방법.
제17항 또는 제18항에 있어서,
상기 규칙의 적용은 상기 현재 블록이 K와 동일한 크로마 잔차 모드의 공동 코딩(JCCR)으로 코딩되는지 여부에 기초하고, K는 정수인
방법.
제17항에 있어서,
K = 2 인
방법.
제17항에 있어서,
K = 2 인
방법.
제1항 내지 제23항 중 어느 한 항에 있어서,
상기 변환을 수행하는 단계는 상기 현재 블록으로부터 상기 비트스트림 표현을 생성하는 단계를 포함하는
방법.
제1항 내지 제23중 어느 한 항에 있어서,
상기 변환을 수행하는 단계는 상기 비트스트림 표현으로부터 상기 현재 블록을 생성하는 단계를 포함하는
방법.
프로세서 및 명령이 있는 비일시적 메모리를 포함하는 비디오 시스템의 장치에 있어서,
상기 프로세서에 의한 실행 시, 상기 명령은 상기 프로세서로 하여금 제1항 내지 제25항 중 어느 하나 이상의 방법을 실행하게 하는
장치.
비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 있어서,
제1항 내지 제25항 중 어느 하나 이상의 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
제1항 내지 제25항 중 어느 하나 이상에서 언급된 방법에 따라 생성된 상기 비트스트림 표현을 저장하는 컴퓨터 판독가능 매체.