KR20220053580A - 인트라 블록 복제 코딩 및 디코딩 - Google Patents

Abstract

비디오 처리 방법은, 비디오의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 신택스 요소의 시그널링이 현재 블록의 치수(dimension) 및/또는 IBC 코딩 모델을 이용하여 코딩되는 블록에 대한 최대 허용 치수에 기초한다고 특정하는 규칙에 따라 인트라 블록 복제(intra-block copy; IBC) 코딩 모델에 대한 스킵(skip) 모드의 사용을 나타내는 신택스(syntax) 요소가 코딩된 표현에 포함되는지 여부를 결정하는 단계를 포함한다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

Description

인트라 블록 복제 코딩 및 디코딩

관련 출원에 대한 상호 참조

파리 조약을 준수하는 적용 가능한 특허법 및/또는 규칙에 따라서, 본 출원은 2019 년 9월 9일에 출원된 국제 특허 출원 번호 제PCT/CN2019/104869호에 대한 우선권을 적시에 주장한다. 법률에 따른 모든 목적을 위하여, 앞서 언급된 출원의 모든 개시 내용은 본 출원의 개시 내용의 일부로서 참조에 의해 포함된다.

기술분야

본 출원 문서는 비디오 및 이미지 코딩 및 디코딩에 관한 것이다.

비디오 압축에서의 발전에도 불구하고, 디지털 비디오는 여전히 인터넷 및 기타 디지털 통신 네트워크에서 가장 큰 대역폭 사용을 차지한다. 비디오를 수신하고 디스플레이할 수 있는 연결된 사용자 장치의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요는 계속 증가할 것으로 예상된다.

디지털 비디오 코딩, 특히, 인트라 블록 복제 도구(intra block copy tool)가 코딩 또는 디코딩에 사용되는 비디오 및 이미지 코딩 및 디코딩과 관련된 장치, 시스템 및 방법에 대한 것이다.

하나의 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 비디오 영역 내의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 현재 블록을 다수의 변환 유닛으로 분할하는 것이 현재 블록의 특성에 기초하여 허용된다고 결정하는 단계를 포함한다. 분할의 시그널링은 코딩된 표현에서 생략된다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 비디오 영역 내의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 영역에서의 필터링되고 재구성된 참조 샘플에 기초하여 인트라 블록 복제(intra block copy; IBC) 모델을 이용하여 현재 블록에 대한 예측 샘플을 결정하는 단계를 포함한다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 인트라 블록 복제(intra-block copy; IBC) 코딩 모델에 대한 스킵(skip) 모드의 사용을 나타내는 신택스(syntax) 요소가 규칙에 따라 코딩된 표현에 포함되는지 여부를 결정하는 단계를 포함한다. 규칙은 신택스 요소의 시그널링이 현재 블록의 치수(dimension) 및/또는 IBC 코딩 모델을 이용하여 코딩되는 블록에 대한 최대 허용 치수에 기초한다고 특정한다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 저주파수 비분리 변환(low-frequency non-separable transform; LFNST) 코딩 모델과 연관된 인덱스를 코딩하기 위한 적어도 하나의 컨텍스트(context)를 결정하는 단계를 포함한다. LFNST 모델은, 인코딩 동안 순방향 1차 변환(forward primary transform)과 양자화(quantization) 단계 사이에 순방향 2차 변환(forward secondary transform)을 적용하는 것 또는 디코딩 동안 역양자화(de-quantization) 단계와 역방향 1차 변환(inverse primary transform) 사이에 역방향 2차 변환(inverse secondary transform)을 적용하는 것을 포함하고, 순방향 2차 변환 및 역방향 2차 변환의 크기는 현재 블록의 크기보다 작다. 적어도 하나의 컨텍스트는 순방향 1차 변환 또는 역방향 1차 변환을 고려하지 않고 현재 블록의 파티션 유형에 기초하여 결정된다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 비디오 영역의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 영역에 적용 가능한 최대 변환 유닛 크기에 기초하여 인트라 블록 복제(IBC) 코딩 모델이 인에이블되는지 여부를 결정하는 단계를 포함한다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 현재 블록에 대한 모션 벡터의 성분의 절대값이 두 부분으로 분할된다고 결정하는 단계를 포함한고, 모션 벡터는 (Vx, Vy)로 표시되고, 성분은 Vi로 표시되고, Vi는 Vx 또는 Vy이다. 두 부분의 제1 부분은 |Vi| - ((|Vi| >> N) << N)과 같고, 두 부분의 제2 부분은 |Vi| >> N과 같다. N은 양의 정수이다. 두 부분은 코딩된 표현에서 별도로 코딩된다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 변환 블록의 최대 허용 치수에 기초하여 현재 블록에서 서브 블록 변환을 허용하는 현재 블록의 최대 치수에 대한 정보를 결정하는 단계를 포함한다. 또한, 방법은 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 인트라 블록 복제 도구에 기초한 비디오 영역 내의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 다수의 변환 유닛으로의 비디오 블록의 분할이 허용된다고 결정하는 단계 - 결정하는 단계는 비디오 블록의 코딩 조건에 기초하고, 코딩된 표현은 분할에 대한 시그널링을 생략함 - 및 분할에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 인트라 블록 복제(IBC) 도구가 비디오 영역에 대한 최대 변환 크기에 기초하여 비디오 블록의 변환에 대하여 인에이블되는지 여부를 결정하는 단계; 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 변환을 위한 인트라 블록 복제(IBC) 도구의 시그널링이 코딩된 표현에 포함되는지 결정하는 단계; 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함하고, 결정하는 단계는 비디오 블록의 폭 및/또는 높이와 비디오 영역에 대한 최대 허용 IBC 블록 크기에 기초한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, IBC(인트라 블록 복제) 도구를 사용한 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 다수의 변환 유닛(transform unit; TU)으로의 비디오 블록의 분할이 허용되는지를 결정하는 단계; 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함하고, 변환은 다수의 TU에 대한 개별 모션 정보의 사용을 포함한다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 인트라 블록 복제 도구가 변환을 위해 인에이블된다고 결정하는 단계 및 인트라 블록 복제 도구를 사용하여 변환을 수행하는 단계를 포함하며, 비디오 블록의 예측은 비디오 영역의 필터링되고 재구성된 샘플을 사용하여 수행된다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 다수의 비디오 블록을 포함하는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 적어도 일부 비디오 블록은 모션 벡터 정보를 사용하여 코딩되고, 모션 벡터 정보는 모션 벡터 정보의 절대값의 제1 하위 비트(lower significant bit)에 기초한 제1 부분과 제1 하위 비트보다 더 상위에 있는(more significant) 나머지 상위 비트(more significant bit)에 기초한 제2 부분으로서 코딩된 표현에 표현된다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 서브 블록 변환 도구가 변환을 위해 인에이블되는지 여부를 결정하는 단계; 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함하고, 결정하는 단계는 비디오 영역에 대한 최대 허용 변환 블록 크기에 기초하고, 시그널링은 최대 허용 변환 블록 크기에 조건부로 기초하여 코딩된 표현에 포함된다.

다른 예시적인 양태에서, 비디오 처리 방법이 개시된다. 방법은, 비디오 영역의 비디오 블록의 코딩된 표현과 비디오 블록 사이의 변환을 위해, 변환 동안 저주파수 비분리 변환(LFNST)이 사용되는지 여부를 결정하는 단계 및 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함하고; 결정하는 단계는 비디오 블록에 적용된 코딩 조건에 기초하고, LFNST 및 LFNST에 대한 행렬 인덱스는 2개의 컨텍스트를 사용하여 코딩된 표현에서 코딩된다.

또 다른 대표적인 양태에서, 전술된 방법은 프로세서 실행 가능한 코드의 형태로 구체화되어 컴퓨터 판독 가능한 프로그램 매체에 저장된다.

또 다른 대표적인 양태에서, 전술된 방법을 수행하도록 구성되거나 동작 가능한 장치가 개시된다. 장치는 이 방법을 구현하도록 프로그래밍된 프로세서를 포함할 수 있다.

또 다른 대표적인 양태에서, 비디오 디코더 장치는 본 명세서에 설명된 바와 같은 방법을 구현할 수 있다.

개시된 기술의 상기 양태 및 특징과 다른 양태 및 특징은 도면, 설명 및 청구범위에서 더욱 상세하게 설명된다.

도 1은 병합(merge) 후보 리스트 구조에 대한 위한 예시적인 유도 프로세스를 도시한다.
도 2는 공간적 병합 후보의 예시적인 위치를 도시한다.
도 3은 공간적 병합 후보의 리던던시 검사를 위해 고려되는 예시적인 후보 쌍을 도시한다.
도 4는 N×2N 및 2N×N 파티션의 제2 PU에 대한 예시적인 위치를 도시한다.
도 5는 시간적 병합 후보에 대한 모션 벡터 스케일링의 예시도이다.
도 6은 시간적 병합 후보인 C0 및 C1에 대한 후보 위치의 예를 도시한다.
도 7은 조합된 양 예측 병합 후보의 예를 도시한다.
도 8은 모션 벡터 예측 후보에 대한 예시적인 유도 프로세스를 도시한다.
도 9는 공간적 모션 벡터 후보에 대한 모션 벡터 스케일링의 예시도이다.
도 10은 아핀 병합 모드에 대한 후보 위치의 예를 도시한다.
도 11은 수정된 병합 리스트 구조 프로세스를 도시한다.
도 12는 삼각형 파티션 기반 인터 예측의 예를 도시한다.
도 13은 제1 가중 인자 그룹을 적용한 CU의 예를 도시한다.
도 14는 모션 벡터 저장의 예를 도시한다.
도 15는 UMVE 검색 프로세스의 예이다.
도 16은 UMVE 검색 포인트의 예를 도시한다.
도 17은 인트라 블록 복제 도구의 동작 예시도이다.
도 18은 JEM에서의 2차 변환의 예를 도시한다.
도 19는 감소된 2차 변환(Reduced Secondary Transform; RST)의 예를 도시한다.
도 20은 개시된 기술이 구현될 수 있는 예시적인 비디오 처리 시스템의 블록도이다.
도 21은 예시적인 비디오 처리 장치의 블록도이다.
도 22는 비디오 처리의 예시적인 방법에 대한 흐름도이다.
도 23은 본 기술에 따른 비디오 처리 방법의 흐름도 표현이다.
도 24는 본 기술에 따른 비디오 처리를 위한 다른 방법의 흐름도 표현이다.
도 25는 본 기술에 따른 비디오 처리를 위한 다른 방법의 흐름도 표현이다.
도 26은 본 기술에 따른 비디오 처리를 위한 다른 방법의 흐름도 표현이다.
도 27은 본 기술에 따른 비디오 처리를 위한 다른 방법의 흐름도 표현이다.
도 28은 본 기술에 따른 비디오 처리를 위한 다른 방법의 흐름도 표현이다.
도 29는 본 기술에 따른 비디오 처리를 위한 또 다른 방법의 흐름도 표현이다.

개시된 기술의 실시예는 압축 성능을 개선하기 위해 기존의 비디오 코딩 표준(예를 들어, HEVC, H.265) 및 미래의 표준에 적용될 수 있다. 섹션 표제는 설명의 가독성을 개선하기 위해 본 문서에서 사용되며, 어떠한 방식으로도 논의 또는 실시예(및/또는 구현)를 개별 섹션으로만 제한하지 않는다.

1. 요약

이 문서는 비디오 코딩 기술에 관한 것이다. 구체적으로, 인트라 블록 복제(intra block copy; IBC, CPR(current picture referencing)라고도 알려짐) 코딩과 관련된다. 이는 HEVC와 같은 기존의 비디오 코딩 표준에 적용되거나, 완성될 표준(다기능 비디오 코딩(Versatile Video Coding))에 적용될 수 있다. 또한, 이는 미래의 비디오 코딩 표준이나 비디오 코덱에도 적용될 수 있다.

2. 배경

비디오 코딩 표준은 주로 잘 알려져 있는 ITU-T 및 ISO/IEC 표준의 개발을 통해서 진화되어 왔다. ITU-T는 H.261 및 H.263을 생성했고, ISO/IEC는 MPEG-1 및 MPEG-4 비쥬얼(Visual)을 생성했으며, 이러한 두 조직은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 AVC(Advanced Video Coding)과 H.265/HEVC 표준을 공동으로 생성했다. H.262 이후에, 비디오 코딩 표준은 시간적 예측뿐만 아니라 변환 코딩이 활용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC를 넘어서는 미래의 비디오 코딩 기술을 탐구하기 위하여, JVET(Joint Video Exploration Team)이 2015년에 VCEG 및 MPEG에 의해 공동으로 설립되었다. 그 이후에, 많은 새로운 방법이 JVET에 의해 채용되고, JEM(Joint Exploration Model)이라고 불리는 레퍼런스 소프트웨어에 추가되어 왔다. 2018년 4월, JVET(Joint Video Expert Team)이 VCEG (Q6/16) 및 ISO/IEC JTC1 SC29/WG11 (MPEG) 사이에서 생성되어, HEVC와 비교할 때 50%의 비트레이트 감소를 목표로 하는 VVC 표준을 위해 노력하고 있다.

2.1 HEVC/H.265에서의 인터 예측(Inter prediction)

인터-코딩된 코딩 유닛(CU)의 경우, 이것은 파티션 모드에 따라서 하나의 예측 유닛(PU) 또는 2개의 PU로 코딩될 수 있다. 각각의 인터-예측된 PU는 하나 또는 2개의 참조 픽처 리스트에 대한 모션 파라미터를 가진다. 모션 파라미터는 모션 벡터 및 참조 픽처 인덱스를 포함한다. 2개의 참조 픽처 리스트 중 하나의 사용은 inter_pred_idc를 사용해서 시그널링될 수도 있다. 모션 벡터는 예측자에 상대적인 델타(delta)로서 명시적으로 코딩될 수 있다.

CU가 스킵(skip) 모드로 코딩되는 경우, 하나의 PU가 해당 CU와 연관되고, 상당한 잔여 계수(residual coefficient), 코딩된 모션 벡터 델타 또는 참조 픽처 인덱스가 존재하지 않는다. 병합(merge) 모드가 특정되고, 이에 의해 현재 PU에 대한 모션 파라미터가 공간적 및 시간적 후보를 포함하는 이웃하는 PU으로부터 획득된다. 병합 모드는 스킵 모드에 대해서만 적용되는 것이 아니라, 임의의 인터-예측된 PU에도 적용될 수 있다. 병합 모드에 대한 대안은 모션 파라미터의 명시적 송신이고, 모션 벡터(더 정확하게는, 모션 벡터 예측자와 비교되는 모션 벡터 차이(motion vector difference; MVD)), 각각의 참조 픽처 리스트에 대한 대응하는 참조 픽처 인덱스 및 참조 픽처 리스트 사용이 각각의 PU마다 명시적으로 시그널링된다. 이러한 모드는 본 개시 내용에서 고급 모션 벡터 예측(Advanced motion vector prediction; AMVP)이라 불린다.

두 참조 픽처 리스트 중 하나가 사용될 것이라고 시그널링이 표시하면, PU가 하나의 샘플 블록으로부터 생성된다. 이것은 '단일 예측(uni-prediction)'이라 한다. 단일 예측은 P-슬라이스 및 B-슬라이스 모두에 대해서 이용 가능하다.

시그널링에 의하여 참조 픽처 리스트 모두가 사용될 것이 표시되면, PU는 두 샘플 블록으로부터 생성된다. 이것은 '양-예측(bi-prediction)'이라고 불린다. 양 예측은 B-슬라이스에 대해서만 이용 가능하다.

다음 텍스트는 HEVC에서 특정된 인터 예측 모드에 대한 세부 사항을 제공한다. 설명은 병합 모드(merge mode)로 시작될 것이다.

2.1.1 참조 픽처 리스트

HEVC에서는, 현재 디코딩된 픽처 이외의 참조 픽처의 데이터 요소(예를 들어, 샘플 값 또는 모션 벡터)로부터 유도된 예측을 나타내기 위하여 인터 예측이라는 용어가 사용된다. H.264/AVC에서와 같이, 다수의 참조 픽처로부터 하나의 픽처가 예측될 수 있다. 인터 예측을 위하여 사용되는 참조 픽처는 하나 이상의 참조 픽처 리스트 내에 조직화된다. 참조 인덱스는 리스트 내의 참조 픽처 중 어느 것이 예측 신호를 생성하기 위하여 사용되어야 하는지를 식별한다.

단일 참조 픽처 리스트인 리스트 0이 P 슬라이스에 대해서 사용되고, 2개의 참조 픽처 리스트인 리스트 0 및 리스트 1이 B 슬라이스에 대해서 사용된다. 리스트 0/1 내에 포함된 참조 픽처가 캡쳐/디스플레이 순서의 측면에서 과거 및 미래의 픽처로부터 온 것일 수 있다는 것에 주의해야 한다.

2.1.2 병합 모드

2.1.2.1. 병합 모드에 대한 후보의 유도

PU가 병합 모드를 사용하여 예측될 때, 병합 후보 리스트 내의 엔트리를 가리키는 인덱스는 비트스트림으로부터 파싱되고, 모션 정보를 검색하기 위하여 사용된다. 이러한 리스트의 구조는 HEVC 표준 내에 특정되고, 다음의 단계 시퀀스에 따라서 요약될 수 있다:

● 단계 1: 최초 후보 유도

○ 단계 1.1: 공간적 후보 유도

○ 단계 1.2: 공간적 후보에 대한 리던던시 검사

○ 단계 1.3: 시간적 후보 유도

● 단계 2: 추가 후보 삽입

○ 단계 2.1: 양 예측 후보의 생성

○ 단계 2.2: 제로 모션 후보의 삽입

또한, 이러한 단계들은 병합 후보 리스트 구조에 대한 위한 예시적인 유도 프로세스를 도시하는 도 1에서 개략적으로 도시된다. 공간적 병합 후보 유도를 위해서, 최대 네 개의 병합 후보가 다섯 개의 상이한 위치에 위치된 후보 중에서 선택된다. 시간적 병합 후보 유도를 위해서, 최대 하나의 병합 후보가 2개의 후보 중에서 선택된다. 각각의 PU에 대해서 일정한 개수의 후보가 디코더에서 가정되기 때문에, 단계 1로부터 획득된 후보의 개수가 슬라이스 헤더 내에서 시그널링되는 병합 후보의 최대 개수(MaxNumMergeCand)에 도달하지 않을 때 추가 후보가 생성된다. 후보의 개수가 일정하기 때문에, 최상의 병합 후보의 인덱스는 절단된 단항 이진화(truncated unary binarization; TU)를 사용하여 인코딩된다. CU의 크기가 8과 같으면, 현재 CU의 모든 PU는 2N×2N 예측 유닛의 병합 후보 리스트와 동일한 단일 병합 후보 리스트를 공유한다.

다음에서, 앞서 언급된 단계와 연관된 동작이 상세히 설명된다.

2.1.2.2 공간적 후보 유도

공간적 병합 후보의 유도에서, 최대 네 개의 병합 후보가 도 2에 도시되는 위치에 위치된 후보 중에서 선택된다. 유도의 순서는 A₁, B₁, B₀, A₀ 및 B₂이다. 위치 B₂는 위치 A₁, B₁, B₀, A₀의 임의의 PU가 이용 가능하지 않거나(예를 들어 이것이 다른 슬라이스 또는 타일에 속하기 때문에), 인트라 코딩될 때에만 고려된다. 위치 A₁에 있는 후보가 추가된 이후에, 잔여 후보를 추가하는 것은 리던던시 검사를 거치고, 이것은 동일한 모션 정보를 가지는 후보가 리스트로부터 제외됨으로써 코딩 효율이 개선되게 하는 것을 보장한다. 계산 복잡도를 낮추기 위해서, 가능한 후보 쌍 모두가 언급된 리던던시 검사에서 고려되는 것은 아니다. 대신에, 도 3에서 화살표와 연결된 쌍만이 고려되고, 후보는 리던던시 검사를 위해서 사용되는 대응하는 후보가 동일한 모션 정보를 가지지 않는 경우에만 리스트에 추가된다. 중복된 모션 정보의 다른 소스는 2Nx2N과 다른 파티션과 연관되는 "제2 PU"이다. 일례로서, 도 4는 N×2N 및 2N×N 각각의 경우에 대한 제2 PU를 도시한다. 현재 PU가 N×2N으로서 파티셔닝될 때, 위치 A₁에 있는 후보는 리스트 구조에 대해서 고려되지 않는다. 사실상, 이러한 후보를 추가하면 2개의 예측 유닛이 동일한 모션 정보를 가지는 결과가 초래될 것이고, 이것은 하나의 코딩 유닛 내에 하나의 PU만을 가지는 것에 비해서 중복이 된다. 유사하게, 위치 B1은 현재 PU가 2N×N으로서 파티셔닝될 때 고려되지 않는다.

2.1.2.3 시간적 후보 유도

이 단계에서, 하나의 후보만이 리스트에 추가된다. 특히, 이러한 시간적 병합 후보의 유도에서, 스케일링된 모션 벡터가 동일 위치에 있는(co-located) 픽처 내의 동일 위치에 있는 PU에 기초하여 유도된다. 도 5는 시간적 병합 후보에 대한 모션 벡터 스케일링의 예시도이다. 시간적 병합 후보에 대한 스케일링된 모션 벡터는 도 5에서 점선으로 도시된 바와 같이 획득되고, 이것은 동일 위치에 있는 PU의 모션 벡터로부터 POC 거리인 tb 및 td를 사용하여 스케일링되며, 여기에서 tb는 현재 픽처의 참조 픽처 및 현재 픽처 사이의 POC 차이인 것으로 정의되고, td는 동일 위치에 있는 픽처의 참조 픽처 및 동일 위치에 있는 픽처 사이의 POC 차이인 것으로 정의된다. 시간적 병합 후보의 참조 픽처 인덱스는 제로와 같도록 설정된다. 스케일링 프로세스의 실제 구현예가 HEVC 사양[1]에 기술된다. B-슬라이스에 대하여, 하나는 참조 픽처 리스트 0에 대한 것이고 다른 하나는 참조 픽처 리스트 1에 대한 것인 2개의 모션 벡터가 획득되고 결합되어 양-예측(bi-predictive) 병합 후보를 생성한다.

2.1.2.4 동일 위치에 있는(colocated) 픽처 및 동일 위치에 있는 PU

TMVP가 인에이블되면(예를 들어, slice_temporal_mvp_enabled_flag이 1과 같으면), 동일 위치에 있는 픽처를 나타내는 변수 ColPic는 다음과 같이 유도된다:

- 현재 슬라이스가 B 슬라이스이고 시그널링된 collocated_from_l0_flag가 0과 같으면, ColPic는 RefPicList1[collocated_ref_idx]와 같게 설정된다.

- 그렇지 않은 경우(slice_type가 B와 같고 collocated_from_l0_flag가 1과 같거나, slice_type이 P와 같으면), ColPic은 RefPicList0[collocated_ref_idx]와 같게 설정된다.

여기서 collocated_ref_idx 및 collocated_from_l0_flag는 슬라이스 헤더에서 시그널링 될 수 있는 2개의 신택스 요소이다.

참조 프레임에 속하는 동일 위치에 배치 PU (Y)에서, 시간적 후보에 대한 위치는 도 6에 도시된 바와 같이 후보 C₀ 및 C₁ 사이에서 선택된다. 위치 C₀의 PU가 사용 가능하지 않거나, 인트라 코딩되거나, 현재 코딩 트리 유닛(coded tree unit; CTU, 최대 코딩 유닛(largest coding unit; LCU)라고도 알려짐) 행(row)의 외부에 존재하면, 위치 C₁가 사용된다. 그 외의 경우, 위치 C₀는 시간적 병합 후보의 유도에서 사용된다.

관련된 신택스 요소는 다음과 같이 설명된다:

7.3.6.1 일반 슬라이스 세그먼트 헤더 신택스

slice_segment_header() {	디스크립터
first_slice_segment_in_pic_flag	u(1)
…
if(slice_type == P || slice_type == B) {
num_ref_idx_active_override_flag	u(1)
if(num_ref_idx_active_override_flag) {
num_ref_idx_l0_active_minus1	ue(v)
if(slice_type == B)
num_ref_idx_l1_active_minus1	ue(v)
}
…
if(slice_temporal_mvp_enabled_flag) {
if(slice_type == B)
collocated_from_l0_flag	u(1)
if((collocated_from_l0_flag && num_ref_idx_l0_active_minus1 > 0) || (!collocated_from_l0_flag && num_ref_idx_l1_active_minus1 > 0))
collocated_ref_idx	ue(v)
}
…
byte_alignment()
}

2.1.2.5 TMVP 후보에 대한 MV 유도

일부 실시예에서, 다음의 단계들이 TMVP 후보를 유도하기 위해 수행된다:

1) 참조 픽처 리스트 X = 0으로 설정하고, 리스트 X에서 인덱스가 0과 같은 참조 픽처(예를 들어, curr_ref)를 대상 참조 픽처로 설정한다. curr_ref를 가리키는 리스트 X에 대한 MV를 획득하기 위해 동일 위치에 있는 모션 벡터에 대한 유도 프로세스를 호출한다.

2) 현재 슬라이스가 B 슬라이스이면, 참조 픽처 리스트 X = 1으로 설정하고, 리스트 X에서 인덱스가 1(예를 들어, curr_ref)인 참조 픽처를 대상 참조 픽처로 설정한다. curr_ref를 가리키는 리스트 X에 대한 MV를 획득하기 위해 동일 위치에 있는 모션 벡터에 대한 유도 프로세스를 호출한다.

동일 위치에 있는 모션 벡터에 대한 유도 프로세스는 다음 서브 섹션 2.1.2.5.1에서 설명된다.

2.1.2.5.1 동일 위치에 있는 모션 벡터에 대한 유도 프로세스

동일 위치에 있는 블록의 경우, 단일 예측 또는 양 예측으로 인트라 코딩 또는 인터 코딩될 수 있다. 인트라 코딩되는 경우에는, TMVP 후보는 사용 가능하지 않은 것으로 설정된다.

이것이 리스트 A에 대한 단일 예측이라면, 리스트 A의 모션 벡터는 대상 참조 픽처 리스트 X로 스케일링된다.

이것이 양 예측이고 대상 참조 픽처 리스트가 X라면, 리스트 A의 모션 벡터는 대상 참조 픽처 리스트 X로 스케일링되고, A는 다음의 규칙에 따라 결정된다.

- 참조 픽처 중 어느 것도 현재 픽처에 비해 더 큰 POC 값을 갖지 않는다면, A는 X와 동일하게 설정된다.

- 그렇지 않은 경우, A는 collocated_from_l0_flag와 동일하게 설정된다.

2.1.2.6 추가 후보 삽입

공간적 병합 후보 및 시간적 병합 후보 외에도, 두 가지 추가적인 유형의 병합 후보, 즉 조합된 양 예측 병합 후보와 제로 병합 후보가 있다. 조합된 양 예측 병합 후보는 공간적 병합 후보 및 시간적 병합 후보를 활용하여 생성된다. 조합된 양 예측 병합 후보는 B-슬라이스에만 사용된다. 조합된 양 예측 후보는 최초 후보의 제1 참조 픽처 리스트 모션 파라미터를 다른 후보의 제2 참조 픽처 리스트 모션 파라미터와 조합시키는 것에 의해 생성된다. 이 2개의 튜플(tuple)이 상이한 모션 가설을 제공한다면, 이들은 새로운 양 예측 후보를 형성할 것이다. 일례로서, 도 7은 mvL0과 refIdxL0 또는 mvL1과 refIdxL1을 갖는 원래 리스트(original list)(왼쪽) 내의 2개의 후보가 최종 리스트(오른쪽)에 추가되는 조합된 양 예측 병합 후보를 생성하는 데 사용되는 경우를 묘사한다. 이러한 추가적인 병합 후보를 생성하기 위해 고려되는 조합에 관한 수많은 규칙이 있다.

병합 후보 리스트 내의 나머지 엔트리를 채우기 위해 제로 모션 후보가 삽입되고, 따라서 MaxNumMergeCand 용량에 도달한다. 이러한 후보는 제로 공간적 변위와, 0부터 시작하여 새로운 제로 모션 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스를 갖는다. 마지막으로, 이러한 후보에 대해서는 리던던시 검사는 수행되지 않는다.

2.1.3 AMVP(Advanced Motion Vector Prediction)

AMVP는, 모션 파라미터의 명시적 송신에 사용되는 이웃 PU1과의 모션 벡터의 시공간적 상관 관계를 활용한다. 각각의 참조 픽처 리스트에 대해, 왼쪽 위쪽의 시간적으로 이웃하는 PU 위치의 이용 가능성을 먼저 검사하고, 중복 후보를 제거하고, 제로 벡터를 추가하여 후보 리스트를 일정한 길이로 만드는 것에 의해 모션 벡터 후보 리스트가 구성된다. 이어서, 인코더는 후보 리스트로부터 최상의 예측자를 선택하고 선택된 후보를 나타내는 대응하는 인덱스를 송신할 수 있다. 병합 인덱스 시그널링과 유사하게, 최상의 모션 벡터 후보의 인덱스는 절단된 단항(truncated unary)을 사용하여 인코딩된다. 이 경우에 인코딩될 최대값은 2이다(도 8 참조). 이하의 섹션들에서는, 모션 벡터 예측 후보의 유도 프로세스에 관한 세부 사항이 제공된다.

2.1.3.1 AMVP 후보의 유도

도 8은 모션 벡터 예측 후보에 대한 유도 프로세스를 요약한다.

모션 벡터 예측에서, 두 가지 유형의 모션 벡터 후보인, 공간적 모션 벡터 후보 및 시간적 모션 벡터 후보가 고려된다. 공간적 모션 벡터 후보 유도의 경우, 도 2에 도시된 바와 같이 5개의 상이한 위치에 위치되는 각각의 PU의 모션 벡터에 기초하여 2개의 모션 벡터 후보가 최종적으로 유도된다.

시간적 모션 벡터 후보 유도의 경우, 2개의 상이한 병치된 위치에 기초하여 유도되는 2개의 후보 중 최대 하나의 모션 벡터 후보가 선택된다. 제1 시공간적 후보 리스트가 만들어진 후에, 리스트 내의 중복된 모션 벡터 후보이 제거된다. 잠재적 후보의 개수가 2보다 크다면, 연관된 참조 픽처 리스트 내의 참조 픽처 인덱스가 1보다 큰 모션 벡터 후보가 리스트로부터 제거된다. 시공간적 모션 벡터 후보의 개수가 2보다 작은 경우, 추가적인 제로 모션 벡터 후보가 리스트에 추가된다.

2.1.3.2 공간적 모션 벡터 후보

공간적 모션 벡터 후보의 유도에서, 도 2에 도시된 바와 같은 위치에 위치되는 PU부터 유도되는 5개의 잠재적 후보 중 최대 2개의 후보가 고려되며, 이러한 위치는 모션 병합의 위치와 동일하다. 현재 PU의 왼쪽에 대한 유도 순서는 A₀, A_1, 및 스케일링된 A₀, 스케일링된 A₁로서 정의된다. 현재 PU의 위쪽에 대한 유도 순서는 B₀, B₁, B₂, 스케일링된 B₀, 스케일링된 B₁, 스케일링된 B₂로서 정의된다. 따라서 각각의 측면에 대해, 모션 벡터 후보로서 사용될 수 있는 4개의 경우가 있으며, 2개의 경우는 공간적 스케일링을 사용할 필요가 없고, 2개의 경우는 공간적 스케일링이 사용된다. 4개의 상이한 경우는 다음과 같이 요약된다.

● 공간적 스케일링 없음

- (1) 동일한 참조 픽처 리스트 및 동일한 참조 픽처 인덱스(동일한 POC)

- (2) 상이한 참조 픽처 리스트 및 동일한 참조 픽처(동일한 POC)

● 공간적 스케일링

- (3) 동일한 참조 픽처 리스트 및 상이한 참조 픽처(상이한 POC)

- (4) 상이한 참조 픽처 리스트 및 상이한 참조 픽처(상이한 POC)

공간적 스케일링이 없는 경우가 먼저 검사된 후 공간적 스케일링이 검사된다. 참조 픽처 리스트에 관계없이 이웃 PU의 참조 픽처와 현재 PU의 참조 픽처 사이에 POC가 상이할 때 공간적 스케일링이 고려된다. 왼쪽 후보의 모든 PU가 이용 가능하지는 않거나 인트라 코딩된 경우, 왼쪽 및 위쪽 MV 후보의 병렬 유도를 돕기 위해 위쪽 모션 벡터에 대한 스케일링이 허용된다. 그렇지 않은 경우, 공간적 스케일링은 위쪽 모션 벡터에 대해 허용되지 않는다.

공간적 스케일링 프로세스에서, 이웃 PU의 모션 벡터는, 도 9에 도시된 바와 같이, 시간적 스케일링에 대해서와 유사한 방식으로 스케일링된다. 주요 차이점은 현재 PU의 참조 픽처 리스트 및 인덱스가 입력으로서 주어진다는 것이고; 실제 스케일링 프로세스는 시간적 스케일링 프로세스와 동일하다.

2.1.3.3 시간적 모션 벡터 후보

참조 픽처 인덱스 유도를 제외하고, 시간적 병합 후보의 유도를 위한 모든 프로세스는 공간적 모션 벡터 후보의 유도에 대해서와 동일하다(도 6 참조). 참조 픽처 인덱스는 디코더에 시그널링된다.

2.2 VVC에서의 인터 예측 방법

MVD를 시그널링하기 위한 AMVR(Adaptive Motion Vector difference Resolution), MMVD(Merge with Motion Vector Differences), TPM(Triangular prediction mode), CIIP(Combined intra-inter prediction), ATMVP(Advanced TMVP, SbTMVP라고도 함, 아핀 예측 모드, GBI(Generalized Bi-Prediction), DMVR(Decoder-side Motion Vector Refinement) 및 BOB(Bi-directional Optical flow, BDOF라고도 함)과 같은, 인터 예측 개선을 위한 여러 새로운 코딩 도구가 있다.

VVC에서 지원되는 2가지 상이한 병합 리스트 구성 프로세스가 있다:

1) 서브 블록 병합 후보 리스트: 이는 ATMVP 및 아핀 병합 후보를 포함한다. 하나의 병합 리스트 구성 프로세스가 아핀 모드 및 ATMVP 모드 모두에 대해 공유된다. 여기서, ATMVP와 아핀 병합 후보는 순서대로 추가될 수 있다. 서브 블록 병합 리스트 크기는 슬라이스 헤더에서 시그널링되고, 최대값은 5이다.

2) 일반 병합 리스트: 인터 코딩된 블록의 경우, 하나의 병합 리스트 구성 프로세스가 공유된다. 여기서, 공간/시간적 병합 후보, HMVP, 쌍별 병합 후보 및 제로 모션 후보가 순서대로 삽입될 수 있다. 일반 병합 리스트 크기는 슬라이스 헤더에서 시그널링되고, 최대값은 6이다. MMVD, TPM, CIIP는 일반 병합 리스트에 의존한다.

유사하게, VVC에서 지원되는 3가지 AMVP 리스트가 있다:

1) 아핀 AMVP 후보 리스트

2) 일반 AMVP 후보 리스트

2.2.1 VVC에서의 코딩 블록 구조

VVC에서, QT/BT/TT(Quad-Tree/Binary Tree/Ternary-Tree) 구조가 픽처를 정사각형 또는 직사각형 블록으로 분할하기 위해 채택된다.

QT/BT/TT 외에, 별도의 트리(이중 코딩 트리라고도 함)가 또한 I-프레임을 위해 VVC에서 채택된다. 별도의 트리를 사용하여, 코딩 블록 구조가 루마(luma) 및 크로마(chroma) 성분에 대해 별도로 시그널링된다.

추가적으로, (PU가 TU와 같지만 CU보다 작은 인트라 서브-파티션 예측 및 PU가 CU와 같지만 TU가 PU보다 작은 인터 코딩된 블록에 대한 서브 블록 변환과 같은) 몇 가지 특정 코딩 방법으로 코딩된 블록을 제외하고, CU는 PU 및 TU와 같게 설정된다.

2.2.2 전체 블록에 대한 MERGE

2.2.2.1 병진 일반 병합 모드의 병합 리스트 구성

2.2.2.1.1 히스토리 기반 모션 벡터 예측(history-based motion vector prediction; HMVP)

병합 리스트 설계와 달리, VVC에서, 히스토리 기반 모션 벡터 예측(HMVP) 방법이 이용된다.

HMVP에서, 이전에 코딩된 모션 정보가 저장된다. 이전에 코딩된 블록의 모션 정보는 HMVP 후보로서 정의된다. 다수의 HMVP 후보가 HMVP 테이블이라는 테이블에 저장되며, 이 테이블은 인코딩/디코딩 프로세스 동안 즉시(on-the-fly) 유지된다. 새로운 타일/LCU 행/슬라이스를 코딩/디코딩하기 시작할 때 HMVP 테이블은 비워진다. 인터 코딩된 블록 및 비-서브 블록, 비-TPM 모드가 있을 때마다, 연관된 모션 정보가 새로운 HMVP 후보로서 테이블의 마지막 엔트리에 추가된다. 전체적인 코딩 흐름은 도 10에 도시된다.

2.2.2.1.2 일반 병합 리스트 구성 프로세스

(병진 모션에 대한) 일반 병합 리스트의 구성은 다음의 단계 시퀀스에 따라서 요약될 수 있다:

단계 1: 공간적 후보의 유도

단계 2: HMVP 후보의 삽입

단계 3: 쌍별 평균 후보의 삽입

단계 4: 디폴트 모션 후보

HMVP 후보는 AMVP 및 병합 후보 리스트 구성 프로세스 모두에서 사용될 수 있다. 도 11은 수정된 병합 후보 리스트 구성 프로세스(파란색으로 강조됨)를 묘사한다. TMVP 후보 삽입 후에 병합 후보 리스트가 채워지지 않을 때, HMVP 테이블에 저장된 HMVP 후보가 병합 후보 리스트를 채우는 데 활용될 수 있다. 하나의 블록이 일반적으로 모션 정보의 측면에서 가장 가까운 이웃 블록과 더욱 높은 상관 관계를 갖는다는 것을 고려하여, 테이블에서의 HMVP 후보가 인덱스의 내림차순으로 삽입된다. 테이블에서의 마지막 엔트리가 맨 먼저 리스트에 추가되는 반면, 첫 번째 엔트리는 마지막에 추가된다. 유사하게, 리던던시 제거가 HMVP 후보에 적용된다. 이용 가능한 병합 후보의 전체 개수가 시그널링되도록 허용된 병합 후보의 최대 개수에 일단 도달하면, 병합 후보 리스트 구성 프로세스가 종료된다.

모든 공간/시간/HMVP 후보가 비-IBC 모드로 코딩되어야 한다는 것에 유의한다. 그렇지 않은 경우, 이는 일반 병합 후보 리스트에 추가되도록 허용되지 않는다.

HMVP 테이블은 최대 5개의 일반 모션 후보를 포함하며, 이의 각각은 고유하다.

2.2.2.1.2.1 프루닝(pruning) 프로세스

리던던시 검사에 사용되는 대응하는 후보가 동일한 모션 정보를 갖지 않는 경우에만 후보가 리스트에 추가된다. 이러한 비교 프로세스가 프루닝 프로세스라고 불린다.

공간적 후보 사이의 프루닝 프로세스는 현재 블록에 대한 TPM의 사용에 의존한다.

현재 블록이 TPM 모드(예를 들면, 일반 병합, MMVD, CIIP)를 사용하지 않고 코딩될 때, 공간적 병합 후보에 대한 HEVC 프루닝 프로세스(즉, 5 프루닝(five pruning))가 활용된다.

2.2.3 삼각형 예측 모드(Triangular Prediction mode; TPM)

VVC에서, 삼각형 파티션 모드가 인터 예측을 위해 지원된다. 삼각형 파티션 모드는, 8x8 이상이고 병합 모드로 코딩되지만 MMVD 또는 CIIP 모드로 코딩되지 않은, CU에만 적용된다. 이러한 조건을 충족하는 CU의 경우, CU 레벨 플래그가 삼각형 파티션 모드가 적용되는지 여부를 나타내기 위해 시그널링된다.

이 모드가 사용될 때, CU는, 도 11에 도시된 바와 같이, 대각선 분할 또는 반대각선 분할을 사용하여 2개의 삼각형 형상 파티션으로 균등하게 분할된다. CU에서의 각각의 삼각형 파티션은 자신의 모션을 사용하여 인터 예측되고; 각각의 파티션에 대해 단일 예측만이 허용된다 - 즉, 각각의 파티션은 하나의 모션 벡터와 하나의 참조 인덱스를 갖는다. 종래의 양 예측과 동일하게, 각각의 CU에 대해 단지 2개의 모션 보상된 예측이 필요하다는 것을 보장하기 위해 단일 예측 모션 제약이 적용된다.

도 12는 삼각형 파티션 기반 인터 예측의 예를 도시한다.

CU 레벨 플래그가 현재 CU가 삼각형 파티션 모드를 사용하여 코딩된다는 것을 나타내면, 삼각형 파티션(대각선 또는 역대각선)의 방향을 나타내는 플래그 및 2개의 병합 인덱스(각각의 파티션에 대해 하나씩)가 더 시그널링된다. 각각의 삼각형 파티션을 예측한 후에, 대각선 또는 역대각선 에지를 따라 있는 샘플 값이 적응적 가중치(adaptive weight)를 갖는 블렌딩 처리(blending processing)를 사용하여 조정된다. 이것은 전체 CU에 대한 예측 신호이며, 변환 및 양자화 프로세스가 다른 예측 모드에서와 같이 전체 CU에 적용될 것이다. 마지막으로, 삼각형 파티션 모드를 사용하여 예측되는 CU의 모션 필드는 4x4 유닛으로 저장된다.

일반 병합 후보 리스트는 추가의 모션 벡터 프루닝 없이 삼각형 파티션 병합 예측에 재사용된다. 일반 병합 후보 리스트에서의 각각의 병합 후보에 대해, 이의 L0 또는 L1 모션 벡터 중 하나 그리고 단지 하나만이 삼각형 예측에 사용된다. 추가적으로, L1에 대해 L0- 모션 벡터를 선택하는 순서는 이의 병합 인덱스 패리티(parity)에 기초한다. 이 스킴을 이용하여, 일반 병합 리스트가 직접 사용될 수 있다.

2.2.3.1 TPM에 대한 병합 리스트 구성 프로세스

기본적으로, 일부 수정 사항이 추가된 일반 병합 리스트 구성 프로세스가 적용된다. 구체적으로, 다음이 적용된다:

(1) 프루닝 프로세스를 어떻게 수행할지는 현재 블록에 대한 TPM의 사용에 의존한다.

- 현재 블록이 TPM으로 코딩되지 않으면, 공간적 병합 후보에 적용되는 HEVC 5 프루닝이 호출된다.

- 그렇지 않은 경우(현재 블록이 TPM으로 코딩되는 경우), 새로운 공간적 병합 후보를 추가할 때 전체 프루닝(full pruning)이 적용된다. 즉, B1은 A1과 비교되고; B0은 A1 및 B1과 비교되며; A0은 A1, B1 및 B0과 비교되고; B2는 A1, B1, A0 및 B0과 비교된다.

(2) B2로부터의 모션 정보를 검사할지 여부에 대한 조건은 현재 블록에 대한 TPM의 사용에 의존한다.

- 현재 블록이 TPM으로 코딩되지 않은 경우, B2를 검사하기 전에 4 개 미만의 공간적 병합 후보가 있을 때에만 B2가 액세스되어 검사된다.

- 그 외의 경우(현재 블록이 TPM으로 코딩되는 경우), B2를 추가하기 전에 이용 가능한 공간적 병합 후보가 몇 개인지에 관계없이 B2가 항상 액세스되어 검사된다.

2.2.3.2 적응적 가중 프로세스

각각의 삼각형 예측 유닛을 예측한 후에, 전체 CU에 대한 최종 예측을 유도하기 위해 적응적 가중 프로세스가 2개의 삼각형 예측 유닛 사이의 대각선 에지에 적용된다. 2개의 가중 인자 그룹이 다음과 같이 정의된다:

제1 가중 인자 그룹: {7/8, 6/8, 4/8, 2/8, 1/8} 및 {7/8, 4/8, 1/8}이 각각 루미넌스(luminance) 및 크로미넌스(chrominance) 샘플에 사용된다.

제2 가중 인자 그룹: {7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8} 및 {6/8, 4/8, 2/8}이 각각 루미넌스 및 크로미넌스 샘플에 사용된다.

가중 인자 그룹은 2개의 삼각형 예측 유닛의 모션 벡터의 비교에 기초하여 선택된다. 제2 가중 인자 그룹은 다음의 조건 중 임의의 하나가 참일 때 사용된다:

- 2개의 삼각 예측 유닛의 참조 픽처가 서로 상이하다.

- 2개의 모션 벡터의 수평 값의 차이의 절대값이 16 픽셀보다 크다.

- 2개의 모션 벡터의 수직 값의 차이의 절대값이 16 픽셀보다 크다.

그 외의 경우, 제1 가중 인자 그룹이 사용된다. 예는 도 13에 도시된다.

2.2.3.3 모션 벡터 저장

삼각 예측 유닛의 모션 벡터(도 14에서의 Mv1 및 Mv2)는 4x4 격자에 저장된다. 각각의 4x4 격자에 대해, CU에서의 4x4 격자의 위치에 따라 단일 예측 또는 양 예측 모션 벡터가 저장된다. 도 14에 도시된 바와 같이, 가중되지 않은 영역(non-weighted area)에 위치된(즉, 대각선 에지에 위치되지 않은) 4x4 격자에 대해서는 단일 예측 모션 벡터(Mv1 또는 Mv2)가 저장된다. 한편, 가중된 영역(weighted area)에 위치되는 4x4 격자에 대해서는 양 예측 모션 벡터가 저장된다. 양 예측 모션 벡터는 다음의 규칙에 따라 Mv1 및 Mv2로부터 유도된다:

(1) Mv1과 Mv2가 상이한 방향(L0 또는 L1)으로부터의 모션 벡터를 가지는 경우에, Mv1과 Mv2는 단순히 결합되어 양 예측 모션 벡터를 형성한다.

(2) Mv1과 Mv2 모두가 동일한 L0(또는 L1) 방향으로부터의 것인 경우에,

- Mv2의 참조 픽처가 L1(또는 L0) 참조 픽처 리스트에 있는 픽처와 동일한 경우, Mv2가 픽처로 스케일링된다. Mv1 및 스케일링된 Mv2가 결합되어 양 예측 모션 벡터를 형성한다.

- Mv1의 참조 픽처가 L1(또는 L0) 참조 픽처 리스트에 있는 픽처와 동일한 경우, Mv1가 픽처로 스케일링된다. 스케일링된 Mv1 및 Mv2가 결합되어 양 예측 모션 벡터를 형성한다.

- 그렇지 않은 경우, 가중된 영역에 대해 Mv1만이 저장된다.

2.2.4 MMVD(Merge with Motion Vector Difference)

일부 실시예에서, 제안된 모션 벡터 표현 방법을 이용한 스킵 또는 병합 모드에 대하여 UMVE(ultimate motion vector expression, MMVD로도 알려짐)가 사용된다.

UMVE는 VVC에서의 일반 병합 후보 리스트 내에 포함된 것과 동일한 병합 후보를 재사용한다. 병합 후보 중에서 베이스 후보가 선택될 수 있고, 제안된 모션 벡터 표현 방법에 의해서 추가적으로 확대된다.

UMVE는 새로운 모션 벡터 차이(MVD) 표현 방법을 제공하고, 여기에서 시작점, 모션 크기 및 모션 방향이 MVD를 나타내기 위하여 사용된다.

도 15는 UMVE 검색 프로세스의 예이다.

도 16은 UMVE 검색 포인트의 예를 도시한다.

이 기술은 병합 후보 리스트를 있는 그대로 사용한다. 그러나 디폴트 병합 유형(MRG_TYPE_DEFAULT_N)인 후보만이 UMVE의 확장을 위해 고려된다.

베이스 후보 인덱스는 시작점을 정의한다. 베이스 후보 인덱스는 리스트 내의 후보 중 최상의 후보를 다음과 같이 표시한다.

테이블 4. 베이스 후보 IDX

베이스 후보 IDX	0	1	2	3
N번째 MVP	제1 MVP	제2 MVP	제3 MVP	제4 MVP

베이스 후보의 개수가 1과 같으면, 베이스 후보 IDX는 시그널링되지 않는다.

거리 인덱스는 모션 크기 정보이다. 거리 인덱스는 시작점 정보로부터의 미리 정의된 거리를 표시한다. 미리 정의된 거리는 다음과 같다:

테이블 5. 거리 IDX

거리 IDX	0	1	2	3	4	5	6	7
픽셀 거리	1/4-픽셀	1/2-픽셀	1-픽셀	2-픽셀	4-픽셀	8-픽셀	16-픽셀	32-픽셀

방향 인덱스는 시작점에 대한 MVD의 방향을 나타낸다. 방향 인덱스는 아래 표시된 바와 같은 4개의 방향을 표시할 수 있다.

테이블 6. 방향 IDX

방향 IDX	00	01	10	11
x-축	+	-	N/A	N/A
y-축	N/A	N/A	+	-

UMVE 플래그는 스킵 플래그 또는 병합 플래그를 전송한 직후에 시그널링된다. 스킵 또는 병합 플래그가 참이면, UMVE 플래그는 파싱된다. UMVE 플래그가 1과 같으면, UMVE 신택스가 파싱된다. 그러나, 1이 아니면, AFFINE 플래그가 파싱된다. AFFINE 플래그가 1과 같으면, 그것은 AFFINE 모드이다. 그러나, 1이 아니면, 스킵/병합 인덱스가 VTM의 스킵/병합 모드에 대해서 파싱된다.

UMVE 후보에 기인한 추가적인 라인 버퍼가 필요하지 않다. 그 이유는 소프트웨어의 스킵/병합 후보가 베이스 후보로서 직접적으로 사용되기 때문이다. 입력 UMVE 인덱스를 사용하면, MV에 대한 보충(supplement)이 모션 보상 직후에 판정된다. 이것을 위해서 긴 라인 버퍼를 유지할 필요가 없다.

현재 공통 테스트 조건에서, 병합 후보 리스트 내의 제1 또는 제2 병합 후보 중 어느 하나가 베이스 후보로서 선택될 수 있다.

UMVE는 MMVD(Merge with MV Difference)라고도 알려져 있다.

2.2.5 서브 블록 기반 기술에 대한 MERGE

일부 실시예에서, 모든 서브 블록 관련 모션 후보가 비-서브 블록 병합 후보에 대한 일반 병합 리스트에 추가되어 별개의 병합 리스트 내에 포함된다.

서브 블록 관련 모션 후보는 '서브 블록 병합 후보 리스트(sub-block merge candidate list)'라고 불리는 별개의 병합 리스트에 포함된다.

일례에서, 서브 블록 병합 후보 리스트는 ATMVP 후보 및 아핀 병합 후보를 포함한다.

서브 블록 병합 후보 리스트는 다음 순서의 후보로 채워진다:

a. ATMVP 후보(사용 가능하거나 사용 불가능할 수 있음);

b. 아핀 병합 리스트(상속된 아핀 후보; 및 구성된 아핀 후보를 포함함)

c. 제로 MV 4-파라미터 아핀 모델로서의 패딩(padding)

2.2.5.1 ATMVP(Advanced Temporal Motion Vector Predictor)(SbTMVP(Sub-block Temporal Motion Vector Predictor)라고도 알려짐)

ATMVP의 기본적인 아이디어는 하나의 블록에 대하여 다수의 세트의 시간적 모션 벡터 예측자를 유도하는 것이다. 각각의 서브 블록에는 한 세트의 모션 정보가 할당된다. ATMVP 병합 후보가 생성될 때, 모션 보상이 전체 블록 레벨 대신에 8x8 레벨에서 수행된다.

현재 설계에서, ATMVP는 다음의 2개의 서브 섹션, 2.2.5.1.1 및 2.2.5.1.2에서 각각 설명되는 2개의 단계에서 CU 내의 서브 CU의 모션 벡터를 예측한다.

2.2.5.1.1 초기화된 모션 벡터의 유도

초기화된 모션 벡터를 tempMv로 나타낸다. 블록 A1이 사용 가능하고 인트라 코딩되지 않을 때(예를 들어, 인터 모드 또는 IBC 모드로 코딩됨), 초기화된 모션 벡터를 유도하기 위해 다음이 적용된다.

- 다음의 모든 조건이 참이면, tempMv는 mvL1A₁로 표시되는 리스트 1로부터의 블록 A1의 모션 벡터와 같게 설정된다:

- 리스트 1의 참조 픽처 인덱스가 사용 가능하고(-1과 같지 않고), 동일 위치에 있는 픽처와 동일한 POC 값을 갖고(예를 들어, DiffPicOrderCnt(ColPic, RefPicList[1][refIdxL1A₁])는 0과 같다),

- 모든 참조 픽처는 현재 픽처와 비교하여 더 큰 POC를 갖지 않고(예를 들어, 현재 슬라이스의 모든 참조 픽처 리스트 내의 모든 픽처 aPic에 대해 DiffPicOrderCnt(aPic, currPic)이 0 이하이다),

- 현재 슬라이스는 B 슬라이스와 같고,

- collocated_from_l0_flag 는 0과 같다.

- 그렇지 않은 경우, 다음의 모든 조건이 참이면, tempMv는 mvL0A₁로 표시되는 리스트 0으로부터의 블록 A1의 모션 벡터와 동일하게 설정된다:

- 리스트 0의 참조 픽처 인덱스가 사용 가능하고(-1과 같지 않고),

- 동일 위치에 있는 픽처와 동일한 POC 값을 가진다(예를 들어, DiffPicOrderCnt(ColPic, RefPicList[0][refIdxL0A₁])이 0과 같다).

- 그렇지 않은 경우, 제로 모션 벡터가 초기화된 MV로 사용된다.

대응 블록(현재 블록의 중심 위치에 라운딩된 MV를 더한 상태에서 필요에 따라 특정 범위에 있도록 클리핑됨)은 초기화된 모션 벡터와 함께 슬라이스 헤더에서 시그널링된 동일 위치에 있는 픽처에서 식별된다.

블록이 인터 코딩되면, 제2 단계로 이동한다. 그렇지 않은 경우, ATMVP 후보는 사용 가능하지 않은 것으로 설정된다.

2.2.5.1.2 서브 CU 모션 유도

제2 단계는 현재 CU를 서브 CU로 분할하고, 동일 위치에 있는 픽처에서 각 서브 CU에 대응하는 블록으로부터 각각의 서브 CU의 모션 정보를 획득하는 것이다.

서브 CU에 대한 대응 블록이 인터 모드로 코딩되면, 모션 정보는 기존의 TMVP 프로세스와 다르지 않은 동일 위치에 있는 MV에 대한 유도 프로세스를 호출함으로써 현재 서브 CU의 최종 모션 정보를 유도하는 데 활용된다. 기본적으로, 대응하는 블록이 단일 예측 또는 양 예측을 위해 대상 리스트 X로부터 예측되면, 모션 벡터가 활용된다; 그렇지 않으면, 이것이 단일 또는 양 예측을 위해 리스트 Y(Y=1-X)로부터 예측되고 NoBackwardPredFlag이 1이면, 리스트 Y에 대한 MV가 활용된다. 그렇지 않으면, 모션 후보가 찾아질 수 없다.

초기화된 MV 및 현재 서브 CU의 위치에 의해 식별된 동일 위치에 있는 픽처의 블록이 인트라 또는 IBC 코딩되거나, 위에서 설명된 바와 같이 모션 후보가 찾아질 수 없다면, 다음이 추가로 적용된다:

동일 위치에 있는 픽처 R_col내의 모션 필드를 페치(fetch)하는 데 사용되는 모션 벡터는 MV_col로 나타낸다. MV 스케일링으로 인한 영향을 최소화하기 위해, MV_col를 유도하는 데 사용되는 공간적 후보 리스트 내의 MV는 다음과 같은 방식으로 선택된다: 후보 MV의 참조 픽처가 동일 위치에 있는 픽처인 경우, 어떠한 스케일링 없이 이 MV가 선택되어 MV_col로 사용된다. 그렇지 않으면, 동일 위치에 있는 픽처에 가장 가까운 참조 픽처를 갖는 MV가 스케일링을 통해 MV_col를 유도하기 위해 선택된다.

일부 실시예에서 동일 위치에 있는 모션 벡터 유도 프로세스에 대한 관련된 디코딩 프로세스는 다음과 같이 설명된다:

8.5.2.12 동일 위치에 있는 모션 벡터에 대한 유도 프로세스

이 프로세스에 대한 입력은 다음과 같다:

- 현재 코딩 블록을 특정하는 변수 currCb,

- ColPic에 의해 특정되는 동일 위치에 있는 픽처 내의 동일 위치에 있는 코딩 블록을 특정하는 변수 colCb,

- ColPic에 의해 특정되는 동일 위치에 있는 픽처의 왼쪽 상단 루마 샘플에 대해 colCb에 의해 특정되는 동일 위치에 있는 루마 코딩 블록의 왼쪽 상단 샘플을 특정하는 루마 위치 (xColCb, yColCb),

- X가 0 또는 1인 참조 인덱스 refIdxLX,

- 서브 블록 시간적 병합 후보를 지시하는 플래그 sbFlag.

이 프로세스의 출력은 다음과 같다:

- 1/16 분수 샘플 정확도에서의 모션 벡터 예측mvLXCol,

- 사용 가능성 플래그 availableFlagLXCol.

변수 currPic는 현재 픽처를 특정한다.

어레이 predFlagL0Col[x][y], mvL0Col[x][y] 및 refIdxL0Col[x][y]는 각각 ColPic에 의해 특정되는 동일 위치에 있는 픽처의 PredFlagL0[x][y], MvDmvrL0[x][y] 및 RefIdxL0[x][y]와 같게 특정되고, 어레이 predFlagL1Col[x][y], mvL1Col[x][y] 및 refIdxL1Col[x][y]는 각각 ColPic에 의해 특정되는 동일 위치에 있는 픽처의 PredFlagL1[x][y], MvDmvrL1[x][y] 및 RefIdxL1[x][y]와 같게 특정된다.

변수 mvLXCol 및 availableFlagLXCol는 다음과 같이 유도된다.

- colCb이 인트라 또는 IBC 예측 모드로 코딩되면, mvLXCol의 양 성분은 0으로 설정되고, availableFlagLXCol는 0과 같게 설정된다.

- 그렇지 않은 경우, 모션 벡터 mvCol, 참조 인덱스 refIdxCol 및 참조 리스트 식별자 listCol는 다음과 같이 유도된다:

- sbFlag이 0이면, availableFlagLXCol는 1로 설정되고, 다음이 적용된다:

- predFlagL0Col[xColCb][yColCb]이 0이면, mvCol, refIdxCol 및 listCol은 각각 mvL1Col[xColCb][yColCb], refIdxL1Col[xColCb][yColCb] 및 L1와 같게 설정된다.

- 그렇지 않은 경우, predFlagL0Col[xColCb][yColCb]는 1이고, predFlagL1Col[xColCb][yColCb]는 0인 경우, mvCol, refIdxCol 및 listCol는 각각 mvL0Col[xColCb][yColCb], refIdxL0Col[xColCb][yColCb] 및 L0와 같게 설정된다.

- 그렇지 않은 경우(predFlagL0Col[xColCb][yColCb]이 1이고 predFlagL1Col[xColCb][yColCb]이 1인 경우), 다음 할당이 이루어진다:

- NoBackwardPredFlag이 1이면, mvCol, refIdxCol 및 listCol는 각각 mvLXCol[xColCb][yColCb], refIdxLXCol[xColCb][yColCb] 및 LX와 같게 설정된다.

- 그렇지 않은 경우, mvCol, refIdxCol 및 listCol는 각각 mvLNCol[xColCb][yColCb], refIdxLNCol[xColCb][yColCb] 및 LN과 같게 설정되되, N은 collocated_from_l0_flag의 값이다.

- 그렇지 않은 경우(sbFlag이 1인 경우), 다음이 적용된다:

- PredFlagLXCol[xColCb][yColCb]이 1이면, mvCol, refIdxCol, 및 listCol은 각각 mvLXCol[xColCb][yColCb], refIdxLXCol[xColCb][yColCb], 및 LX과 같게 설정되고, availableFlagLXCol는 1로 설정된다.

- 그렇지 않은 경우(PredFlagLXCol[xColCb][yColCb]이 0인 경우), 다음이 적용된다:

- 현재 슬라이스의 모든 참조 픽처 리스트에서 모든 픽처 aPic에 대해 DiffPicOrderCnt(aPic, currPic)이 0 이하이고 PredFlagLYCol[xColCb][yColCb]이 1과 동일하면, mvCol, refIdxCol, 및 listCol은 각각 mvLYCol[xColCb][yColCb], refIdxLYCol[xColCb][yColCb] 및 LY와 같게 설정되고, 여기서 Y는 !X와 동일하고, 여기서 X는 이 프로세스가 호출되는 X의 값이며, availableFlagLXCol는 1로 설정된다.

- mvLXCol의 양 성분은 0으로 설정되고 availableFlagLXCol도 0으로 설정된다.

- availableFlagLXCol이 참(TRUE)인 경우, mvLXCol 및 availableFlagLXCol는 다음과 같이 유도된다.

- LongTermRefPic(currPic, currCb, refIdxLX, LX)이 LongTermRefPic(ColPic, colCb, refIdxCol, listCol)와 동일하지 않은 경우, mvLXCol의 모든 성분은 0과 같게 설정되고 availableFlagLXCol도 0과 같게 설정된다.

- 그 외의 경우, 변수 availableFlagLXCol는 1과 같게 설정되고, refPicList[listCol][refIdxCol]은 ColPic에 의해 특정된 동일 위치에 있는 픽처에서 코딩 블록 colCb를 포함하는 슬라이스의 참조 픽처 리스트 listCol에서 참조 인덱스 refIdxCol를 갖는 픽처로 설정된다. 그리고 다음이 적용된다:

colPocDiff　=　DiffPicOrderCnt(　ColPic,　refPicList[listCol][refIdxCol]　) (8-402)

currPocDiff　=　DiffPicOrderCnt(　currPic,　RefPicList[X][refIdxLX]　) (8-403)

- 절　8.5.2.15에 특정된 동일 위치에 있는 모션 벡터에 대한 시간적 모션 버퍼 압축 프로세스는 mvCol을 입력으로, 변경된 mvCol을 출력으로 하여 호출된다.

- RefPicList[X][refIdxLX]이 장기 참조 픽처이거나 colPocDiff이 currPocDiff와 동일하면, mvLXCol은 다음과 같이 유도된다:

mvLXCol　=　mvCol (8-404)

- 그 외의 경우, mvLXCol는 모션 벡터 mvCol의 스케일링된 버전으로서 다음과 같이 유도된다.

tx = (16384 + (Abs(td)>>1))/td (8-405)

distScaleFactor = Clip3(-4096, 4095, (tb * tx + 32)>>6)(8-406)

mvLXCol=Clip3(-131072, 131071, (distScaleFactor*mvCol+128 - (distScaleFactor*mvCol>=0))>>8)) (8-407)

여기서 td 및 tb는 다음과 같이 유도된다.

td = Clip3(-128, 127, colPocDiff) (8-408)

tb = Clip3(-128, 127, currPocDiff) (8-409)

2.3 인트라 블록 복제

현재 픽처 참조라고도 알려진 인트라 블록 복사(IBC)는 HEVC 스크린 콘텐츠 코딩 확장(HEVC Screen Content Coding extensions; HEVC-SCC) 및 현재 VVC 테스트 모델(VTM-4.0)에서 채택되었다. IBC는 모션 보상의 개념을 인터 프레임 코딩으로부터 인트라 프레임 코딩으로 확장한다. 도 17에 도시된 바와 같이, 현재 블록은 IBC가 적용될 때 동일한 픽처 내의 참조 블록에 의해 예측된다. 참조 블록 내의 샘플은 현재 블록이 코딩되거나 디코딩되기 전에 이미 재구성되어 있어서야 한다. IBC가 대부분의 카메라 캡처된 시퀀스에 대해 그다지 효율적이지 않지만, 이는 화면 콘텐츠에 대해 상당한 코딩 이득을 보여준다. 그 이유는 화면 콘텐츠 픽처에서 아이콘 및 텍스트 문자와 같은 반복되는 패턴이 많기 때문이다. IBC는 이러한 반복 패턴 사이의 리던던시를 효과적으로 제거할 수 있다. HEVC-SCC에서, 인터 코딩된 코딩 유닛(CU)은 현재 픽처를 자신의 참조 픽처로 선택하는 경우에 IBC를 적용할 수 있다. 이 경우 MV는 블록 벡터(block vector, BV)로 이름이 바뀌고, BV는 항상 정수 픽셀 정밀도를 갖는다. 메인 프로파일 HEVC와 호환되도록, 현재 픽처는 DPB(Decoded Picture Buffer)에서 "장기(long-term)" 참조 픽처로 표시된다. 유사하게, 멀티 뷰/3D 비디오 코딩 표준에서, 뷰-간(inter-view) 참조 픽처도 또한 "장기" 참조 픽처로 표시된다는 점에 유의해야 한다.

참조 블록을 찾기 위한 BV에 이어, 예측이 참조 블록을 복제함으로써 생성될 수 있다. 잔여(residual)는 원래 신호로부터 참조 픽셀을 감산하여 획득될 수 있다. 그 다음, 다른 코딩 모드에서와 같이 변환 및 양자화가 적용될 수 있다.

그러나, 참조 블록이 픽처의 외부에 있거나, 현재 블록과 중첩하거나, 재구성된 구역의 외부, 또는 일부 제약에 의해 제한된 유효 구역의 외부에 있는 경우, 일부 또는 모든 픽셀 값은 정의되지 않는다. 기본적으로, 이러한 문제를 처리하는 두 가지 솔루션이 있다. 하나는, 예를 들어, 비트스트림 적합성(conformance)에서 이러한 상황을 허용하지 않는 것이다. 다른 하나는 정의되지 않은 픽셀 값에 대하여 패딩을 적용하는 것이다. 다음 서브 세션은 솔루션에 대해 자세히 설명한다.

2.3.1 단일 BV 리스트

일부 실시예에서, IBC에서 병합 모드 및 AMVP 모드에 대한 BV 예측자(predictor)는 다음 요소를 포함하는 공통 예측자 리스트를 공유한다:

(1) 2개의 공간적 이웃 위치(도 2에서와 같이 A1, B1)

(2) 5개의 HMVP 엔트리

(3) 디폴트로 제로 벡터

리스트 내의 후보의 개수는 슬라이스 헤더에서 유도된 변수에 의해 제어된다. 병합 모드의 경우, 이 리스트의 처음 6개까지의 엔트리가 사용될 것이고; AMVP 모드의 경우, 이 리스트의 처음 2개 엔트리가 사용될 것이다. 그리고, 리스트는 공유된 병합 리스트 영역 요구 사항을 준수한다(SMR 내에서의 공유된 동일한 리스트).

위에서 언급된 BV 예측자 후보 리스트에 추가하여, HMVP 후보와 기존 병합 후보(A1, B1) 사이의 프루닝이 동작이 단순화될 수 있다. 단순화에서, 제1 HMVP 후보와 공간적 병합 후보(들)만을 비교하기 때문에, 최대 2개의 프루닝 동작이 있을 것이다.

IBC AMVP 모드의 경우, 리스트에서 선택된 MVP와 비교된 mv 차이가 추가로 송신된다. IBC 병합 모드의 경우, 선택된 MVP가 현재 블록에 대한 MV로서 직접 사용된다.

2.3.2 IBC의 크기 제한

최신 VVC 및 VTM5에서, 이전 VTM 및 VVC 버전에서의 현재 비트스트림 제한 사항 외에 128x128 IBC 모드를 디스에이블하기 위한 신택스 제한 사항을 명시적으로 사용하는 것이 제안되며, 이는 IBC 플래그의 존재를 CU 크기 < 128x128에 의존하게 한다.

2.3.3 IBC를 위한 공유 병합 리스트

디코더 복잡성을 줄이고 병렬 인코딩을 지원하기 위해, 일부 실시예에서, 작은 스킵/병합 코딩된 CU의 병렬 처리를 인에이블하기 위해 동일한 병합 후보 리스트가 CU 분할 트리에서 하나의 조상(ancestor) 노드의 모든 리프(leaf) 코딩 유닛(CU)에 대해 공유된다. 조상 노드는 병합 공유 노드라 불린다. 병합 공유 노드가 리프 CU인 것처럼 가장하여, 공유 병합 후보 리스트가 병합 공유 노드에서 생성된다.

더 구체적으로, 다음이 적용될 수 있다:

- 블록이 32보다 크지 않은 루마 샘플(예를 들어, 4x8 또는 8x4)을 갖고, 2개의 4x4 자식 블록으로 분할되는 경우, 매우 작은 블록(예를 들어, 2개의 인접한 4x4 블록) 사이의 공유 병합 리스트가 사용된다.

- 블록이 32보다 큰 루마 샘플을 가지지만, 분할 후, 적어도 하나의 자식 블록이 임계값(32)보다 작으면, 그 분할의 모든 자식 블록은 동일한 병합 리스트(예를 들어, 3개로 분할된 16x4 또는 4x16이나 4개로 분할된 8x8)을 공유한다.

이러한 제한은 IBC 병합 모드에만 적용된다.

2.3.4 신택스 테이블

7.3.8.5 코딩 유닛 신택스

coding_unit(x0)y0 cbWidth cbHeight cqtDepth treeType modeType) {	디스크립터
chType = treeType == DUAL_TREE_CHROMA? 1 : 0
if(slice_type != I || sps_ibc_enabled_flag || sps_palette_enabled_flag) {
if(treeType != DUAL_TREE_CHROMA && !(((cbWidth == 4 && cbHeight == 4) || modeType == MODE_TYPE_INTRA) && !sps_ibc_enabled_flag))
cu_skip_flag[x0][y0]	ae(v)
if(cu_skip_flag[x0][y0] == 0 && slice_type != I && !(cbWidth == 4 && cbHeight == 4) && modeType == MODE_TYPE_ALL)
pred_mode_flag	ae(v)
if(((slice_type == I && cu_skip_flag[x0][y0] == 0) || (slice_type != I && (CuPredMode[chType][x0][y0] != MODE_INTRA || (cbWidth == 4 && cbHeig = && cu_skip_flag[x0][y0] == 0)))) && cbWidth <= 4 && cbHeig <= 64 && modeType != MODE_TYPE_INTER && sps_ibc_enabled_flag && treeType != DUAL_TREE_CHROMA)
pred_mode_ibc_flag	ae(v)
if((((slice_type == I || (cbWidth == 4 && cbHeight == 4) || sps_ibc_enabled_flag) && CuPredMode[x0][y0] == MODE_INTRA) || (slice_type != I && !(cbWidth == 4 && cbHeight == 4) && !sps_ibc_enabled_flag && CuPredMode[x0][y0] != MODE_INTRA)) && sps_palette_enabled_flag && cbWidth <= 64 && cbHeight <= 64 && && cu_skip_flag[x0][y0] == 0 && modeType != MODE_INTER)
pred_mode_plt_flag	ae(v)
}
if(CuPredMode[chType][x0][y0] == MODE_INTRA || CuPredMode[chType][x0][y0] == MODE_PLT) {
…
}
} else if(treeType != DUAL_TREE_CHROMA) { /* MODE_INTER or MODE_IBC */
if(cu_skip_flag[x0][y0] == 0)
general_merge_flag[x0][y0]	ae(v)
if(general_merge_flag[x0][y0]) {
merge_data(x0 y0 cbWidth cbHeight chType)
} else if (CuPredMode[chType][x0][y0] == MODE_IBC) {
mvd_coding(x0 y0 0 0)
if(MaxNumIbcMergeCand > 1)
mvp_l0_flag[x0][y0]	ae(v)
if(sps_amvr_enabled_flag && (MvdL0[x0][y0][0] != 0 || MvdL0[x0][y0][1] != 0)) {
amvr_precision_idx[x0][y0]	ae(v)
}
} else {
…
}

7.3.8.8 모션 벡터 차이 구문

mvd_coding(x0 y0 refList, cpIdx) {	디스크립터
abs_mvd_greater0_flag[0]	ae(v)
abs_mvd_greater0_flag[1]	ae(v)
if(abs_mvd_greater0_flag[0])
abs_mvd_greater1_flag[0]	ae(v)
if(abs_mvd_greater0_flag[1])
abs_mvd_greater1_flag[1]	ae(v)
if(abs_mvd_greater0_flag[0]) {
if(abs_mvd_greater1_flag[0])
abs_mvd_minus2[0]	ae(v)
mvd_sign_flag[0]	ae(v)
}
if(abs_mvd_greater0_flag[1]) {
if(abs_mvd_greater1_flag[1])
abs_mvd_minus2[1]	ae(v)
mvd_sign_flag[1]	ae(v)
}
}

2.4 최대 변환 블록 크기

64 또는 32로만 되는 최대 루마 변환 크기는 SPS 레벨의에서 플래그로 인에이블된다. 최대 크로마 변환 크기는 최대 루마 변환 크기에 상대적인 크로마 샘플링 비율로부터 유도된다.

CU/CB 크기가 최대 루마 변환 크기보다 클 때, 더 작은 TU에 의한 큰 CU의 타일링(tiling)이 호출될 수 있다.

최대 루마 변환 크기를 MaxTbSizeY로 나타내자.

7.3.2.3 시퀀스 파라미터 집합 RBSP 신택스

seq_parameter_set_rbsp() {	디스크립터
sps_decoding_parameter_set_id	u(4)
sps_video_parameter_set_id	u(4)
sps_max_sub_layers_minus1	u(3)
sps_reserved_zero_5bits	u(5)
profile_tier_level(sps_max_sub_layers_minus1)
…
if(ChromaArrayType != 0)
sps_cclm_enabled_flag	u(1)
if(sps_cclm_enabled_flag && chroma_format_idc == 1)
sps_cclm_colocated_chroma_flag	u(1)
sps_mts_enabled_flag	u(1)
if(sps_mts_enabled_flag) {
sps_explicit_mts_intra_enabled_flag	u(1)
sps_explicit_mts_inter_enabled_flag	u(1)
}
sps_sbt_enabled_flag	u(1)
if(sps_sbt_enabled_flag)
sps_sbt_max_size_64_flag	u(1)
sps_affine_enabled_flag	u(1)
if(sps_affine_enabled_flag) {
sps_affine_type_flag	u(1)
sps_affine_amvr_enabled_flag	u(1)
sps_affine_prof_enabled_flag	u(1)
}
…
rbsp_trailing_bits()
}

1과 같은 sps_max_luma_transform_size_64_flag는 루마 샘플에서의 최대 변환 크기가 64와 같다고 특정한다. 0과 같은 sps_max_luma_transform_size_64_flag는 루마 샘플의 최대 변환 크기가 32과 같다고 특정한다.

CtbSizeY가 64보다 작을 때, sps_max_luma_transform_size_64_flag의 값은 0과 같아야 한다.

변수 MinTbLog2SizeY, MaxTbLog2SizeY, MinTbSizeY 및 MaxTbSizeY는 다음과 같이 유도된다.

MinTbLog2SizeY = 2 (7-27)

MaxTbLog2SizeY = sps_max_luma_transform_size_64_flag ? 6 : 5 (7-28)

MinTbSizeY = 1 << MinTbLog2SizeY (7-29)

MaxTbSizeY = 1 << MaxTbLog2SizeY (7-30)

0과 같은 sps_sbt_max_size_64_flag는 서브 블록 변환을 허용하기 위한 최대 CU 폭 및 높이가 32 루마 샘플이라고 특정한다. 1과 같은 sps_sbt_max_size_64_flag는 서브 블록 변환을 허용하기 위한 최대 CU 폭 및 높이가 64 루마 샘플이라고 특정한다.

MaxSbtSize = Min(MaxTbSizeY, sps_sbt_max_size_64_flag ? 64 : 32) (7-32)

2.4.1 최대 변환 블록 크기에 의존하는 도구

이진 트리 및 삼진 트리의 분할은 MaxTbSizeY에 따라 다르다.

7.3.8.5 코딩 유닛 신택스

coding_unit(x0 y0 cbWidth cbHeight cqtDepth treeType modeType) {	디스크립터
chType = treeType == DUAL_TREE_CHROMA? 1 : 0
if(slice_type != I || sps_ibc_enabled_flag || sps_palette_enabled_flag) {
if(treeType != DUAL_TREE_CHROMA && !(((cbWidth == 4 && cbHeight 　= 4 ) || modeType == MODE_TYPE_INTR) && !sps_ibc_enabled_flag)) if(single tree && !((4x4 || INTRA Only) && !sps_IBC))
cu_skip_flag[x0][y0]	ae(v)
if(cu_skip_flag[x0][y0] == 0 && slice_type != I && !(cbWidth == 4 && cbHeight == 4) && modeType == MODE_TYPE_ALL)
pred_mode_flag	ae(v)
if(((slice_type == I && cu_skip_flag[x0][y0] ==0) || (slice_type != I && (CuPredMode[chType][x0][y0] != MODE_INTRA || (cbWidth == 4 && cbHeight == 4 && cu_skip_flag[x0][y0] == 0)))) && cbWidth <= 64 && cbHeight <= 64 && modeType != MODE_TYPE_INTER && sps_ibc_enabled_flag && treeType != DUAL_TREE_CHROMA)
pred_mode_ibc_flag	ae(v)
if((((slice_type == I || (cbWidth == 4 && cbHeight == 4) || sps_ibc_enabled_flag) && CuPredMode[x0][y0] == MODE_INTRA) || (slice_type != I && !(cbWidth == 4 && cbHeight == 4) && !sps_ibc_enabled_flag && CuPredMode[x0][y0] != MODE_INTRA)) && sps_palette_enabled_flag && cbWidth <= 64 && cbHeight <= 64 && && cu_skip_flag[x0][y0] == 0 && modeType != MODE_INTER)
pred_mode_plt_flag	ae(v)
}
if(CuPredMode[chType][x0][y0] == MODE_INTRA || CuPredMode[chType][x0][y0] == MODE_PLT) {
if(treeType == SINGLE_TREE || treeType == DUAL_TREE_LUMA) {
if(pred_mode_plt_flag) {
if(treeType == DUAL_TREE_LUMA)
palette_coding(x0 y0, cbWidth, cbHeight, 0, 1)
else /* SINGLE_TREE */
palette_coding(x0 y0, cbWidth, cbHeight, 0, 3)
} else {
if(sps_bdpcm_enabled_flag && cbWidth <= MaxTsSize && cbHeight <= MaxTsSize)
intra_bdpcm_flag	ae(v)
if(intra_bdpcm_flag)
intra_bdpcm_dir_flag	ae(v)
else {
if(sps_mip_enabled_flag && (Abs(Log2(cbWidth) - Log2(cbHeight)) <= 2) && cbWidth <= MaxTbSizeY && cbHeight <= MaxTbSizeY)
intra_mip_flag[x0][y0]	ae(v)
if(intra_mip_flag[x0][y0])
intra_mip_mode[x0][y0]	ae(v)
else {
if(sps_mrl_enabled_flag && ((y0 % CtbSizeY) > 0))
intra_luma_ref_idx[x0][y0]	ae(v)
if (sps_isp_enabled_flag && intra_luma_ref_idx[x0][y0] == 0 && (cbWidth <= MaxTbSizeY && cbHeight <= MaxTbSizeY) && (cbWidth*cbHeight > MinTbSizeY*MinTbSizeY))
intra_subpartitions_mode_flag[x0][y0]	ae(v)
if(intra_subpartitions_mode_flag[x0][y0] == 1)
intra_subpartitions_split_flag[x0][y0]	ae(v)
if(intra_luma_ref_idx[x0][y0] == 0)
intra_luma_mpm_flag[x0][y0]	ae(v)
if(intra_luma_mpm_flag[x0][y0]) {
if(intra_luma_ref_idx[x0][y0] == 0)
intra_luma_not_planar_flag[x0][y0]	ae(v)
if(intra_luma_not_planar_flag[x0][y0])
intra_luma_mpm_idx[x0][y0]	ae(v)
} else
intra_luma_mpm_remainder[x0][y0]	ae(v)
}
}
}
}
if((treeType == SINGLE_TREE || treeType == DUAL_TREE_CHROMA) && ChromaArrayType != 0) {
if (pred_mode_plt_flag && treeType == DUAL_TREE_CHROMA)
palette_coding(x0 y0, cbWidth/SubWidthC, cbHeight/SubHeightC, 1, 2)
else {
if(CclmEnabled)
cclm_mode_flag	ae(v)
if(cclm_mode_flag)
cclm_mode_idx	ae(v)
else
intra_chroma_pred_mode	ae(v)
}
}
} else if(treeType != DUAL_TREE_CHROMA) { /* MODE_INTER or MODE_IBC */
…
}
if(CuPredMode[chType][x0][y0] != MODE_INTRA && !pred_mode_plt_flag && general_merge_flag[x0][y0] == 0)
cu_cbf	ae(v)
if(cu_cbf) {
if(CuPredMode[chType][x0][y0] == MODE_INTER && sps_sbt_enabled_flag && !ciip_flag[x0][y0] && !MergeTriangleFlag[x0][y0]) {
if(cbWidth <= MaxSbtSize && cbHeight <= MaxSbtSize) {
allowSbtVerH = cbWidth >= 8
allowSbtVerQ = cbWidth >= 16
allowSbtHorH = cbHeight >= 8
allowSbtHorQ = cbHeight >= 16
if(allowSbtVerH || allowSbtHorH || allowSbtVerQ || allowSbtHorQ)
cu_sbt_flag	ae(v)
}
if(cu_sbt_flag) {
if((allowSbtVerH || allowSbtHorH) && (allowSbtVerQ || allowSbtHorQ))
cu_sbt_quad_flag	ae(v)
if((cu_sbt_quad_flag && allowSbtVerQ && allowSbtHorQ) || (!cu_sbt_quad_flag && allowSbtVerH && allowSbtHorH))
cu_sbt_horizontal_flag	ae(v)
cu_sbt_pos_flag	ae(v)
}
}
LfnstDcOnly = 1
LfnstZeroOutSigCoeffFlag = 1
transform_tree(x0 y0 cbWidth cbHeight treeType)
lfnstWidth = (treeType == DUAL_TREE_CHROMA) ? cbWidth/SubWidthC : cbWidth
lfnstHeight = (treeType == DUAL_TREE_CHROMA) ? cbHeight/SubHeightC : cbHeight
if(Min(lfnstWidth lfnstHeight) >= 4 && sps_lfnst_enabled_flag == 1 && CuPredMode[chType][x0][y0] == MODE_INTRA && IntraSubPartitionsSplitType == ISP_NO_SPLIT && (!intra_mip_flag[x0][y0] || Min(lfnstWidth lfnstHeight) >= 16 && tu_mts_idx[x0][y0] == 0 && Max(cbWidth, cbHeight) <= MaxTbSizeY) {
if(LfnstDcOnly == 0 && LfnstZeroOutSigCoeffFlag == 1)
lfnst_idx[x0][y0]	ae(v)
}
}

2.4.2 인트라 및 인터 코딩된 블록의 디코딩 프로세스

현재 인트라 코딩된 CU의 크기가 최대 변환 블록 크기보다 클 때, 폭과 높이 모두가 최대 변환 블록 크기보다 크지 않을 때까지 CU는 더 작은 블록(PU)으로 재귀적으로 분할된다. 모든 PU는 동일한 인트라 예측 모드를 공유하지만, 인트라 예측을 위한 참조 샘플은 서로 다르다. 한편, TU는 PU와 같게 설정된다. 현재 블록은 ISP(Intra Sub-Partition) 모드로 코딩되지 않아야 하는 것에 유의하여야 한다.

현재 인터 코딩된 CU의 크기가 최대 변환 블록 크기보다 클 때, 폭과 높이 모두가 최대 변환 블록 크기보다 크지 않을 때까지 CU는 더 작은 블록(TU)으로 재귀적으로 분할된다. 모든 TU는 동일한 모션 정보를 공유하지만, 인트라 예측을 위한 참조 샘플은 다르다.

8.4.5 인트라 블록에 대한 디코딩 프로세스

8.4.5.1 인트라 블록에 대한 일반적인 디코딩 프로세스

이 프로세스에 대한 입력은 다음과 같다:

- 현재 픽처의 왼쪽 상단 샘플에 상대적인 현재 변환 블록의 왼쪽 상단 샘플을 특정하는 샘플 위치(xTb0, yTb0),

- 현재 변환 블록의 폭을 특정하는 변수 nTbW,

- 현재 변환 블록의 높이를 특정하는 변수 nTbH,

- 인트라 예측 모드를 특정하는 변수 predModeIntra,

- 현재 블록의 색상 성분을 특정하는 변수 cIdx.

이 프로세스의 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

최대 변환 블록 폭 maxTbWidth 및 높이 maxTbHeight는 다음과 같이 유도된다:

maxTbWidth = (cIdx == 0) ? MaxTbSizeY : MaxTbSizeY/SubWidthC (8-41)

maxTbHeight = (cIdx == 0) ? MaxTbSizeY : MaxTbSizeY/SubHeightC (8-42)

루마 샘플 위치는 다음과 같이 유도된다:

(xTbY, yTbY) = (cIdx == 0) ? (xTb0, yTb0) : (xTb0 * SubWidthC, yTb0 * SubHeightC) (8-43)

maxTbSize에 따라, 다음이 적용된다:

- IntraSubPartitionsSplitType이 ISP_NO_SPLIT와 같고 nTbW가 maxTbWidth보다 크거나 nTbH가 maxTbHeight보다 크면, 다음에 배열된 단계가 적용된다.

1. 변수 newTbW 및 newTbH는 다음과 같이 유도된다:

newTbW = (nTbW > maxTbWidth) ? (nTbW/2) : nTbW (8-44)

newTbH = (nTbH > maxTbHeight) ? (nTbH/2) : nTbH (8-45)

2. 이 절에 특정된 인트라 블록에 대한 일반 디코딩 프로세스는 위치(xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH, 인트라 예측 모드 predModeIntra 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

3. nTbW가 maxTbWidth보다 크면, 이 절에 특정된 인트라 블록에 대한 일반 디코딩 프로세스는 (xTb0 + newTbW, yTb0)과 같게 설정된 위치(xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH, 인트라 예측 모드 predModeIntra 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

4. nTbH가 maxTbHeight보다 크면, 이 절에 특정된 인트라 블록에 대한 일반 디코딩 프로세스는 (xTb0, yTb0 + newTbH)와 같게 설정된 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH, 인트라 예측 모드 predModeIntra 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

5. nTbW가 maxTbWidth보다 크고 nTbH가 maxTbHeight보다 크면, 이 절에 특정된 인트라 블록에 대한 일반 디코딩 프로세스는 (xTb0 + newTbW, yTb0 + newTbH)와 같게 설정된 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH, 인트라 예측 모드 predModeIntra 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

- 그렇지 않으면, 다음 순서의 단계가 적용된다(일반 인트라 예측 프로세스).

- …

8.5.8 인터 예측 모드에서 코딩된 코딩 블록의 잔여 신호에 대한 디코딩 프로세스

이 프로세스에 대한 입력은 다음과 같다:

- 현재 픽처의 왼쪽 상단 샘플에 상대적인 현재 변환 블록의 왼쪽 상단 샘플을 특정하는 샘플 위치(xTb0, yTb0),

- 현재 변환 블록의 폭을 특정하는 변수 nTbW,

- 현재 변환 블록의 높이를 특정하는 변수 nTbH,

- 현재 블록의 색상 구성요소를 특정하는 변수 cIdx.

이 프로세스의 출력은 (nTbW)x(nTbH) 어레이 resSamples이다.

최대 변환 블록 폭 maxTbWidth 및 높이 maxTbHeight는 다음과 같이 유도된다:

maxTbWidth = (cIdx == 0) ? MaxTbSizeY : MaxTbSizeY/SubWidthC (8-883)

maxTbHeight = (cIdx == 0) ? MaxTbSizeY : MaxTbSizeY/SubHeightC (8-884)

루마 샘플 위치는 다음과 같이 유도된다:

(xTbY, yTbY) = (cIdx == 0) ? (xTb0, yTb0) : (xTb0 * SubWidthC, yTb0 * SubHeightC) (8-885)

maxTbSize에 따라 다음이 적용된다:

- nTbW가 maxTbWidth보다 크거나 nTbH가 maxTbHeight보다 크면, 다음의 배열된 단계가 적용된다 .

1. 변수 newTbW 및 newTbH는 다음과 같이 유도된다:

newTbW = (nTbW > maxTbWidth) ? (nTbW/2) : nTbW (8-886)

newTbH = (nTbH > maxTbHeight) ? (nTbH/2) : nTbH (8-887)

2. 이 절에 특정된 바와 같이 인터 예측 모드에서 코딩된 코딩 유닛의 잔여 신호에 대한 디코딩 프로세스 프로세스는, 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

3. nTbW가 maxTbWidth보다 클 때, 이 절에 특정된 바와 같이 인터 예측 모드에서 코딩된 코딩 유닛의 잔여 신호에 대한 디코딩 프로세스 프로세스는 , (xTb0 + newTbW, yTb0)과 같게 설정된 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

4. nTbH가 maxTbHeight보다 클 때, 이 절에 특정된 바와 같이 인터 예측 모드에서 코딩된 코딩 유닛의 잔여 신호에 대한 디코딩 프로세스 프로세스는 , (xTb0, yTb0 + newTbH)와 같게 설정된 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

5. WnTbW가 maxTbWidth보다 크고 nTbH가 maxTbHeight보다 클 때, 이 절에 특정된 바와 같이 인터 예측 모드에서 코딩된 코딩 유닛의 잔여 신호에 대한 디코딩 프로세스 프로세스는 , (xTb0 + newTbW, yTb0 + newTbH)와 같게 설정된 위치 (xTb0, yTb0), newTbW와 같게 설정된 변환 블록 폭 nTbW와 newTbH와 같게 설정된 높이 nTbH 및 변수 cIdx를 입력으로 사용하여 호출되고, 출력은 인-루프 필터링 이전에 수정된 재구성된 픽처이다.

- 그렇지 않은 경우, cu_sbt_flag가 1이면 다음이 적용된다:

- 변수 sbtMinNumFourths, wPartIdx 및 hPartIdx는 다음과 같이 유도된다:

sbtMinNumFourths = cu_sbt_quad_flag ? 1:2 (8-888)

wPartIdx = cu_sbt_horizontal_flag ? 4 : sbtMinNumFourths (8-889)

hPartIdx = !cu_sbt_horizontal_flag ? 4 : sbtMinNumFourths (8-890)

- 변수 xPartIdx 및 yPartIdx는 다음과 같이 유도된다:

- cu_sbt_pos_flag가 0이면, xPartIdx 및 yPartIdx가 0으로 설정된다.

- 그렇지 않은 경우(cu_sbt_pos_flag가 1과 동일), 변수 xPartIdx 및 yPartIdx는 다음과 같이 유도된다:

xPartIdx = cu_sbt_horizontal_flag ? 0 : (4 - sbtMinNumFourths) (8-891)

yPartIdx = !cu_sbt_horizontal_flag ? 0 : (4 - sbtMinNumFourths) (8-892)

- 변수 xTbYSub, yTbYSub, xTb0Sub, yTb0Sub, nTbWSub 및 nTbHSub는 다음과 같이 유도된다:

xTbYSub = xTbY + ((nTbW * ((cIdx == 0) ? 1: SubWidthC) * xPartIdx/4) (8-893)

yTbYSub = yTbY + ((nTbH * ((cIdx == 0) ? 1: SubHeightC) * yPartIdx/4) (8-894)

xTb0Sub = xTb0 + (nTbW * xPartIdx/4) (8-895)

yTb0Sub = yTb0 + (nTbH * yPartIdx/4) (8-896)

nTbWSub = nTbW * wPartIdx/4 (8-897)

nTbHSub = nTbH * hPartIdx/4 (8-898)

- 8.7.2절에 특정된 바와 같은 스케일링 및 변환 프로세스가 루마 위치 (xTbYSub , yTbYSub), 변수 cIdx, nTbWSub 및 nTbHSub를 입력으로 사용하여 호출되고, 출력은 (nTbWSub)x(nTbHSub) 어레이 resSamples이다.

- x = 0..nTbW - 1, y = 0..nTbH - 1인 잔여 샘플 resSamples[x][y]는 0과 같게 설정된다.

- x = xTb0Sub..xTb0Sub + nTbWSub ? 1, y = yTb0Sub..yTb0Sub + nTbHSub - 1인 잔차 샘플 resSamples[x][y]는 다음과 같이 유도된다:

resSamples[x][y] = resSamplesTb[x ? xTb0Sub][y ? yTb0Sub] (8-899)

- 그렇지 않은 경우, 8.7.2절에 특정된 바와 같은 스케일링 및 변환 프로세스가 루마 위치 (xTbY, yTbY), 변수 cIdx, 변환 폭 nTbW 및 변환 높이 nTbH를 입력으로 사용하여 호출되고 출력은 (nTbW)x(nTbH) 어레이 resSamples이다.

2.5 저주파 비분리 변환(LFNST)(감소된 2차 변환(Reduced Secondary Transform; RST)라고도 알려짐)/비분리 2차 변환(Non-Separable Secondary Transform; NSST)

JEM에서, 2차 변환은 순방향 1차 변환(forward primary transform)과 양자화(quantization) 사이(인코더에서) 및 역양자화(de-quantization)와 역방향 1차 변환(inverse primary transform) 사이(디코더에서)에 적용된다. 도 18에 도시된 바와 같이, 4x4(또는 8x8) 2차 변환(secondary transform)은 블록 크기에 따라 수행된다. 예를 들어, 8x8 블록 마다, 4x4 2차 변환은 작은 블록(예를 들어, min(폭(width), 높이(height)) < 8)에 적용되고, 8x8 2차 변환은 더 큰 블록(예를 들어, min(폭(width), 높이(height)) > 4)에 적용된다.

2차 변환의 경우, 비분리 변환이 적용되고, 따라서 이는 비분리 2차 변환(NSST)이라고도 불린다. 전체적으로 35개의 변환 세트가 있고, 변환 세트당 3개의 비분리 변환 행렬(커널, 각각 16x16 행렬 포함)이 사용된다.

감소된 2차 변환(RST, 저주파 비분리 변환(LFNST)로도 알려짐)이 도입되었고, 인트라 예측 방향에 따라 (35개의 변환 세트 대신) 4개의 변환 세트 매핑이 도입되었다. 이의 도움으로, 16x48 및 16x16 행렬이 각각 8x8 및 4x4 블록에 사용된다. 표기상의 편의를 위해, 16x48 변환은 RST8x8로 표시되고 16x16 변환은 RST4x4로 표시된다. 이러한 방법은 최근에 VVC에서 채택되었다.

도 19는 감소된 2차 변환(RST)의 예를 도시한다.

2차 순방향 및 역방향 변환은 1차 변환과 별개의 프로세스 단계이다.

인코더의 경우, 1차 순방향 변환이 먼저 수행되고, 그 다음 2차 순방향 변환과 양자화 및 CABAC 비트 인코딩이 이어진다. 디코더의 경우, CABAC 비트 디코딩 및 역양자화와, 그 다음의 2차 역변환이 먼저 수행된 다음, 그 후 1차 역방향 변환이 이어진다. RST는 인트라 코딩된 TU에만 적용된다.

3. 본 명세서에 개시된 기술 솔루션에 의해 해결되는 예시적인 기술 문제

현재 VVC 설계는 IBC 모드 및 변환 설계의 측면에서 다음과 같은 문제를 가진다:

(1) IBC 모드 플래그의 시그널링은 블록 크기 제한에 의존한다. 그러나, IBC 스킵 모드 플래그는 최악의 경우를 변경하지 않는 것이 아니다(예를 들어, Nx128 또는 128xN과 같은 더 큰 블록은 여전히 IBC 모드를 선택할 수 있다).

(2) 변환 블록 크기는 현재 VVC에서 항상 64x64와 같고 변환 블록 크기는 항상 코딩 블록 크기로 설정된다고 가정된다. IBC 블록 크기가 변환 블록 크기보다 큰 경우를 처리하는 방법은 알려져 있지 않다.

(3) IBC는 동일한 비디오 유닛(예를 들어, 슬라이스)에서 필터링되지 않고 구성된 샘플을 사용한다. 그러나, (예를 들어, 디블로킹 필터/SAO/ALF를 통해) 필터링된 샘플은 필터링되지 않은 샘플에 비해 더 작은 왜곡을 가질 수 있다. 필터링된 샘플을 사용하는 것은 추가적인 코딩 이득을 얻을 수 있다.

(4) LFNST 행렬의 컨텍스트 모델링은 1차 변환 및 파티션 유형(단일 또는 이중 트리)에 의존한다. 그러나, 우리의 분석으로부터, 선택된 RST 행렬이 1차 변환과의 상관 관계를 가진다는 명확한 종속성은 없다.

4. 기술 및 실시예의 예

본 문서에서, 인트라 블록 복제(IBC)는 현재 IBC 기술에 국한되지 않고, 기존의 인트라 예측 방법을 제외한 현재 슬라이스/타일/브릭/서브 픽처/픽처/기타 비디오 유닛(예를 들어, CTU 행) 내에서 참조 샘플을 사용하는 기술로 해석될 수 있다. 일례에서, 참조 샘플은 인-루프 필터링 프로세스(예를 들어, 디블로킹 필터, SAO, ALF)가 호출되지 않는 재구성된 샘플이다.

VPDU 크기는 vSizeX*vSizeY로 나타낼 수 있다. 일례에서, vSizeX = vSizeY = min(ctbSizeY, 64)라고 하고, 여기서 ctbSizeY는 CTB의 폭/높이이다. VPDU는 왼쪽 상단 위치가 픽처의 왼쪽 상단에 상대적인 (m*vSize, n*vSize)인 vSize*vSize 블록이고, m, n은 정수이다. 대안적으로, vSizeX/vSizeY는 64와 같은 고정된 수이다.

아래의 상세한 발명은 일반적인 개념을 설명하기 위한 예로서 고려되어야 한다. 이러한 발명은 좁은 방식으로 해석되어서는 안 된다. 또한, 이러한 발명은 어떠한 방식으로든 조합될 수 있다.

IBC의 시그널링 및 사용에 관하여

현재 블록 크기가 W_curr×H_curr로 표시되고, 최대 허용 IBC 블록 크기가 W_IBCMax×H_IBCMax로 표시된다고 가정하다.

1. IBC 코딩된 블록은 분할 정보의 시그널링 없이 다수의 TB/TU로 분할될 수 있다. 현재 IBC 코드 블록 크기를 W_curr×H_curr로 표시하자.

a. 일례에서, W_curr은 제1 임계값보다 크고 그리고/또는 H_curr은 제2 임계값보다 크며, 분할이 호출될 수 있다. 따라서, TB 크기는 현재 블록 크기보다 작다.

i. 일례에서, 제1 및/또는 제2 임계값은 MaxTbSizeY로 표시되는 최대 변환 크기이다.

b. 일례에서, TU/TB의 폭 또는 높이가 임계값보다 크지 않을 때까지 재귀적 분할이 호출될 수 있다.

i. 일례에서, 재귀적 분할은 인터 코딩된 잔여 블록에 대하여 활용된 것과 동일할 수 있으며, 예를 들어, 폭이 MaxTbSizeY보다 크면 폭을 반으로 나누고, 높이가 MaxTbSizeY보다 크면 높이를 반으로 나눌 수 있다.

ii. 대안적으로, TU/TB의 분할 폭과 높이가 모두 각각의 임계값보다 크지 않을 때까지 재귀적 분할이 호출될 수 있다.

c. 대안적으로, 또한, 다수의 TB/TU의 전부 또는 일부는 동일한 모션 정보(예를 들어, BV)를 공유할 수 있다.

2. IBC를 인에이블할지 또는 디스에이블할지 여부는 최대 변환 크기(예를 들어, 사양에의 MaxTbSizeY)에 의존할 수 있다.

a. 일례에서, 현재 루마 블록 치수(폭 및/또는 높이) 또는 대응하는 루마 블록 치수(폭 및/또는 높이)(현재 블록이 크로마 블록일 때)가 루마 샘플에서의 최대 변환 크기보다 클 때, IBC가 디스에이블될 수 있다.

i. 일례에서, 블록 폭과 높이가 모두 루마 샘플에서의 최대 변환 크기보다 클 때, IBC가 디스에이블될 수 있다.

ii. 일례에서, 블록 폭과 높이 중 어느 하나가 루마 샘플에서의 최대 변환 크기보다 클 때, IBC가 디스에이블될 수 있다.

b. 일례에서, IBC의 사용의 표시를 시그널링할지 여부 및/또는 시그널링하는 방법은 블록 치수(폭 및/또는 높이) 및/또는 최대 변환 크기에 의존할 수 있다.

i. 일례에서, IBC의 사용의 표시는 I 타일/슬라이스/브릭/서브 픽처에서 IBC 스킵 플래그(예를 들어, cu_skip_flag)를 포함할 수 있다.

1) 일례에서, cu_skip_flag는 W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때 시그널링되지 않을 수 있다.

2) 대안적으로, cu_skip_flag는 W_curr이 MaxTbSizeY보다 크지 않고 그리고/또는 H_curr이 MaxTbSizeY보다 크지 않을 때 시그널링될 수 있다.

3) 일례에서, cu_skip_flag는 W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때 시그널링될 수 있지만 이는 적합성(conformance) 비트스트림에서 0과 같아야 한다.

4) 예를 들어, 또한, 상기 방법은 또한 현재 타일/슬라이스/브릭/서브 픽처가 I 타일/슬라이스/브릭/서브 픽처일 때 호출될 수 있다.

ii. 일례에서, IBC의 사용 표시는 IBC 모드 플래그(예를 들어, pred_mode_ibc_flag)를 포함할 수 있다.

1) 일례에서, pred_mode_ibc_flag는 W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때 시그널링되지 않을 수 있다.

2) 대안적으로, pred_mode_ibc_flag는 W_curr이 MaxTbSizeY보다 크지 않고 그리고/또는 H_curr이 MaxTbSizeY보다 크지 않을 때 시그널링될 수 있다.

일례에서, pred_mode_ibc_flag는 W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때 시그널링될 수 있지만, 이는 적합성 비트스트림에서 0과 같아야 한다.

iii. 일례에서, 특정 제로-강제(zero-forcing) 조건이 충족될 때, IBC 코딩된 블록의 잔여 블록은 모두 0이 되도록 강제될 수 있다.

1) 일례에서, W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때, IBC 코딩된 블록의 잔여 블록은 모두 0이 되도록 강제될 수 있다.

2) 일례에서, W_curr이 제1 임계값(예를 들어, 64/vSizeX)보다 크고 그리고/또는 H_curr이 제2 임계값(예를 들어, 64/vSizeY)보다 클 때, IBC 코딩된 블록의 잔여 블록은 모두 0이 되도록 강제될 수 있다.

3) 대안적으로, 또한, 위의 경우에 대해 코딩된 블록 플래그(예를 들어, cu_cbf, tu_cbf_cb, tu_cbf_cr, tu_cbf_luma)의 시그널링은 스킵될 수 있다.

4) 대안적으로, 또한, 코딩된 블록 플래그(예를 들어, cu_cbf, tu_cbf_cb, tu_cbf_cr, tu_cbf_luma)의 시그널링은 변경되지 않고 유지될 수 있지만, 적합성 비트스트림은 플래그가 0임을 충족해야 한다.

iv. 일례에서, 코딩된 블록 플래그(예를 들어, cu_cbf, tu_cbf_cb, tu_cbf_cr, tu_cbf_luma)를 시그널링할지 여부는 IBC의 사용 및/또는 허용된 IBC 크기에 대한 임계값에 의존할 수 있다.

1) 일례에서, 현재 블록이 IBC 모드이고, W_curr이 MaxTbSizeY보다 크고 그리고/또는 H_curr이 MaxTbSizeY보다 클 때, 코딩된 블록 플래그(예를 들어, cu_cbf, tu_cbf_cb, tu_cbf_cr, tu_cbf_luma)의 시그널링은 스킵될 수 있다.

2) 일례에서, 현재 블록이 IBC 모드이고, W_curr이 제1 임계값(예를 들어, 64/vSizeX)보다 크고 그리고/또는 H_curr이 제2 임계값(예를 들어, 64/vSizeY)보다 클 때, 코딩된 블록 플래그(예를 들어, cu_cbf, tu_cbf_cb, tu_cbf_cr, tu_cbf_luma)의 시그널링은 스킵될 수 있다.

3. IBC 스킵 모드의 사용의 표시를 시그널링할지 여부는 현재 블록 치수(폭 및/또는 높이) 및 최대 허용 IBC 블록 크기(예를 들어, vSizeX/vSizeY)에 의존할 수 있다.

a. 일례에서, cu_skip_flag는 W_curr이 W_IBCMax보다 크고 그리고/또는 H_curr이 H_IBCMax보다 클 때 시그널링되지 않을 수 있다.

i. 대안적으로, cu_skip_flag는 W_curr이 W_IBCMax보다 크지 않고 그리고/또는 H_curr이 H_IBCMax보다 크지 않을 때 시그널링될 수 있다.

b. 대안적으로, 또한, 상기 방법은 현재 타일/슬라이스/브릭/서브 픽처가 I 타일/슬라이스/브릭/서브 픽처일 때 호출될 수 있다.

c. 일례에서, W_IBCMax와 H_IBCMax는 모두 64와 같다.

d.일례에서, W_IBCMax는 vSizeX로 설정되고 H_IBCMax는 vSizeY와 같게 설정된다.

e. 일례에서, W_IBCMax는 최대 변환 블록의 폭으로 설정되고 H_IBCMax는 최대 변환 블록 크기의 높이와 같게 설정된다.

IBC/인터 코딩된 블록에 대한 재귀적 분할에 관하여

4. IBC/인터 코딩된 블록(Inter coded block; CU)이, 전체 CU에 대해 모션 정보를 한 번 시그널링하는 대신, 분할 정보의 시그널링 없이 다수의 TB/TU로 분할될 때(예를 들어, 블록 크기가 최대 변환 블록 크기보다 큼), 모션 정보를 여러 번 시그널링하거나 유도하는 것이 제안된다.

a. 일례에서, 모든 TB/TU는 한 번 시그널링될 수 있는 동일한 AMVP/병합 플래그를 공유할 수 있다.

b. 일례에서, 모션 후보 리스트는 전체 CU에 대해 한 번 구성될 수 있지만, 상이한 TB/TU에 리스트 내의 상이한 후보가 할당될 수 있다.

i. 일례에서, 할당된 후보의 인덱스는 비트스트림에서 코딩될 수 있다.

c. 일례에서, 모션 후보 리스트는 현재 CU 내에 이웃하는 TB/TU의 모션 정보를 사용하지 않고 구성될 수 있다.

i. 일례에서, 모션 후보 리스트는 현재 CU에 상대적인 (인접하거나 인접하지 않는) 공간적 이웃 블록의 모션 정보에 액세스함으로써 구성될 수 있다.

5. IBC/인터 코딩된 블록(CU)이 분할 정보의 시그널링 없이 다수의 TB/TU로 분할될 때(예를 들어, 블록 크기가 최대 변환 블록 크기보다 큼), 제1 TU/TB는 제2 TU/TB에서의 적어도 하나의 재구성되거나 예측된 샘플에 의해 예측될 수 있다.

a. BV 유효성 검사는 각각의 TU/TB에 대해 별도로 수행될 수 있다.

6. IBC/인터 코딩된 블록(CU)이 분할 정보의 시그널링 없이 다수의 TB/TU로 분할될 때(예를 들어, 블록 크기가 최대 변환 블록 크기보다 큼), 제1 TU/TB는 제2 TU/TB에서의 어떠한 재구성되거나 예측된 샘플에 의해서도 예측될 수 없다.

a. BV 유효성 검사는 전체 코딩된 블록에 대해 수행될 수 있다.

IBC 코딩된 블록에 대한 예측 블록 생성에 관하여

7. IBC 예측 블록 생성을 위해 필터링되고 재구성된 참조 샘플을 사용하는 것이 제안된다.

a. 일례에서, 필터링되고 재구성된 참조 샘플은 디블로킹 필터/양방향 필터/SAO/ALF를 적용함으로써 생성될 수 있다.

b. 일례에서, IBC 코딩된 블록에 대해, 적어도 하나의 참조 샘플은 필터링 후의 참조 샘플이고 적어도 하나의 참조 샘플은 필터링 전의 참조 샘플이다.

8. 필터링되고 재구성된 참조 샘플 및 필터링되지 않고 재구성된 참조 샘플 모두가 IBC 예측 블록 생성에 사용될 수 있다.

a. 일례에서, 필터링되고 재구성된 참조 샘플은 디블로킹 필터/양방향 필터/SAO/ALF를 적용함으로써 생성될 수 있다.

b. 일례에서, IBC 블록에 대한 예측에 대해, 예측의 일부는 필터링된 샘플로부터 이루어질 수 있고 다른 부분은 필터링되지 않은 샘플로부터 이루어질 수 있다.

9. IBC 예측 블록 생성을 위해 재구성된 참조 샘플의 필터링된 값을 사용할지 또는 필터링되지 않은 값을 사용할지 여부는 재구성된 샘플의 위치에 의존할 수 있다.

a. 일례에서, 결정은 현재 CTU 및/또는 참조 샘플을 커버하는 CTU에 대한 재구성된 샘플의 상대적 위치에 의존할 수 있다.

b. 일례에서, 참조 샘플이 현재 CTU/CTB 외부에 있거나 다른 CTU/CTB에 있고, CTU 경계까지의 큰 거리(예를 들어, 4-픽셀)를 가진다면, 대응하는 필터링된 샘플이 활용될 수 있다.

c. 일례에서, 참조 샘플이 현재 CTU/CTB 내에 있다면, 필터링되지 않고 재구성된 샘플이 예측 블록을 생성하기 위해 활용될 수 있다.

d. 일례에서, 참조 샘플이 현재 VPDU의 외부에 있다면, 대응하는 필터링된 샘플이 활용될 수 있다.

e. 일례에서, 참조 샘플이 현재 VPDU 내에 있다면, 필터링되지 않고 재구성된 샘플이 예측 블록을 생성하기 위해 활용될 수 있다.

MVD 코딩에 관하여

모션 벡터(또는 블록 벡터), 또는 모션 벡터 차이 또는 블록 벡터 차이를 (Vx, Vy)로 표시하자.

10. AbsV로 표시되는 모션 벡터의 성분(예를 들어, Vx 또는 Vy)의 절대값을 제1 부분은 AbsV - ((AbsV >> N)<<N)(예를 들어, AbsV&(1<<N), 최하위 N 비트)이고 다른 부분이 (AbsV >> N)(예를 들어, 나머지 최상위 비트)과 같은 두 부분으로 분할하는 것이 제안된다. 각 부분은 개별적으로 코딩될 수 있다.

a. 일례에서, 하나의 모션 벡터 또는 모션 벡터 차이의 각각의 성분은 개별적으로 코딩될 수 있다.

i. 일례에서, 제1 부분은 고정 길이 코딩, 예를 들어 N 비트로 코딩된다.

1) 대안적으로, 제1 부분이 0과 같은지 여부를 나타내기 위해 제1 플래그가 코딩될 수 있다.

a. 대안적으로, 또한, 그렇지 않은 경우, 제1 부분의 값에서 1을 뺀 값을 코딩한다.

ii. 일례에서, MV/MVD의 부호 정보를 갖는 제2 부분은 현재 MVD 코딩 방법으로 코딩될 수 있다.

b. 일례에서, 하나의 모션 벡터 또는 모션 벡터 차이의 각각의 성분의 제1 부분은 공동으로 코딩될 수 있고, 제2 부분은 별개로 코딩될 수 있다.

i. 일례에서, Vx 및 Vy의 제1 부분은 2N 비트를 갖는 새로운 양수 값(예를 들어, (Vx<<N) + Vy)이 되도록 형성될 수 있다.

1) 일례에서, 새로운 양수 값이 0과 같은지 여부를 나타내기 위해 제1 플래그가 코딩될 수 있다.

a. 대안적으로, 또한, 그렇지 않은 경우, 새로운 양수에서 1을 뺀 값을 코딩한다.

2) 대안적으로, 새로운 양수 값은 고정 길이 코딩 또는 exp-golomb 코딩(예를 들어, EG-0차)으로 코딩될 수 있다.

ii. 일례에서, MV/MVD의 부호 정보를 갖는 하나의 모션 벡터의 각각의 성분의 제2 부분은 현재 MVD 코딩 방법을 사용하여 코딩될 수 있다.

c. 일례에서, 하나의 모션 벡터의 각각의 성분의 제1 부분은 공동으로 코딩될 수 있고, 제2 부분도 공동으로 코딩될 수 있다.

d. 일례에서, N은 1 또는 2와 같은 양수 값이다.

e. 일례에서, N은 모션 벡터 저장에 사용되는 MV 정밀도에 의존할 수 있다.

i. 일례에서, 모션 벡터 저장에 사용되는 MV 정밀도가 1/2^M-픽셀이면, N은 M으로 설정된다.

1) 일례에서, 모션 벡터 저장에 사용되는 MV 정밀도가 1/16-픽셀이면, N은 4와 같다.

2) 일례에서, 모션 벡터 저장에 사용되는 MV 정밀도가 1/8-픽셀이면, N은 3과 같다.

3) 일례에서, 모션 벡터 저장에 사용되는 MV 정밀도가 1/4-픽셀이면, N은 2와 같다.

f. 일례에서, N은 현재 모션 벡터(예를 들어, IBC 내의 블록 벡터)의 MV 정밀도에 의존할 수 있다.

i. 일례에서, BV가 1-픽셀 정밀도를 가지는 경우 N은 1로 설정될 수 있다.

SBT에 관하여

11. 서브 블록 변환을 허용하기 위한 최대 CU 폭 및/또는 높이의 표시를 시그널링할지 여부는 최대 허용 변환 블록 크기에 의존한다.

a. 일례에서, 서브 블록 변환을 허용하기 위한 최대 CU 폭 및 높이가 64 또는 32 루마 샘플인지 여부(예를 들어, sps_sbt_max_size_64_flag)는 최대 허용 변환 블록 크기(예를 들어, sps_max_luma_transform_size_64_flag)의 값에 의존할 수 있다.

i. 일례에서, sps_sbt_max_size_64_flag는 sps_sbt_enabled_flag 및 sps_max_luma_transform_size_64_flag 모두가 참일 때에만 시그널링될 수 있다.

LFNST 매트릭스 인덱스에 관하여

12. LFNST/LFNST 매트릭스 인덱스(예를 들어, lfnst_idx)의 사용을 코딩하기 위해 2개의 컨텍스트를 사용하는 것이 제안되며, 선택은 순전히 파티션 트리의 사용에 기초한다.

g. 일례에서, 단일 트리 파티션의 경우, 하나의 컨텍스트가 활용되고, 이중 트리의 경우, 1차 변환에 대한 종속성에 관계없이 다른 컨텍스트가 활용된다.

13. 이중 트리 및/또는 슬라이스 유형 및/또는 색상 성분의 사용에 기초하여 LFNST/LFNST 매트릭스 인덱스(예를 들어, lfnst_idx)의 사용을 코딩하는 것이 제안된다.

5. 추가적인 예시적인 실시예

변경 사항은 굵고 밑줄이 그어진 이탤릭체 로 강조 표시된다. 삭제된 텍스트는 [[]] 괄호로 표시된다.

5.1 실시예 #1

테이블 9-82 - 컨텍스트 코딩된 빈을 갖는 신택스 요소에 대한 ctxInc 할당

신택스 요소	binIdx
	0	1	2	3	4	>= 5
end_of_brick_one_bit	종료	na	na	na	na	na
…
lfnst_idx[][]	[[(tu_mts_idx[x0][y0] ==0 &&)] treeType != SINGLE_TREE [[)]] ? 1 : 0	바이패스	na	na	na	na

5. 2 실시예 #2

7.3.8.5 코딩 유닛 신택스

coding_unit(x0 y0 cbWidth cbHeight cqtDepth treeType modeType) {	디스크립터
chType = treeType == DUAL_TREE_CHROMA? 1 : 0
if(slice_type != I || sps_ibc_enabled_flag [[|| sps_palette_enabled_flag ]]) {
if( treeType != DUAL_TREE_CHROMA && !(((cbWidth == 4 && cbHeight == 4) || modeType == MODE_TYPE_INTRA)&& ! ( sps_ibc_enabled_flag && cbWidth <= MaxTbSizeY && cbHeight <= MaxTbSizeY ) )
cu_skip_flag[x0][y0]	ae(v)
if(cu_skip_flag[x0][y0] == 0 && slice_type != I && !(cbWidth == 4 && cbHeight == 4) && modeType == MODE_TYPE_ALL)
pred_mode_flag	ae(v)
if(((slice_type == I && cu_skip_flag[x0][y0] ==0) || (slice_type != I && (CuPredMode[chType][x0][y0] != MODE_INTRA || (cbWidth == 4 && cbHeight == 4 && cu_skip_flag[x0][y0] == 0)))) && cbWidth <= MaxTbSizeY [[64]] && cbHeight <= MaxTbSizeY [[64]] && modeType != MODE_TYPE_INTER && sps_ibc_enabled_flag && treeType != DUAL_TREE_CHROMA)
pred_mode_ibc_flag	ae(v)
if((((slice_type == I || (cbWidth == 4 && cbHeight == 4) || spc_enabled_flag) && CuPredMode[x0][y0] == MODE_INTRA) || (slice_type != I && !(cbWidth == 4 && cbHeight == 4) && !sps_ibc_enabled_flag && CuPredMode[x0][y0] != MODE_INTRA)) && sps_palette_enabled_flag && cbWidth <= 64 && cbHeight <= 64 && && cu_skip_flag[x0][y0] == 0 && modeType != MODE_INTER)
pred_mode_plt_flag	ae(v)
…
}

도 20은 본 명세서에 개시된 다양한 기술이 구현될 수 있는 하나의 예시적인 비디오 처리 시스템(2000)을 도시하는 블록도이다. 다양한 구현예는 시스템(2000)의 컴포넌트의 일부 또는 전부를 포함할 수 있다. 시스템(2000)은 비디오 콘텐츠를 수신하기 위한 입력부(2002)를 포함할 수 있다. 비디오 콘텐츠는 원시 또는 미압축 포맷으로, 예를 들어 8 또는 10 비트의 다성분 픽셀 값으로 수신될 수 있거나, 또는 압축되거나 인코딩된 포맷일 수 있다. 입력부(2002)는 네트워크 인터페이스, 주변 버스 인터페이스 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예는 이더넷, 수동형 광 네트워크(passive optical network; PON) 등과 같은 유선 인터페이스 및 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스를 포함한다.

시스템(2000)은 본 문서에서 설명되는 다양한 코딩 또는 인코딩 방법을 구현할 수 있는 코딩 컴포넌트(2004)를 포함할 수 있다. 코딩 컴포넌트(2004)는 입력부(2002)로부터 코딩 컴포넌트(2004)의 출력부로의 비디오의 평균 비트레이트를 감소시켜서, 비디오의 코딩된 표현을 생성할 수 있다. 따라서, 코딩 기술은 가끔 비디오 압축 또는 비디오 트랜스코딩 기술이라고 불린다. 코딩 컴포넌트(2004)의 출력은 저장되거나, 컴포넌트(2006)로 표현되는 바와 같은 연결된 통신부를 통해서 송신될 수 있다. 입력부(2002)에서 수신된 비디오의 저장되거나 통신된 비트스트림(또는 코딩된) 표현은, 디스플레이 인터페이스(2010)로 전송되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해서 컴포넌트(2008)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자가 시청할 수 있는 비디오를 생성하는 프로세스는 가끔 비디오 압축 해제라고 불린다. 더욱이, 어떤 비디오 처리 동작이 "코딩" 동작 또는 도구라고 불리는 반면에, 코딩 도구 또는 동작은 인코더 및 대응하는 디코딩 도구에서 사용되고, 또는 코딩의 결과를 반전시키는 동작이 디코더에 의해 수행될 것이라는 것이 이해될 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예는 범용적 시리얼 버스(universal serial bus; USB) 또는 고분해능 멀티미디어 인터페이스(high definition multimedia interface; HDMI) 또는 디스플레이포트(Displayport) 등을 포함할 수 있다. 저장 인터페이스의 예는 SATA(serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 명세서에서 설명되는 기술은, 모바일 폰, 랩탑, 스마트 폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 다른 디바이스와 같은 다양한 전자 디바이스에서 구체화될 수 있다.

도 21은 비디오 처리 장치(2100)의 블록도이다. 장치(2100)는 본 명세서에서 설명되는 방법들 중 하나 이상을 구현하기 위하여 사용될 수 있다. 장치(2100)는 스마트 폰, 태블릿, 컴퓨터, 사물 인터넷(Internet of Things; IoT) 수신기 등 내에 구체화될 수 있다. 장치(2100)는 하나 이상의 프로세서(2102), 하나 이상의 메모리(2104) 및 비디오 처리 하드웨어(2106)를 포함할 수 있다. 프로세서(들)(2102)는 본 명세서에서 설명되는 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(2104)는 본 명세서에서 설명되는 방법 및 기술을 구현하기 위한 데이터 및 코드를 저장하기 위해서 사용될 수 있다. 비디오 처리 하드웨어(2106)는 하드웨어 회로 내에서, 본 명세서에서 설명되는 일부 기술을 구현하기 위하여 사용될 수 있다.

다음의 솔루션은 일부 실시예에서 선호되는 솔루션으로 구현될 수 있다.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 1)에 설명된 추가 기술과 함께 구현될 수 있다.

1. 비디오 처리 방법(예를 들어, 도 22에 도시된 방법(2200))에 있어서, 인트라 블록 복제 도구에 기초하는 비디오 영역 내의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 상기 비디오 블록의 다수의 변환 유닛으로의 분할이 허용된다고 결정하는 단계(2202) - 상기 결정하는 단계는 상기 비디오 블록의 코딩 조건에 기초하고 상기 코딩된 표현은 분할의 시그널링을 생략함 - 및 상기 분할에 기초하여 상기 변환을 수행하는 단계(2204)를 포함하는, 비디오 처리 방법.

2. 솔루션 1에 있어서, 상기 코딩 조건은 상기 비디오의 치수(dimension)에 대응하는, 비디오 처리 방법.

3. 솔루션 2에 있어서, 상기 비디오 블록의 폭이 제1 임계값보다 크기 때문에, 상기 분할이 허용된다고 결정되거나, 상기 비디오 블록의 높이가 제2 임계값보다 크기 때문에, 상기 분할이 허용된다고 결정되는, 비디오 처리 방법.

4. 솔루션 3에 있어서, 상기 제1 임계값 및/또는 상기 제2 임계값은 상기 비디오 영역에 대한 최대 변환 크기와 같은, 비디오 처리 방법.

5. 솔루션 1 내지 4 중 어느 하나에 있어서, 상기 분할은 상기 비디오 블록에 재귀적으로 적용되는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 2)에 설명된 추가 기술과 함께 구현될 수 있다.

6. 비디오 처리 방법에 있어서, 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 인트라 블록 복제(Intra Block Copy; IBC) 도구가 상기 비디오 영역에 대한 최대 변환 크기에 기초하여 상기 비디오 블록의 변환을 위해 인에이블되는지 여부를 결정하는 단계; 및 상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계를 포함하는, 비디오 처리 방법.

7. 솔루션 6의 방법에 있어서, 상기 비디오 블록은 크로마(chroma) 블록이고, 상기 최대 변환 크기는 대응하는 루마(luma) 블록의 크기에 대응하고, 상기 IBC는 상기 최대 변환 크기가 임계값보다 크기 때문에 디스에이블되는, 비디오 처리 방법.

8. 솔루션 6 또는 7에 있어서, 상기 코딩된 표현에서의 신택스(syntax) 요소는 기준을 충족하는 상기 비디오 블록 또는 상기 최대 변환 크기로 인해 인에이블되는지 여부를 나타내는, 비디오 처리 방법.

9. 솔루션 6 내지 8 중 어느 하나에 있어서, 상기 IBC 도구가 인에이블된다고 결정한 것에 따라, 상기 변환은 제로-강제(zero-forcing) 조건에 기초하여 상기 비디오 블록에 대한 잔여 블록을 모두 0으로 강제하는 것을 더 포함하는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 3)에 설명된 추가 기술과 함께 구현될 수 있다.

10. 비디오 처리 방법에 있어서, 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 변환을 위한 인트라 블록 복제(IBC) 도구의 시그널링이 상기 코딩된 표현에 포함되는지 여부를 결정하는 단계; 및 상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계를 포함하고, 상기 결정하는 단계는 상기 비디오 블록의 폭 및/또는 높이와 상기 비디오 영역에 대한 최대 허용 IBC 블록 크기에 기초하는, 비디오 처리 방법.

11. 솔루션 10에 있어서, 상기 시그널링은 상기 폭이 제1 임계값보다 크거나 상기 높이가 제2 임계값보다 크기 때문에 포함되지 않는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 4)에 설명된 추가 기술과 함께 구현될 수 있다.

12. 비디오 처리 방법에 있어서, 인트라 블록 복제(IBC) 도구를 사용하는 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 상기 비디오 블록의 다수의 변환 유닛(transform unit; TU)으로의 분할이 상기 변환에 대하여 허용된다고 결정하는 단계; 및 상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계를 포함하고, 상기 변환은 상기 다수의 TU에 대한 개별 모션 정보의 사용을 포함하는, 비디오 처리 방법.

13. 솔루션 12에 있어서, 상기 다수의 TU는 동일한 고급 모션 벡터 예측자(advanced motion vector predictor) 또는 병합 모드 플래그를 공유하도록 제한되는, 비디오 처리 방법.

14. 솔루션 12에 있어서, 상기 변환 동안, 상기 다수의 TU 중 하나에 대한 모션 정보는 상기 다수의 TU 중 다른 하나의 모션 정보를 사용하지 않고 결정되는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 5)에 설명된 추가 기술과 함께 구현될 수 있다.

15. 솔루션 12 내지 14 중 어느 하나에 있어서, 상기 다수의 TU 중 제1 TU가 상기 다수의 TU 중 제2 TU로부터 예측되는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 6)에 설명된 추가 기술과 함께 구현될 수 있다.

16. 솔루션 12 내지 솔루션 15 중 어느 하나에 있어서, 상기 다수의 TU 중 제2 TU로부터의 상기 다수의 TU 중 제1 TU의 예측이 디스에이블되는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 7)에 설명된 추가 기술과 함께 구현될 수 있다.

17. 비디오 처리 방법에 있어서, 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 인트라 블록 복제 도구가 상기 변환에 대하여 인에이블된다고 결정하는 단계 및 상기 인트라 블록 복제 도구를 이용하여 상기 변환을 수행하는 단계를 포함하고, 상기 비디오 블록의 예측은 상기 비디오 영역의 필터링되고 재구성된 샘플을 사용하여 수행되는, 비디오 처리 방법.

18. 솔루션 17에 있어서, 상기 필터링되고 재구성된 샘플은 인-루프 필터(in-loop)를 상기 재구성된 샘플에 적용함으로써 생성된 샘플을 포함하고, 상기 인-루프 필터는 디블로킹 필터 또는 양방향 필터 또는 샘플 적응 오프셋(sample adaptive offset) 또는 적응 루프(adaptive loop) 필터인, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 8)에 설명된 추가 기술과 함께 구현될 수 있다.

19. 솔루션 17 내지 솔루션 18 중 어느 하나에 있어서, 규칙에 기초하여, 상기 예측은 상기 비디오 영역의 필터링되지 않고 재구성된 샘플을 더 선택적으로 사용하는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 9)에 설명된 추가 기술과 함께 구현될 수 있다.

20. 솔루션 19에 있어서, 상기 규칙은 재구성된 샘플의 위치에 의존하는, 비디오 처리 방법.

21. 솔루션 20에 있어서, 상기 규칙에 대하여 사용된 상기 재구성된 샘플의 위치는 상기 비디오 블록의 코딩 트리 유닛에 대한 재구성된 샘플의 상대 위치인, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 10)에 설명된 추가 기술과 함께 구현될 수 있다.

22. 비디오 처리 방법에 있어서, 다수의 비디오 블록을 포함하는 비디오와 상기 비디오의 코딩된 표현 사이의 변환을 수행하는 단계 - 적어도 일부 비디오 블록은 모션 벡터 정보를 사용하여 코딩되고, 상기 모션 벡터 정보는 상기 모션 벡터 정보의 절대값의 제1 하위 비트(lower significant bit)에 기초한 제1 부분과 제1 하위 비트보다 더 상위에 있는(more significant) 나머지 상위 비트(more significant bit)에 기초한 제2 부분으로서 상기 코딩된 표현에 표현되는, 비디오 처리 방법.

23. 솔루션 22에 있어서, AbsV로 표현되는 모션 벡터 V의 절대값은 AbsV - ((AbsV >> N)<<N) 또는 AbsV&(1<<N)과 같은 상기 제1 부분과 (AbsV >> N)와 같은 상기 제2 부분으로 분할되고, N은 정수인, 비디오 처리 방법.

24. 솔루션 22 내지 23 중 어느 하나에 있어서, 상기 제1 부분 및 상기 제2 부분은 상기 코딩된 표현에서 별도로 코딩되는, 비디오 처리 방법.

25. 솔루션 22 내지 솔루션 24 중 어느 하나에 있어서, x 모션 벡터의 제1 부분은 y 모션 벡터의 제1 부분과 동일한 위치에서 공동으로 코딩되는, 비디오 처리 방법.

26. 솔루션 25에 있어서, 상기 x 모션 벡터의 상기 제2 부분과 상기 y 모션 벡터의 상기 제2 부분은 별도로 코딩되는, 비디오 처리 방법.

27. 솔루션 22 내지 솔루션 26 중 어느 하나에 있어서, N은 모션 벡터의 저장을 위하여 사용되는 정밀도의 함수인, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 11)에 설명된 추가 기술과 함께 구현될 수 있다.

28. 비디오 처리 방법에 있어서, 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 서브 블록 변환 도구가 상기 변환을 위해 인에이블되는지 여부를 결정하는 단계; 및 상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계를 포함하고, 상기 결정하는 단계는, 상기 비디오 영역에 대한 최대 허용 변환 블록 크기에 기초하고, 시그널링은 상기 최대 허용 변환 블록 크기에 조건부로 기초하여 상기 코딩된 표현에 포함되는, 비디오 처리 방법.

다음의 솔루션은 이전 섹션에 나열된 항목(예를 들어, 항목 12, 13)에 설명된 추가 기술과 함께 구현될 수 있다.

29. 비디오 처리 방법에 있어서, 비디오 영역의 비디오 블록의 코딩된 표현과 상기 비디오 블록 사이의 변환을 위해, 저주파 비분리 변환(low frequency non-separable transform; LFNST)이 상기 변환 동안 사용되는지 여부를 결정하는 단계 및 상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계를 포함하고; 상기 결정하는 단계는 상기 비디오 블록에 적용된 코딩 조건에 기초하고, 상기 LFNST 및 상기 LFNST에 대한 행렬 인덱스는 2개의 컨텍스트를 이용하여 상기 코딩된 표현에 코딩되는, 비디오 처리 방법.

30. 솔루션 29에 있어서, 상기 코딩 조건은 사용된 파티션 트리 또는 상기 비디오 블록의 슬라이스 유형 또는 상기 비디오 블록의 색상 성분 아이덴티티를 포함하는, 비디오 처리 방법.

31. 솔루션 1 내지 솔루션 30 중 어느 하나에 있어서, 상기 비디오 영역은 코딩 유닛을 포함하고, 상기 비디오 블록은 상기 비디오 영역의 루마(luma) 또는 크로마(chroma) 성분에 대응하는, 비디오 처리 방법.

32. 솔루션 1 내지 솔루션 31 중 어느 하나에 있어서, 상기 변환은 상기 현재 비디오 블록으로부터 상기 비트스트림 표현을 생성하는 것을 포함하는, 비디오 처리 방법.

33. 솔루션 1 내지 솔루션 31 중 어느 하나에 있어서, 상기 변환은 상기 비트스트림 표현으로부터 상기 현재 비디오 블록의 샘플을 생성하는 것을 포함하는, 비디오 처리 방법.

34. 솔루션 1 내지 솔루션 33 중 어느 하나 이상에 언급된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 처리 장치.

35. 저장된 코드를 갖는 컴퓨터 판독 가능한 매체에 있어서, 상기 코드는, 실행 시, 프로세서로 하여금 솔루션 1 내지 33 중 어느 하나에 기재된 방법을 구현하게 하는, 컴퓨터 판독 가능한 매체.

36. 본 명세서에 여기에 설명된 방법, 시스템 또는 장치.

도 23은 본 기술에 따른 비디오 처리를 위한 방법(2300)의 흐름도 표현이다. 방법(2300)은, 동작(2310)에서, 비디오의 비디오 영역 내의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 현재 블록의 특성에 기초하여 현재 블록을 다수의 변환 유닛으로 분할하는 것이 허용된다고 결정하는 단계를 포함한다. 분할의 시그널링은 코딩된 표현에서 생략된다. 방법(2300)은, 동작(2320)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 현재 블록의 특성은 현재 블록의 치수를 포함한다. 일부 실시예에서, 현재 블록의 폭이 제1 임계값보다 큰 경우 변환을 위해 분할이 호출된다. 일부 실시예에서, 현재 블록의 높이가 제2 임계값보다 큰 경우 변환을 위해 분할이 호출된다. 일부 실시예에서, 현재 블록의 분할은 다수의 변환 유닛 중 하나의 치수가 임계값보다 작거나 같을 때까지 현재 블록을 재귀적으로 분할하는 것을 포함한다. 일부 실시예에서, 현재 블록의 폭은 현재 블록의 폭이 제1 임계값보다 작거나 같을 때까지 재귀적으로 반으로 나누어진다. 일부 실시예에서, 현재 블록의 높이는 현재 블록의 높이가 제2 임계값보다 작거나 같을 때까지 재귀적으로 절반으로 나누어진다. 일부 실시예에서, 현재 블록은 현재 블록의 폭이 제1 임계값 보다 작거나 같고 현재 블록의 높이가 제2 임계값보다 작거나 같을 때까지 재귀적으로 분할된다. 일부 실시예에서, 제1 임계값은 비디오 영역에 대한 최대 변환 크기와 같다. 일부 실시예에서, 제2 임계값은 비디오 영역에 대한 최대 변환 크기와 같다.

일부 실시예에서, 적어도 다수의 변환 유닛의 서브세트는 동일한 모션 정보를 공유한다. 일부 실시예에서, 동일한 모션 정보는 현재 블록에 대한 코딩된 표현에서 한 번 시그널링되는 고급 모션 벡터 예측 모드 또는 병합 모드에 대한 신택스 플래그를 포함한다. 일부 실시예에서, 모션 정보는 코딩된 표현에서 현재 블록에 대해 여러 번 결정된다. 일부 실시예에서, 모션 후보 리스트는 현재 블록에 대해 한 번 구성되고, 다수의 변환 유닛에는 모션 후보 리스트에서의 상이한 후보가 할당된다. 일부 실시예에서, 상이한 후보의 인덱스가 코딩된 표현에서 시그널링된다. 일부 실시예에서, 다수의 변환 유닛의 변환 유닛에 대해, 모션 후보 리스트는 현재 블록 내의 이웃하는 변환 유닛의 모션 정보를 사용하지 않고 구성된다. 일부 실시예에서, 모션 후보 리스트는 현재 블록의 공간적 이웃 블록의 모션 정보를 이용하여 구성된다. 일부 실시예에서, 제1 변환 유닛은 제2 변환 유닛 내의 적어도 하나의 재구성된 샘플에 기초하여 재구성된다. 일부 실시예에서, 유효성 검사는 다수의 변환 유닛 각각에 대해 별개로 수행된다. 일부 실시예에서, 제1 변환 유닛은 다른 변환 유닛의 재구성 샘플을 사용하지 않고 예측된다. 일부 실시예에서, 유효성 검사는 블록이 재구성된 후에 블록에 대해 수행된다.

도 24는 본 기술에 따른 비디오 처리를 위한 방법(2400)의 흐름도 표현이다. 방법(2400)은, 동작(2410)에서, 비디오의 비디오 영역 내의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 영역에서의 필터링되고 재구성된 참조 샘플에 기초하여 인트라 블록 복제(IBC) 모델을 이용하여 현재 블록에 대한 예측 샘플을 결정하는 단계를 포함한다. 또한, 방법은, 동작(2420)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 필터링되고 재구성된 참조 샘플은 디블로킹 필터링 동작, 양방향 필터링 동작, 샘플 적응 오프셋(sample adaptive offset; SAO) 필터링 동작 또는 적응 루프 필터링 동작 중 적어도 하나를 포함하는 필터링 동작에 기초하여 생성된다. 일부 실시예에서, IBC 모델을 사용하여 현재 블록에 대한 예측 샘플을 결정하는 것은 비디오 영역에서 필터링되지 않은 참조 샘플에 더 기초한다. 일부 실시예에서, 현재 블록의 제1 부분에서의 예측 샘플은 필터링되고 재구성된 참조 샘플에 기초하여 결정되고, 현재 블록의 제2 부분에서의 예측 샘플은 필터링되지 않고 재구성된 참조 샘플에 기초하여 결정된다. 일부 실시예에서, 필터링되고 재구성된 참조 샘플 또는 필터링되지 않고 재구성된 참조 샘플이 블록에 대한 예측 샘플을 결정하기 위해 사용될 것인지 여부는 샘플을 커버하는 현재 코딩 트리 유닛 또는 코딩 트리 유닛에 대한 예측 샘플의 위치에 기초한다. 일부 실시예에서, 필터링되고 재구성된 참조 샘플은 예측 샘플이 현재 코딩 트리 유닛의 외부에 위치 설정되는 경우에 예측 샘플을 재구성하는 데 사용된다. 일부 실시예에서, 필터링되고 재구성된 참조 샘플은 예측 샘플이 코딩 트리 유닛 내에 위치되고 코딩 트리 유닛의 하나 이상의 경계로부터 거리 D를 갖는 경우에 예측 샘플을 재구성하는 데 사용되며, D는 4-픽셀(pel)과 같거나 더 크다. 일부 실시예에서, 필터링되지 않고 재구성된 참조 샘플은 예측 샘플이 현재 코딩 트리 유닛 내에 위치 설정되는 경우에 예측 샘플을 재구성하는 데 사용된다. 일부 실시예에서, 필터링되고 재구성된 참조 샘플은 예측 샘플이 현재 가상 파이프라인 데이터 유닛의 외부에 위치 설정되는 경우에 예측 샘플을 재구성하는 데 사용된다. 일부 실시예에서, 필터링되지 않고 재구성된 참조 샘플은 예측 샘플이 현재 가상 파이프라인 데이터 유닛 내에 위치 설정되는 경우에 예측 샘플을 재구성하는 데 사용된다.

도 25는 본 기술에 따른 비디오 처리를 위한 방법(2500)의 흐름도 표현이다. 방법(2500)은, 동작(2510)에서, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 인트라 블록 복제(IBC) 코딩 모델에 대한 스킵(skip) 모드의 사용을 나타내는 신택스 요소가 규칙에 따라 코딩된 표현에 포함되는지 여부를 결정하는 단계를 포함한다. 규칙은 신택스 요소의 시그널링이 현재 블록의 치수 및/또는 IBC 코딩 모델을 이용하여 코딩되는 블록에 대한 최대 허용 치수에 기초한다고 특정한다. 또한, 방법(2500)은, 동작(2520)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 규칙은, 현재 블록의 폭이 최대 허용 폭보다 큰 경우, 신택스 요소가 코딩된 표현에서 생략된다고 특정한다. 일부 실시예에서, 규칙은, 현재 블록의 높이가 최대 허용 높이보다 큰 경우, 신택스 요소가 코딩된 표현에서 생략된다고 특정한다. 일부 실시예에서, 규칙은, 현재 블록의 폭이 최대 허용 폭보다 작거나 같은 경우 신택스 요소가 코딩된 표현에 포함된다고 특정한다. 일부 실시예에서, 규칙은, 현재 블록의 높이이 최대 허용 높이보다 작거나 같은 경우 신택스 요소가 코딩된 표현에 포함된다고 특정한다.

일부 실시예에서, 현재 블록은 비디오의 비디오 영역에 있고, 규칙은 비디오 영역이 I 타일, I 슬라이스, I 브릭, 또는 I 서브 픽처(subpicture)를 포함하는 경우에 적용 가능하다. 일부 실시예에서, 최대 허용 폭 또는 최대 허용 높이가 64이다. 일부 실시예에서, 최대 허용 폭 또는 최대 허용 높이는 가상 파이프라인 데이터 유닛의 치수와 같다. 일부 실시예에서, 최대 허용 폭 또는 최대 허용 높이는 변환 유닛의 최대 치수와 같다.

도 26은 본 기술에 따른 비디오 처리를 위한 방법(2600)의 흐름도 표현이다. 방법(2600)은 동작(2610)에서, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 저주파수 비분리 변환(LFNST) 코딩 모델과 연관된 인덱스를 코딩하기 위한 적어도 하나의 컨텍스트를 결정하는 단계를 포함한다. LFNST 모델은, 인코딩 동안 순방향 1차 변환과 양자화 단계 사이에 순방향 2차 변환을 적용하는 것 또는 디코딩 동안 역양자화 단계와 역방향 1차 변환 사이에 역방향 2차 변환을 적용하는 것을 포함한다. 순방향 2차 변환 및 역방향 2차 변환의 크기는 현재 블록의 크기보다 작다. 적어도 하나의 컨텍스트는 순방향 1차 변환 또는 역방향 1차 변환을 고려하지 않고 현재 블록의 파티션 유형에 기초하여 결정된다. 또한, 방법(2600)은, 동작(2620)에서, 결정하는 단계에 따라 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 파티션 유형이 단일 트리 파티션인 경우, 단 하나의 컨텍스트가 인덱스를 인코딩하기 위하여 사용된다. 일부 실시예에서, 파티션 유형이 이중 트리 파티션인 경우, 2개의 컨텍스트가 인덱스를 인코딩하기 위하여 사용된다.

일부 실시예에서, 저주파수 비분리 변환(LFNST) 코딩 모델의 사용을 나타내는 인덱스는 블록과 연관된 특성에 기초하여 코딩된 표현에 포함되고, 특성은 현재 블록과 연관된 파티션 유형, 슬라이스 유형 또는 색상 성분을 포함한다.

도 27은 본 기술에 따른 비디오 처리를 위한 방법(2700)의 흐름도 표현이다. 방법(2700)은 동작(2710)에서, 비디오의 비디오 영역의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 비디오 영역에 적용 가능한 최대 변환 유닛 크기에 기초하여 인트라 블록 복제(IBC) 코딩 모델이 인에이블되는지 여부를 결정하는 단계를 포함한다. 또한, 방법(2700)은, 동작(2720)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, IBC 코딩 모델은, 현재 블록의 치수 또는 현재 블록에 대응하는 루마(luma) 블록의 치수가 최대 변환 유닛 크기보다 큰 경우 디스에이블된다. 일부 실시예에서, IBC 코딩 모델은, 현재 블록의 폭 또는 현재 블록에 대응하는 루마 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 디스에이블된다. 일부 실시예에서, IBC 코딩 모델은, 현재 블록의 높이 또는 현재 블록에 대응하는 루마 블록의 높이가 최대 변환 유닛 높이보다 큰 경우 디스에이블된다. 일부 실시예에서, 코딩된 표현에서 IBC 코딩 모델의 사용을 시그널링하는 방식은 현재 블록의 치수 및 최대 변환 유닛 크기에 기초한다. 일부 실시예에서, IBC 코딩 모델의 사용을 시그널링하는 것은 IBC 코딩 모델의 스킵 모드를 나타내는 신택스 요소를 포함한다. 일부 실시예에서, 신택스 요소는 코딩된 표현의 I 타일, I 슬라이스, I 브릭 또는 I 서브 픽처에 포함된다.

일부 실시예에서, IBC 코딩 모델의 사용을 시그널링하는 것은 IBC 모드를 나타내는 신택스 요소를 포함한다. 일부 실시예에서, 신텍스 요소는 현재 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 또는 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에 코딩된 표현에서 생략된다. 일부 실시예에서, 신텍스 요소는 현재 블록의 폭이 최대 변환 유닛 폭보다 작거나 같은 경우 또는 현재 블록의 높이가 최대 변환 유닛 높이보다 작거나 같은 경우에 코딩된 표현에서 포함된다. 일부 실시예에서, 신택스 요소는 현재 블록의 폭이 최대 변환 유닛 폭보다 크거나 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에 코딩된 표현에 포함되고 0으로 설정된다.

일부 실시예에서, IBC 코딩 모델이 현재 블록에 대해 인에이블되는 경우, 현재 블록에 대응하는 잔여 블록 내의 샘플은 규칙에 따라 0으로 설정된다. 일부 실시예에서, 규칙은, 현재 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 또는 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에, 샘플이 0으로 설정된다고 특정한다. 일부 실시예에서, 규칙은, 현재 블록의 폭이 제1 임계값보다 큰 경우 또는 현재 블록의 높이가 제2 임계값보다 큰 경우, 샘플이 0으로 설정된다고 특정한다. 일부 실시예에서, 제1 임계값은 64/vSizeX이고, vSizeX는 가상 파이프라인 데이터 유닛의 폭이다. 일부 실시예에서, 제2 임계값은 64/vSizeY이고, vSizeY는 가상 파이프라인 데이터 유닛의 높이이다. 일부 실시예에서, 코딩된 블록에 대한 신택스 플래그는 코딩된 표현에서 생략된다. 일부 실시예에서, 코딩된 블록에 대한 신택스 플래그는 코딩된 표현에서 0으로 설정된다.

일부 실시예에서, 코딩된 표현에서 코딩된 블록에 대한 신택스 플래그의 시그널링은 IBC 코딩 모델의 사용에 기초한다. 일부 실시예에서, IBC 코딩 모델이 현재 블록에 대해 인에이블되고 블록의 치수가 최대 변환 유닛 크기보다 큰 경우, 신택스 플래그는 코딩된 표현에서 생략된다. 일부 실시예에서, IBC 코딩 모델이 현재 블록에 대해 인에이블되고 블록의 치수가 가상 파이프라인 데이터 유닛과 연관된 임계값보다 큰 경우, 신택스 플래그는 코딩된 표현에서 생략된다.

도 28은 본 기술에 따른 비디오 처리를 위한 방법(2800)의 흐름도 표현이다. 방법(2800)은, 동작(2810)에서, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 현재 블록에 대한 모션 벡터의 성분의 절대값이 두 부분으로 분할된다고 결정하는 단계를 포함한다. 모션 벡터는 (Vx, Vy)로 표시되고, 성분은 Vi로 표시되고, Vi는 Vx 또는 Vy이다. 두 부분의 제1 부분은 |Vi| - ((|Vi| >> N) << N)이고, 두 부분의 제2 부분은 |Vi| >> N이고, N은 양의 정수이다. 두 부분은 코딩된 표현에서 별도로 코딩된다. 또한, 방법(2800)은, 동작(2820)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 2개의 성분 Vx 및 Vy는 코딩된 표현에서 별도로 시그널링된다. 제1 부분은 N 비트의 고정 길이로 코딩된다. 일부 실시예에서, 성분 Vx의 제1 부분 및 성분 Vy의 제1 부분은 공동으로 코딩되고, 성분 Vx의 제2 부분 및 성분 Vy의 제2 부분은 별도로 코딩된다. 일부 실시예에서, 성분 Vx의 제1 부분 및 성분 Vy의 제1 부분은 2N 비트의 길이를 갖는 값으로서 코딩된다. 일부 실시예에서, 값은 (Vx<<N) + Vy)과 같다. 일부 실시예에서, 값은 고정 길이 코딩 프로세스 또는 exp-golomb(지수 골롬) 코딩 프로세스를 사용하여 코딩된다.

일부 실시예에서, 성분 Vx의 제1 부분과 성분 Vy의 제1 부분은 공동으로 코딩되고, 성분 Vx의 제2 부분 및 성분 Vy의 제2 부분은 공동으로 코딩된다. 일부 실시예에서, 신택스 플래그는 제1 부분이 0과 같은지 여부를 나타내기 위해 코딩된 표현에 포함된다. 일부 실시예에서, 제1 부분은 K의 값을 갖고, K ≠ 0이고 (K-1)의 값은 코딩된 표현에서 코딩된다. 일부 실시예에서, 부호 정보를 갖는 각각의 성분의 제2 부분은 모션 벡터 차이 코딩 프로세스(motion vector difference coding process)를 사용하여 코딩된다. 일부 실시예에서, N은 1 또는 2이다. 일부 실시예에서, N은 모션 벡터 데이터 저장을 위해 사용되는 모션 벡터 정밀도에 기초하여 결정된다. 일부 실시예에서, 모션 벡터 정밀도가 1/16-픽셀(pel)인 경우 N은 4이다. 일부 실시예에서, 모션 벡터 정밀도가 1/8-픽셀인 경우 N은 3이다. 일부 실시예에서, 모션 벡터 정밀도가 1/4-픽셀인 경우 N은 2이다. 일부 실시예에서, N은 현재 모션 벡터의 모션 벡터 정밀도에 기초하여 결정된다. 일부 실시예에서, 모션 벡터 정밀도가 1-픽셀인 경우 N은 1이다.

도 29는 본 기술에 따른 비디오 처리를 위한 방법(2900)의 흐름도 표현이다. 방법(2900)은, 동작(2910)에서, 비디오의 현재 블록과 비디오의 코딩된 표현 사이의 변환을 위해, 변환 블록의 최대 허용 치수에 기초하여 현재 블록에서 서브 블록 변환을 허용하는 현재 블록의 최대 치수에 대한 정보를 결정하는 단계를 포함한다. 또한, 방법(2900)은, 동작(2920)에서, 결정하는 단계에 기초하여 변환을 수행하는 단계를 포함한다.

일부 실시예에서, 현재 블록에서 서브 블록 변환을 허용하는 현재 블록의 최대 치수는 변환 블록의 최대 허용 치수에 대응한다. 일부 실시예에서, 현재 블록의 최대 치수는 64 또는 32이다. 일부 실시예에서, 현재 블록의 최대 치수를 나타내는 신택스 플래그는, 슬라이스 파라미터 세트 내의 제1 신택스 플래그가 서브 블록 변환이 인에이블된다는 것을 나타내고 슬라이스 파라미터 세트의 제2 신택스 플래그가 변환 블록의 최대 허용 치수가 64인 것을 나타내는 경우에, 코딩된 표현에 포함된다.

일부 실시예에서, 변환은 현재 블록으로부터 코딩된 표현을 생성하는 것을 포함한다. 일부 실시예에서, 변환은 코딩된 표현으로부터 현재 블록의 샘플을 생성하는 것을 포함한다.

위의 솔루션에서, 변환을 수행하는 단계는 변환 결과에 도달하기 위해 인코딩 또는 디코딩 동작 동안 (예를 들어, 특정 코딩 또는 디코딩 단계를 사용하거나 사용하지 않는) 이전 결정 단계의 결과를 사용하는 것을 포함한다.

개시된 기술의 일부 실시예는 비디오 처리 도구 또는 모드를 인에이블하기 위한 결정 또는 판단을 내리는 것을 포함한다. 일례에서, 비디오 처리 도구 또는 모드가 인에이블되면, 인코더는 비디오의 블록의 처리에서 도구 또는 모드를 사용하거나 구현하지만, 도구 또는 모드의 사용에 따라 결과적인 비트스트림을 반드시 수정할 필요는 없다. 즉, 비디오의 블록으로부터 비디오의 비트스트림 표현으로의 변환은 결정 또는 판단에 따라 인에이블될 때 비디오 처리 도구 또는 모드를 사용할 것이다. 다른 예에서, 비디오 처리 툴 또는 모드가 인에이블될 때, 디코더는 비디오 처리 도구 또는 모드에 기초하여 비트스트림이 수정되었다는 것을 알고 있으면서 비트스트림을 처리할 것이다. 즉, 비디오의 비트스트림 표현으로부터 비디오의 블록으로의 변환은 결정 또는 판단에 기초하여 인에이블된 비디오 처리 도구 또는 모드를 사용하여 수행될 것이다.

개시된 기술의 일부 실시예는 비디오 처리 도구 또는 모드를 디스에이블하기 위하여 결정 또는 판단을 내리는 것을 포함한다. 일례에서, 비디오 처리 도구 또는 모드가 디스에이블될 때, 인코더는 비디오의 블록으로부터 비디오의 비트스트림 표현으로의 변환에서 도구 또는 모드를 사용하지 않을 것이다. 다른 예에서, 비디오 처리 도구 또는 모드가 디스에이블될 때, 디코더는 결정 또는 판단에 기초하여 인에이블된 비디오 처리 도구 또는 모드를 사용하여 비트스트림이 수정되지 않았음을 알고 비트스트림을 처리할 것이다.

본 문서에서 설명되는 개시된 솔루션, 예, 실시예, 모듈 및 기능적 동작 및 기타 솔루션, 예, 실시형태, 모듈 및 기능적 동작은, 디지털 전자 회로로 구현될 수 있거나, 본 문서서에 개시되는 구조체 및 이의 구조적 균등물을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있거나, 또는 이들 중 하나의 이상의 조합으로 구현될 수 있다. 개시된 실시예 및 기타 실시예는, 하나 이상의 컴퓨터 프로그램 제품으로서, 예를 들어 데이터 처리 장치에 의해 실행되거나 이의 동작을 제어하기 위한, 컴퓨터 판독 가능한 매체 상에 인코딩된 컴퓨터 프로그램 명령어의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독 가능한 매체는 기계 판독 가능한 저장 디바이스, 기계 판독 가능한 저장 기판, 메모리 디바이스, 기계 판독 가능한 전파된 신호에 영향을 주는 물질의 조성물 또는 이들 중 하나 이상의 조합일 수 있다. "데이터 처리 장치"라는 용어는, 예로서, 프로그래머블 프로세서, 컴퓨터 또는 다수의 프로세서나 컴퓨터를 포함하는, 데이터를 처리하기 위한 모든 장치, 디바이스 및 기계를 망라한다. 장치는, 하드웨어에 추가하여, 관심 대상인 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파된 신호는 인위적으로 생성된 신호, 예를 들어, 적절한 수신기 장치로의 송신을 정보를 인코딩하기 위하여 생성되는, 기계에 의해 생성된 전기적, 광학적 또는 전자기적 신호이다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일 또는 인터프리터 언어를 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 기타 유닛을 포함하는 임의의 형태로 효율적으로 활용될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응해야 하는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부(예를 들어, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트), 당해 프로그램 전용의 단일 파일에 또는 다수의 조직화된 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램, 코드의 부분을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서, 또는 한 위치에 위치되거나 또는 다수의 위치에 걸쳐서 분산되고 통신 네트워크에 의해 접속된 다수의 컴퓨터에서 실행되도록 효율적으로 활용될 수 있다.

본 문서에서 설명된 프로세스와 논리 흐름은 입력 데이터에 동작하여 출력을 생성함으로써 기능을 수행하는 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 프로세서에 의해 수행될 수 있다. 또한, 프로세서와 논리 흐름은, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치 또한 이러한 특수 목적 논리 회로로서 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예로서, 범용 및 전용 마이크로프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 리드 온리 메모리나 랜덤 액세스 메모리 또는 이 둘 모두로부터 명령어과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령어를 실행하는 프로세서 및 명령어와 데이터를 저장하는 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기 디스크, 광자기 디스크 또는 광디스크를 포함하거나, 이로부터 데이터를 수신하거나 이에 데이터를 전송하도록 동작 가능하게 결합될 것이다. 그러나, 컴퓨터는 이러한 디바이스를 구비할 필요는 없다. 컴퓨터 프로그램 명령어와 데이터를 저장하기 적합한 컴퓨터 판독 가능한 매체는, 예로서, 예를 들어 EPROM, EEPROM, 플래시 메모리 디바이스인 반도체 메모리 디바이스; 예를 들어, 내부 하드디스크, 착탈식 디스크인 자기 디스크; 광자기 디스크; 및 CD ROM과 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 통합될 수 있다.

본 특허 문서가 많은 세부사항을 포함하고 있지만, 이는 주제의 범위 또는 청구될 수 있는 것의 범위에 대한 제한으로서 이해되어서는 안 되며, 오히려 특정한 기술의 특정한 실시예에 고유할 수 있는 특징의 설명으로서 이해되어야 한다. 또한. 별개의 실시예와 연계하여 본 특허 문서에서 설명된 소정의 특징들은 조합되어 단일 실시예로 구현될 수도 있다. 반대로, 단일 실시예와 연계하여 설명한 다양한 특징은 또한 다수의 실시예에서 별개로 구현되거나 어떤 적당한 하위 조합으로도 구현될 수 있다. 더욱이, 특징이 특정 조합에서 동작하는 것으로서 위에서 설명되고 심지어 초기에 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에 해당 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위 조합이나 하위 조합의 변형으로 될 수 있다.

마찬가지로, 동작들이 도면들에서 특정 순서로 도시되고 있지만, 이는 그러한 동작들이 바람직한 결과를 얻기 위해, 도시된 특정 순서나 순차적인 순서로 수행되어야 한다거나, 도시된 모든 동작이 수행되어야 한다는 것을 의미하지 않는다. 더욱이, 본 특허 문서에 기재된 실시예에 있어서 다양한 시스템 컴포넌트의 분리는 모든 실시예에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.

단지 몇 가지 구현들 및 예시들이 기술되었으며, 기타 구현, 개선 및 변형은 본 특허 문서에 기술되고 도시된 것에 기초하여 이루어질 수 있다.

Claims (61)

1. 비디오 처리를 위한 방법에 있어서,
   비디오의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 인트라 블록 복제(intra-block copy; IBC) 코딩 모델에 대한 스킵(skip) 모드의 사용을 나타내는 신택스(syntax) 요소가 규칙에 따라 상기 코딩된 표현에 포함되는지 여부를 결정하는 단계 - 상기 규칙은 상기 신택스 요소의 시그널링이 상기 현재 블록의 치수(dimension) 및/또는 상기 IBC 코딩 모델을 이용하여 코딩되는 블록에 대한 최대 허용 치수에 기초한다고 특정함 -; 및
   상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계;
   를 포함하는, 비디오 처리 방법.
2. 제1항에 있어서,
   상기 규칙은, 상기 현재 블록의 폭이 최대 허용 폭보다 큰 경우, 상기 신택스 요소가 상기 코딩된 표현에서 생략된다고 특정하는, 비디오 처리 방법.
3. 제1항에 있어서,
   상기 규칙은, 상기 현재 블록의 높이가 최대 허용 높이보다 큰 경우, 상기 신택스 요소가 상기 코딩된 표현에서 생략된다고 특정하는, 비디오 처리 방법.
4. 제1항에 있어서,
   상기 규칙은, 상기 현재 블록의 폭이 최대 허용 폭보다 작거나 같은 경우 상기 신택스 요소가 상기 코딩된 표현에 포함된다고 특정하는, 비디오 처리 방법.
5. 제1항에 있어서,
   상기 규칙은, 상기 현재 블록의 높이이 최대 허용 높이보다 작거나 같은 경우 상기 신택스 요소가 상기 코딩된 표현에 포함된다고 특정하는, 비디오 처리 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 현재 블록은 상기 비디오의 비디오 영역에 있고, 상기 규칙은 상기 비디오 영역이 I 타일, I 슬라이스, I 브릭, 또는 I 서브 픽처(subpicture)를 포함하는 경우에 적용 가능한, 비디오 처리 방법.
7. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 최대 허용 폭 또는 상기 최대 허용 높이는 64인, 비디오 처리 방법.
8. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 최대 허용 폭 또는 상기 최대 허용 높이는 가상 파이프라인 데이터 유닛의 치수와 같은, 비디오 처리 방법.
9. 제2항 내지 제5항 중 어느 한 항에 있어서,
   상기 최대 허용 폭 또는 상기 최대 허용 높이는 변환 유닛의 최대 치수와 같은, 비디오 처리 방법.
10. 비디오 처리를 위한 방법에 있어서,
    비디오의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 저주파수 비분리 변환(low-frequency non-separable transform; LFNST) 코딩 모델과 연관된 인덱스를 코딩하기 위한 적어도 하나의 컨텍스트(context)를 결정하는 단계 - 상기 LFNST 모델은, 인코딩 동안 순방향 1차 변환(forward primary transform)과 양자화(quantization) 단계 사이에 순방향 2차 변환(forward secondary transform)을 적용하는 것 또는 디코딩 동안 역양자화(de-quantization) 단계와 역방향 1차 변환(inverse primary transform) 사이에 역방향 2차 변환(inverse secondary transform)을 적용하는 것을 포함하고, 상기 순방향 2차 변환 및 상기 역방향 2차 변환의 크기가 현재 블록의 크기보다 작고, 상기 적어도 하나의 컨텍스트는 상기 순방향 1차 변환 또는 상기 역방향 1차 변환을 고려하지 않고 상기 현재 블록의 파티션 유형에 기초하여 결정됨 -; 및
    상기 결정하는 단계에 따라 상기 변환을 수행하는 단계
    를 포함하는, 비디오 처리 방법.
11. 제10항에 있어서,
    상기 파티션 유형이 단일 트리 파티션인 경우, 단 하나의 컨텍스트가 상기 인덱스를 인코딩하기 위하여 사용되는, 비디오 처리 방법.
12. 제10항에 있어서,
    상기 파티션 유형이 이중 트리 파티션인 경우, 2개의 컨텍스트가 상기 인덱스를 인코딩하기 위하여 사용되는, 비디오 처리 방법.
13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 저주파수 비분리 변환(LFNST) 코딩 모델의 사용을 나타내는 인덱스는 상기 블록과 연관된 특성에 기초하여 상기 코딩된 표현에 포함되고, 상기 특성은 상기 현재 블록과 연관된 상기 파티션 유형, 슬라이스 유형 또는 색상 성분을 포함하는, 비디오 처리 방법.
14. 비디오 처리를 위한 방법에 있어서,
    비디오의 비디오 영역의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 상기 비디오 영역에 적용 가능한 최대 변환 유닛 크기에 기초하여 인트라 블록 복제(intra-block copy; IBC) 코딩 모델이 인에이블되는지 여부를 결정하는 단계; 및
    상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계;
    를 포함하는, 비디오 처리 방법.
15. 제14항에 있어서,
    상기 IBC 코딩 모델은, 상기 현재 블록의 치수 또는 상기 현재 블록에 대응하는 루마(luma) 블록의 치수가 상기 최대 변환 유닛 크기보다 큰 경우 디스에이블되는, 비디오 처리 방법.
16. 제15항에 있어서,
    상기 IBC 코딩 모델은, 상기 현재 블록의 폭 또는 상기 현재 블록에 대응하는 루마 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 디스에이블되는, 비디오 처리 방법.
17. 제15항에 있어서,
    상기 IBC 코딩 모델은, 상기 현재 블록의 높이 또는 상기 현재 블록에 대응하는 루마 블록의 높이가 최대 변환 유닛 높이보다 큰 경우 디스에이블되는, 비디오 처리 방법.
18. 제14항 내지 제17항 중 어느 한 항에 있어서,
    상기 코딩된 표현에서 상기 IBC 코딩 모델의 사용을 시그널링하는 방식은 상기 현재 블록의 치수 및 상기 최대 변환 유닛 크기에 기초하는, 비디오 처리 방법.
19. 제18항에 있어서,
    상기 IBC 코딩 모델의 사용을 시그널링하는 것은 상기 IBC 코딩 모델의 스킵(skip) 모드를 나타내는 신택스(syntax) 요소를 포함하는, 비디오 처리 방법.
20. 제19항에 있어서,
    상기 신택스 요소는 상기 코딩된 표현의 I 타일, I 슬라이스, I 브릭 또는 I 서브 픽처(subpicture)에 포함되는, 비디오 처리 방법.
21. 제18항 내지 제20항 중 어느 한 항에 있어서,
    상기 IBC 코딩 모델의 사용을 시그널링하는 것은 상기 IBC 모드를 나타내는 신택스 요소를 포함하는, 비디오 처리 방법.
22. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 신택스 요소는 상기 현재 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 또는 상기 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에 상기 코딩된 표현에서 생략되는, 비디오 처리 방법.
23. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 신택스 요소는 상기 현재 블록의 폭이 최대 변환 유닛 폭보다 작거나 같은 경우 또는 상기 현재 블록의 높이가 최대 변환 유닛 높이보다 작거나 같은 경우에 상기 코딩된 표현에서 포함되는, 비디오 처리 방법.
24. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 신택스 요소는 상기 현재 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 또는 상기 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에 상기 코딩된 표현에 포함되고 0으로 설정되는, 비디오 처리 방법.
25. 제18항 내지 제24항 중 어느 한 항에 있어서,
    상기 IBC 코딩 모델이 상기 현재 블록에 대해 인에이블되는 경우, 상기 현재 블록에 대응하는 잔여 블록 내의 샘플은 규칙에 따라 0으로 설정되는, 비디오 처리 방법.
26. 제25항에 있어서,
    상기 규칙은, 상기 현재 블록의 폭이 최대 변환 유닛 폭보다 큰 경우 또는 상기 현재 블록의 높이가 최대 변환 유닛 높이보다 큰 경우에, 상기 샘플이 0으로 설정된다고 특정하는, 비디오 처리 방법.
27. 제25항에 있어서,
    상기 규칙은, 상기 현재 블록의 폭이 제1 임계값보다 큰 경우 또는 상기 현재 블록의 높이가 제2 임계값보다 큰 경우, 상기 샘플이 0으로 설정된다고 특정하는, 비디오 처리 방법.
28. 제27항에 있어서,
    상기 제1 임계값은 64/vSizeX이고, vSizeX는 가상 파이프라인 데이터 유닛의 폭인, 비디오 처리 방법.
29. 제27항에 있어서,
    상기 제2 임계값은 64/vSizeY이고, vSizeY는 가상 파이프라인 데이터 유닛의 높이인, 비디오 처리 방법.
30. 제25항 내지 제29항 중 어느 한 항에 있어서,
    코딩된 블록에 대한 신택스 플래그는 상기 코딩된 표현에서 생략되는, 비디오 처리 방법.
31. 제25항 내지 제29항 중 어느 한 항에 있어서,
    코딩된 블록에 대한 신택스 플래그는 상기 코딩된 표현에서 0으로 설정되는, 비디오 처리 방법.
32. 제18항 내지 제31항 중 어느 한 항에 있어서,
    상기 코딩된 표현에서 코딩된 블록에 대한 신택스 플래그의 시그널링은 상기 IBC 코딩 모델의 사용에 기초하는, 비디오 처리 방법.
33. 제32항에 있어서,
    상기 IBC 코딩 모델이 상기 현재 블록에 대해 인에이블되고 상기 블록의 치수가 상기 최대 변환 유닛 크기보다 큰 경우, 상기 신택스 플래그는 상기 코딩된 표현에서 생략되는, 비디오 처리 방법.
34. 제32항에 있어서,
    상기 IBC 코딩 모델이 상기 현재 블록에 대해 인에이블되고 상기 블록의 치수가 가상 파이프라인 데이터 유닛과 연관된 임계값보다 큰 경우, 상기 신택스 플래그는 상기 코딩된 표현에서 생략되는, 비디오 처리 방법.
35. 비디오 처리를 위한 방법에 있어서,
    비디오의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 상기 현재 블록에 대한 모션 벡터의 성분의 절대값이 두 부분으로 분할된다고 결정하는 단계 - 상기 모션 벡터는 (Vx, Vy)로 표시되고, 상기 성분은 Vi로 표시되고, Vi는 Vx 또는 Vy이고, 상기 두 부분의 제1 부분은 |Vi| - ((|Vi| >> N) << N)과 같고, 상기 두 부분의 제2 부분은 |Vi| >> N과 같고, N은 양의 정수이고, 상기 두 부분은 상기 코딩된 표현에서 별도로 코딩됨 -; 및
    상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계;
    를 포함하는, 비디오 처리 방법.
36. 제35항에 있어서,
    상기 2개의 성분 Vx 및 Vy는 상기 코딩된 표현에서 별도로 시그널링되는, 비디오 처리 방법.
37. 제36항에 있어서,
    상기 제1 부분은 N 비트의 고정 길이로 코딩되는, 비디오 처리 방법.
38. 제35항에 있어서,
    상기 성분 Vx의 상기 제1 부분 및 상기 성분 Vy의 상기 제1 부분은 공동으로 코딩되고, 상기 성분 Vx의 상기 제2 부분 및 상기 성분 Vy의 상기 제2 부분은 별도로 코딩되는, 비디오 처리 방법.
39. 제38항에 있어서,
    상기 성분 Vx의 상기 제1 부분 및 상기 성분 Vy의 상기 제1 부분은 2N 비트의 길이를 갖는 값으로서 코딩되는, 비디오 처리 방법.
40. 제39항에 있어서,
    상기 값은 (Vx<<N) + Vy)과 같은, 비디오 처리 방법.
41. 제39항 또는 제40항에 있어서,
    상기 값은 고정 길이 코딩 프로세스 또는 exp-golomb 코딩 프로세스를 사용하여 코딩되는, 비디오 처리 방법.
42. 제35항에 있어서,
    상기 성분 Vx의 상기 제1 부분과 상기 성분 Vy의 상기 제1 부분은 공동으로 코딩되고, 상기 성분 Vx의 상기 제2 부분 및 상기 성분 Vy의 상기 제2 부분은 공동으로 코딩되는, 비디오 처리 방법.
43. 제35항 내지 제42항 중 어느 한 항에 있어서,
    신택스 플래그는 상기 제1 부분이 0과 같은지 여부를 나타내기 위해 상기 코딩된 표현에 포함되는, 비디오 처리 방법.
44. 제43항에 있어서,
    상기 제1 부분은 K의 값을 갖고, K ≠ 0이고 (K-1)의 값은 상기 코딩된 표현에서 코딩되는, 비디오 처리 방법.
45. 제35항 내지 제44항 중 어느 한 항에 있어서,
    부호 정보를 갖는 각각의 성분의 상기 제2 부분은 모션 벡터 차이 코딩 프로세스(motion vector difference coding process)를 사용하여 코딩되는, 비디오 처리 방법.
46. 제35항 내지 제45항 중 어느 한 항에 있어서,
    N은 1 또는 2인, 비디오 처리 방법.
47. 제35항 내지 제45항 중 어느 한 항에 있어서,
    N은 모션 벡터 데이터 저장을 위해 사용되는 모션 벡터 정밀도에 기초하여 결정되는, 비디오 처리 방법.
48. 제47항에 있어서,
    상기 모션 벡터 정밀도가 1/16-픽셀(pel)인 경우 N은 4인, 비디오 처리 방법.
49. 제47항에 있어서,
    상기 모션 벡터 정밀도가 1/8-픽셀인 경우 N은 3인, 비디오 처리 방법.
50. 제47항에 있어서,
    상기 모션 벡터 정밀도가 1/4-픽셀인 경우 N은 2인, 비디오 처리 방법.
51. 제35항 내지 제45항 중 어느 한 항에 있어서,
    N은 현재 모션 벡터의 모션 벡터 정밀도에 기초하여 결정되는, 비디오 처리 방법.
52. 제51항에 있어서,
    상기 모션 벡터 정밀도가 1-픽셀인 경우 N은 1인, 비디오 처리 방법.
53. 비디오 처리를 위한 방법에 있어서,
    비디오의 현재 블록과 상기 비디오의 코딩된 표현 사이의 변환을 위해, 변환 블록의 최대 허용 치수에 기초하여 상기 현재 블록에서 서브 블록 변환을 허용하는 상기 현재 블록의 최대 치수에 대한 정보를 결정하는 단계; 및
    상기 결정하는 단계에 기초하여 상기 변환을 수행하는 단계
    를 포함하는, 비디오 처리 방법.
54. 제53항에 있어서,
    상기 현재 블록에서 서브 블록 변환을 허용하는 상기 현재 블록의 상기 최대 치수는 변환 블록의 상기 최대 허용 치수에 대응하는, 비디오 처리 방법.
55. 제54항에 있어서,
    상기 현재 블록의 상기 최대 치수는 64 또는 32인, 비디오 처리 방법.
56. 제53항 내지 제55항 중 어느 한 항에 있어서,
    상기 현재 블록의 상기 최대 치수를 나타내는 신택스 플래그는, 슬라이스 파라미터 세트 내의 제1 신택스 플래그가 서브 블록 변환이 인에이블된다는 것을 나타내고 상기 슬라이스 파라미터 세트의 제2 신택스 플래그가 변환 블록의 상기 최대 허용 치수가 64인 것을 나타내는 경우에, 상기 코딩된 표현에 포함되는, 비디오 처리 방법.
57. 제1항 내지 제56항 중 어느 한 항에 있어서,
    상기 변환은 상기 현재 블록으로부터 상기 코딩된 표현을 생성하는 것을 포함하는, 비디오 처리 방법.
58. 제1항 내지 제56항 중 어느 한 항에 있어서,
    상기 변환은 상기 코딩된 표현으로부터 상기 현재 블록의 샘플을 생성하는 것을 포함하는, 비디오 처리 방법.
59. 제1항 내지 제58항 중 어느 한 항에 기재된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 처리 장치.
60. 저장된 코드를 갖는 컴퓨터 판독 가능한 매체에 있어서, 상기 코드는, 실행 시, 프로세서로 하여금 제1항 내지 제58항 중 어느 한 항에 기재된 방법을 구현하게 하는, 컴퓨터 판독 가능한 매체.
61. 제1항 내지 제58항 중 어느 한 항에 따라 생성된 코딩된 표현을 저장하는 컴퓨터 판독 가능한 매체.

Images