KR20210121021A - 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥 - Google Patents

Abstract

비디오 처리 방법이 제공된다. 이 방법은 비디오의 현재 비디오 블록과 현재 비디오 블록의 코딩된 표현 사이의 변환이 논 어파인 화면 간 AMVR 모드에 기반한다고 결정하는 단계 및 상기 결정에 기초하여 상기 변환을 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하고, 상기 현재 비디오 블록을 코딩하는 데 사용되는 문맥은 상기 변환 동안 인접 블록의 어파인 AMVR 모드의 이용 없이 모델링된다.

Description

어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥

관련 개시들에 대한 상호 참조

파리협약에 따른 적용가능한 특허법 및/또는 규칙에 따라, 본 출원은 2019년 1월 31일에 제출된 국제 출원 PCT/CN2019/074216호, 2019년 2월 1일에 제출된 국제 출원 PCT/CN2019/074433호 및 2019년 3월 27일에 제출된 국제 출원 PCT/CN2019/079962호의 우선권과 혜택을 적시에 주장하기 위해 만들어졌다. 상기 출원들의 전체 개시물은 본 출원의 개시의 일부로서 참고로 통합된다.

본 특허 문서는 비디오 처리 기술들, 장치들 및 시스템들에 관한 것이다.

비디오 압축 기술의 발전에도 불구하고 디지털 비디오는 여전히 인터넷 및 기타 디지털 통신 네트워크에서 가장 큰 대역폭을 사용한다. 비디오를 수신하고 표시할 수 있는 접속된 사용자 장치의 수가 증가함에 따라, 디지털 비디오 사용을 위한 대역폭 수요가 계속 증가할 것으로 예상된다.

디지털 비디오 코딩, 구체적으로, 적응적 움직임 벡터 해상도 (adaptive motion vector resolution (AMVR))를 가지는 어파인 모드를 위한 움직임 벡터 예측자 유도 및 시그널링에 관한 장치들, 시스템들 및 방법들이 설명된다. 설명된 방법들은 기존 비디오 코딩 표준들 (가령, High Efficiency Video Coding (HEVC)) 뿐만 아니라 미래의 비디오 코딩 표준들 및 비디오 코덱들에도 적용될 수 있다.

일 예시적 양상에서, 개시된 기술은 비디오 처리 방법을 제공하는 데 사용될 수 있다. 이 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 논 어파인 화면 간 AMVR 모드를 기반으로 하도록 결정하는 단계 및 상기 변환을 상기 결정에 기초하여 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩에 기반하고, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 인접 블록의 어파인 AMVR 모드 정보의 이용 없이 모델링될 수 있다.

또 다른 예시적 양상에서, 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록 및 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 적응적 움직임 벡터 해상도(affine AMVR) 모드에 기반하도록 결정하는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하고, 변수는 문맥에 대한 두 개의 확률 업데이트 속도를 제어한다.

다른 대표적인 양상에 있어서, 개시된 기술은 비디오 처리 방법을 제공하는 데 사용된다. 이 방법은 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 AMVR 모드에 기반한다고 결정하는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하되, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 어파인 화면간 모드 및 정상(normal) 화면 간 모드의 AMVR 모드가 모두 사용되는 인접 블록의 코딩 정보를 이용하여 모델링된다.

다른 대표적인 양상에 있어서, 개시된 기술은 비디오 처리 방법을 제공하는 데 사용된다. 이 방법은 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해, 상기 변환에 대한 다중 문맥들의 사용을 결정하는 단계 및 상기 결정을 기반으로 상기 변환을 수행하는 단계를 포함하되, 상기 다중 문맥들은 조동 움직임 정밀도(coarse motion precision)를 지시하는 구문(syntax) 요소를 코딩하는 데 활용된다.

다른 대표적인 양상에 있어서, 개시된 기술은 비디오 처리 방법을 제공하는 데 사용된다. 이 방법은 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해 SMVD(symmetric motion vector difference) 모드를 상기 변환을 위해 현재 선택된 최상의 모드에 기반하여 사용할 지 여부에 대한 결정을 내리는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함한다.

다른 대표적인 양상에 있어서, 개시된 기술은 비디오 처리 방법을 제공하는 데 사용된다. 이 방법은 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해, 현재 선택된, 상기 변환을 위한 최상의 모드에 기반하여 어파인 SMVD(affine symmetric motion vector difference) 모드를 사용할지 여부에 대해 결정을 내리는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함한다.

또 다른 대표적인 양상에서, 전술한 방법은 프로세서 실행 가능한 코드의 형태로 구현되고 컴퓨터 판독 가능한 프로그램 매체에 저장된다.

또 다른 대표적인 양상에서, 전술한 방법을 수행하도록 구성되거나 동작 할 수 있는 장치가 개시된다. 장치는 이 방법을 구현하도록 프로그래밍 된 프로세서를 포함할 수 있다.

또 다른 대표적인 양상에서, 비디오 디코더 장치는 본 문서에 개시된 방법을 구현할 수 있다.

개시된 기술의 상기 및 다른 측면들 및 특징들은 도면들, 설명 및 청구항들에서보다 상세히 설명된다.

도 1은 머지 후보 리스트를 구성하는 일 예를 보여준다.
도 2는 공간적 후보들의 위치들의 일 예를 보여준다.
도 3은 공간적 머지 후보들의 중복성 검사에 고려되는 후보 쌍들의 일 예를 보여준다.
도 4a 및 도 4b는 현재 블록의 크기 및 모양에 기반하는 제2 예측 유닛(prediction unit: PU)의 위치의 예들을 보여준다.
도 5는 시간적 머지 후보들에 대한 움직임 벡터 스케일링의 예를 보여준다.
도 6은 시간적 머지 후보들에 대한 후보 위치들의 예를 보여준다.
도 7은 결합 양예측(bi-predictive) 머지 후보를 생성하는 예를 보여준다.
도 8은 움직임 벡터 예측 후보들을 구성하는 예를 보여준다.
도 9는 공간적 움직임 벡터 후보들에 대한 움직임 벡터 스케일링의 예를 보여준다.
도 10은 코딩 유닛에 대해 대안적인 시간 움직임 벡터 예측(ATMVP)을 사용하는 움직임 예측의 예를 보여준다.
도 11은 시-공간적 움직임 벡터 예측(STMVP) 알고리즘에 의해 사용되는 서브 블록들 및 주변 블록들을 가지는 코딩 유닛의 예를 보여준다.
도 12a 및 12b는 중복된 블록 움직임 보상 (overlapped block motion compensation: OBMC) 알고리즘을 사용할 때, 서브 블록의 예시적 스냅 샷들의 예를 보여준다.
도 13은 지역 조명 보상(local illumination compensation: LIC) 알고리즘을 위한 파라미터들을 유도하는 데에 사용되는 주변 샘플들의 예를 보여준다.
도 14는 단순화된 어파인 움직임 모델의 예를 보여준다.
도 15는 서브 블록 당 어파인 움직임 벡터 필드(motion vector field: MVF)의 예를 보여준다.
도 16은 AF_INTER 어파인 움직임 모드를 위한 움직임 벡터 예측(MVP)의 예를 보여준다.
도 17a 및 도 17b는 각각 4 파라미터 및 6 파라미터 어파인 모델의 예들을 보여준다.
도 18a 및 도 18b는 AF_MERGE 어파인 움직임 모드를 위한 후보 예들을 보여준다.
도 19는 프레임율 상향 변환(frame-rate up conversion: FRUC) 알고리즘에 기반한 특별한 머지 모드인 패턴 매치된 움직임 벡터 유도(pattern matched motion vector derivation: PMMVD) 모드에서의 양방향 매칭의 예를 보여준다.
도 20은 FRUC 알고리즘에서 템플릿 매칭의 예를 보여준다.
도 21은 FRUC 알고리즘에서 단방향 움직임 추정의 예를 보여준다.
도 22는 양방향 광학 흐름(bi-directional optical flow: BIO) 알고리즘에 의해 사용되는 광학 흐름 궤적의 예를 보여준다.
도 23a 및 도 23b는 블록 연장부(block extensions) 없이 양방향(bi-directional) 광학 흐름(BIO) 알고리즘을 사용하는 예시적인 스냅샷들을 보여준다.
도 24는 양방향(bilateral) 템플릿 매칭에 기반하는 디코더 측 움직임 벡터 개선(decoder-side motion vector refinement: DMVR) 알고리즘의 예를 보여준다.
도 25a부터 도 25f는 개시된 기술의 몇몇 구현들에 기반하여 비디오 처리를 위한 예시적 방법들의 순서도들을 보여준다.
도 26은 본 문서에 기술된 시각 미디어 디코딩 또는 시각 미디어 인코딩 기술을 구현하기 위한 하드웨어 플랫폼의 예를 나타내는 블록도이다.
도 27은 대칭 모드의 일 예를 보여준다.
도 28는 본 문서에 기술된 비디오 처리 시스템을 구현하기 위한 하드웨어 플랫폼의 예를 나타내는 다른 블록도이다.

더 높은 해상도를 가진 비디오에 대한 수요가 계속 증가함에 따라, 비디오 코딩 방법 및 기법들은 현대 기술에서는 흔히 볼 수 있게 되었다. 비디오 코덱은 디지털 비디오를 압축하거나 푸는 소트프웨어 또는 전자 회로를 주로 포함하며 더 높은 코딩 효율을 제공하기 위해 지속적으로 개선되고 있다. 비디오 코덱은 압축되지 않은 비디오를 압축된 포멧으로 또는 그 반대로 변환시킨다. 비디오의 질, 비디오를 표현하는 데에 사용되는 데이터의 양(비트 레이트에 의해 결정), 인코딩 및 디코딩 알고리즘들의 복잡성, 데이터 손실 및 에러에 대한 민감도, 편집 용이성, 랜덤 액세스, 그리고 단대단 지연 사이에는 복잡한 관계가 있다. 압축된 포맷은 대개의 경우 (H265 또는 MPEG-H Part 2로도 알려진) HEVC (High Efficiency Video Coding) 표준[1], 최종 확정될 VVC (Versatile Video Coding) 또는 기타 현재 및/또는 미래의 비디오 코딩 표준들을 따른다.

개시된 기술의 실시예들은 압축 성능의 향상을 위해 기존 비디오 코딩 표준들 (예를 들어, HEVC, H 256) 및 미래의 표준들에 적용될 수 있다. 본 문서에서 섹션 제목들은 설명의 가독성을 높이기 위해 사용된 것이며 논의 또는 실시예들 (및/또는 구현들)의 해당 섹션들로 결코 제한하지 않는다.

1. HEVC/H.265에서 화면간 예측의 예들

비디오 코딩 표준들은 수 년간 상당히 발전하여 이제는 부분적으로 높은 코딩 효율을 제공하고 더 높은 해상도를 지원하고 있다. HEVC 및 H 265와 같은 최근 표준들은 시간적 예측과 변환 코딩이 활용되는 하이브리드 비디오 코딩 구조를 기반으로 한다.

1.1 예측 모드의 예들

화면 내 예측된 각각의 예측 유닛(Prediction unit: PU)은 하나 또는 두 개의 참조 픽처 리스트에 대한 움직임 파라미터들을 가진다. 몇몇 실시예들에서, 움직임 파라미터들은 움직임 벡터 및 참조 픽처 인덱스를 포함한다. 다른 실시예들에서, 상기 두 참조 픽처 리스트들 중 하나의 사용은 inter_pred_idc를 사용하여 시그널링될 수 있다. 또 다른 실시예들에서, 움직임 벡터들은 예측자들과 관련하여 델타들(deltas)로 명시적으로 코딩될 수 있다.

CU이 스킵 모드로 코딩될 경우, 하나의 PU가 상기 CU와 연관되며, 의미있는 잔여 계수들, 코딩된 움직임 벡터 델타 또는 참조 픽처 인덱스가 존재하지 않는다. 머지 모드가 지정되면, 현재 PU에 대한 움직임 파라미터들이 공간적 및 시간적 후보들을 포함하여 인접 PU들로부터 획득된다. 상기 머지 모드는 스킵 모드에 대해서 뿐만 아니라, 어떤 화면 간 예측된(inter prediction) PU에도 적용될 수 있다. 머지 모드의 대안은 움직임 파라미터들의 명시적인 전송으로, 이 경우 움직임 벡터, 각 참조 픽처 리스트에 대한 해당 참조 픽처 인덱스, 그리고 참조 픽처 리스트 사용법이 각각의 PU별로 명시적으로 시그널링된다.

시그널링이 두 참조 픽처 리스트 중 하나를 사용함을 지시할 경우, 상기 PU는 하나의 샘플들의 블록으로부터 생성된다. 이것을 '단-예측'(uni-prediction)이라고 한다. 단-예측은 P 슬라이스들과 B 슬라이스들 모두에 대해 사용할 수 있다 [2].

시그널링이 두 참조 픽처 리스트 모두를 사용함을 지시할 경우, 상기 PU는 두 개의 샘플들의 블록으로부터 생성된다. 이를 '양-예측'(bi-prediction)이라고 한다. 양-예측은 B-슬라이스들에 대해서만 사용할 수 있다.

1.1.1 머지 모드에 대한 후보들을 구성하는 실시예들

머지 모드를 사용하여 PU가 예측되는 경우, 머지 후보 리스트의 항목을 가리키는 인덱스는 비트 스트림으로부터 파싱되어 움직임 정보를 검색하는 데 사용된다. 이 리스트의 구성은 단계들의 아래 순서에 따라 요약될 수 있다.

단계 1: 초기 후보들 유도

단계 1.1: 공간적 후보들 유도

단계 1.2: 공간적 후보들에 대한 중복성 검사

단계 1.3: 시간적 후보들 유도

단계 2: 추가 후보들 삽입

단계 2.1: 양-예측(bi-predictive) 후보들 생성

단계 2.2: 제로 움직임 후보들 삽입

도 1은 위에 요약된 단계들의 순서에 기반하여 머지 후보를 구성하는 일 예를 보여준다. 공간적 머지 후보 유도를 위해, 5개의 상이한 위치에 있는 후보들 중에서 최대 4개의 머지 후보들이 선택된다. 시간적 머지 후보 유도를 위해, 두 후보들 중 최대 하나의 머지 후보가 선택된다. 각 PU에 대해 일정한 수의 후보들이 디코더에서 가정되기 때문에, 상기 후보들의 수가 슬라이스 헤더에서 시그널링되는 머지 후보의 최대 수(MaxNumMergeCand)에 미치지 않으면, 추가 후보들이 생성된다. 후보의 수가 일정하기 때문에 최적 머지 후보의 인덱스는 절단된 단항 이진화(TU)를 사용하여 인코딩 된다. 만약 CU의 크기가 8이면, 현재 CU의 모든 PU들은 2N x 2N 예측 유닛의 머지 후보 리스트와 동일한 단일 머지 후보 리스트를 공유한다.

1.1.2 공간적 머지 후보들 구성

공간적 머지 후보들 유도 시, 최대 4개의 머지 후보들이 도 2에 도시된 위치들에 있는 후보들 가운데에서 선택된다. 유도 순서는 A1, B1, B0, A0 및 B2 순이다. 위치 A1, B1, B0의 어느 한 PU가 사용될 수 없는 경우(예를 들어, 다른 슬라이스 또는 타일에 속하기 때문) 또는 화면 내 코딩된 경우에만, 위치 B2가 고려된다. 위치 A1의 후보가 추가된 후 나머지 후보들의 추가는 중복 검사를 거친다. 이를 통해, 동일한 움직임 정보를 가진 후보가 리스트에서 제외되어 코딩 효율이 향상된다.

계산 복잡성을 줄이기 위해, 상기 언급된 중복 검사에서 가능한 모든 후보 쌍들이 고려되는 것은 아니다. 그 대신, 도 3에서 화살표로 연결된 쌍들만이 고려되고, 중복 검사에 사용되는 해당 후보가 동일한 움직임 정보를 가지고 있지 않은 경우에만 후보가 리스트에 추가된다. 중복되는 운동 정보의 다른 소스는 2Nx2N과는 상이한 분할들과 관련된 "제2 PU " 이다. 일 예로, 도 4a 및 도 4b는 각각 Nx2N 및 2NxN의 경우에 대한 제2 PU를 도시한다. 현재 PU가 Nx2N으로 분할되면, A1 위치에서 후보는 리스트 구성에 고려되지 않는다. 일부 실시예들에서, 이 후보를 추가하는 것은 동일한 움직임 정보를 갖는 2개의 예측 유닛들로 귀결될 수 있으며, 이는 코딩 유닛에서 단지 하나의 PU를 갖는 것에 중복된다. 마찬가지로, 현재 PU가 2NxN으로 분할되는 경우, 위치 B1 은 고려되지 않는다.

1.1.3 시간적 머지 후보들 구성

이 단계에서는 오직 하나의 후보만이 상기 리스트에 추가된다. 특히, 이 시간적 머지 후보의 유도 시, 주어진 참조 픽처 리스트 내에서 현재 픽처와 가장 작은 POC 차이를 갖는 픽처에 속하는 동일 위치의(co-located) PU를 기반으로, 스케일링된 움직임 벡터가 유도된다. 상기 동일 위치 PU의 유도에 사용될 상기 참조 픽처 리스트는 슬라이스 헤더에서 명시적으로 시그널링된다.

도 5는 (점선으로 표현된) 시간적 머지 후보에 대한 상기 스케일링된 움직임 벡터를 유도하는 일 예를 도시한다. 상기 움직임 벡터는 POC 거리들인 tb 및 td를 사용하여 상기 동일 위치 PU의 움직임 벡터로부터 스케일링 된다. 여기서, tb는 현재 픽처의 참조 픽처와 현재 픽처 사이의 POC 차이로 정의되고, td는 동일 위치 픽처의 참조 픽처와 동일 위치 픽처 사이의 POC 차이로 정의된다. 시간적 머지 후보의 참조 픽처 인덱스는 0으로 설정된다. B-슬라이스의 경우, 2개의 움직임 벡터 중 하나는 참조 픽처 리스트 0을 위해 다른 하나는 참조 픽처 리스트 1을 위해 획득되고, 이것들이 결합되어 양-예측(bi-predictive) 머지 후보가 만들어진다.

참조 프레임에 속하는 동일 위치 PU(Y)에서, 시간적 후보에 대한 위치는 도 6에 도시 된 바와 같이 후보 C₀ 및 C₁ 중에서 선택된다. 위치 C₀의 PU가 사용될 수 없거나 화면 내 (intra) 코딩되었거나 현재 CTU 외부에 있는 경우, 위치 C₁ 이 사용된다. 그 외의 경우, 위치 C₀ 이 시간적 머지 후보의 유도에 사용된다.

1.1.4 머지 후보들의 추가 유형 구성

시공간적 머지 후보들 외에도 결합 양-예측(bi-predictive) 머지 후보 및 제로 머지 후보라는 두 가지 추가 유형의 머지 후보들이 있다. 결합 양-예측 머지 후보는 시공간적 머지 후보들을 활용하여 생성된다. 결합 양-예측 머지 후보는 오직 B 슬라이스에 대해서만 사용된다. 결합 양-예측 후보들은 최초 후보의 제1 참조 픽처 리스트 움직임 파라미터들과 다른 후보의 제2 참조 픽처 리스트 파라미터들을 결합하여 생성된다. 이 두 튜플들이 상이한 움직임 가설들을 제공하는 경우, 그것들은 새로운 양-예측 후보를 형성하게 된다.

도 7은 mvL0 및 refIdxL0 또는 mvL1 및 refIdxL1을 가지는 원본 리스트(710, 좌측)의 두 후보들이 최종 리스트(720, 우측)에 추가된 결합 양-예측 후보를 생성하는 데 사용되는 절차의 일 예를 도시한다.

제로 움직임 후보들이 삽입되어 머지 후보 리스트의 나머지 항목들을 채우고 이로써 MaxNumMergeCand 용량에 도달한다. 이 후보들은 0에서 시작하여 새로운 제로 움직임 후보가 리스트에 추가될 때마다 증가하는 참조 픽처 인덱스와 제로 공간 변위를 가진다. 이 후보들이 사용하는 참조 프레임의 수는 단방향 예측 및 양방향 예측에 대해 각각 1개 및 2개이다. 일부 실시예에서, 중복 검사는 이러한 후보들에 대해 수행되지 않는다.

1.1.5 병렬 처리를 위한 움직임 추정 영역의 예들

인코딩 프로세스의 속도를 높이기 위해, 움직임 추정은 병렬로 수행될 수 있으며, 이를 통해 주어진 영역 내의 모든 예측 유닛들에 대한 움직임 벡터들이 동시에 유도된다. 연관된 움직임 추정이 완료되기 전에는 하나의 예측 유닛이 인접 PU로부터 움직임 파라미터들을 도출할 수 없기 때문에, 공간적 이웃으로부터 머지 후보들의 유도는 병렬 처리를 방해할 수 있다. 코딩 효율과 처리 지연 사이의 균형을 완화하기 위해, 움직임 추정 영역(motion estimation region: MER)이 정의될 수 있다. MER의 크기는 구문 요소 "log2_parallel_merge_level_minus2"를 사용하여 픽처 파라미터 세트(picture parameter set: PPS)에서 시그널링될 수 있다. MER이 정의되면, 동일한 영역에 속하는 머지 후보들은 사용할 수 없는 것으로 표시되어 리스트 구성에서 고려되지 않는다.

1.2 향상된 움직임 벡터 예측(AMVP)의 실시예들

AMVP는 움직임 파라미터들의 명시적 전송에 사용되는, 움직임 벡터와 인접 PU들의 시공간적 상관 관계를 활용한다. 그것은, 먼저 좌측, 상부에 시간적으로 인접한 PU 위치들의 가용성을 확인하고, 중복 후보들을 제거하고, 후보 리스트가 일정한 길이가 되도록 제로 벡터를 추가함으로써, 움직임 벡터 후보 리스트를 구성한다. 다음으로, 인코더는 상기 후보 리스트에서 최상의 예측자를 선택하고 선택한 후보를 지시하는 해당 인덱스를 전송할 수 있다. 머지 인덱스 시그널링과 마찬가지로, 상기 최상의 움직임 벡터 후보의 인덱스는 절단된 단항(truncated unary)을 사용하여 인코딩된다. 이 경우 인코딩 될 최대 값은 2이다(도 8 참조). 아래 섹션들에서는 움직임 벡터 예측 후보의 유도 과정에 대해 상세히 설명한다.

1.2.1 움직임 벡터 예측 후보들을 구성하는 예들

도 8은 움직임 벡터 예측 후보에 대한 유도 과정을 요약한 것이며, refidx를 입력으로 하는 각 참조 픽처 리스트에 대해 실시될 수 있다.

움직임 벡터 예측 시, 공간적 움직임 벡터 후보와 시간적 움직임 벡터 후보라는 두 가지 유형의 움직임 벡터 후보들이 고려된다. 공간적 움직임 벡터 후보 유도를 위해, 도 2에 도시된 바와 같이 5개의 상이한 위치에 있는 각 PU의 모션 벡터들에 기반하여 2개의 움직임 벡터 후보가 최종적으로 유도된다.

시간적 움직임 벡터 후보 유도를 위해, 하나의 움직임 벡터 후보가 2개의 상이한 동등 위치들을(co-located positions) 기반으로 도출된 2개의 후보 중에서 선택된다. 시공간 후보들의 제1 리스트가 생성된 후, 중복된 움직임 벡터 후보들이 상기 리스트에서 제거된다. 만약 잠재적 후보의 수가 2보다 크면, 관련 참조 픽쳐 리스트 내의 참조 픽처 인덱스가 1보다 큰 움직임 벡터 후보는 상기 리스트에서 제거된다. 시공간적 움직임 벡터 후보의 수가 2 미만인 경우, 추가 제로 움직임 벡터 후보가 상기 리스트에 추가된다.

1.2.2 공간적 움직임 벡터 후보들의 구성

공간적 움직임 벡터 후보의 유도 시, 최대 2개의 후보가 5개의 잠재적 후보 가운데에서 고려되며, 이 잠재적 후보들은 도 2에 도시된 위치들에 있는 PU들로부터 유도된다. 이 위치들은 움직임 머지의 위치들과 동일하다. 현재 PU의 좌측에 대한 유도 순서는 A₀, A₁, 스케일링된 A₀, 스케일링된 A₁ 순으로 정의된다. 현재 PU의 위쪽에 대한 유도 순서는 B₀, B₁, B₂ 스케일링된 B₀, 스케일링된 B₁, 스케일링된 B₂ 순으로 정의된다. 따라서, 각 측면에 대해 움직임 벡터 후보로 사용할 수 있는 4개의 경우가 있는데, 2개의 경우는 공간적 스케일링을 사용할 필요가 없는 경우이고, 2개의 경우는 공간적 스케일링이 사용되는 경우이다. 상기 4개의 서로 다른 경우들은 아래와 같이 요약된다.

-- 공간적 스케일링 없음

(1) 동일한 참조 픽처 리스트 및 동일한 참조 픽처 인덱스 (동일한 POC)

(2) 상이한 참조 픽처 리스트 및 동일한 참조 픽처 (동일한 POC)

-- 공간적 스케일링

(3) 동일한 참조 픽처 리스트 및 상이한 참조 픽처 (상이한 POC)

(4) 상이한 참조 픽처 리스트 및 상이한 참조 픽처 (상이한 POC)

공간적 스케일링이 없는 경우를 먼저 확인한 다음 공간적 스케일링을 허용하는 경우들을 확인한다. 공간적 스케일링은 참조 픽처 리스트와 상관없이 주변 PU의 참조 픽처와 현재 PU의 참조 픽쳐 사이의 POC가 다를 때 고려된다. 좌측 후보들의 모든 PU가 사용될 수 없거나 화면 내 코딩 된 경우, 좌측 및 상부 MV 후보들의 병렬 유도를 돕기 위해 위쪽 움직임 벡터에 대한 스케일링이 허용된다. 그렇지 않은 경우, 공간적 스케일링은 위쪽 움직임 벡터에 대해 허용되지 않는다.

도 9의 예와 같이, 상기 공간적 스케일링에 대해, 주변 PU의 움직임 벡터는 시간적 스케일링의 경우와 유사한 방식으로 스케일링된다. 한 가지 차이점은 현재 PU의 참조 픽처 리스트와 인덱스가 입력으로 제공된다는 점이다. 실제 스케일링 프로세스는 시간적 스케일링 프로세스와 동일하다.

1.2.3 시간적 움직임 벡터 후보들의 구성

참조 픽처 인덱스 유도와는 별개로, (도 6의 예에서와 같이) 시간적 머지 후보들의 유도를 위한 모든 프로세스는 공간적 움직임 벡터 후보들의 유도를 위한 것과 같다. 일부 실시예들에서, 상기 참조 픽처 인덱스는 디코더로 시그널링된다.

2. 공동 탐구 모델(Joint Exploration Model: JEM)에서 화면 간 예측 방법들의 예

일부 실시예들에서, JEM으로 알려진 참조 소프트웨어를 사용하여 미래의 비디오 코딩 기술들이 탐구된다 [3][4]. JEM에서, 서브 블록 기반 예측은 다음과 같은 몇몇 코딩 툴들에서 채택된다: 어파인 예측, 대안적 시간적 움직임 벡터 예측(ATMVP), 시공간적 움직임 벡터 예측(STMVP), 양-방향 광학 흐름(BIO), 프레임율 상향 변환(FRUC), 지역적 적응 움직임 벡터 해상도(LAMVR), 중첩된 블록 움직임 보상(OBMC), 지역 조명 보상(LIC) 및 디코더 측 움직임 벡터 개선(DMVR).

2.1 서브 CU 기반 움직임 벡터 예측의 예들

쿼드트리와 이진트리를 가지는 JEM에서, 각 CU는 각각의 예측 방향에 대해 움직임 파라미터들의 한 세트까지 가질 수 있다. 일부 실시예들에, 큰 CU를 서브 CU들로 분할하고 상기 큰 CU의 상기 모든 서브 CU들에 대해 움직임 정보를 유도함으로써, 두 개의 서브 CU 레벨 움직임 벡터 예측 방법들이 인코더에서 고려된다. 대안적인 시간적 움직임 벡터 예측(ATMVP) 방법은 각 CU가 동일 위치의 참조 픽처에 있는 현재 CU 보다 작은 복수의 블록들로부터 움직임 정보의 복수의 세트들을 불러오도록 허용한다. 시공간적 움직임 벡터 예측(STMVP) 방법에서, 서브 CU들의 움직임 벡터들은 시간적 움직임 벡터 예측자 및 공간적 주변 움직임 벡터를 사용하여 재귀적으로 유도된다. 일부 실시예들에서, 그리고 서브 CU 움직임 예측에 대해 좀 더 정확한 움직임 필드를 유지하기 위해, 참조 프레임들에 대한 움직임 압축이 불가능하게 될 수 있다.

2.1.1 대안적인 시간적 움직임 벡터 예측(ATMVP)의 예들

ATMVP 방법에서, TMVP 예측 방법은 현재 CU 보다 작은 블록들로부터 (움직임 벡터들 및 참조 인덱스들을 포함하는) 움직임 정보의 복수의 세트들을 불러옴으로써 수정된다.

도 10은 CU (1000)에 대한 ATMVP 움직임 예측 과정의 일 예를 도시한다. 상기 ATMVP 방법은 CU(1000)에서 서브 CU들(1001)의 움직임 벡터들을 두 단계로 예측한다. 첫 번째 단계는 시간적 벡터를 가지는 참조 픽처(1050)에서 해당 블록 (1051)을 식별하는 것이다. 상기 참조 픽처(1050)는 또한 움직임 소스 픽처로도 지칭된다. 두 번째 단계는 현재 CU(1000)를 서브 CU들(1001)로 분할하고 각각의 서브 CU에 상응하는 블록으로부터 각 서브 CU의 참조 인덱스들뿐 아니라 움직임 벡터들을 획득하는 것이다.

상기 첫 번째 단계에서, 참조 픽처(1050) 및 해당 블록은 현재 CU(1000)의 공간적 주변 블록들의 움직임 정보로 판단된다. 주변 블록들에 대한 반복적인 스캐닝 과정을 방지하기 위해, 현재 CU(1000)의 머지 후보 리스트 내의 제1 머지 후보가 사용된다. 제1 가용 움직임 벡터뿐 아니라 그것과 연관된 참조 인덱스가 상기 움직임 소스 픽처에 대한 시간적 벡터 및 인덱스로 설정된다. 이러한 방식으로, 해당 블록은 TMVP에 비해 더 정확하게 식별될 수 있다. 이때, (간혹 동일 위치 블록으로 불리는) 해당 블록은 현재 CU에 대해 항상 우측 아래 또는 가운데 위치에 있다.

두 번째 단계에서, 서브 CU(1051)의 해당 블록은 움직임 소스 픽처(1050)내의 시간적 벡터에 의해 또는 시간적 벡터에 현재 CU의 좌표를 추가함으로써 식별된다. 각각의 서브 CU에 대해, 그것에 상응하는 블록(예, 가운데 샘플을 덮은 최소 움직임 그리드)의 움직임 정보는 상기 서브 CU에 대한 움직임 정보를 유도하는 데에 사용된다. 해당 N x N블록의 움직임 정보가 식별된 후에, HEVC의 TMVP와 동일한 방식으로 현재 서브 CU의 움직임 벡터들 및 참조 인덱스들로 변환된다. 이때, 움직임 스케일링 및 기타 절차들이 적용된다. 예를 들어, 디코더는 저지연 조건(예를 들어, 현재 픽처의 모든 참조 픽처들의 POC들이 현재 픽처의 POC 보다 작다.)이 충족되는지 여부를 확인하고, 가능한 경우, 움직임 벡터 MVx(예를 들어, 참조 픽처 리스트 X에 해당하는 움직임 벡터)를 사용하여 각 서브 CU에 대해 움직임 벡터 MVy(이때, X는 0 또는 1과 같고, Y는 1-X와 같다)를 예측한다.

2.1.2 시공간적 움직임 벡터 예측(STMVP)의 예들

STMVP 방법에서, 서브 CU들의 움직임 벡터들은 래스터 스캔 순서를 따라 재귀적으로 유도된다. 도 11은 4개의 서브 블록들 및 주변 블록들을 가지는 하나의 CU의 일 예를 도시한다. 네 개의 4x4 서브 CU들인 A(1101), B(1102), C(1103) 및 D(1104)를 포함하는 8x8 CU(1100)를 살펴보자. 현재 프레임에서 주변 4x4 블록들은 a(1111), b(1112), c(1113) 및 d(1114)로 표시된다.

서브 CU A에 대한 움직임 유도는 그것의 두 공간적 이웃들을 식별하면서 시작된다. 첫 번째 이웃은 서브 CU A(1101i) 위에 있는 NxN 블록(블록 c(1113))이다. 만약 이 블록 c(1113)가 가용하지 않거나 화면 내 코딩된 것이라면, 서브 CU A(1101) 위의 다른 NxN 블록들을(블록 c(1113)에서 출발하여 좌측에서 우측으로) 확인한다. 두 번째 이웃은 서브 CU A(1101) 좌측에 있는 블록(블록 b(1112))이다. 만약 이 블록 b(1112)가 가용하지 않거나 화면 내 코딩된 것이라면, 서브 CU A(1101) 좌측의 다른 NxN 블록들을(블록 b(1112)에서 출발하여 위에서 아래로) 확인한다. 각각의 리스트에 대해 주변 블록들로부터 획득된 움직임 정보는 주어진 리스트에 대한 제1 참조 프레임으로 스케일링된다. 다음으로, 서브 블록 A(1101)의 시간적 움직임 벡터 예측자(TMVP)가 HEVC에 규정된 TMVP 유도와 같은 절차로 유도된다. 블록 D(1104)에서 동일 위치 블록의 움직임 정보가 획득되고 그에 맞게 스케일링된다. 마지막으로, 움직임 정보를 조회하여 스케일링한 후, 각 참조 리스트에 대해 개별적으로 모든 가용한 움직임 벡터들의 평균을 낸다. 평균화된 움직임 벡터는 현재 서브 CU의 움직임 벡터로 할당된다.

2.1.3 서브 CU 움직임 예측 모드 시그널링의 예들

일부 실시예들에서, 서브 CU 모드들은 추가적인 머지 후보들로서 가능하며, 상기 모드들을 시그널링하는데 요구되는 추가적인 구문 요소는 존재하지 않는다. ATMVP 모드 및 STMVP 모드를 나타내기 위해 각 CU의 머지 후보 리스트에 두 개의 추가적인 머지 후보들이 추가된다. 다른 실시예들에, 만약 시퀀스 파라미터 세트가 ATMVP 및 STMVP가 가능함을 지시한다면, 최대 7개의 머지 후보들까지 사용될 수 있다. 추가적인 머지 후보들의 인코딩 로직은 HM에서의 머지 후보들에 대한 것과 같다. 즉, P 또는 B 슬라이스에서의 각 CU에 대해, 두 개의 추가적인 머지 후보들에 대해 두 개의 추가적인 RD 확인이 필요하다. 일부 실시예들에서, 일 예로, JEM에서, 머지 인덱스의 모든 빈(bins)은 문맥 기반 적응적 이항 산술 코딩(Contex-based Adaptive Binary Coding: CABAC)에 의해 문맥 코딩된다. 다른 실시예들에서, 일 예로, HEVC에서, 오직 첫 번째 빈만이 문맥 코딩되며, 나머지 빈들은 문맥 바이패스 코딩된다.

2.2 적응적 움직임 벡터 차이 해상도의 예들

일부 실시예들에서, (PU의 움직임 벡터와 예측된 움직임 벡터 간의) 움직임 벡터 차이들(MVDs)은, use_inter_my_flag가 슬라이스 헤더에서 0과 같을 경우, 1/4 루마 샘플들의 단위로 시그널링된다. JEM에서는 지역적으로 적응적인 움직임 벡터 해상도(locally adaptive motion vector resolution: LAMVR)가 도입된다. JEM에서, MVD는 1/4 루마 샘플들, 정수 루마 샘플들 또는 4 루마 샘플들의 단위로 코딩된다. MVD 해상도는 CU 레벨에서 제어되며, MVD 해상도 플래그들은 적어도 하나의 논-제로 MVD 구성요소를 가지는 각 CU에 대해 조건적으로 시그널링된다.

적어도 하나의 논-제로 MVD 구성요소를 가지는 CU에 대해, 제1 플래그는 1/4 루마 샘플 MV 정밀도들이 상기 CU에서 사용되는지 여부를 지시하기 위해 시그널링된다. (1과 같은) 상기 제1 플래그가 1/4 루마 샘플 MV 정밀도가 사용되지 않음을 지시하는 경우, 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도가 사용되는지 여부를 지시하기 위해 다른 플래그가 시그널링된다.

CU의 제1 MVD 해상도 플래그가 0이거나 CU에 대해 코딩되지 않은 경우(즉, 상기 CU의 모든 MVD들이 0), 1/4 루마 샘플 MV 해상도가 상기 CU에 대해 사용된다. CU가 정수 루마 샘플 MV 정밀도 또는 4 루마 샘플 MV 정밀도를 사용하는 경우, 상기 CU에 대한 AMVP 후보 리스트내의 MVP들은 해당 정밀도로 라운딩된다.

인코더에서, CU 레벨 RD 체크를 사용하여 어느 MVD 해상도가 CU를 위해 사용되는지를 판단한다. 즉, CU 레벨 RD 체크는 각 MVD 해상도에 대해 3회 실시된다. 인코더의 속도를 높이기 위해, 아래 인코딩 스킴들이 JEM에서 적용된다.

-- 정상 1/4 루마 샘플 MVD 해상도를 가지는 CU의 RD 체크 동안, 현재 CU의 움직임 정보(정수 루마 샘플 정확도)가 저장된다. (라운딩 후) 상기 저장된 움직임 정보는, 정수 루마 샘플 및 4 루마 샘플 MVD 해상도를 가지는 동일한 CU에 대한 RD 체크 동안 추가 소범위 움직임 벡터 개선을 위한 출발점으로 사용되어 시간이 많이 소요되는 움직임 추정 과정이 3회 중복되지 않는다.

-- 4 루마 샘플 MVD 해상도를 가지는 CU의 RD 체크는 조건적으로 수행된다. CU에 대해, 만약 정수 루마 샘플 MVD 해상도의 RD 코스트가 1/4 샘플 MVD 해상도의 RD 코스트보다 훨씬 크다면, 상기 CU에 대한 4루마 샘플 MVD 해상도의 RD 체크는 생략된다.

2.3 더 높은 움직임 벡터 저장 정확도의 예들

HEVC에서 움직임 벡터 정확도는 1/4 픽셀(4:2:0 비디오에 대해 1/4 루마 샘플 및 1/8 크로마 샘플)이다. JEM에서 내부 움직임 벡터 저장 및 머지 후보에 대한 정확도는 1/16 픽셀로 증가된다. 더 높은 움직임 벡터 정확도(1/16 픽셀)은 스킵/머지 모드로 코딩된 CU에 대한 움직임 보상 화면 간 예측에 사용된다. 정상적인 AMVP 모드로 코딩된 CU에 대해, 정수 픽셀 또는 1/4 픽셀 움직임이 사용된다.

HEVC 움직임 보상 보간 필터들과 동일한 필터 길이 및 정규화 계수를 가지는 SHVC 업샘플링 보간 필터들이 추가적인 분수 픽셀 위치들에 대한 움직임 보상 보간 필터로 사용된다. 크로마 성분 움직임 벡터 정확도는 JEM에서 1/32 샘플이며, 1/32 픽셀 분수 위치들의 추가적인 보간 필터들은 두 개의 인접한 1/16 픽셀 분수 위치들의 필터들의 평균을 이용하여 유도된다.

2.4 중복된 블록 움직임 보상(Overlapped block motion compensation: OBMC)의 예들

JEM에서 OBMC는 CU 레벨의 구문을 사용하여 켜지고 꺼질 수 있다. JEM에서 OBMC가 사용되는 경우, OBMC는 CU의 우측 및 아래쪽 경계들을 제외한 모든 움직임 보상(MC) 블록 경계들에 대해 실행된다. 게다가, 그것은 루마 및 크로마 성분들 모두에 대해 적용된다. JEM에서 MC 블록은 코딩 블록에 해당된다. CU가 서브 CU 모드로(서브 CU 머지, 어파인 및 FRUC 모드 포함) 코딩될 경우, 상기 CU의 각각의 서브 블록이 MC 블록이다. 도 12a 및 도 12b에서와 같이, 균일한 방식으로 CU 경계들을 처리하기 위해, OBMC는 모든 MC 블록 경계들에 대해 서브 블록 레벨에서 수행되며, 이때 서브 블록 사이즈는 4x4와 같이 설정된다.

도 12a는 CU/PU 경계에 있는 서브 블록들을 보여주며, 빗금친 서브 블록들은 OBMC가 적용되는 것들이다. 유사하게, 도 12b는 ATMVP 모드에서 서브 PU들을 보여준다.

OBMC가 현재 서브 블록에 적용되는 경우, 연결된 4개의 주변 서브 블록들의 움직임 벡터들이 가용하며 현재 움직임 벡터와 같지 않다면, 현재 움직임 벡터 외에도, 상기 주변 서브 블록들의 움직임 벡터들 또한 현재 서브 블록에 대한 예측 블록을 유도하는 데에 사용된다. 복수의 움직임 벡터들에 기반하는 이러한 복수의 예측 블록들은 결합되어 현재 서브 블록의 최종 예측 신호를 생성한다.

주변 서브 블록의 움직임 벡터들에 기반하는 예측 블록은 PN으로 표시되며, 이때 N은 상부, 하부, 좌측, 그리고 우측 주변 서브 블록들에 대한 인덱스를 지시한다. 현재 서브 블록의 움직임 벡터들에 기반하는 예측 블록은 PC로 표시된다. PN이 현재 서브 블록과 동일한 움직임 정보를 포함하는 주변 서브 블록의 움직임 정보에 기반하는 경우, 상기 OBMC는 PN으로부터 실시되지 않는다. 그렇지 않은 경우, PN의 모든 샘플은 PC의 동일한 샘플에 추가된다. 즉, PN의 4행/렬이 PC에 추가된다. 가중치 1/4, 1/8, 1/16 및 1/32 가 PN에 대해 사용되며, 가중치 3/4, 7/8, 15/16 및 31/32는 PC에 대해 사용된다. 오직 PN의 2행/열 만이 PC에 추가되는 작은 MC 블록들은 예외이다(즉, 코딩 블록의 높이 또는 폭이 4와 같거나 CU이 서브 CU 모드로 코딩되는 경우). 이 경우, 가중치 1/4 및 1/8은 PN에 대해 사용되며, 가중치 3/4 및 7/8이 PC에 대해 사용된다. 수직으로 (수평으로) 이웃하는 서브 블록의 움직임 벡터들에 기반하여 생성된 PN에 대해, PN의 동일한 행(열)에 있는 샘플들은 동일한 가중치를 가지는 PC에 추가된다.

JEM에서 256 루마 샘플들에 같거나 작은 크기를 가지는 CU에 대해, CU 레벨 플래그는 OBMC가 현재 CU에 대해 적용되는지 여부를 지시하기 위해 시그널링된다. 256 루마 샘플들 보다 더 큰 사이즈를 가지거나 AMVP 모드로 코딩되지 않은 CU들에 대해, OBMC는 자동으로 적용된다. 인코더에서, OBMC가 CU에 적용되는 경우, 그것의 영향이 움직임 추정 단계 동안 고려된다. 상위 주변 블록 및 좌측 주변 블록의 움직임 정보를 사용하여 OBMC에 의해 형성된 예측 신호는 현재 CU의 원본 신호의 상위 및 좌측 경계들을 보상하는 데에 사용되며, 그 다음으로, 정상적인 움직임 추정 절차가 적용된다.

2.5 지역 조명 보상(Local Illumination Compensation: LIC)의 예들

LIC는 스케일링 팩터 a 및 오프셋 b를 사용하는, 조명 변화를 위한 선형 모델에 기반한다. 또한 LIC는 화면 간 모드로 코딩된 코딩 유닛(CU) 각각에 대해 적응적으로 사용되거나 사용되지 않는다.

LIC가 CU에 대해 적용되는 경우, 상기 현재 CU의 주변 샘플들 및 그것들에 상응하는 참조 샘플들을 사용하여 파라미터 a 및 b를 도출하기 위해 최소 자승 오차법이 사용된다. 도 13은 IC 알고리즘의 파라미터들을 유도하는 데에 사용되는 주변 샘플들의 예를 보여준다. 구체적으로, 도 13에 도시된 것처럼, CU의 서브샘플링된(2:1 서브샘플링) 주변 샘플들 및 참조 픽처의 상응하는 샘플들(현재 CU 또는 서브 CU의 움직임 정보에 의해 식별)이 사용된다. 상기 IC 파라미터들은 각각의 예측 방향들에 대해 개별적으로 유도되어 적용된다.

CU가 머지 모드로 코딩되는 경우, LIC 플래그는 머지 모드에서의 움직임 정보 복사와 유사한 방식으로 주변 블록들로부터 복사된다. 그렇지 않은 경우, LIC 플래그는 LIC가 적용되는지 여부를 지시하기 위해 CU에 대해 시그널링된다.

LIC가 픽처에 대해 활성화되는 경우, LIC가 CU에 대해 적용되는지를 판단하기 위해 추가적인 CU 레벨 RD 체크가 필요하다. LIC가 CU에 대해 활성화되는 경우, SAD 및 SATD 대신, MR-SAD(Mean-Removed Sum of Absolute Difference) 및 MR-SATD(Mean-Removed Sum of Absolute Hadamard-Transformed Difference)가 정수 픽셀 움직임 탐색 및 분수 픽셀 움직임 탐색 각각에 대해 사용된다.

인코딩 복잡도를 줄이기 위해, 아래 인코딩 스킴이 JEM에서 적용된다.

-- 현재 픽처와 그것의 참조 픽처들 간에 분명한 조명 변화가 없는 경우, LIC는 전체 픽처에 대해 비활성화된다. 이 상황을 식별하기 위해, 현재 픽처 및 상기 현재 픽처의 모든 참조 픽처의 히스토그램들이 인코더에서 계산된다. 만약 상기 현재 픽처 및 상기 현재 픽처의 모든 참조 픽처 간의 히스토그램 차이가 주어진 임계치 보다 작을 경우, LIC는 상기 현재 픽처에 대해 비활성화되며, 그렇지 않은 경우, LIC는 상기 현재 픽처에 대해 활성화된다.

2.6 어파인 움직임 보상 예측의 예들

HEVC에서, 오직 병진 움직임 모델만이 움직임 보상 예측(Motion Compensation Prediction: MCP)에 대해 적용된다. 하지만, 카메라 및 대상들은 줌 인/아웃, 회전, 원근적 움직임 및/또는 기타 불규칙 움직임들과 같은 여러 종류의 움직임을 가진다. 반면에, JEM은 단순화된 어파인 변환 움직임 보상 예측에 적용된다. 도 14는 두 제어 포인트 움직임 벡터들

및

에 의해 기술되는 블록(1400)의 어파인 움직임 필드의 예를 도시한다. 상기 블록(1400)의 상기 움직임 벡터 필드(Motion Vector Field: MVF)는 아래 식으로 기술될 수 있다.

도 14에 도시된 바와 같이, (v_0x, v_0y) 는 좌측 상단 코너 제어 포인트의 움직임 벡터이며, (v_1x, v_1y) 는 우측 상단 코너 제어 포인트의 움직임 벡터이다. 움직임 보상 예측을 단순화하기 위해, 서브 블록 기반 어파인 변환 예측이 적용될 수 있다. 서브 블록 크기 MxN은 아래와 같이 유도된다.

여기서, MvPre는 움직임 벡터 분수 정확도(예를 들어, JEM에서 1/16)이다. (v_2x, v_2y) 는 식(1)에 따라 계산된, 좌측 하단 제어 포인트의 움직임 벡터이다. M과 N은 필요한 경우 하향 조정되어 각각 w와 h의 제수로 만들 수 있다.

도 15은 블록(1500)에 대한 서브 블록 당 어파인 MVF의 일 예를 도시한다. 각 MxN 서브 블록의 움직임 벡터를 유도하기 위해, 각 서브 블록의 가운데 샘플의 움직임 벡터는 식(1)에 따라 계산되어 움직임 벡터 분수 정확도(예를 들어, JEM에서 1/16)로 라운딩될 수 있다. 다음으로, 유도된 움직임 벡터를 가지는 각 서브 블록의 예측을 생성하기 위해 움직임 보상 보간 필터들이 적용될 수 있다. MCP 후에, 각 서브 블록의 고정확도 움직임 벡터는 정규 움직임 벡터(normal motion vector)와 같은 정확도로 라운딩되고 보존된다.

2.6.1 AF_INTER 모드의 실시예들

JEM에는 AF_INTER 모드 및 AF_MERGE 모드라는 두 어파인 움직임 모드가 있다. 폭과 높이가 모두 8보다 큰 CU들에 대해서는 AF_INTER 모드가 적용될 수 있다. CU 레벨에서 어파인 플래그는 AF_INTER 모드가 사용되는지 여부를 지시하기 위해 비트스트림으로 시그널링된다. AF_INTER 모드에서, 움직임 벡터 쌍

을 가지는 후보 리스트는 주변 블록들을 사용하여 구성된다.

도 16은 AF_INTER 어파인 움직임 모드에서 움직임 벡터 예측(MVP)의 일 예를 보여준다. 도 16에 도시된 바와 같이,

은 서브 블록 A, B 및 C의 움직임 벡터들로부터 선택된다. 주변 블록들로부터의 움직임 벡터들은 참조 리스트에 따라 스케일링될 수 있다. 움직임 벡터들은 또한 주변 블록에 대한 참조의 픽처 오더 카운트(Picture Order Count: POC), 현재 CU에 대한 참조의 POC 그리고 현재 CU의 POC 사이의 관계에 따라 스케일링될 수 있다. 주변 서브 블록 D 및 E로부터

을 선택하는 접근법은 유사하다. 만약 후보 리스트의 수가 2 보다 작다면, 상기 리스트는 각각의 AMVP 후보들을 복제하여 구성된 움직임 벡터 쌍으로 패딩된다. 상기 후보 리스트가 2 보다 큰 경우, 후보들은 먼저 주변 움직임 벡터들에 따라(예를 들어, 쌍 후보에서 두 움직임 벡터들의 유사성에 기반하여) 구분될 수 있다. 일부 구현들에서는, 처음 두 후보들이 선택된다. 일부 실시예들에서는, 어떤 움직임 벡터 쌍 후보가 현재 CU의 제어 포인트 움직임 벡터 예측(Control Point Motion Vector Prediction: CPMVP)으로 선택되는지를 율-왜곡 코스트 체크를 사용하여 결정한다. 후보 리스트에서 CPMVP의 위치를 지시하는 인덱스는 비트스트림에서 시그널링될 수 있다. 현재 어파인 CU의 CPMVP가 결정된 후에, 어파인 움직임 추정이 적용되고 제어 포인트 움직임 벡터(Control Point Motion Vector: CPMV)가 발견된다. 다음으로, CPMV와 CPMVP간의 차이가 비트스트림에서 시그널링된다.

도 17에 도시된 바와 같이, AF_INTER 모드에서 4/6 파라미터 어파인 모드가 사용되는 경우, 2/3 제어 포인트들이 요구되며, 따라서 2/3 MVD가 이 제어 포인트들에 대해 코딩될 필요가 있다. 기존 구현에서, MV는 다음과 같이 유도될 수 있다. 예를 들어, mvd₀으로부터 mvd₁ 및 mvd₂가 예측된다.

여기서, 도 18b에 도시된 것처럼,

, mvd_i 및 mv₁은 각각 예측된 움직임 벡터, 움직임 벡터 차이, 그리고 좌측 상단 픽셀(i = 0), 우측 상단 픽셀(i = 1) 또는 좌측 하단 픽셀(i = 2)의 움직임 벡터이다. 일부 실시예들에서, 두 모션 벡터들의 합은(예를 들어, mvA(xA, yA) 및 mvB(xB, yB)) 두 구성요소들 각각의 총합과 같다. 예를 들어, newMV = mvA + mvB는 newMV의 두 구성요소들이 각각 (xA + xB) 및 (yA + yB)로 설정됨을 의미한다.

2.6.2 AF_INTER 모드에서 고속 어파인 ME 알고리즘의 예들

어파인 모드의 일부 실시예들에서, 둘 또는 세 개의 제어 포인트들의 MV는 함께 결정될 필요가 있다. 다수의 MV들을 곧바로 탐색하는 것은 계산상으로 복잡하다. 일 예에서, 고속 어파인 ME 알고리즘 [6]이 제안되어 VTM/BMS에 채택된다.

예를 들어, 상기 고속 어파인 ME 알고리즘은 4-파라미터 어파인 모델에 대하여 기술되며, 이 아이디어는 6-파라미터 어파인 모델로 확장될 수 있다.

(a-1)을 a'로 바꾸면 움직임 벡터들을 아래와 같이 수정할 수 있다.

두 제어 포인트들 (0, 0) 및 (0, w)의 움직임 벡터들이 알려진다고 가정하는 경우, 어파인 파라미터들은 식(5)로부터 아래와 같이 도출될 수 있다.

움직임 벡터들은 아래와 같이 벡터 형식으로 표현될 수 있다.

여기서, P = (x, y)는 픽셀 위치이다.

일부 실시예들에서 그리고 인코더에서, AF_INTER의 MVD는 반복적으로 유도될 수 있다. MVⁱ(P)를 위치 P에 대한 i번째 반복에서 유도된 MV라 하고, dMV_C ⁱ를 i번째 반복에서 MVC에 대해 업데이트된 델타라 하자. (i+1)번째 반복의 경우는 아래와 같이 표현된다.

Picr_ef를 참조 픽처로, Pic_cur를 현재 픽처라하고, Q = P + MVⁱ(P)라 하자. MSE를 매칭 기준으로 사용하는 경우, 최소화되어야 할 함수는 아래와 같이 표현될 수 있다.

가 충분히 작다고 가정되는 경우,

는 1차 테일러 전개식에 기반하는 근사치로서 아래와 같이 다시 정리될 수 있다.

여기서,

만약

를 사용하는 경우, 아래와 같다.

항

는 에러 함수의 도함수를 0으로 설정하고 그리고 나서

에 따라 제어 포인트 (0, 0) 및 (0, w)의 델타 MV를 계산하여 아래와 같이 유도될 수 있다.

일부 실시예들에서, 이러한 MVD 도출 과정은 n번 반복될 수 있으며, 최종 MVD는 아래와 같이 산출될 수 있다.

상기 언급된 구현에서 [5], mvd₁으로 표시되는 제어 포인트 (0, 0)의 델타 MV로부터 mvd₁으로 표시된 제어 포인트 (0,　w)의 델타 MV를 예측하는 단계는

가 mvd₁에 대해 인코딩되는 결과로 귀결된다.

2.6.3 AF_MERGE 모드의 실시예들

CU가 AF_MERGE 모드에서 적용되는 경우, 그것은 복원된 유효한 주변 블록들로부터 어파인 모드로 코딩된 제1 블록을 획득한다. 도 18a는 현재 CU(1800)에 대한 후보 블록들의 선택 순서의 일 예를 도시한다. 도 18a에 도시된 바와 같이, 선택 순서는 현재 CU(1800)의 좌측(1801)에서 출발하여 상단(1802), 우측 상단(1803), 좌측 하단(1804) 그리고 좌측 상단(1805) 순일 수 있다. 도 18b는 AF_MERGE 모드에서 현재 CU(1800)에 대한 후보 블록들의 다른 예를 도시한다. 도 18B에 도시된 것처럼, 좌하단 주변 블록(1801)이 어파인 모드로 코딩된 경우, 상기 서브 블록(1801)을 포함하는 CU의 좌상단 코너, 우상단 코너 및 좌하단 코너의 움직임 벡터들 v₂, v₃ 및 v₄가 도출된다. 상기 현재 CU(1801)의 좌상단 코너의 움직임 벡터 v0는 v₂, v₃ 및 v₄를 기반으로 산출된다. 상기 현재 CU의 우상단의 움직임 벡터 v1은 그에 맞춰 산출될 수 있다.

현재 CU의 CPMV인 v0 및 v1가 식(1)에서 어파인 움직임 모델에 따라 계산되는 경우, 현재 CU의 MVF가 생성될 수 있다. 현재 CU가 AF_MERGE 모드로 코딩되는지 여부를 식별하기 위해서, 적어도 어파인 모드로 코딩된 적어도 하나의 주변 블록이 존재하는 경우, 어파인 플래그가 비트스트림으로 시그널링될 수 있다.

2.7 패턴 정합 움직임 벡터 유도(Pattern Matched Motion Vector Derivation: PMMVD)의 예들

PMMVD 모드는 프레임율 상승 변환(Frame-Rate Up Conversion: FRUC) 기법에 기반한 특별한 머지 모드이다. 이 모드에서는 블록의 움직임 정보가 시그널링되지 않고 디코더 측에서 유도된다.

FRUC 플래그는 그것의 머지 플래그가 참일 때에 CU에 대해 시그널링될 수 있다. 상기 FRUC 플래그가 거짓이면, 머지 인덱스가 시그널링될 수 있고, 레귤러 머지 모드가 사용된다. 상기 FRUC 플래그가 참이면, 추가 FRUC 모드 플래그가 시그널링되어 상기 블록의 움직임 신호를 유도하기 위해 어떤 방법(예를 들어, 양방향 매칭 또는 템플릿 매칭)이 사용되어야 하는지 지시할 수 있다.

인코더 측에서, CU에 대해 FRUC 머지 모드를 사용할지 여부에 대한 결정은 일반(normal) 머지 후보에 대해서와 같이 RD 코스트 선택에 기반한다. 예를 들어, 복수의 매칭 모드들(예를 들어, 양방향 매칭 및 템플릿 매칭)이 RD 코스트 선택을 사용하여 CU에 대해 확인된다. 최소 비용으로 이어지는 것은 다른 CU 모드들과 더 비교된다. 만약 FRUC 매칭 모드가 가장 효율적인 경우, FRUC 플래그는 해당 CU에 대해 참으로 설정되고, 관련 매칭 모드가 사용된다.

대개의 경우, FRUC 머지 모드에서의 움직임 유도 프로세스는 2 단계를 가진다. CU 레벨 움직임 탐색이 먼저 수행되고, 그 다음으로 서브 CU 레벨 움직임 개선이 수행된다. CU 레벨에서, 초기 움직임 벡터는 양방향 매칭 또는 템플릿 매칭에 기반하여 CU 전체에 대해 유도된다. 먼저, MV 후보들의 리스트가 생성되고, 최소 매칭 코스트로 이어지는 후보가 추가 CU 레벨 개선을 위한 출발점으로 선택된다. 그 다음으로, 상기 출발점을 중심으로 양방향 매칭 또는 템플릿 매칭을 기반으로 한 로컬 탐색이 수행된다. 최소 매칭 코스트로 귀결되는 MV가 CU 전체에 대한 MV로 간주된다. 그 후, 유도된 CU 움직임 벡터들을 출발점으로 하여, 움직임 정보는 서브 CU 레벨에서 추가로 개선된다.

예를 들어,

CU 움직임 정보 유도를 위해 다음과 같은 유도 과정이 수행된다. 첫 번째 단계에서, 전체

CU에 대한 MV가 유도된다. 두 번째 단계에서, 상기 CU는

서브 CU들로 더 분할된다. M의 값은 식(3) 에서와 같이 계산되며, D는 미리 정의된 분할 깊이로 JEM에서 기본적으로 3으로 설정된다. 다음으로, 각 서브 CU에 대한 MV가 유도된다.

도 19은 프레임율 상향 변환(FRUC) 기법에 사용되는 양방향 매칭의 일 예를 도시한다. 양방향 매칭은 두 상이한 참조 픽처들(1910, 1911)에서 현재 CU의 움직임 궤적을 따라 두 블록들 간의 가장 가까운 매칭을 찾음으로써 현재 CU(1900)의 움직임 정보를 유도하는 데에 사용된다. 연속적인 움직임 궤적의 가정하에, 두 참조 블록을 가리키는 움직임 벡터 MV0(1901) 및 MV1(1902)는 현재 픽처와 상기 두 참조 픽처 사이의 시간적 거리들, 즉 TD0(1903) 및 TD1(1904)에 비례한다. 일부 실시예들에서, 현재 픽처(1900)가 두 참조 픽처들(1910, 1911) 사이에 시간적으로 존재하고 상기 현재 픽처에서 상기 두 참조 픽처까지의 시간적 거리가 같을 때, 양방향 매칭은 미러 기반 양방향 MV가 된다.

도 20은 프레임율 상향 변환(FRUC) 기법에 사용되는 템플릿 매칭의 일 예를 도시한다. 템플릿 매칭은 현재 픽처에서의 템플릿(예를 들어, 현재 CU의 상단 및/또는 좌측 인접 블록들)과 참조 픽처(2010)에서의 블록(예를 들어, 템플릿과 동일한 크기) 사이에서 가장 가까운 매칭을 찾아 현재 CU(2000)의 움직임 정보를 도출하는 데 사용될 수 있다. 앞서 언급한 FRUC 머지 모드를 제외하고 템플릿 매칭은 AMVP 모드에도 적용될 수 있다. JEM 및 HEVC 모두에서, AMVP는 두 후보를 가진다. 템플릿 매칭 방법으로 새로운 후보가 유도될 수 있다. 만약 템플릿 매칭에 의해 새로 유도된 상기 후보가 기존 제1 AMVP 후보와 다른 경우, AMVP 후보 리스트의 맨 처음에 삽입되고 해당 리스트 크기는 2로 설정된다(예를 들어, 기존 제2 AMVP 후보를 제거). AMVP 모드에 적용시, 오직 CU 레벨 탐색만 적용된다.

CU 레벨에서 설정된 MV는 다음 후보들 및 MV들을 포함할 수 있다: (1) 현재 CU가 AMVP 모드인 경우, 원본 AMVP 후보들, (2) 모든 머지 후보들, (3) 보간된 MV 필드(차후 설명)의 몇몇 MV들, 그리고 상부 및 좌측 주변 움직임 벡터들.

양방향 매칭을 사용하는 경우, 머지 후보의 유효한 각각의 MV는 양방향 매칭을 가정하여 MV 쌍을 생성하기 위한 입력으로 사용될 수 있다. 예를 들어, 머지 후보의 유효한 하나의 MV는 참조 리스트 A에서 (MVa, ref_a)이다. 다음으로, 그것의 쌍을 이룬 양방향 MV의 참조 픽쳐 ref_b 가 다른 쪽 참조 리스트 B에서 발견되어 ref_a 및 ref_b가 시간적으로 현재 픽처의 다른 사이드에 있게 된다. 이러한 ref_b가 참조 리스트 B에서 사용 가능하지 않은 경우, ref_b 는 ref_a와 다른 레퍼런스로 결정되고, 그것의 현재 픽처까지의 시간적 거리는 리스트 B에서 최소가 된다. ref_b가 결정된 후, MVb는 현재 픽처와 ref_a, ref_b 사이의 시간적 거리를 기반으로 MVa를 스케일링하여 유도된다.

일부 구현들에서, 보간된 MV 필드로부터 4개의 MV 또한 CU 레벨 후보 리스트에 추가될 수 있다. 보다 구체적으로, 현재 CU의 위치 (0, 0), (W/2, 0), (0, H/2) 및 (W/2, H/2)의 보간된 MV들이 추가된다. FRUC가 AMVP 모드에서 적용되면, 원본 AMVP 후보들도 CU 레벨 MV 후보 세트에 추가된다. 일부 구현들의 경우, CU 레벨에서, AMVP CU들에 대한 15개의 MV 및 머지 CU에 대한 13개의 MV가 후보 리스트에 추가될 수 있다.

서브 CU 레벨에서 설정된 MV 후보는 (1) CU 레벨 탐색에서 결정된 MV, (2) 상단, 좌측, 좌측 상단 및 우측 상단 주변 MV들, (3) 참조 픽처들에서 동일 위치(collocated) MV들의 스케일링된 버전들, (4) 하나 또는 그 이상의(예를 들어, 최대 4개의) ATMVP 후보들, 그리고 (5) 하나 또는 그 이상의(예를 들어, 최대 4개의) STMVP 후보들을 포함한다. 참조 픽처로부터 스케일링된 MV는 다음과 같이 유도된다. 두 리스트의 참조 픽처들이 횡단된다. 참조 픽처에서 서브 CU의 동일 위치에 있는(collocated) MV들은 시작 CU 레벨 MV의 레퍼런스로 스케일링된다. ATMVP 및 STMVP 후보들은 4개의 제1 후보들이 될 수 있다. 서브 CU 레벨에서 하나 또는 그 이상의(예를 들어, 최대 17개의) MV가 후보 리스트에 추가된다.

보간된 MV 필드의 생성 프레임을 코딩하기 전에, 단방향 ME를 기반으로 픽처 전체에 대해 보간된 움직임 필드가 생성된다. 다음으로 상기 움직임 필드는 후에 CU 레벨 또는 서브 CU 레벨 MV 후보들로 사용될 수 있다.

일부 실시예들에서, 두 참조 리스트에 있는 각 참조 픽처의 움직임 필드는 4x4 블록 레벨에서 횡단된다. 도 21은 FRUC 기법에서 단방향 움직임 추정(Motion Estimation: ME)(2100)의 일 예를 보여준다. 각 4x4 블록에 대해, 만약 현재 픽처에서 4x4 블록을 통과하는 블록과 관련된 움직임이 있고 상기 블록에 보간된 움직임이 할당되지 않은 경우, 참조 블록의 움직임은 시간적 거리 TD0 및 TD1에 따라 상기 현재 픽처로 스케일링되고 (HEVC에서 TMVP의 MV 스케일링과 동일한 방식), 상기 스케일링된 움직임은 현재 프레임의 블록에 할당된다. 스케일링된 MV가 4x4 블록에 할당되지 않은 경우, 블록의 움직임은 보간된 움직임 필드에서 사용할 수 없는 것으로 표시된다.

보간 및 매칭 코스트 움직임 벡터가 분수 샘플 위치를 가리키는 경우, 움직임 보상된 보간이 필요하다. 복잡성을 줄이기 위해, 양방향 매칭과 템플릿 매칭 모두에 대해 일반(regular) 8 탭 HEVC 보간 대신 양방향 선형(bi-linear) 보간이 사용될 수 있다.

매칭 코스트 계산은 단계마다 조금씩 다르다. CU 레벨에서 설정된 후보자 세트에서 후보자를 선택하는 경우, 매칭 코스트는 양방향 매칭 또는 템플릿 매칭의 절대 차 합(Sum of Absolute Difference: SAD)일 수 있다. 시작 MV가 결정된 후 서브 CU 레벨 탐색에서 양방향 매칭의 매칭 코스트 C는 다음과 같이 계산된다.

여기서, w는 가중치이다. 일부 실시예들에서, w는 경험적으로 4로 설정될 수 있다. MV and MV^S는 각각 현재 MV와 시작 MV를 나타낸다. SAD는 서브 CU 레벨의 템플릿 매칭의 매칭 코스트로 여전히 사용될 수 있다.

FRUC 모드에서 MV는 루마 샘플들만을 사용하여 유도된다. 유도된 움직임은 MC 화면 간 예측을 위한 루마와 크로마 모두에 사용된다. MV가 결정되면 루마에 대해서는 8 탭 보간 필터를, 크로마에 대해서는 4 탭 보간 필터를 사용하여 최종 MC를 수행한다.

MV 개선은 양방향 매칭 코스트 또는 템플릿 매칭 코스트를 기준으로 하는 패턴 기반 MV 탐색이다. JEM에서는 2개의 탐색 패턴, 즉 무제약 중심 바이어스 다이아몬드 탐색(Unrestricted Center-biased Diamond Search: UCBDS) 및 적응형 교차 탐색이 각각 CU 레벨 및 서브 CU 레벨의 MV 개선을 위해 지원된다. CU 레벨 및 서브 CU 레벨 모두의 MV 개선에서, MV는 1/4 루마 샘플 MV 정확도에서 직접적으로 탐색되고, 1/8 루마 샘플 MV 개선이 뒤따른다. CU 및 서브 CU 단계에 대한 MV 개선의 탐색 범위는 8개의 루마 샘플과 같게 설정된다.

양방향(bilateral) 매칭 머지 모드에서는 양예측이 적용된다. 왜냐하면 CU의 움직임 정보가 두 상이한 참조 픽처들에서 상기 현재 CU의 움직임 궤적을 따라 두 블록들 간의 가장 가까운 매칭을 기반으로 유도되기 때문이다. 템플릿 매칭 머지 모드에서, 인코더는 CU에 대해 list0으로부터의 단-예측(uni-prediction), list1로부터의 단-예측, 또는 양-예측 가운데 선택할 수 있다. 상기 선택은 아래와 같이 템플릿 매칭 코스트를 기반으로 할 수 있다.

If costBi <= factor * min (cost0, cost1)

양 예측이 사용된다;

Otherwise, if cost0 <= cost1

list0으로 부터의 단-예측이 사용된다;

Otherwise,

list1으로부터의 단-예측이 사용된다;

여기서, cost0은 list0 템플릿 매칭의 SAD, cost1은 list1 템플릿 매칭의 SAD, 그리고 costBi는 양-예측 템플릿 매칭의 SAD이다. 예를 들어, 계수의 값이 1.25와 같으면, 이는 선택 프로세스가 양-예측에 편향되어 있음을 의미한다. 화면 간 예측 방향 선택은 오직 CU 레벨 템플릿 매칭 프로세스에만 적용될 수 있다.

2.8 양방향 광학 흐름(Bi-directional Optical Flow: BIO)의 예들

양방향 광학 흐름(BIO) 방법은 양방향에 대한 블록 단위 움직임 보상의 상부에 수행되는 샘플 단위 움직임 개선이다. 일부 구현들에서, 샘플 레벨 움직임 개선은 시그널링을 사용하지 않는다.

을 블록 움직임 보상 후 레퍼런스 k (k=0,　1)로부터의 루마 값이라 하고,

을

그래디언트(gradient)의 각각 수평 및 수직 성분들이라 하자. 광학 흐름이 유효하다고 가정하면, 움직임 벡터

는 아래 식에 의해 주어진다.

각 샘플의 운동 궤적에 대해 이러한 광학 흐름 방정식과 헤르미트(Hermite) 보간법을 결합하면, 끝에서 도함수들

및 함수 값들

모두를 매칭시키는 고유한 3차 다항식이 획득된다. t=0에서 이 다항식의 값은 BIO 예측이다.

도 22는 양방향 광학 흐름(BIO) 방법에서 광학 흐름 궤적의 일 예를 보여준다. 여기서,

및

은 참조 프레임까지의 거리들을 나타낸다. 거리

및

는 Ref₀ 및 Ref₁에 기반하여 계산된다. 즉,

. 만약 두 예측 모두 같은 방향에서(예를 들어, 둘 다 과거로부터 또는 미래로부터) 획득된다면, 부호들은 다르다(예를 들어, e.g.,

). 이때, 예측이 동일한 순간으로부터 오는 것이 아니라면(예를 들어, e.g.,

), BIO가 적용된다. 참조된 양 영역 모두 논-제로 움직임을 가지며(예를 들어,

) 블록 움직임 벡터들은 시간 거리에 비례한다(예를 들어,

움직임 벡터 필드(v_x, v_y)는 점 A 및 점 B에서의 값들 사이의 차이

를 최소화함으로써 결정된다. 도 9a 및 도 9b는 움직임 궤적과 참조 프레임 평면들 간의 교차의 일 예를 보여준다. 모델은

에 대해 로컬 테일러 전개식의 제1 선형항만을 사용한다.

상기 식에서의 모든 값들은

로 표시된 샘플 위치에 의존한다. 움직임이 로컬 환경에서 일관적이라고 가정하면, 현재 예측된 점

에 중심이 맞춰진 (2M+1)x(2M+1) 정사각형 윈도우 Ω 내의

는 최소화될 수도 있다. 여기서 M은 2와 같다.

이러한 최적화 문제에 대해, JEM은 수직 방향에서 그 다음으로 수평 방향에서 제1 최소화를 행하는 단순화된 접근법을 사용한다. 그 결과는 아래와 같다.

여기서,

제로 또는 매우 작은 값에 의한 나눗셈을 피하기 위해, 정규화 파라미터들 r 및 m 이 식(9) 및 식(10)에 도입될 수 있다. 이때,

여기서,

는 비디오 샘플들의 비트 깊이이다.

BIO에 대한 메모리 액세스를 정규 양-예측 움직임 보상에 대한 것과 같게 하기 위해, 모든 예측 및 그래디언트 값들인

은 현재 블록 내부의 위치들에 대해 계산된다. 도 23a는 블록(2300) 외부의 액세스 위치들의 예를 보여준다. 도 23a에 도시된 것과 같이, 식(9)에서, 예측된 블록의 경계상의 현재 예측된 점에 중심이 맞춰진

정사각형 윈도우 Ω는 상기 블록 외부의 위치들에 접근할 필요가 있다. JEM에서 상기 블록 외부의

의 값들은 상기 블록 내부의 가장 가까운 가용 값과 같도록 설정된다. 예를 들어, 도 23b에 도시된 바와 같이, 이것은 패딩 영역(2301)으로 구현될 수 있다.

BIO를 사용하면, 움직임 필드가 각 샘플에 대해 개선될 수 있다. 계산 복잡도를 줄이기 위해, BIO의 블록 기반 디자인이 JEM에서 사용된다. 움직임 개선은 4x4 블록에 기반하여 계산될 수 있다. 블록 기반 BIO에서, 4x4 블록 상의 모든 샘플들의 식(28)에 따른 s_n의 값들이 합산될 수 있으며, 그 다음 식 (28)에서 합산된 s_n의 값들은 상기 4x4 블록에 대한 BIO 움직임 벡터 오프셋을 유도하는 데에 사용된다. 구체적으로, 아래 식이 블록 기반 BIO 유도를 위해 사용될 수 있다.

여기서,

는 예측된 블록의 k번째 4x4 블록에 속한 샘플들의 세트를 표시한다. 관련된 움직임 벡터 오프셋들을 유도하기 위해, 식(28) 및 식(29)에서

는

교체된다.

일부 시나리오에서, BIO의 MV 레지먼트 (regiment)는 노이즈 또는 불규칙한 움직임으로 인해 신뢰할 수 없을 수도 있다. 그러므로, BIO에서, MV 레지먼트의 크기는 특정 임계값으로 클립된다. 상기 임계값은 현재 픽처의 모든 레퍼런스 픽처들이 모두 한 방향에서 오는지의 여부에 기초하여 결정된다. 예를 들어, 현재 픽처의 모든 참조 픽처들이 한 방향으로부터 오는 경우, 상기 임계값은

로 설정되고, 그렇지 않을 경우,

로 설정된다.

BIO에 대한 그래디언트들(gradients)은 HEVC 움직임 보상 절차(예를 들어, 2D 분리가능한 유한 임펄스 응답(Finite Impulse Response: FIR)과 부합하는 동작들을 사용하는 움직임 보상 보간과 동시에 계산될 수 있다. 일부 실시예들에서, 상기 2D 분리가능한 FIR에 대한 입력은 움직임 보상 절차에 대한 것과 같은 참조 프레임 샘플 및 블록 움직임 벡터의 분수 부분에 따른 분수 위치 (fracX, fracY) 이다. 수평 그래디언트

에 대해, 신호는 먼저 역스케일링 시프트 d-8을 갖는 분수 위치 fracY에 해당하는 BIOfilterS 를 사용하여 수직으로 보간된다. 그 다음에, 보간 필터 BIOfilterG 는 18-d 만큼의 역스케일링 시프트를 갖는 분수 위치 fracX 에 해당하는 수평 방향으로 적용된다. 수직 그래디언트

에 대해, 그래디언트 필터는 역스케일링 쉬프트 d -8 을 갖는 분수 위치 fracY 에 해당하는 BIOfilterG 를 사용하여 수직으로 적용된다. 그 다음으로, 신호 변위는 역스케일링 쉬프트 18-d 을 갖는 분수 위치 fracX 에 해당하는 수평 방향으로 BIOfilterS 를 사용하여 실행된다. 그래디언트 계산을 위한 보간 필터 BIOfilterG 및 신호 변위를 위한 BIOfilterF 의 길이는 적절한 복잡도를 유지하기 위해 더 짧을 수 있다(예를 들어, 6-탭). 표 1은 BIO에서 블록 움직임 벡터의 상이한 분수 위치들의 그래디언트 계산을 위해 사용될 수 있는 필터들의 예를 보여준다. 표2는 BIO에서 예측 신호 생성을 위해 사용될 수 있는 보간 필터들의 예를 보여준다.

표 1: BIO에서 그래디언트 계산을 위한 필터들의 예

표 2: BIO에서 예측 신호 생성을 위한 보간 필터들의 예

JEM에서, BIO는 2 개의 예측들이 상이한 참조 픽처들로부터 올 경우, 모든 양방향 예측된 블록들에 적용될 수 있다. LIC (local illumination compensation) 이 CU에 대해 활성화되는(enabled) 경우, BIO는 비활성화 될 수 있다(disabled).

일부 실시예들에서, OBMC는 정상 MC 절차 후에 블록에 대해 적용된다. 계산 복잡성을 줄이기 위해, BIO는 상기 OBMC 절차 동안에는 적용되지 않을 수 있다. 이것은 BIO는 블록에 대한 MC 절차에서 그것 자체의 MV를 사용하는 경우 적용되며, 주변 블록의 MC가 상기 OBMC 절차 동안 사용되는 경우 MC 절차에서 적용되지 않음을 의미한다.

2.9 디코더측 움직임 벡터 개선(decoder-side motion vector refinement: DMVR)의 예들

양-예측 작업에서, 한 블록 영역의 예측을 위해, list0의 움직임 벡터(MV) 및 list1의 MV를 사용하여 각각 형성된 두 예측 블록들이 결합되어 하나의 예측 신호를 형성한다. 디코더측 움직임 벡터 개선(DMVR) 방법에서, 양-예측의 두 움직임 벡터들은 양방향(bilateral) 템플릿 매칭 절차에 의해 추가로 개선된다. 추가 움직임 정보의 전송 없이 개선된 MV를 획득하기 위해, 상기 양방향 템플릿 매칭은 양방향 템플릿과 참조 픽처들에서의 복원 샘플들 사이에서 왜곡 기반 탐색에 적용된다.

도 24에서와 같이, DMVR에서, 양방향 템플릿은 list0의 초기 MV0 및 list의 MV1으로부터 두 예측 블록들의 가중치가 부여된(weighted) 결합(즉, 평균)으로 생성된다. 상기 템플릿 매칭 절차는 생성된 템플릿 및 참조 픽처에서의 샘플 영역(초기 예측 블록 주변) 사이의 코스트를 계산하는 단계로 구성된다. 두 참조 픽처들 각각에 대해, 최소 템플릿 코스트를 산출하는 MV는 해당 리스트의 업데이트된 MV로 간주되어 원래 리스트를 대체한다. JEM에서는 9개의 MV 후보들이 각 리스트에 대해 탐색된다. 상기 9개의 MV 후보들은 원래 MV 및 수평 또는 수직 방향 또는 양방향으로 오프셋된 하나의 루마 샘플을 가지는 8개의 주변 MV들을 포함한다. 마지막으로 2개의 새로운 MV들, 다시 말해, 도 24에서와 같이, MV0' 및 MV1'는 최종 양-예측 결과들을 산출하는 데에 사용된다. 절대차 합(SAD)은 코스트 척도로 사용된다.

DMVR는 추가 구문 요소의 전송 없이, 하나의 MV는 과거의 참조 픽처로부터, 다른 MV는 미래의 참조 픽처로부터 사용하는 양-예측의 머지 모드를 위해 적용된다. JEM에서, LIC, 어파인 모션, FRUC 또는 서브 CU 머지 후보가 CU에 대해 활성화되는 경우, DMVR은 적용되지 않는다.

2.9 대칭 움직임 벡터 차분의 예들

[8]에서, 대칭 움직임 벡터 차분(Symmetric Motion Vector Difference: SMVD)은 MVD를 더 효율적으로 부호화하기 위해 제안되었다.

첫째로, 슬라이스 레벨에서 변수들 BiDirPredFlag, RefIdxSymL0 및 RefIdxSymL1은 아래와 같이 유도된다.

현재 픽처에 가장 가까운 참조 픽처 리스트 0의 전방 참조 픽처가 탐색된다. 만약 탐색되면, RefIdxSymL0은 상기 전방 픽처의 참조 인덱스와 같도록 설정된다.

현재 픽처에 가장 가까운 참조 픽처 리스트1의 후방 참조 픽처가 탐색된다. 탐색되는 경우, RefIdxSymL1는 상기 후방 픽처의 참조 인덱스와 같도록 설정된다.

전방 픽처와 후방 픽처가 모두 탐색되는 경우, BiDirPredFlag는 1로 설정된다.

그렇지 않은 경우, 아래 절차가 적용된다.

현재 픽처에 가장 가까운 참조 픽처 리스트 0의 후방 참조 픽처가 탐색된다. 만약 탐색되면, RefIdxSymL0은 상기 후방 픽처의 참조 인덱스와 같도록 설정된다.

현재 픽처에 가장 가까운 참조 픽처 리스트1의 전방 참조 픽처가 탐색된다. 탐색되는 경우, RefIdxSymL1는 상기 전방 픽처의 참조 인덱스와 같도록 설정된다.

전방 픽처와 후방 픽처가 모두 탐색되는 경우, BiDirPredFlag는 1로 설정된다. 그렇지 않은 경우, BiDirPredFlag는 0과 같이 설정된다.

두 번째로, CU 레벨에서, 대칭 모드가 사용되는지 여부를 나타내는 대칭 모드 플래그는 CU에 대한 예측 방향이 양-예측이고 BiDirPredFlag가 1과 같은 경우 명시적으로 시그널링된다.

상기 플래그가 참인 경우, 오직 mvp_l0_flag, mvp_l1_flag 및 MVD0만이 명시적으로 시그널링된다. 참조 인덱스들은 list0 및 list1에 대해 각각 RefIdxSymL0 및 RefIdxSymL1와 같게 설정된다. MVD1은 -MVD0와 같도록 설정된다. 최종 움직임 벡터들은 아래 식에서 제시된다.

도 27은 대칭 모드의 예들을 보여준다.

코딩 유닛 구문에서의 변형들은 표3에 제시된다.

표 3: 코딩 유닛 구문상의 변형들

2.2.11 어파인 양-예측 코딩을 위한 대칭 MVD

[9]에서는 어파인 모드를 위한 SMVD를 제안한다.

2.3 문맥 적응적 이항 산술 코딩(Context-adaptive binary arithmetic coding: CABAC)

2.3.1 HEVC에서 CABAC 설계

2.3.1.1 HEVC에서 문맥 표현 및 초기화 절차

HEVC에서, 각각의 문맥 변수에 대해, 두 변수들 pStateIdx 및 valMps가 초기화된다.

8 비트 테이블 항목 initValue로부터, 두 4 비트 변수들 slopeIdx 및 offsetIdx가 아래와 같이 유도된다.

문맥 변수들의 초기화에 사용되는 변수 m 및 n은 slopeIdx 및 offsetIdx로부터 아래와 같이 유도된다.

초기화를 위해 pStateIdx 및 valMps에 할당되는 두 값들은 SliceQpY로 표시되는 슬라이스의 루마의 양자화 파라미터로부터 유도된다. 변수 m 및 n이 주어진 경우, 초기화는 아래와 같이 규정된다.

2.3.1.2 HEVC에서 상태 전이 절차

이 절차에 대한 입력들은 현재 pStateIdx, 복호화된 값 binVal 그리고 ctxTable 및 ctxIdx과 연관된 문맥 변수의 valMps 값들이다.

이 절차의 출력들은 업데이트된 pStateIdx 및 ctxIdx과 연관된 문맥 변수의 valMps 값들이다.

복호화된 값 binVal에 따라, 두 변수pStateIdx 및 ctxIdx와 관련된 valMps의 업데이트는 아래 (37)에서와 같이 유도된다.

2.3.2 VVC에서의 CABAC 설계

VVC에서 문맥 적응적 이항 산술 코더(Binary Arithmetic Coder: BAC)는 문맥 업데이팅 절차 및 산술 코더의 측면에서 HEVC의 BAC와 다르게 변화하였다.

아래는 최근에 채택된 제안(JVET-M0473, CE test 5.1.13)을 요약한 것이다.

표 4: VVC에서 CABAC 수정 요약

2.3.2.1 VVC에서 문맥 초기화 절차

VVC에서 초기화를 위해 pStateIdx0 및 pStateIdx1에 할당된 두 값들은 SliceQpY로부터 유도된다. 변수 m 및 n가 주어진 경우, 상기 초기화는 아래와 같이 규정된다.

2.3.2.2 VVC에서 상태 변이 절차

이 절차에 대한 입력들은 현재 pStateIdx0 및 pStateIdx1, 그리고 복호화된 값 binVal이다.

이 절차의 출력들은 ctxIdx과 연관된 문맥 변수의 업데이트된 pStateIdx0 및 pStateIdx1이다.

변수들 shift0 (VVC 표 4의 CABAC 수정 요약에서 변수 a에 해당) 및 shift1 (VVC 표 4e의 CABAC 수정 요약에서 변수 b에 해당)는 ctxTable 및 ctxInc에 연관된 shiftIdx값으로부터 유도된다.

복호화된 값 binVal에 따라, ctxIdx와 연관된 두 변수 pStateIdx0 및pStateIdx1의 업데이트는 아래와 같이 유도된다:

3. 기존 구현들의 단점들

기존의 일부 구현들에서, MV/MVD가 어파인 코딩된 블록들에 대해 다수의 MV/MVD 정밀도들의 세트로부터 선택될 수 있다면, 어떻게 더 정확한 움직임 벡터들이 획득될 수 있는지는 불분명한 채로 남는다.

기존의 다른 구현들에서, MV/MVD 정밀도 정보는 어파인 모드에 적용되는 AMVR의 전체적인 코딩 이득을 결정하는 데에도 매우 중요한 역할을 하지만, 이 목표 달성 여부는 여전히 불분명하다.

4. AMVR을 가지는 어파인 모드에 대한 MV 예측자들을 위한 예시적 방법들

현재 개시된 기술의 실시예들은 기존 구현들의 단점을 극복하며, 그럼으로써 더 높은 코딩 효율을 가지는 비디오 코딩을 제공한다. 상기 개시된 기술에 기반하는, 적응적 움직임 벡터 해상도(AMVR)를 가지는 어파인 모드를 위한 움직임 벡터 예측자들의 유도 및 시그널은 기존 및 미래의 비디오 코딩 표준들을 향상시킬 수 있으며, 다양한 구현들에 대해 기술된 아래 예시들에서 상세히 설명된다. 아래에 제시되는 상기 개시된 기술의 예시들은 일반적인 개념들을 설명하며 제한적인 것으로 이해되어서는 안 된다. 일 예로, 명시적으로 달리 지시되지 않는 한, 이 예시들이 기술하는 다양한 특징들은 결합될 수 있다.

일부 실시예들에서, 아래 예시들은 AMVR이 적용되는 경우 어파인 모드 또는 정상 모드에 적용될 수 있다. 이 예시들은 정상적인 화면내 모드에서 MVD를 부호화하는 데에 또는 AF_INTER 모드에서 MVD를 부호화하는 데에 정밀도 Prec (즉, MV는 1 / (2^Prec) 정밀도)가 사용됨을 가정한다. 움직임 벡터 예측자(예를 들어, 주변 블록 MV로부터 받은 예측자) 및 그것의 정밀도는 각각 MVPred(MVPred _X , MVPred _Y ) 및 PredPrec에 의해 표시된다.

다음 논의에서, SatShift(x, n)는 다음과 같이 정의된다.

Shift(x, n) 은 Shift(x, n) = (x+ offset0)>>n로서 정의된다. 일 예에서, offset0 및/혹은 offset1은 (1<<n)>>1 혹은 (1<<(n-1))으로 설정된다. 다른 일 예에서, offset0 및/혹은 offset1은 0으로 설정된다. 다른 일 예에서, offset0=offset1= ((1<<n)>>1)-1 or ((1<<(n-1)))-1이다.

다음 논의에서, 두 움직임 벡터 간의 연산은 연산이 움직임 벡터의 두 구성요소 모두에 적용된다는 것을 의미한다. 예를 들어, MV3=MV1+MV2는 MV3x=MV1x+MV2x 및 MV3y=MV1y+MV2y로 표현될 수 있다. 또는, 연산이 두 움직임 벡터들의 수평적 혹은 수직적 요소에만 적용될 수 있다.

예 1. 최종 MV 정밀도는 변경되지 않고 저장될 움직임 벡터들의 정밀도와 동일하게 유지될 수 있다.

(a) 일 예로서, 최종 MV 정밀도는 1/16-픽셀 혹은 1/8-픽셀로 설정될 수 있다.

(b) 일 예로서, 시그널링된 MVD는 먼저 스케일링된 다음 한 블록에 대한 최종 MV를 형성하기 위해 MVP에 추가될 수 있다.

예 2. 인접 블록들(예를 들어, 공간적 혹은 시간적) 혹은 기본(default) MVP들로부터 직접적으로 유도된 MVP는 먼저 수정된 다음 (현재) 블록에 대한 최종 MV를 형성하기 위해 시그널링된 MVD에 추가될 수 있다.

(a) 또는, MVP의 수정 적용 여부 및 적용 방법은 Prec의 값에 따라 달라질 수 있다.

(b) 일 예로서, Prec 이 1보다 큰 경우(즉, MVD가 분수 정밀도를 가짐), 인접 MV의 정밀도는 변화하지 않고, 스케일링은 수행되지 않는다.

(c) 일 예로서, Prec 이 1인 경우(즉, MVD가 1-픽셀 정밀도를 가짐), MV 예측자 (즉, 인접 블록들의MV)는, 예를 들어, PCT 출원 PCT/CN2018/104723의 예4(b)에 따라, 스케일링 되어야 한다.

(d) 일 예로서, Prec 이 1 보다 작은 경우(즉, MVD가 4-픽셀 정밀도를 가짐), MV 예측자 (즉, 인접 블록들의MV)는, 예를 들어, PCT 출원 PCT/CN2018/104723의 예4(b)에 따라, 스케일링 되어야 한다.

예 3. 일 예로서, 시그널링된 MVD의 정밀도가 저장된 MV들의 정밀도와 동일하면, 어파인 MV들이 재구성된 이후 스케일링이 필요하지 않으나, 그렇지 않은 경우, MV는 시그널링된 MVD의 정밀도로 재구성되고 그 다음 저장된 MV들의 정밀도로 스케일링된다.

예 4. 일 예로서, 정상(normal) 화면 간 모드 및 AF_INTER 모드는 상기에서 설명된 상이한 예들에 기반하여 구현들을 선택할 수 있다.

예 5. 일 예로서, 어파인 모드에 대한 MV/MVD 정밀도들을 나타내는 구문 요소는 다음과 같은 의미로 시그널링될 수 있다.

(a) 일 예로서, 0, 1, 및 2인 구문 요소는 각각 1/4-픽셀, 1/16-픽셀, 및 1-픽셀 MV 정밀도를 나타낸다.

(b) 또는, 어파인 모드에서, 0, 1, 및 2인 구문 요소는 각각 1/4-픽셀, 1-픽셀, 및 1/16-픽셀 MV 정밀도를 나타낸다.

(c) 또는, 어파인 모드에서, 0, 1, 및 2인 구문 요소는 각각 1/16-픽셀, 1/4-픽셀, 및 1-픽셀 MV 정밀도를 나타낸다.

예 6. 일 예로서, 어파인 모드에 대해 AMVR을 활성화 또는 비활성화할 지 여부는 SPS, PPS, VPS, 시퀀스/픽처/슬라이스 헤더/타일 등에서 시그널링될 수 있다.

예 7. 일 예로서, 허용된 MV/MVD 정밀도들의 지시는 SPS, PPS, VPS, 시퀀스/픽처/슬라이스 헤더/타일 등에서 시그널링될 수 있다.

(a) 선택된 MVD 정밀도의 지시는 각 코딩 트리 유닛(coding tree unit, CTU) 및/혹은 각 영역에 대해 시그널링될 수 있다.

(b) 허용된 MV/MVD 정밀도 세트는 현재 블록의 코딩된 모드(예를 들어, 어파인 혹은 어파인이 아닌(논-어파인, non-affine))에 따를 수 있다.

(c) 허용된 MV/MVD 정밀도 세트는 슬라이스 타입/시간적 레이어 인덱스/저지연 체크 플래그 등에 따를 수 있다.

(d) 허용된 MV/MVD 정밀도 세트는 현재 혹은 인접 블록의 블록 크기 및/혹은 블록 모양 등에 따를 수 있다.

(e) 허용된 MV/MVD 정밀도 세트는 디코딩된 픽처 버퍼에 저장된 MV들의 정밀도에 따를 수 있다.

(i) 일 예로서, 저장된 MV 가 X-픽셀이면 허용된 MV/MVD 정밀도 세트는 적어도 X-픽셀을 가질 수 있다.

AMVR이 지원되는 어파인 모드의 개선

예 8. 허용된 MVD 정밀도들의 세트는 픽처별로, 슬라이스별로 또는 블록별로 다를 수 있다.

a. 일 예에서, 허용된 MVD 정밀도들의 세트는 블록 크기, 블록 모양 등과 같은 코딩된 정보에 의존할 수 있다.

b, 허용된 MV 정밀도들의 세트는 미리 정의될 수 있다. (예를 들어, {1/16, 1/4, 1})

c. 허용된 MV 정밀도들의 표시들은 SPS/PPS/VPS/시퀀스 헤더/픽처 헤더/슬라이스 헤더/CTU들의 그룹 등에서 시그널링될 수 있다.

d. 허용된 MV 정밀도들의 세트로부터 선택된 MV 정밀도를 시그널링하는 단계는 블록에 대해 허용된 MV 정밀도의 수에 추가로 의존한다.

예 9. 어파인 모드에서 사용된 MVD 정밀도를 표시하기 위해 구문 요소가 디코더에 시그널링된다.

a. 일 예에서, 오직 하나의 구문 요소가 어파인 모드 및 AMVR 모드에 적용된 MVD 정밀도들을 표시하기 위해 사용된다.

i. 일 예에서, 동일한 시멘틱들이 사용된다. 즉, 구문 요소의 동일한 값이 AMVR 및 어파인 모드에 대한 동일한 MVD 정밀도로 매핑된다.

ii. 또는, 단일 구문 요소의 시멘틱은 AMVR 모드 및 어파인 모드에 대해 상이하다. 즉, 구문 요소의 동일한 값은 AMVR 및 어파인 모드에 대해 상이한 MVD 정밀도로 매핑될 수 있다.

b. 일 예에서, 어파인 모드가 AMVR을 가지는 MVD 정밀도들의 동일한 세트를 사용하는 경우(예를 들어, MVD 정밀도가 {1, 1/4, 4}-픽셀), AMVR에서 MVD 구문 요소 정밀도는 어파인 모드에서 재사용된다. 즉, 오직 하나의 구문 요소만이 사용된다.

i. 또는, 더 나아가서, 이 구문 요소를 CABAC 인코더/디코더에서 부호화/복호화하는 경우, 동일하거나 상이한 문맥 모델들이 AMVR 및 어파인 모드를 위해 사용될 수 있다.

ii. 또는, 더 나아가서, 이 구문 요소는 AMVR 및 어파인 모드에서 상이한 시멘틱을 가질 수 있다. 예를 들어, 0, 1 및 2와 같은 이 구문 요소는 AMVR에서 각각 1/4-픽셀, 1-픽셀 및 4-픽셀 MV 정밀도를 지시하며, 어파인 모드에서는 0, 1 및 2와 같은 구문 요소가 각각 1/4-픽셀, 1/16-픽셀 및 1-픽셀 MV 정밀도를 지시한다.

c. 일 예에서, 어파인 모드가 AMVR을 가지는 동일한 수의 MVD 정밀도들을 사용하지만 상이한 세트의 MVD 정밀도들을 사용하는 경우(예를 들어, AMVR에 대한 MVD 정밀도 세트는 {1, 1/4, 4}-픽셀인 반면, 어파인 모드에 대한 MVD 정밀도 세트는 {1/16, 1/4, 1}-픽셀), AMVR에서의 MVD 정밀도 구문 요소는 어파인 모드에서 재사용된다. 즉, 오직 하나의 구문 요소만이 사용된다.

i. 또는, 더 나아가서, 이 구문 요소를 CABAC 인코더/디코더에서 부호화/복호화하는 경우, 동일하거나 상이한 문맥 모델들이 AMVR 및 어파인 모드를 위해 사용될 수 있다.

ii. 또는, 더 나아가서, 이 구문 요소는 AMVR 및 어파인 모드에서 상이한 시멘틱을 가질 수 있다.

d. 일 예에서, 어파인 모드는 AMVR 보다 MVD 정밀도들을 덜 사용하며, AMVR에서의 MVD 정밀도 구문 요소는 어파인 모드에서 재사용된다. 그러나 구문 요소 값들의 서브세트만이 어파인 모드에 대해 유효하다.

i. 또는, 더 나아가서, 이 구문 요소를 CABAC 인코더/디코더에서 부호화/복호화하는 경우, 동일하거나 상이한 문맥 모델들이 AMVR 및 어파인 모드를 위해 사용될 수 있다.

ii. 또는, 더 나아가서, 이 구문 요소는 AMVR 및 어파인 모드에서 상이한 시멘틱을 가질 수 있다.

e. 일 예에서, 어파인 모드는 AMVR 보다 더 많은 MVD 정밀도들을 사용하며, AMVR에서의 MVD 정밀도 구문 요소는 어파인 모드에서 재사용된다. 하지만, 그러한 구문 요소는 어파인 모드에서 더 많은 값들을 허용하도록 연장된다.

i. 또는, 더 나아가서, 이 구문 요소를 CABAC 인코더/디코더에서 부호화/복호화하는 경우, 동일하거나 상이한 문맥 모델들이 AMVR 및 어파인 모드를 위해 사용될 수 있다.

ii. 또는, 더 나아가서, 이 구문 요소는 AMVR 및 어파인 모드에서 상이한 시멘틱을 가질 수 있다.

f. 일 예에서, 새로운 구문 요소가 어파인 모드의 MVD 정밀도를 코딩하기 위해 사용된다. 즉, 두 개의 상이한 구문 요소들이 AMVR 및 어파인 모드의 MVD 정밀도를 코딩하는 데에 사용된다.

g. 어파인 모드를 위한 MVD 정밀도들의 지시를 위한 구문은 아래 조건들 중 하나 또는 모두가 참일 경우 시그널링될 수 있다.

i. 모든 제어 포인트들에 대한 MVD들이 논-제로(non-zero).

ii. 적어도 하나의 제어 포인트에 대한 MVD가 논-제로.

iii. 하나의 제어 포인트의 MVD(예를 들어, 제1 CPMV)가 논-제로.

이 경우, 만약 상기 조건들 중 하나 또는 모두가 만족되지 않으면, MVD 정밀도들을 시그널링할 필요가 없다.

h. 어파인 모드 또는 AMVR 모드를 위한 MVD 정밀도들의 지시를 위한 구문 요소는 맥락들로 코딩될 수 있으며, 상기 맥락들은 코딩된 정보에 의존한다.

i. 일 예에서, 오직 하나의 구문 요소만이 있는 경우, 상기 맥락들은 현재 블록이 어파인 모드로 코딩되는지 여부에 의존할 수 있다.

i. 일 예에서, 맥락은 주변 블록들/시간적 층 인덱스/예측 방향 등의 블록 크기/블록 모양/MVD 정밀도에 의존할 수 있다.

j. 어파인 모드에 대한 다수의 MVD 정밀도들의 사용을 활성화할지 비활성화할지 여부는 SPS/PPS/VPS/시퀀스 헤더/픽처 헤더/슬라이스 헤더/CTU들의 그룹 등에서 시그널링될 수 있다.

i. 일 예에서, 어파인 모드에 대한 다수의 MVD 정밀도들의 사용을 활성화하거나 비활성화하는 정보를 시그널링할지 여부는 다른 구문 요소들에 의존할 수 있다. 예를 들어, 어파인 모드에 대한 MV 및/또는 MVP 및/또는 MVD 정밀도들의 사용을 활성화하거나 비활성화하는 정보는 어파인 모드가 활성화되는 경우 시그널링되며, 어파인 모드가 비활성화되는 경우 시그널링되지 않고 0으로 추론된다.

k. 또는, 복수의 구문 요소들이 어파인 화면 간 모드에서 사용된 MV 및/또는 MVP 및/또는 MVD 정밀도-아래 기술에서 이것들은 모두 "MVD 정밀도"라 지칭됨-를 지시하기 위해 시그널링될 수 있다.

i. 일 예에서, 어파인 화면 간 모드에서 사용된 MVD 정밀도를 지시하는 데에 사용되는 구문 요소와 정상 화면 간 모드(normal inter mode)에서 사용된 MVD 정밀도는 지시하는 데에 사용되는 구문 요소는 상이할 수 있다.

1. 어파인 화면 간 모드에서 사용된 MVD 정밀도 및 정상 화면 간 모드에서 사용된 MVD 정밀도는 지시하는 데에 상이한 수의 구문 요소가 사용될 수 있다.

2. 어파인 화면 간 모드 및 정상 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위한 구문 요소들의 시멘틱은 상이할 수 있다.

3. 어파인 화면 간 모드 및 정상 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위한 하나의 구문 요소를 코딩하는 산술 코딩에서의 맥락 모델들은 상이할 수 있다.

4. 어파인 화면 간 모드 및 정상 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위한 하나의 구문 요소를 코딩하는 산술 코딩에서 맥락 모델들을 유도하기 위한 방법들은 상이할 수 있다.

ii. 일 예에서, 제1 구문 요소(예를 들어, amvr_flag)는 어파인 코딩된 블록에서 AMVR을 적용할지를 지시하기 위해 시그널링될 수 있다.

1. 상기 구문 요소는 조건적으로 시그널링된다.

a. 일 예로, 상기 제1 구문 요소(amvr_flag)의 시그널링은 현재 블록이 특정 모드(예를 들어, CPR/IBC 모드)로 코딩된 경우 생략된다.

b. 일 예에서, 상기 제1 구문 요소(amvr_flag)의 시그널링은 모든 CPMV의 MVD-수평 및 수직 성분들 모두 포함-가 모두 제로인 경우 생략된다.

c. 일 예에서, 상기 제1 구문 요소(amvr_flag)의 시그널링은 하나의 선택된 CPMV의 MVD들-수평 및 수직 성분들 모두 포함-이 모두 제로인 경우 생략된다.

i. 일 예에서, 상기 선택된 CPMV의 MVD는 코딩/디코딩 되어야 할 제1 CPMV의 MVD이다.

d. 일 예에서, 상기 제1 구문 요소(amvr_flag)의 시그널링은 어파인 코딩된 블록에 대한 복수의 MVD 정밀도들의 활성화 사용이 거짓인 경우 생략된다.

e. 일 예에서, 상기 제1 구문 요소는 아래 조건에서 시그널링될 수 있다.

i. 어파인 코딩된 블록에 대한 다수의 MVD 정밀도들의 활성화 사용이 참이며, 현재 블록은 어파인 모드로 코딩된다.

ii. 또는, 어파인 코딩된 블록에 대한 다수의 MVD 정밀도들의 활성화 사용이 참이며, 현재 블록이 어파인 모드로 코딩되고, 그리고 CPMV의 MVD의 적어도 하나의 성분이 0과 같지 않다.

iii. 또는, 어파인 코딩된 블록에 대한 다수의 MVD 정밀도들의 활성화 사용이 참이며, 현재 블록이 어파인 모드로 코딩되고, 그리고 선택된 CPMV의 MVD의 적어도 하나의 성분이 0과 같지 않다.

1. 일 예에서, 상기 선택된 CPMV의 MVD는 코딩/디코딩 되어야 하는 제1 CPMV의 MVD이다.

2. AMVR이 어파인 코딩된 블록에 적용되지 않거나 제1 구문 요소가 존재하지 않는 경우, 디폴트 MV 및/또는 MVD 정밀도가 활용된다.

f. 일 예에서, 상기 디폴트 정밀도는 1/4 픽셀이다.

g. 또는, 상기 디폴트 정밀도는 어파인 코딩된 블록들에 대한 움직임 보상에 사용되는 것으로 설정된다.

3. 예를 들어, amvr_flag 가 0과 같으며, 어파인 모드의 MVD 정밀도는 1/4 픽셀이며, 그 외의 경우에 어파인 모드의 MVD 정밀도는 다른 값들일 수 있다.

h. 또는, 더 나아가서, 추가적인 MVD 정밀도들이 제2 구문 요소를 통해 추가로 시그널링될 수 있다.

iii. 일 예에서, amvr_coarse_precision_flag와 같은 제2 구문 요소는 어파인 모드의 MVD 정밀도를 지시하기 위해 시그널링될 수 있다.

1. 일 예에서, 상기 제2 구문 요소가 시그널링되는지 여부는 제2 구문 요소에 의존할 수 있다. 예를 들어, 상기 제2 구문 요소는 상기 제2 구문 요소가 1인 경우에만 시그널링된다.

2. 일 예에서, 상기 제2 구문 요소가 0인 경우, 어파인 모드의 MVD 정밀도는 1 픽셀이다. 그 외의 경우에, 어파인 모드의 MVD 정밀도는 1/16 픽셀이다.

3. 일 예에서, 상기 제2 구문 요소가 0이면, 어파인 모드의 MVD 정밀도는 1/16 픽셀이다. 그 외의 경우에는, 어파인 모드의 MVD 정밀도가 풀 픽셀이다.

iv. 일 예에서, 어파인 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위해 사용되는 구문 요소는 같은 이름을 가지지만 정상 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위해 사용되는 구문 요소와 같은 문맥 모델들을 공유한다.

4. 또는, 어파인 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위해 사용되는 구문 요소는 같은 이름을 가지지만 정상 화면 간 모드에서 사용된 MVD 정밀도를 지시하기 위해 사용되는 구문 요소와는 다른 문맥 모델들을 사용한다.

예 10. 어파인 코딩된 블록에서 AMVR을 적용할지 또는 어떻게 적용할지는 현재 블록의 참조 픽처에 의존할 수 있다.

a. 일 예에서, 참조 픽처가 현재 픽처인 경우, AMVR은 적용되지 않는다. 즉, 화면 내 블록 복사가 현재 블록에 적용된다.

인코더를 위한 어파인 모드에서 AMVR의 고속 알고리즘

어파인 모드 및 AMVR 모드의 RD 코스트 (실제 RD 코스트, 또는 SATD/SSE/SAD 코스트와 대략적인 비트 코스트의 합산)를IMV = i(i = 0, 1 or 2)에 대해 affineCosti and amvpCosti로 표시한다. 여기서, IMV = 0 는 1/4 픽셀 MV를 의미하고, IMV = 1는 AMVP 모드에 대해 정수 MV, 어파인 모드에 대해 1/16 픽셀 MV를 의미하며, IMV = 2는 AMVP 모드에 대해 4 픽셀 MV, 어파인 모드에 대해 정수 MV를 의미한다. 머지 모드의 RD 코스트는 mergeCost로 표시한다.

예 11. 현재 CU의 부모 CU의 최선의 모드가 AF_INTER 모드 또는 AF_MERGE 모드가 아닐 경우, AMVR은 현재 CU의 어파인 모드에 대해 비활성화될 것이 제안된다. 또는, 상기 부모 CU의 최선의 모드가 AF_INTER 가 아닌 경우, AMVR은 현재 CU의 어파인 모드에 대해 비활성화된다.

예 12. 만약 affineCost0 > th1 * amvpCost0라면, AMVR은 어파인 모드에 대해 비활성화될 것으로 제안된다. 여기서, th1은 양의 임계치이다.

a. 또는, 추가로, min(affineCost0, amvpCost0) > th2 * mergeCost인 경우, AMVR은 어파인 모드에 대해 비활성화된다. 여기서, th2은 양의 임계치이다.

b. 또는, 추가로, affineCost0 > th3 * affineCost1인 경우, AMVR은 어파인 모드에 대해 비활성화된다. 여기서, th3은 양의 임계치이다.

예 12. 만약 amvpCost0 > th4 * affineCost0라면, AMVR은 어파인 모드에 대해 비활성화될 것으로 제안된다. 여기서, th4은 양의 임계치이다.

a. 또는, min(affineCost0, amvpCost0) > th5 * mergeCost인 경우, AMVR은 어파인 모드에 대해 비활성화된다. 여기서, th5은 양의 임계치이다.

예 13. 하나의 MV 정밀도에서 획득된 4/6 파라미터 어파인 모델들은 다른 MV 정밀도들에 대한 후보 출발 탐색 지점으로 사용될 수 있다고 제안된다.

b. 일 예에서, 1/16 MV에서 획득된 4/6 파라미터 어파인 모델들은 다른 MV 정밀도들에 대한 후보 출발 탐색 지점으로 사용될 수 있다.

c. 일 예에서, 1/4 MV에서 획득된 4/6 파라미터 어파인 모델들은 다른 MV 정밀도들에 대한 후보 출발 탐색 지점으로 사용될 수 있다.

예 14. 현재 블록의 부모 블록이 어파인 모드를 선택하지 않는 경우, 상기 어파인 모드에 대한 AMVR은 상기 현재 블록을 위한 인코더에서 확인되지 않는다.

예 15. 이전에 코딩된 프레임/슬라이스/타일/CTU 행들에 대한 상이한 MV 정밀도의 사용 통계는 현재 슬라이스/타일/CTU 행에서 어파인 코딩된 블록들에 대한 MV 정밀도들의 율-왜곡 계산을 조기에 종료하는 데에 활용될 수 있다.

d. 일 예에서, 특정 MV 정밀도를 가지는 어파인 코딩된 블록들의 비율이 기록된다. 만약 상기 비율이 너무 낮다면, 해당 MV 정밀도의 확인은 생략된다.

e. 일 예에서, 동일한 시간적 층을 가지는 이전에 코딩된 프레임들은 특정한 MV 정밀도를 생략할지 여부를 결정하는 데에 활용된다.

어파인 AMVR 코딩을 위한 문맥

예 16. 어파인 AMVR 코드를 코딩하는 데 사용되는 각각의 문맥에 대해, 문맥과 연관된 두 개의 확률 업데이트 스피드를 제어하기 위한 변수(shiftIdx로 지시됨)를 설정할 것이 제안된다.

a. 일 예로서, 고속 업데이트 속도(faster updating speed)는 (shiftIdx >> 2) + 2로 정의된다.

b. 일 예로서, 저속 업데이트 속도(slower updating speed)는 (shiftIdx & 3) + 3 + shift0로 정의된다.

c. 일 예로서, 적합성 비트스트림(conformance bitstream)은 유도된 고속 업데이트 속도(faster updating speed)가 [2, 5] 내에 있어야 한다는 규칙을 따른다.

d. 일 예로서, 적합성 비트스트림은 유도된 고속 업데이트 속도(faster updating speed)가 [3, 6] 내에 있어야 한다는 규칙을 따른다.

예 17. 한 블록의 AMVR 모드를 코딩할 때, 인접 블록의 어파인 AMVR 모드 정보는 문맥 모델링에 허용되지 않는다.

a. 일 예로서, 인접 블록의 AMVR 모드 인덱스가 활용될 수 있으며 인접 블록의 어파인 AMVR 모드 정보는 제외된다. 표 5 (표 5-1 및 5-2을 포함)로 예시가 나타나 있으며, (xNbL, yNbL) 및 (xNbA, yNbA)는 좌측 및 상단 인접 블록을 나타낸다. 일 예로서, 문맥 인덱스 오프셋 ctxInc = (　condL　　&&　　availableL　) + (　condA　　&&　　availableA　) + ctxSetIdx　*　3 이다.

b. 또는, 인접 블록의 어파인 AMVR 모드 정보는 더 활용되나 직접적으로 이용되지 않고 함수가 활용될 수 있다. 일 예로서, 표 6-1에 설명된 함수 func는 어파인 코딩된 인접 블록의 amvr_mode[ xNbL ][ yNbL ] 이 특정 정밀도(예를 들어, 1/4-픽셀 MV 정밀도)를 나타낼 때 참을 반환할 수 있다. 일 예로서, 표 6-2에 설명된 함수 func는 어파인 코딩된 인접 블록의 amvr_flag[ xNbL ][ yNbL ] 이 특정 정밀도(예를 들어, 1/4-픽셀 MV 정밀도)를 나타낼 때 참을 반환할 수 있다.

c. 또는, 인접 블록의 어파인 AMVR 모드 정보는 더 AMVR 모드(정상 화면 간 모드에 적용되는)의 제1 구문 요소(예를 들어, amvr_flag)를 코딩하기 위해 더 활용될 수 있다. 표 6-3 및 6-4에 일부 예가 나타나 있다.

d. AMVR 모드 정보가 다중 구문 요소(예를 들어, amvr_flag, amvr_coarse_precision_flag로 표시되는 제1 및 제2 구문 요소)로 표현되는 경우, 위 구문 amvr_mode는 다중 구문 요소 중 하나로 대체될 수 있으며 위 방법이 여전히 적용될 수 있다.

예 18. 어파인 AMVR 모드를 코딩할 때 인접 블록의 AMVR 모드 정보는 문맥 코딩에 활용될 수 있다고 제안된다.

a. 일 예로서, 인접 블록의 AMVR 모드 정보는 직접적으로 사용된다. 표 7에 예시가 나타나 있다. 또는, 더 나아가, 문맥 인덱스 오프셋 ctxInc = (　condL　　&&　　availableL　) + (　condA　　&&　　availableA　) + ctxSetIdx　*　3이다.

b. 또는, 인접 블록의 AMVR 모드 정보는 문맥 모델링에 허용되지 않는다. 표 8에 예시가 나타나 있다.

c. 또는, 인접 블록의 AMVR 모드 정보를 더 활용하되 직접적으로 사용하는 대신 함수가 활용될 수 있다. 일 예로서, 표 9에서 설명된 함수 func 는 어파인 코딩되지 않은 인접 블록의 amvr_mode[ xNbL ][ yNbL ]이 특정 정밀도(예를 들어, 1/4-픽셀 MV 정밀도)를 나타낼 때 참을 리턴할 수 있다.

d. AMVR 모드 정보가 다중 구문 요소(예를 들어, amvr_flag, amvr_coarse_precision_flag로 표시되는 제1 및 제2 구문 요소)로 표현되는 경우, 위 구문 amvr_mode는 다중 구문 요소 중 하나로 대체될 수 있으며 위 방법이 여전히 적용될 수 있다.

SMVD 및 어파인 SMVD의 고속 알고리즘

SMVD 모드를 체크할 때, 현재 선택된 최상의 모드가 CurBestMode이고, AMVR에서 AMVR MVD 정밀도가 MvdPrec이거나 어파인 AMVR의 MVD 정밀도가 MvdPrecAff라고 가정한다.

예 19. SMVD 모드는 AMVR의 MVD 정밀도, 현재 선택된 최상의 모드(즉 CurBestMode)에 따라 생략될 수 있다.

a. 일 예로서, CurBestMode가 머지모드 혹은/및 UMVE 모드인 경우, SMVD 모드는 체크되지 않을 수 있다.

b. 일 예로서, CurBestMode가 SMVD 모드로 코딩되지 않은 경우, SMVD 모드는 체크되지 않을 수 있다.

c. 일 예로서, CurBestMode가 어파인 모드인 경우, SMVD 모드는 체크되지 않을 수 있다.

d. 일 예로서, CurBestMode가 서브 블록 머지모드인 경우, SMVD 모드는 체크되지 않을 수 있다.

e. 일 예로서, CurBestMode가 어파인 SMVD 모드인 경우, SMVD 모드는 체크되지 않을 수 있다.

f. 일 예로서, CurBestMode가 어파인 머지 모드 혹은/및 UMVE 모드인 경우, SMVD 모드는 체크되지 않을 수 있다.

g. 일 예로서, 위 고속 방법들, 즉 글머리 기호 13.a~13.f는 일부 MVD 정밀도에 대해서만 적용될 수 있다.

i. 일 예로서, 위 고속 방법들은 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 크거나 같은 경우에만 적용될 수 있다.

ii. 일 예로서, 위 고속 방법들은 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 큰 경우에만 적용될 수 있다.

iii. 일 예로서, 위 고속 방법들은 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 작거나 같은 경우에만 적용될 수 있다.

iv. 일 예로서, 위 고속 방법들은 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 작은 경우에만 적용될 수 있다.

예 20. 어파인 SMVD 모드는 어파인 AMVR에서 현재 선택된 최상의 모드(즉, CurBestMode), MVD 정밀도에 따라 생략될 수 있다.

a. 일 예로서, CurBestMode가 머지모드 혹은/및 UMVE 모드인 경우, 어파인 SMVD 모드는 체크되지 않을 수 있다.

b. 일 예로서, CurBestMode가 어파인 SMVD 모드로 코딩되지 않은 경우, 어파인 SMVD 모드는 체크되지 않을 수 있다.

c. 일 예로서, CurBestMode가 서브 블록 머지모드인 경우, 어파인 SMVD 모드는 체크되지 않을 수 있다.

d. 일 예로서, CurBestMode가 SMVD 모드인 경우, 어파인 SMVD 모드는 체크되지 않을 수 있다.

e. 일 예로서, CurBestMode가 어파인 머지 모드인 경우, 어파인 SMVD 모드는 체크되지 않을 수 있다.

f. 일 예로서, 위 고속 방법들, 즉 글머리 기호 20.a~20.e는 일부 MVD 정밀도에 대해서만 적용될 수 있다.

i. 일 예로서, 위 고속 방법들은 어파인 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 크거나 같은 경우에만 적용될 수 있다.

ii. 일 예로서, 위 고속 방법들은 어파인 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 큰 경우에만 적용될 수 있다.

iii. 일 예로서, 위 고속 방법들은 어파인 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 작거나 같은 경우에만 적용될 수 있다.

iv. 일 예로서, 위 고속 방법들은 어파인 MVD 정밀도가 정밀도(예를 들어, 정수 픽셀 정밀도)보다 작은 경우에만 적용될 수 있다.

예 21. 상기 제안된 방법은 블록 크기, 슬라이스/픽처/타일 유형 또는 움직임 정보와 같은 특정 조건 하에서 적용될 수 있다.

a. 일 예에서, 블록 크기가 16 또는 32 또는 64 루마 샘플들 같은 M*H 샘플들 보다 작은 것을 포함한다면, 제안된 방법은 허용되지 않는다.

b. 또는, 블록의 폭 및/또는 높이의 최소 크기가 X 보다 작거나 더 크지 않다면, 제안된 방법은 허용되지 않는다. 일 예에서, X는 8로 설정된다.

c. 또는, 블록의 폭 및/또는 높이의 최소 크기가 X 보다 작지 않다면, 제안된 방법은 허용되지 않는다. 일 예에서, X는 8로 설정된다.

d. 또는, 블록의 폭 > th1 또는 >=th1 및/또는 블록의 높이 > th2 또는 >=th2라면, 제안된 방법은 허용되지 않는다. 일 예에서, th1 및/또는 th2는 8로 설정된다.

e. 또는, 블록의 폭 < th1 또는 <=th1 및/또는 블록의 높이 < th2 또는 <a=th2라면, 제안된 방법은 허용되지 않는다. 일 예에서, th1 및/또는 th2는 8로 설정된다.

f. 또는, 상기 방법들을 활성화할지 비활성화할지 여부 및/또는 어떤 방법을 적용할지 여부는 블록 규격, 비디오 처리 데이터 유닛(Video Processing Data Unit: VPDU), 픽처 타입, 저지연 체크 플래그, 현재 블록의 코딩된 정보(참조 픽처, 단-또는 양-예측) 또는 이전에 코딩된 블록들에 기반할 수 있다.

예 22. 화면 내 블록 복사(IBC, 현재 픽처 레퍼런스(current picture reference: CPR)로도 알려짐)가 적용되거나 적용되지 않는 경우, 어파인 모드에 대한 상기 AMVR 방법들은 상이한 방식들로 실행될 수 있다.

a. 일 예에서, 어파인 모드에 대한 AMVR는 블록이 IBC로 코딩되는 경우 사용될 수 없다.

b. 일 예에서, 어파인 모드에 대한 AMVR는 블록이 IBC로 코딩되는 경우 사용될 수 있지만, 후보MV/MVD/MVP 정밀도들은 비-IBC 코딩된 어파인 코딩 블록에 대해 사용된 정밀도들과는 상이할 수 있다.

예 23. 본 문서에서 용어 “슬라이스”는 “타일 그룹” 또는 “타일”로 바꿔서 쓸 수 있다.

예 24. VPS/SPS/PPS/슬라이스 헤더/타일 그룹 헤더에서, 1과 같은 구문 요소(예를 들어, no_amvr_constraint_flag)는 AMVR이 활성화되는지 여부를 지시하는 구문 요소(예를 들어, sps_amvr_enabled_flag)와 어파인 AMVR이 활성화되는지 여부를 지시하는 구문 요소(예를 들어, sps_affine_avmr_enabled_flag)가 모두 0과 같아야 한다는 것이 비트스트림 부합성 요건임을 명시한다. 0과 같은 구문 요소(예를 들어, no_amvr_constraint_flag)는 아무런 제한을 두지 않는다.

예 25. VPS/SPS/PPS/슬라이스 헤더/타일 그룹 헤더 또는 기타 비디오 유닛들에서, 구문 요소(예를 들어, no_affine_amvr_constraint_flag)가 시그널링될 수 있다.

a. 일 예에서, 1과 같은 no_affine_amvr_constraint_flag는 어파인 AMVR이 활성화되는지 여부를 지시하는 구문 요소(예를 들어, sps_affine_avmr_enabled_flag)가 0과 같아야 한다는 것이 비트스트림 부합성 요건임을 명시한다. 0과 같은 구문 요소(예를 들어, no_affine_amvr_constraint_flag)는 아무런 제한을 두지 않는다.

예 26. 다중 문맥들은, 조동 움직임 정밀도(coarse motion precision)(예를 들어, amvr_coarse_precision_flag)를 지시하는 제2 구문 요소를 코딩하는 데 활용될 수 있다.

a. 일 예로서, 두 개의 문맥들이 활용될 수 있다.

b. 일 예로서, 문맥 선택은 현재 블록이 어파인 코딩 되었는지 여부에 따를 수 있다.

c. 일 예로서, 제1 구문의 경우, 하나의 문맥으로만 코딩될 수 있으며, 제2 구문의 경우도 하나의 문맥으로만 코딩될 수 있다.

d. 일 예로서, 제1 구문의 경우 하나의 문맥으로만 코딩 될 수 있고 제2 구문의 경우에도 바이패스 코딩 될 수 있다.

e. 일 예로서, 제1 구문의 경우 바이패스 코딩 될 수 있고 또한 제2 구문의 경우 바이패스 코딩 될 수 있다.

f. 일 예로서, 움직임 벡터 정밀도들과 관련된 모든 구문 요소들에 대해 바이패스 코딩 될 수 있다.

예 27. 예를 들어, amvr_mode 구문 요소의 제1(첫번째) 빈(bin)만 산술 코딩 문맥(들)로 코딩된다. amvr_mode의 다음 빈들은 모두 바이패스 코딩으로 코딩된다.

a. 위에서 개시된 방법들은 다른 구문 요소들에 적용될 수 있다.

b. 예를 들어, 구문 요소(syntax element) SE의 제1 빈은 산술 코딩 문맥(들)로 코딩된다. SE의 다음 빈들은 모두 바이패스 코딩으로 코딩된다. SE는 하기와 같을 수 있다.

1) alf_ctb_flag

2) sao_merge_left_flag

3) sao_merge_up_flag

4) sao_type_idx_luma

5) sao_type_idx_chroma

6) split_cu_flag

7) split_qt_flag

8) mtt_split_cu_vertical_flag

9) mtt_split_cu_binary_flag

10) cu_skip_flag

11) pred_mode_ibc_flag

12) pred_mode_flag

13) intra_luma_ref_idx

14) intra_subpartitions_mode_flag

15) intra_subpartition_split_flag

16) intra_luma_mpm_flag

17) intra_chroma_pred_mode

18) merge_flag

19) inter_pred_idc

20) inter_affine_flag

21) cu_affine_type_flag

22) ref_idx_l0

23) mvp_l0_flag

24) ref_idx_l1

25) mvp_l1_flag

26) avmr_flag

27) amvr_precision_flag

28) gbi_idx

29) cu_cbf

30) cu_sbt_flag

31) cu_sbt_quad_flag

32) cu_sbt_horizontal_flag

33) cu_sbt_pos_flag

34) mmvd_flag

35) mmvd_merge_flag

36) mmvd_distance_idx

37) ciip_flag

38) ciip_luma_mpm_flag

39) merge_subblock_flag

40) merge_subblock_idx

41) merge_triangle_flag

42) merge_triangle_idx0

43) merge_triangle_idx1

44) merge_idx

45) abs_mvd_greater0_flag

46) abs_mvd_greater1_flag

47) tu_cbf_luma

48) tu_cbf_cb

49) tu_cbf_cr

50) cu_qp_delta_abs

51) transform_skip_flag

52) tu_mts_idx

53) last_sig_coeff_x_prefix

54) last_sig_coeff_y_prefix

55) coded_sub_block_flag

56) sig_coeff_flag

57) par_level_flag

58) abs_level_gt1_flag

59) abs_level_gt3_flag

c. 또는, 구문 요소 SE가 이진 값 (즉, 0 또는 1 과만 같을 수 있음)이면 문맥 코딩 될 수 있다.

i. 또는, 더 나아가, 구문 요소 SE가 이진 값 (즉, 0 또는 1과 같을 수 있음)이면 바이패스 코딩 될 수 있다.

d. 또는, 더 나아가, 제1 빈을 코딩하는 데 오직 하나의 문맥만을 사용할 수 있다.

예 28. 움직임 벡터 예측 (MVP) 혹은 움직임 벡터 차분 (MVD) 혹은 재구성된 움직임 벡터 (MV)의 정밀도는 시그널링 될 수 있는 움직임 정밀도에 따라 달라질 수있다.

a. 일 예에서 MVP의 원본 예측이 목표 정밀도보다 낮거나, 높지 않은 경우, MVP = MVP << s이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

iii. 또는, MVD의 원본 정밀도가 목표 정밀도보다 낮거나, 높지 않은 경우, MVPD= MVD << s이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

iv. 또는, MV의 원본 정밀도가 목표 정밀도보다 낮거나, 높지 않은 경우, MV = MV << s이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

b. 일 예에서, MVP의 원본 예측이 목표 정밀도보다 높거나, 낮지 않은 경우, MVP = Shift(MVP, s)이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

v. 또는, MVD의 원본 정밀도가 목표 정밀도보다 높거나, 낮지 않은 경우, MVD = Shift(MVD, s) 이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

vi. 또는, MV의 원본 정밀도가 목표 정밀도보다 높거나, 낮지 않은 경우, MV = Shift(MV, s) 이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

c. 일 예에서, MVP의 원본 예측이 목표 정밀도보다 높거나, 낮지 않은 경우, MVP = SatShift(MVP, s)이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

vii. 또는, MVD의 원본 정밀도가 목표 정밀도보다 높거나, 낮지 않은 경우, MVD = SatShift(MVD, s)이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

viii. 또는, MV의 원본 정밀도가 목표 정밀도보다 높거나, 낮지 않은 경우, MV = SatShift(MV, s) 이다. s는 정수이며 원본 정밀도와 목표 정밀도의 차분에 따를 수 있다.

d. 위에서 개시된 방법들은 현재 블록이 어파인 모드들로 코딩되지 않은 때에 적용될 수 있다.

e. 위에서 개시된 방법들은 현재 블록이 어파인 모드들로 코딩된 때에 적용될 수 있다.

1. 실시예들

강조 표시된 부분은 수정된 사양을 보여준다.

1.1 실시예 1: 어파인 AMVR 모드의 사용 표시

SPS/PPS/VPS/APS/시퀀스 헤더/픽처 헤더/타일 그룹 헤더 등에서 시그널링될 수 있다. 본 섹션은 SPS에서의 시그널링을 보여준다.

1.1.1. SPS 구문 테이블

대안적인 SPS 구문 테이블은 아래와 같다.

시멘틱:

1과 같은 sps_affine_amvr_enabled_flag는 적응적 움직임 벡터 차분 해상도가 어파인 화면 간 (inter) 모드의 움직임 벡터 코딩에서 사용됨을 명시한다. 0과 같은 amvr_enabled_flag는 적응적 움직임 벡터 차분 해상도가 어파인 화면 간 모드의 움직임 벡터 코딩에서 사용되지 않음을 명시한다.

1. 2. 어파인 AMVR 모드 정보의 파싱 절차

어파인 AMVR 모드 정보의 구문은 (정상 화면 간 모드에 적용되는) AMVR 모드 정보를 위한 구문을 재사용할 수 있다. 또는 상이한 구분 요소들을 활용할 수 있다.

어파인 AMVR 모드 정보는 조건적으로 시그널링될 수 있다. 아래의 상이한 실시예들은 조건들의 몇몇 예들을 보여준다.

1. 2. 1. 실시예 #1: CU 구문 테이블

1. 2. 2. 실시예 2: 대안적인 CU 구문 테이블 설계

1. 2. 3. 실시예 3: 제3 CU 구문 테이블 설계

1. 2. 4. 실시예 4: AMVR 및 어파인 AMVR 모드에 대해 상이한 구문을 가지는 구문 테이블 설계

일 예에서, conditionsA는 아래와 같이 정의된다.

( sps_affine_amvr_enabled_flag && inter_affine_flag =　= 1 &&

( MvdCpL0[　x0　][　y0　][　0　] [　0　] != 0 |　| MvdCpL0[　x0　][　y0　][　0　] [　1　] != 0 |　|

MvdCpL1[　x0　][　y0　][　0　] [　0　] != 0 |　| MvdCpL1[　x0　][　y0　][　0　] [　1　] != 0 |　|

MvdCpL0[　x0　][　y0　][　1　] [　0　] != 0 |　| MvdCpL0[　x0　][　y0　][　1　] [　1　] != 0 |　|

MvdCpL1[　x0　][　y0　][　1　] [　0　] != 0 |　| MvdCpL1[　x0　][　y0　][　1　] [　1　] != 0 |　|

MvdCpL0[　x0　][　y0　][　2　] [　0　] != 0 |　| MvdCpL0[　x0　][　y0　][　2　] [　1　] != 0 |　|

MvdCpL1[　x0　][　y0　][　2　] [　0　] != 0 |　| MvdCpL1[　x0　][　y0　][　2　] [　1　] != 0 ) )

또는, conditionsA는 아래와 같이 정의된다.

( sps_affine_amvr_enabled_flag && inter_affine_flag =　= 1 &&

( MvdCpL0[　x0　][　y0　][　0　] [　0　] != 0 |　| MvdCpL0[　x0　][　y0　][　0　] [　1　] != 0 |　|

MvdCpL1[　x0　][　y0　][　0　] [　0　] != 0 |　| MvdCpL1[　x0　][　y0　][　0　] [　1　] != 0 |　| )

또는, conditionsA는 아래와 같이 정의된다.

( sps_affine_amvr_enabled_flag && inter_affine_flag =　= 1 &&

( MvdCpLX[　x0　][　y0　][　0　] [　0　] != 0 |　| MvdCpLX[　x0　][　y0　][　0　] [　1　] != 0 )

여기서, X는 0 또는 1이다.

또는, conditionsA는 아래와 같이 정의된다.

( sps_affine_amvr_enabled_flag && inter_affine_flag =　= 1)

일 예에서, conditionsB는 아래와 같이 정의된다.

!sps_cpr_enabled_flag　　|　|　　!( inter_pred_idc[　x0　][　y0　]　　=　=　　PRED_L0 &&

ref_idx_l0[　x0　][　y0　]　　=　=　　num_ref_idx_l0_active_minus1 )

또는, conditionsB는 아래와 같이 정의된다.

!sps_cpr_enabled_flag　　|　|　　!( pred_mode[　x0　][　y0　]　　=　=　　CPR).

또는, conditionsB는 아래와 같이 정의된다.

!sps_ibc_enabled_flag　　|　|　　!( pred_mode[　x0　][　y0　]　　=　=　　IBC).

AMVR 또는 어파인 AMVR (Affine AMVR)을 코딩하는 데에 상이한 구문 요소들이 활용되는 경우, 어파인 AMVR에 적용되는, 5.5에서의 실시예들에 대해 사용되는 문맥 모델링 및/또는 문맥들이 그에 맞춰 적용될 수 있다.

1. 2. 5. 시멘틱(Semantics)

amvr_flag[　x0　][　y0　]는 움직임 벡터 차분의 해상도를 명시한다. 어레이 인덱스 x0 및 y0는 픽처의 좌측 상부 루마 샘플에 대한 대상 코딩 블록의 좌측 상부 루마 샘플의 위치(　x0,　y0　)를 특정한다. 0과 같은 amvr_flag[　x0　][　y0　]은 상기 움직임 벡터 차분의 해상도가 루마 샘플의 1/4임을 특정한다. 1과 같은 amvr_flag[　x0　][　y0　]은 상기 움직임 벡터 차분의 해상도가 amvr_coarse_precision_flag[　x0　][　y0　]에 의해 추가로 특정됨을 명시한다.

amvr_flag[　x0　][　y0　]가 존재하지 않는 경우, 아래와 같이 추론된다.

- 만약 sps_cpr_enabled_flag가 1과 같으면, amvr_flag[　x0　][　y0　]는 1과 같은 것으로 추론된다.

- 그 외의 경우 ( sps_cpr_enabled_flag가 0과 같은 경우), amvr_flag[　x0　][　y0　] 는 0과 같은 것으로 추론된다.

1과 같은 amvr_coarse_precision_flag[　x0　][　y0　]는, inter_affine_flag가 0과 같은 경우, 상기 움직임 벡터 차분의 해상도가4 루마 샘플임을 특정한다. inter_affine_flag가 1과 같은 경우, 1 루마 샘플임을 특정한다. 어레이 인덱스 x0 및 y0는 픽처의 좌측 상부 루마 샘플에 대한 대상 코딩 블록의 좌측 상부 루마 샘플의 위치(　x0,　y0　)를 특정한다.

amvr_coarse_precision_flag[　x0　][　y0　]가 존재하지 않는 경우, 그것은 0과 같은 것으로 추론된다.

만약 inter_affine_flag[　x0　][　y0　]가 0과 같다면, 변수 MvShift는 (　amvr_flag[　x0　][　y0　]　+　amvr_coarse_precision_flag[　x0　][　y0　]　)　<<　1과 같은 것으로 설정되며, 변수들 MvdL0[　x0　][　y0　][　0　], MvdL0[　x0　][　y0　][　1　], MvdL1[　x0　][　y0　][　0　] 및 MvdL1[　x0　][　y0　][　1　]는 아래와 같이 변경된다.

MvdL0[　x0　][　y0　][　0　] = MvdL0[　x0　][　y0　][　0　]　　<<　(　MvShift　+　2　) (7-70)

MvdL0[　x0　][　y0　][　1　] = MvdL0[　x0　][　y0　][　1　]　　<<　　(　MvShift　+　2　) (7-71)

MvdL1[　x0　][　y0　][　0　] = MvdL1[　x0　][　y0　][　0　]<<(　MvShift　+　2　) (7-72)

MvdL1[　x0　][　y0　][　1　] = MvdL1[　x0　][　y0　][　1　]　　<<　(　MvShift　+　2　) (7-73)

만약 inter_affine_flag[　x0　][　y0　]가 1과 같으면, 변수 MvShift는 (　amvr_coarse_precision_flag　　?　　(　amvr_coarse_precision_flag　　<<　　1　)　　:　　(　-　(amvr_flag　　<<　　1)　)　) 과 같은 것으로 설정되며, 변수들 MvdCpL0[　x0　][　y0　][　0　][　0　], MvdCpL0[　x0　][　y0　][　0　][　1　], MvdCpL0[　x0　][　y0　][　1　][　0　], MvdCpL0[　x0　][　y0　][　1　][　1　], MvdCpL0[　x0　][　y0　][　2　][　0　] 및 MvdCpL0[　x0　][　y0　][　2　][　1　]는 아래와 같이 변경된다.

MvdCpL0[　x0　][　y0　][　0　][　0　] = MvdCpL0[　x0　][　y0　][　0　][　0　]　　<<　(　MvShift　+　2　) (7-73)

MvdCpL1[　x0　][　y0　] [　0　][　1　] = MvdCpL1[　x0　][　y0　][　0　][　1　]　　<<　　(　MvShift　+　2　) (7-67)

MvdCpL0[　x0　][　y0　][　1　][　0　] = MvdCpL0[　x0　][　y0　][　1　][　0　]　　<<　(　MvShift　+　2　) (7-66)

MvdCpL1[　x0　][　y0　] [　1　][　1　] = MvdCpL1[　x0　][　y0　][　1　][　1　]　　<<　　(　MvShift　+　2　) (7-67)

MvdCpL0[　x0　][　y0　][　2　][　0　] = MvdCpL0[　x0　][　y0　][　2　][　0　]　　<<　(　MvShift　+　2　) (7-66)

MvdCpL1[　x0　][　y0　] [　2　][　1　] = MvdCpL1[　x0　][　y0　][　2　][　1　]　　<<　　(　MvShift　+　2　) (7-67)

또는, 만약 inter_affine_flag[　x0　][　y0　]가 1과 같다면, 변수 MvShift는 (　affine_amvr_coarse_precision_flag　　?　　(　affine_amvr_coarse_precision_flag　　<<　　1　)　　:　　(　-　(affine_amvr_flag　　<<　　1)　)　)과 같은 것으로 설정된다.

1. 3. 움직임 벡터에 대한 라운딩 절차

라운딩 절차가 수정되어, 주어진 rightShift값이 0과 같은 경우(1/16 픽셀 정밀도에서 발생), 라운딩 오프셋은 (1　　<<　　(　rightShift　　1　)) 대신 0으로 설정된다.

예를 들어, MV에 대한 라운딩 절차의 서브 조항은 아래와 같이 수정된다.

이 절차의 입력들은 아래와 같다.

- 움직임 벡터 mvX,

- 라운딩을 위한 우측 시프트 파라미터 rightShift,

- 해상도 증가를 위한 좌측 시프트 파라미터 leftShift.

이 절차의 출력은 라운딩 된 움직임 벡터 mvX이다.

mvX의 라운딩을 위해, 아래가 적용된다.

offset　=　(　rightShift　==　0　)　　?　　0　:　(1　　<<　　(　rightShift　　1　)) (8-371)

mvX[　0　]　=　(　mvX[　0　] >= 0　?　(　mvX[　0　]　+　offset ) >> rightShift　:　 -　(　( 　mvX[　0　]　+　offset　) >> rightShift　)　) << leftShift (8-372)

mvX[　1　]　=　(　mvX[　1　] >= 0　?　(　mvX[　1　]　+　offset ) >> rightShift　:　 - (　( 　mvX[　1　]　+　offset　) >> rightShift　)　) << leftShift (8-373)

1.4. 디코딩 절차

어파인 움직임 벡터 유도 절차에서 적용된 라운딩 절차는 2로 고정되지 않은 (MvShift + 2)을 입력으로 하여 실행된다.

루마 어파인 제어 포인트 움직임 벡터 예측자들을 위한 유도 절차

이 절차의 입력들은 아래와 같다.

- 현재 픽처의 좌상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌상단 샘플의 루마 위치(　xCb,　yCb　),

- 현재 루마 코딩 블록의 폭과 높이를 특정하는 두 변수cbWidth 및 cbHeight,

- 현재 코딩 유닛의 참조 인덱스 refIdxLX (X는 0 또는 1),

- 제어 포인트 벡터들의 수 numCpMv.

이 절차의 출력은 루마 어파인 제어 포인트 움직임 벡터 예측자들 mvpCpLX[　cpIdx　] (X 는 0 또는 1) 및 cpIdx　=　0　..　numCpMv　　1이다.

제어 포인트 움직임 벡터 예측자 후보 리스트cpMvpListLX(X는 0 또는 1)의 유도를 위해, 아래 순서의 단계들이 적용된다.

리스트 numCpMvpCandLX에서 제어 포인트 움직임 벡터 예측자 후보들의 수는 0과 같은 것으로 설정된다.

변수들 availableFlagA 및 availableFlagB는 모두 FALSE와 같은 것으로 설정된다.

...

조항 8.4.2.14에 특정된 움직임 벡터들을 위한 라운딩 절차는 cpMvpLX[　cpIdx　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 cpIdx　=　0　..　numCpMv　-　1를 가지는 라운딩된 cpMvpLX[　cpIdx　]를 출력으로 하여 적용된다.

...

변수 availableFlagA는 TRUE와 같은 것으로 설정된다.

조항 8.4.4.5에서 특정된 바와 같이 인접 블록으로부터 루마 어파인 제어 포인트 움직임 벡터를 유도하기 위한 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 및 높이(cbWidth, cbHeight), 인접 루마 코딩 블록 위치(　xNb,　yNb　), 인접 루마 코딩 블록 폭 및 높이(nbW, nbH) 그리고 제어 포인트 움직임 벡터들의 수numCpMv를 입력으로 하고, cpIdx　=　0　..　numCpMv　-　1를 가지는 제어 포인트 움직임 벡터 예측자 후보들 cpMvpLY[　cpIdx　]을 출력으로 하여 적용된다.

조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvpLX[　cpIdx　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 cpIdx　=　0　..　numCpMv　-　1를 가지는 라운딩된 cpMvpLX[　cpIdx　]를 출력으로 하여 적용된다.

...

조항 8.4.4.5에서 특정된 바와 같이 인접 블록으로부터 루마 어파인 제어 포인트 움직임 벡터를 유도하기 위한 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 및 높이(cbWidth, cbHeight), 인접 루마 코딩 블록 위치(　xNb,　yNb　), 인접 루마 코딩 블록 폭 및 높이(nbW, nbH) 그리고 제어 포인트 움직임 벡터들의 수numCpMv를 입력으로 하고, cpIdx　=　0　..　numCpMv　-　1를 가지는 제어 포인트 움직임 벡터 예측자 후보들 cpMvpLY[　cpIdx　]을 출력으로 하여 적용된다.

조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvpLX[　cpIdx　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 cpIdx　=　0　..　numCpMv　-　1를 가지는 라운딩된 cpMvpLX[　cpIdx　]를 출력으로 하여 적용된다.

아래와 같은 할당이 이루어진다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　cpMvpLX[　0　] (8-618)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　cpMvpLX[　1　] (8-619)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　cpMvpLX[　2　] (8-620)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-621)

그 외의 경우, 만약 PredFlagLY[　xNbBk　][　yNbBk　] (Y　=　!X)이 1과 같고 DiffPicOrderCnt(　RefPicListY[　RefIdxLY[　xNbBk　][　yNbBk　]　],　RefPicListX[　refIdxLX　]　)가 0과 같으며, 아래와 같이 적용된다.

변수 availableFlagB는 TRUE와 같은 것으로 설정된다.

조항 8.4.4.5에서 특정된 바와 같이 인접 블록으로부터 루마 어파인 제어 포인트 움직임 벡터를 유도하기 위한 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 및 높이(cbWidth, cbHeight), 인접 루마 코딩 블록 위치(　xNb,　yNb　), 인접 루마 코딩 블록 폭 및 높이(nbW, nbH) 그리고 제어 포인트 움직임 벡터들의 수numCpMv를 입력으로 하고, cpIdx　=　0　..　numCpMv　-　1를 가지는 제어 포인트 움직임 벡터 예측자 후보들 cpMvpLY[　cpIdx　]을 출력으로 하여 적용된다.

조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvpLX[　cpIdx　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 cpIdx　=　0　..　numCpMv　-　1를 가지는 라운딩된 cpMvpLX[　cpIdx　]를 출력으로 하여 적용된다.

아래와 같은 할당이 이루어진다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　cpMvpLY[　0　] (8-622)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　cpMvpLY[　1　] (8-623)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　cpMvpLY[　2　] (8-624)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-625)

numCpMvpCandLX이 2 미만인 경우, 아래와 같이 적용된다.

조항 8.4.4.8에서 특정된 바와 같이 구성된 어파인 제어 포인트 움직임 벡터 예측 후보를 위한 유도 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 cbWidth, 루마 코딩 블록 높이 cbHeight 그리고 현재 코딩 유닛의 참조 인덱스 refIdxLX를 입력으로 하고, 가용성 플래그 availableConsFlagLX, cpIdx　=　0..numCpMv　-　1를 가지는 가용성 플래그들 availableFlagLX[　cpIdx　] 및 cpMvpLX[　cpIdx　]을 출력으로 하여 적용된다.

availableConsFlagLX가 1과 같고 numCpMvpCandLX이 0과 같다면, 아래와 같은 할당이 이루어진다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　cpMvpLX[　0　] (8-626)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　cpMvpLX[　1　] (8-627)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　cpMvpLX[　2　] (8-628)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-629)

cpIdx　=　0..numCpMv　-　1에 대해 아래와 같이 적용된다.

numCpMvpCandLX가 2 미만이고availableFlagLX[　cpIdx　]가 1과 같다면, 아래와 같은 할당이 이루어진다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　cpMvpLX[　cpIdx　] (8-630)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　cpMvpLX[　cpIdx　] (8-631)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　cpMvpLX[　cpIdx　] (8-632)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-633)

numCpMvpCandLX이 2 미만인 경우, 아래와 같이 적용된다.

조항 8.4.2.11에서 특정된 바와 같이 시간적 루마 움직임 벡터 예측을 위한 유도 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 cbWidth, 루마 코딩 블록 높이 cbHeight 그리고 refIdxLX를 입력으로 하고, 가용성 플래그 availableFlagLXCol 및 시간적 움직임 벡터 예측자 mvLXCol를 출력으로 하여 적용된다.

availableFlagLXCol이 1과 같은 경우, 아래와 같이 적용된다.

조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 mvLXCol와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 라운딩된 mvLXCol를 출력으로 하여 적용된다.

아래와 같은 할당이 이루어진다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　mvLXCol (8-634)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　mvLXCol (8-635)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　mvLXCol (8-636)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-637)

numCpMvpCandLX가 2 미만인 경우, mvZero[0] 및 mvZero[1]가 모두 0과 같고, numCpMvpCandLX가 2와 같을 때까지 아래가 반복된다.

cpMvpListLX[　numCpMvpCandLX　][　0　]　=　mvZero (8-638)

cpMvpListLX[　numCpMvpCandLX　][　1　]　=　mvZero (8-639)

cpMvpListLX[　numCpMvpCandLX　][　2　]　=　mvZero (8-640)

numCpMvpCandLX　=　numCpMvpCandLX　+　1 (8-641)

0 혹은 1인 X를 갖는 어파인 제어 점 움직임 벡터 예측자 cpMvpLX 는 하기와 같이 유도된다(The affine control point motion vector predictor cpMvpLX with X being 0 or 1 is derived as follows):

cpMvpLX = cpMvpListLX[　mvp_lX_flag[　xCb　][　yCb　]　] (8-642)

구성된 어파인 제어 포인트 움직임 벡터 예측 후보자들을 위한 유도 절차

이 절차의 입력들은 아래와 같다.

- 현재 픽처의 좌상단 루마 샘플에 대한 현재 루마 코딩 블록의 좌상단 샘플을 특정하는 루마 위치(　xCb,　yCb　),

- 현재 루마 코딩 블록의 폭과 높이를 특정하는 두 변수cbWidth 및 cbHeight,

- 현재 코딩 유닛 파티션의 참조 인덱스 refIdxLX (X는 0 또는 1)

이 절차의 출력들은 아래와 같다.

- 구성된 어파인 제어 포인트 움직임 벡터 예측 후보들의 가용성 플래그availableConsFlagLX (X는 0 또는 1),

- 가용성 플래그 availableFlagLX[　cpIdx　] (cpIdx　=　0..2 및 X 는 0 또는 1),

- 구성된 어파인 제어 포인트 움직임 벡터 예측 후보자cpMvLX[　cpIdx　] (cpIdx　=　0..numCpMv　　1 및 X 는 0 또는 1)

제1(좌상단) 제어 포인트 움직임 벡터 cpMvLX[　0　] 및 가용성 플래그 availableFlagLX[　0　]는 아래 순서의 단계들로 유도된다.

샘플 위치들 (　xNbB2,　yNbB2　), (　xNbB3,　yNbB3　) 및 (　xNbA2,　yNbA2　)는 각각 (　xCb　　1,　yCb　　1　), (　xCb　,　yCb　　1　) 및 (　xCb　　1,　yCb　)와 같도록 설정된다.

가용성 플래그 availableFlagLX[　0　]는 0과 같은 것으로 설정되며, cpMvLX[　0　]의 두 성분 모두 0과 같은 것으로 설정된다.

TL가 B2, B3 및 A2로 바뀌는 가운데 (　xNbTL,　yNbTL　)에 대해 아래와 같이 적용된다.

조항6.4.X에서 규정된 바와 같이 코딩 블록을 위한 가용성 유도 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 cbWidth, 루마 코딩 블록 높이 cbHeight 그리고 (　xNbTL,　yNbTL　)와 같은 것으로 설정된 루마 위치 (　xNbY,　yNbY　)를 입력으로 하여 적용되며, 출력은 코딩 블록 가용성 플래그 availableTL에 할당된다.

availableTL이 TRUE와 같고 availableFlagLX[　0　]가 0과 같은 경우, 아래와 같이 적용된다.

PredFlagLX[　xNbTL　][　yNbTL　]가 1과 같고, DiffPicOrderCnt(　RefPicListX[　RefIdxLX[　xNbTL　][　yNbTL　]　],　RefPicListX[　refIdxLX　]　)이 0과 같고, RefIdxLX[　xNbTL　][　yNbTL　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　0　]는 1과 같은 것으로 설정되고, 아래와 같은 할당이 이루어진다.

cpMvLX[　0　] = MvLX[　xNbTL　][　yNbTL　] (8-643)

그 외의 경우로, PredFlagLY[　xNbTL　][　yNbTL　] (with Y　=　!X)이 1과 같고, DiffPicOrderCnt(　RefPicListY[　RefIdxLY[　xNbTL　][　yNbTL　]　],　RefPicListX[　refIdxLX　]　)가 0과 같고, RefIdxLY[　xNbTL　][　yNbTL　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　0　]는 1과 같은 것으로 설정되고, 아래 할당이 이루어진다.

cpMvLX[　0　] = MvLY[　xNbTL　][　yNbTL　] (8-644)

availableFlagLX[　0　]가 1과 같으면, 조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvLX[　0　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 라운딩된 cpMvLX[　0　]를 출력으로 하여 적용된다.

제2(우상단) 제어 포인트 움직임 벡터 cpMvLX[　1　] 및 가용성 플래그 availableFlagLX[　1　]는 아래 순서의 단계들로 유도된다.

샘플 위치들 (　xNbB1,　yNbB1　) 및 (　xNbB0,　yNbB0　)는 각각 (　xCb　+　cbWidth　　1,　yCb　　1　) 및 (　xCb　+　cbWidth,　yCb　　1　)와 같도록 설정된다.

가용성 플래그 availableFlagLX[　1　]는 0과 같은 것으로 설정되며, cpMvLX[　1　]의 두 성분 모두 0과 같은 것으로 설정된다.

TR이 B1 및 B0로 바뀌는 가운데 (　xNbTR,　yNbTR　)에 대해 아래와 같이 적용된다.

조항　　6.4.X에서 규정된 바와 같이 코딩 블록을 위한 가용성 유도 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 cbWidth, 루마 코딩 블록 높이 cbHeight 그리고 (　xNbTL,　yNbTL　)와 같은 것으로 설정된 루마 위치 (　xNbY,　yNbY　)를 입력으로 하여 적용되며, 출력은 코딩 블록 가용성 플래그 availableTR에 할당된다.

availableTR이 TRUE와 같고 availableFlagLX[　1　]가 0과 같은 경우, 아래와 같이 적용된다.

PredFlagLX[　xNbTR　][　yNbTR　]이 1과 같고, DiffPicOrderCnt(　RefPicListX[　RefIdxLX[　xNbTR　][　yNbTR　]　],　RefPicListX[　refIdxLX　]　)가 0과 같고, RefIdxLX[　xNbTR　][　yNbTR　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　1　]는 1과 같은 것으로 설정되며, 아래와 같은 할당이 이루어진다.

cpMvLX[　1　] = MvLX[　xNbTR　][　yNbTR　] (8-645)

그 외의 경우로, PredFlagLY[　xNbTR　][　yNbTR　] (with Y　=　!X)이 1과 같고, DiffPicOrderCnt(　RefPicListY[　RefIdxLY[　xNbTR　][　yNbTR　]　],　RefPicListX[　refIdxLX　]　)가 0과 같고, RefIdxLY[　xNbTR　][　yNbTR　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　1　]는 1과 같은 것으로 설정되고, 아래 할당이 이루어진다.

cpMvLX[　1　] = MvLY[　xNbTR　][　yNbTR　] (8-646)

availableFlagLX[　1　]이 1과 같은 경우, 조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvLX[　1　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 라운딩된 cpMvLX[　1　]를 출력으로 하여 적용된다.

제3(좌하단) 제어 포인트 움직임 벡터 cpMvLX[　2　] 및 가용성 플래그 availableFlagLX[　2　]는 아래 순서의 단계들로 유도된다.

샘플 위치들 (　xNbA1,　yNbA1　) 및 (　xNbA0,　yNbA0　)는 각각 (　xCb　　1,　yCb　+　cbHeight　　1　) 및 (　xCb　　1,　yCb　+　cbHeight　)와 같도록 설정된다.

가용성 플래그 availableFlagLX[　2　]는 0과 같은 것으로 설정되며, cpMvLX[　2　]의 두 성분 모두 0과 같은 것으로 설정된다.

BL이 A1 및 A0로 바뀌는 가운데 (　xNbBL,　yNbBL　)에 대해 아래와 같이 적용된다.

조항　　6.4.X에서 규정된 바와 같이 코딩 블록을 위한 가용성 유도 절차는 루마 코딩 블록 위치(　xCb,　yCb　), 루마 코딩 블록 폭 cbWidth, 루마 코딩 블록 높이 cbHeight 그리고 (　xNbBL,　yNbBL　)와 같은 것으로 설정된 루마 위치 (　xNbY,　yNbY　)를 입력으로 하여 적용되며, 출력은 코딩 블록 가용성 플래그 availableBL에 할당된다.

availableBL이 TRUE와 같고 availableFlagLX[　2　]가 0과 같은 경우, 아래와 같이 적용된다.

PredFlagLX[　xNbBL　][　yNbBL　]이 1과 같고, DiffPicOrderCnt(　RefPicListX[　RefIdxLX[　xNbBL　][　yNbBL　]　],　RefPicListX[　refIdxLX　]　)가 0과 같고, RefIdxLY[　xNbBL　][　yNbBL　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　2　]는 1과 같은 것으로 설정되며, 아래와 같은 할당이 이루어진다.

cpMvLX[　2　] = MvLX[　xNbBL　][　yNbBL　] (8-647)

그 외의 경우로, PredFlagLY[　xNbBL　][　yNbBL　] (with Y　=　!X)이 1과 같고, DiffPicOrderCnt(　RefPicListY[　RefIdxLY[　xNbBL　][　yNbBL　]　],　RefPicListX[　refIdxLX　]　)가 0과 같고, RefIdxLY[　xNbBL　][　yNbBL　]　에 상응하는 참조 픽처가 현재 픽처가 아닌 경우, availableFlagLX[　2　]는 1과 같은 것으로 설정되고, 아래 할당이 이루어진다.

cpMvLX[　2　] = MvLY[　xNbBL　][　yNbBL　] (8-648)

availableFlagLX[　2　]이 1과 같은 경우, 조항 8.4.2.14에서 특정된 바와 같이 움직임 벡터를 위한 라운딩 절차는 cpMvLX[　2　]와 같은 것으로 설정된 mvX, (　MvShift　+　2　)와 같은 것으로 설정된 rightShift, 그리고 (　MvShift　+　2　)와 같은 것으로 설정된 leftShift를 입력으로, 그리고 라운딩된 cpMvLX[　2　]를 출력으로 하여 적용된다.

1.5. 문맥 모델링

문맥 코딩된 빈(bins)을 가지는 구문 요소에 대한 ctxInc의 할당

좌측 및 상부 구문 요소들을 사용하는 ctxInc의 규정:

일 예에서, 문맥 증가 오프셋 ctxInc = (　condL　　&&　　availableL　) + (　condA　　&&　　availableA　) + ctxSetIdx　*　3.

또는, ctxInc = ( (　condL　　&&　　availableL　) || (　condA　　&&　　availableA　) ) + ctxSetIdx　*　3.

ctxInc = (　condL　　&&　　availableL　) + M*(　condA　　&&　　availableA　) + ctxSetIdx　*　3. (e.g., M=2)

ctxInc = M*(　condL　　&&　　availableL　) + (　condA　　&&　　availableA　) + ctxSetIdx　*　3. (e.g., M=2)

amvr_flag의ctxIdx에 대한 initValue의 값들:

현재 블록이 어파인 또는 논-어파인인 경우 상이한 문맥들이 사용된다.

또는,

또는, 현재 블록이 어파인 혹은 논-어파인인 경우 동일한 문맥들이 사용될 수 있다.

또는 amvr_flag는 바이패스 코딩된다.

amvr_coarse_precision_flag의 ctxIdx에 대한 initValue의 값들:

현재 블록이 어파인 또는 논-어파인인 경우 상이한 문맥들이 사용된다.

또는,

또는, 현재 블록이 어파인 혹은 논-어파인인 경우 동일한 문맥들이 사용될 수 있다.

또는, amvr_coarse_precision_flag가 바이패스 코딩된다.

위에서 기술된 예들은 아래에 기술되는 방법의 문맥, 즉, 방법 2510부터 2540까지에 포함될 수 있다. 이 방법들은 비디오 디코더 또는 비디오 인코더에서 실행될 수 있다.

도 25a 내지 25d는 비디오 처리를 위한 예시적인 방법들의 흐름도를 보여준다. 도 25a에 나타난 방법 2510은, 단계2512에서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환이 논-어파인(non-affine) 화면 간 AMVR 모드에 기반한다고 결정하는 단계를 포함한다. 방법 2510은, 단계 2514에서, 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함한다. 일부 실시예에서, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하되, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 인접 블록의 어파인 AMVR 모드 정보의 사용 없이 모델링된다.

도 25b에 나타난 방법 2520은 단계 2522에서 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환이 어파인 적응적 움직임 벡터 해상도(affine AMVR) 모드를 기반으로 한다고 결정하는 단계를 포함한다. 방법 2520은 단계2524에서 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함한다. 일부 실시예에서, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩에 기반하고, 변수가 문맥에 대한 두 개의 확률 업데이트 속도들을 제어한다.

도 25c에 나타난 방법 2530은 단계 2532에서 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환이 어파인 AMVR 모드에 기반한다고 결정하는 단계를 포함한다. 방법 2530은 단계 2534에서 상기 변환에 기반하여 상기 변환을 수행하는 단계를 포함한다. 일부 실시예에서, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하되, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 어파인 화면 간 모드와 정상(normal) 화면 간 모드 모두의 AMVR 모드가 사용되는 인접 블록의 코딩 정보를 사용하여 모델링된다.

도 25d에 나타난 방법 2540은 단계 2542에서 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 변환을 위해 상기 변환에 대한 다중 문맥들의 사용을 결정하는 단계를 포함한다. 방법 2540은 단계 2544에서 상기 결정에 기반하여 상기 변환을 수행하는 단계를 더 포함한다. 일부 실시예에서, 상기 다중 문맥들은 조동 움직임 정밀도(coarse motion precision)을 지시하는 구문 요소의 코딩을 위해 활용된다.

도 25e에 나타난 방법 2550은 단계 2552에서 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위하여, 변환을 위해 현재 선택된 최상의 모드에 기반하여 SMVD(symmetric motion vector difference) 모드를 사용할지 여부에 대해 결정하는 단계를 포함한다. 방법 2550는 단계 2554에서 상기 결정에 기초하여 상기 변환을 수행하는 단계를 더 포함한다.

도 25f에 나타난 방법 2560은 단계 2562에서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해 현재 선택된 변환을 위한 최상의 모드에 기반하여 어파인 SMVD(affine symmetric motion vector difference) 모드를 사용할지 여부에 대해 결정하는 단계를 포함한다. 방법 2560은 단계 2564에서 상기 결정에 기초하여 변환을 수행하는 단계를 포함한다.

5. 개시된 기술의 예시적 구현들

도 26은 비디오 처리 장치(2600)의 블록도의 일 예이다. 상기 장치(2600)는 여기서 기술된 하나 또는 그 이상의 방법들을 실행하는 데에 사용될 수 있다. 상기 장치(2600)는 스마트폰, 태블릿, 컴퓨터, IoT 수신기 등에서 구현될 수 있다. 상기 장치(2600)는 하나 또는 그 이상의 프로세서들(2602), 하나 또는 그 이상의 메모리들(2604) 그리고 비디오 처리 하드웨어(2606)을 포함할 수 있다. 상기 프로세서(들)(2602)은 현재 문서에 기술된 하나 또는 그 이상의 방법들(방법(2610)부터 방법(2680)까지를 포함하지만 이에 한정되지 않음)을 실행하기 위해 구성될 수 있다. 상기 메모리(메모리들)(2604)은 여기서 기술된 방법들 및 기술들을 위해 사용되는 데이터 및 코드를 저장하는 데에 사용될 수 있다. 상기 비디오 처리 하드웨어(2606)는 본 문서에 기술된 몇몇 기술들을 하드웨어 회로에서 구현하는 데에 사용될 수 있다.

도 28은 개시된 기술들이 구현될 수 있는 비디오 처리 시스템의 블록도의 다른 예이다. 도 28는 여기서 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 처리 시스템(2800)을 보여주는 블록도이다. 다양한 구현들은 상기 시스템(2800)의 일부 또는 모든 구성품들을 포함할 수 있다. 상기 시스템(2800)은 비디오 콘텐츠를 수신하기 위한 입력(2802)을 포함할 수 있다. 상기 비디오 콘텐츠는 가공되지 않거나 압축되지 않은 포맷, 예를 들어, 8 또는 10 비트 다중 성분 픽셀 값들로 수신되거나 압축되거나 인코딩된 포맷으로 수신될 수 있다. 상기 입력(2802)은 네트워크 인터페이스, 주변 버스 인터페이스, 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예들은 이더넷, 수동 광학 네트워크(Passive Optical Network: PON) 등과 같은 유선 인터페이스들 및 와이파이 또는 셀룰러 인터페이스와 같은 무선 인터페이스들을 포함한다.

상기 시스템(2800)은 현재 문서에서 기술되는 다양한 코딩 또는 인코딩 방법들을 구현할 수 있는 코딩 구성요소(2804)을 포함할 수 있다. 상기 코딩 구성요소(2804)는 상기 코딩 구성요소(2804)의 상기 입력(2802)로부터 상기 출력까지의 비디오의 평균 비트레이트를 줄여 상기 비디오의 코딩된 표현을 산출할 수 있다. 따라서 코딩 기술들은 종종 비디오 압축 또는 비디오 트랜스코딩 기술들이라 불린다. 상기 코딩 구성요소(2804)의 출력은, 상기 구성요소(2804)에 의해 나타난 대로, 연결된 통신을 통해 저장 또는 송신될 수 있다. 상기 입력(2802)에서 수신된 상기 비디오의 상기 저장 또는 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(2810)에 보내지는 디스플레이가능한 비디오 또는 픽셀 값들을 생성하기 위해 상기 구성요소(2808)에 의해 사용될 수 있다. 사용자가 볼 수 있는 비디오를 상기 비트스트림 표현으로부터 생성시키는 절차는 종종 비디오 압축해제라 불린다. 더 나아가서, 특정 비디오 처리 작업들이 "코딩" 작업 또는 툴로 불리는 관계로, 상기 코딩 툴 또는 작업들이 인코더에서 사용되고 상응하는 디코딩 툴 또는 작업들은 코딩의 결과를 반전시키는 것들로써 디코더에서 실행된다는 것이 이해될 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예들은 범용 직렬 버스(Universal Serial Bus: USB) 또는 고화질 멀티미디어 인터페이스(High Definition Multimedia Interface: HDMI) 또는 디스플레이 포트 등을 포함할 수 있다. 저장 인터페이스의 예들은 SATA (serial advanced technology attachment), PCI, IDE 인터페이스 등을 포함한다. 본 문서에 설명된 기술들은 휴대폰, 노트북, 스마트폰, 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 실행할 수 있는 디바이스들과 같은 다양한 전자 디바이스들에서 구현될 수 있다.

일부 실시예들에서, 상기 비디오 코딩 방법들은 도 26 또는 도 28과 관련하여 설명된 하드웨어 플랫폼에서 구현되는 장치를 사용하여 실행될 수 있다.

다양한 기술들 및 실시예들이 아래와 같은 조항 기반 포맷을 사용하여 기술될 수 있다. 이 조항들은 몇몇 실시예들에서 선호되는 특징들로 실행될 수 있다.

조항들의 제1 세트는 이전 섹션에서 설명된 일부 기술들, 가령, 이전 섹션의 항목 16-18, 23 및 26를 포함하는 일부 기술들을 사용한다.

1. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 논 어파인 화면 간 AMVR 모드를 기반으로 하도록 결정하는 단계 및 상기 변환을 상기 결정에 기초하여 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩에 기반하고, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 인접 블록의 어파인 AMVR 모드 정보의 이용 없이 모델링되는, 비디오 처리 방법.

2. 조항 1의 방법에 있어서, 상기 코딩된 인접 블록의 논 어파인 화면 간 AMVR 모드 인덱스가 활용되는, 비디오 처리 방법.

3. 조항 2의 방법에 있어서, 상기 현재 비디오 블록의 상기 논 어파인 화면간 AMVR 모드 인덱스를 코딩하는 데 사용되는 문맥 인덱스는 AMVR 모드 인덱스, 어파인 모드 플래그, 혹은 좌측 및 상단 인접 블록들의 가용성, 특정 MVD 정밀도를 지시하는 상기 논 어파인 화면간 AMVR 모드 인덱스 중 적어도 하나에 의존하는, 비디오 처리 방법.

4. 조항 3의 방법에 있어서, 오프셋 값들은 상기 좌측 인접 블록 및 상기 상단 인접 블록에 대해 각각 유도되고, 상기 문맥 인덱스는 상기 좌측 인접 블록 및 상기 상단 인접 블록의 상기 오프셋 값들의 합으로서 유도되는, 비디오 처리 방법.

5. 조항 4의 방법에 있어서, 상기 오프셋 값들 중 적어도 하나는 대응되는 인접 블록이 가용하고 어파인 모드로 코딩되지 않고 상기 인접 블록의 상기 AMVR 모드 인덱스가 0이 아닌 경우 1로 도출되고, 반대의 경우, 상기 오프셋 값들 중 적어도 하나는 0으로 도출되는, 비디오 처리 방법.

6. 조항 1의 방법에 있어서, 상기 인접 블록의 어파인 AMVR 모드 정보는 직접적으로 사용되지 않고 상기 어파인 AMVR 모드 정보의 함수와 함께 간접적으로 사용되는, 비디오 처리 방법.

7. 조항 6의 방법에 있어서, 상기 함수는 (xNbL, yNbL)를 커버하는 상기 인접 블록의 amvr_mode[ xNbL ][ yNbL] 혹은 amvr_flag[ xNbL ][ yNbL ]이 특정 MVD 정밀도를 지시하는 경우 참(true)을 리턴하는, 비디오 처리 방법.

8. 조항 1의 방법에 있어서, 상기 인접 블록의 상기 어파인 AMVR 모드 정보는 상기 현재 비디오 블록의 논 어파인 화면 간 AMVR 모드의 제1 구문 요소를 코딩하는 데 활용되는, 비디오 처리 방법.

9. 조항 1의 방법에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 표현되는 경우, 논 어파인 화면 간 모드와 어파인 화면간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩하는데 활용되는, 비디오 처리 방법.

10. 조항 1의 방법에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩하는 데 활용되지 않는, 비디오 처리 방법.

11. 조항 1의 방법에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩하는 데 직접적으로 활용되지 않고 간접적으로 이용되는, 비디오 처리 방법.

12. 조항 9 내지 11 중 어느 한 조항의 방법에 있어서, 상기 현재 비디오 블록의 상기 AMVR 모드는 어파인 화면 간 AMVR 모드 및 논 어파인 화면 간 AMVR 모드를 포함하는, 비디오 처리 방법.

13. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록 및 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 적응적 움직임 벡터 해상도(affine AMVR) 모드에 기반하도록 결정하는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하고, 변수는 문맥에 대한 두 개의 확률 업데이트 속도를 제어하는, 비디오 처리 방법.

14. 조항 13의 방법에 있어서, 상기 두 개의 확률 업데이트 속도는 (shiftIdx >> 2) + 2로 정의되는 고속 업데이트 속도(faster updating speed)를 포함하되, shiftIdx는 상기 변수를 지시하는, 비디오 처리 방법.

15. 조항 13의 방법에 있어서, 상기 두개의 확률 업데이트 속도는 (shiftIdx & 3) + 3 + shift0로 정의되는 저속 업데이트 속도(slower updating speed)를 포함하되, shift0는 (shiftIdx >> 2) + 2로 정의되고, shiftIdx는 상기 변수를 지시하는, 비디오 처리 방법.

16. 조항 14의 방법에 있어서, 상기 고속 업데이트 스피드(faster updating speed)는 2 및 5 사이인, 비디오 처리 방법.

17. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 AMVR 모드에 기반한다고 결정하는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하되, 상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하되, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 어파인 화면간 모드 및 정상(normal) 화면 간 모드의 AMVR 모드가 모두 사용되는 인접 블록의 코딩 정보를 이용하여 모델링되는, 비디오 처리 방법.

18. 조항 17의 방법에 있어서, 상기 인접 블록의 AMVR 모드 정보는 상기 문맥 기반 코딩에 직접적으로 이용되는, 비디오 처리 방법.

19. 조항 17의 방법에 있어서, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 문맥 기반 코딩에 대해 불허되는, 비디오 처리 방법.

20. 조항 17의 방법에 있어서, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 직접적으로 이용되지 않고 상기 AMVR 모드 정보의 함수와 함께 간접적으로 사용되는, 비디오 처리 방법.

21. 조항 17의 방법에 있어서, 상기 인접 블록의 AMVR 모드 정보는 상기 현재 블록의 상기 어파인 AMVR 모드의 제1 구문 요소 코딩에 활용되는, 비디오 처리 방법.

22. 조항 17의 방법에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드 및 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에 활용되는, 비디오 처리 방법.

23. 조항 17의 방법에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에도 활용되지 않는, 비디오 처리 방법.

24. 조항 17의 방법에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에 직접적으로 활용되지 않고 간접적으로 이용되는, 비디오 처리 방법.

25. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해, 상기 변환에 대한 다중 문맥들의 사용을 결정하는 단계 및 상기 결정을 기반으로 상기 변환을 수행하는 단계를 포함하되, 상기 다중 문맥들은 조동 움직임 정밀도(coarse motion precision)를 지시하는 구문 요소를 코딩하는 데 활용되는, 비디오 처리 방법.

26. 조항 25의 방법에 있어서, 상기 다중 문맥들은 정확히 두 개의 문맥에 대응되는, 비디오 처리 방법.

27. 조항 26의 방법에 있어서, 상기 다중 문맥들은 상기 현재 비디오 블록이 어파인 코딩되는지 여부에 기반하여 선택되는, 비디오 처리 방법.

28. 조항 25의 방법에 있어서, 다른 구문 요소는 상기 변환이 어파인 AMVR 모드를 기반으로 함을 지시하는 데 이용되는, 비디오 처리 방법.

29. 조항 28의 방법에 있어서, 상기 다른 구문 요소는 제1 문맥으로만 코딩되고, 상기 구문 요소는 제2 문맥으로만 코딩되는, 비디오 처리 방법.

30. 조항 28의 방법에 있어서, 상기 다른 구문 요소는 제1 문맥으로만 코딩되고, 상기 구문 요소는 바이패스 코딩되는, 비디오 처리 방법.

31. 조항 28의 방법에 있어서, 상기 다른 구문 요소는 바이패스 코딩되고(bypass coded), 상기 구문 요소는 바이패스 코딩되는, 비디오 처리 방법.

32. 조항 25의 방법에 있어서, 움직임 벡터 정밀도들과 연관된 모든 구문 요소들은 바이패스 코딩되는, 비디오 처리 방법.

33. 조항 25 혹은 26의 방법에 있어서, 상기 구문 요소는 상기 정상(normal) 화면 간 모드에 대한 1-픽셀 혹은 4-픽셀을 포함하는 세트로부터의 선택을 지시하는, 비디오 처리 방법.

34. 조항 25 혹은 26의 방법에 있어서, 상기 구문 요소는 상기 어파인 모드에 대해 적어도 1/16-픽셀 혹은 1-픽셀 정밀도 사이의 선택을 지시하는, 비디오 처리 방법.

35. 조항 34의 방법에 있어서, 상기 구문 요소는 상기 어파인 모드에 대한 0, 1/6-픽셀 정밀도와 동일한, 비디오 처리 방법.

36. 조항 34의 방법에 있어서, 상기 구문 요소는 상기 어파인 모드에 대한 1, 1-픽셀 정밀도와 동일한, 비디오 처리 방법.

37. 조항 1 내지 조항 36의 어느 한 조항의 방법에 있어서, 상기 변환을 수행하는 단계는 상기 현재 비디오 블록으로부터 상기 코딩된 표현을 생성하는 것을 포함하는, 비디오 처리 방법.

38. 조항 1 내지 조항 36의 어느 한 조항의 방법에 있어서, 상기 변환을 수행하는 단계는 상기 코딩된 표현으로부터 상기 현재 비디오 블록을 생성하는 것을 포함하는, 비디오 처리 방법.

39. 프로세서 및 명령들이 포함된 비 일시적 메모리를 포함하는 비디오 시스템의 장치로서, 상기 프로세서에 의해 실행되는 상기 명령들은, 상기 프로세서가 조항1항 내지 조항38 항 중 어느 한 조항의 방법을 구현하게 하는, 비디오 시스템의 장치.

40. 비 일시적 컴퓨터 읽기 가능한 매체에 저장된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은 조항 1 내지 조항38 중 어느 한 조항의 방법을 구현하기 위한 프로그램 코드를 포함하는, 상기 매체에 저장된 컴퓨터 프로그램 제품.

조항들의 제2 세트는 이전 섹션에서 설명된 일부 기술들, 가령, 이전 섹션의 항목 19-21, 및 23을 포함하는 일부 기술들을 사용한다.

1. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해 SMVD(symmetric motion vector difference) 모드를 상기 변환을 위해 현재 선택된 최상의 모드에 기반하여 사용할 지 여부에 대한 결정을 내리는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하는, 비디오 처리 방법.

2. 조항 1의 방법에 있어서, 상기 SMVD 모드는 참조 리스트의 적어도 하나의 참조 인덱스의 명시적인 시그널링 없이 사용되는, 비디오 처리 방법.

3. 조항 2의 방법에 있어서, 상기 참조 인덱스는 재귀적인 POC(picture order count) 계산에 기반하여 유도되는, 비디오 처리 방법.

4. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 머지 모드 혹은 UMVE 모드인 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

5. 조항 4의 방법에 있어서, 상기 UMVE 모드는 머지 후보 리스트로부터 유도된 움직임 후보를 개선하기 위해 움직임 벡터 오프셋을 적용하는, 비디오 처리 방법.

6. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 상기 SMVD 모드로 코딩되지 않은 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화 하는, 비디오 처리 방법.

7. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 어파인 모드인 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

8. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 서브 블록 머지 모드인 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

9. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 어파인 SMVD 모드인 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

10. 조항 1의 방법에 있어서, 상기 현재 선택된 최상의 모드가 어파인 머지 모드인 경우, 상기 결정은 상기 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

11. 조항 2 내지 10 중 어느 한 조항의 방법에 있어서, 상기 결정은 MVD(motion vector differences, 움직임 벡터 차분) 정밀도가 정밀도 이상인 경우에만 적용되는, 비디오 처리 방법.

12. 조항 2 내지 10 중 어느 한 조항의 방법에 있어서, 상기 결정은 MVD(motion vector differences, 움직임 벡터 차분) 정밀도가 정밀도보다 큰 경우에만 적용되는, 비디오 처리 방법.

13. 조항 2 내지 10 중 어느 한 조항의 방법에 있어서, 상기 결정은 MVD(motion vector differences, 움직임 벡터 차분) 정밀도가 정밀도 이하인 경우에만 적용되는, 비디오 처리 방법.

14. 조항 2 내지 10 중 어느 한 조항의 방법에 있어서, 상기 결정은 MVD(motion vector differences, 움직임 벡터 차분) 정밀도가 정밀도 보다 작은 경우에만 적용되는, 비디오 처리 방법.

15. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해, 현재 선택된, 상기 변환을 위한 최상의 모드에 기반하여 어파인 SMVD(affine symmetric motion vector difference)

모드를 사용할지 여부에 대해 결정을 내리는 단계 및 상기 결정에 기반하여 상기 변환을 수행하는 단계를 포함하는, 비디오 처리 방법.

16. 조항 15의 방법에 있어서, 상기 현재 선택된 최상의 모드가 머지 모드 혹은 UMVE 모드인 경우, 상기 결정은 상기 어파인 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

17. 조항 15의 방법에 있어서, 상기 현재 선택된 최상의 모드가 상기 어파인 SMVD 모드로 코딩되지 않은 경우, 상기 결정은 상기 어파인 SMVD 모드의 상기 사용을 비활성화 하는, 비디오 처리 방법.

18. 조항 15의 방법에 있어서, 상기 현재 선택된 최상의 모드가 서브 블록 머지 모드인 경우, 상기 결정은 상기 어파인 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

19. 조항 15의 방법에 있어서, 상기 현재 선택된 최상의 모드가 SMVD 모드인 경우, 상기 결정은 상기 어파인 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

20. 조항 15의 방법에 있어서, 상기 현재 선택된 최상의 모드가 어파인 머지 모드인 경우, 상기 결정은 상기 어파인 SMVD 모드의 상기 사용을 비활성화하는, 비디오 처리 방법.

21. 조항 16 내지 20 중 어느 한 조항의 방법에 있어서, 상기 결정은 어파인 MVD 정밀도가 정밀도 이상인 경우에만 적용되는, 비디오 처리 방법.

22. 조항 16 내지 20 중 어느 한 조항의 방법에 있어서, 상기 결정은 어파인 MVD 정밀도가 정밀도보다 큰 경우에만 적용되는, 비디오 처리 방법.

23. 조항 16 내지 20 중 어느 한 조항의 방법에 있어서, 상기 결정은 어파인 MVD 정밀도가 정밀도 이하인 경우에만 적용되는, 비디오 처리 방법.

24. 조항 16 내지 20 중 어느 한 조항의 방법에 있어서, 상기 결정은 어파인 MVD 정밀도가 정밀도보다 작은 경우에만 적용되는, 비디오 처리 방법.

25. 조항 1 혹은 15의 방법에 있어서, 상기 현재 비디오 블록의 특성을 결정하는 단계를 더 포함하되, 상기 특성은 상기 비디오 블록의 블록 크기, 상기 비디오 블록의 슬라이스 혹은 픽처 혹은 타일 유형, 혹은 상기 비디오 블록과 연관된 움직임 정보 중 하나 이상을 포함하고, 상기 결정은 상기 특성에 기반하는, 비디오 처리 방법.

26. 조항 1 내지 25 중 어느 한 조항의 방법에 있어서, 상기 변환을 수행하는 단계는 상기 현재 블록으로부터 상기 코딩된 표현을 생성하는 것을 포함하는, 비디오 처리 방법.

27. 조항 1 내지 25 중 어느 한 조항의 방법에 있어서, 상기 변환을 수행하는 단계는 상기 코딩된 표현으로부터 상기 현재 블록을 생성하는 것을 포함하는, 비디오 처리 방법.

28. 프로세서 및 명령들이 포함된 비 일시적 메모리를 포함하는 비디오 시스템의 장치로서, 상기 프로세서에 의해 실행되는 상기 명령들은, 상기 프로세서가 조항1항 내지

조항27 항 중 어느 한 조항의 방법을 구현하게 하는, 비디오 시스템의 장치.

29. 비 일시적 컴퓨터 읽기 가능한 매체에 저장된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은 조항 1 내지 조항27 중 어느 한 조항의 방법을 구현하기 위한 프로그램 코드를 포함하는, 상기 매체에 저장된 컴퓨터 프로그램 제품.

상기로부터, 현재 개시된 기술의 구체적인 실시예들은 여기서 설명의 목적을 위해 기재되었으며, 본 발명의 범위에서 벗어나지 않는 한 다양한 수정이 이루어질 수 있다는 점이 이해될 것이다. 따라서, 현재 개시된 기술은 첨부된 청구항들에 의하는 바를 제외하고는 한정되지 않는다.

본 특허 문서에 기재된 주제 및 기능적 작업들의 구현들은 다양한 시스템, 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있으며, 여기에는 본 명세서에서 개시된 구조들 및 구조적 등가물들, 또는 그 중 하나 이상의 조합이 포함될 수 있다. 본 명세서에 기재된 주제의 구현들은 하나 이상의 컴퓨터 프로그램 제품들로, 즉, 유형의, 비-일시적인 컴퓨터 판독 가능한 매체에 코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현되어, 데이터 처리 장치에 의해 실행하거나, 또는 상기 장치의 작동을 제어할 수 있다. 상기 컴퓨터 판독 가능한 매체는 기계 판독 가능한 저장 디바이스, 기계 판독 가능한 저장 기판, 메모리 디바이스, 기계 판독 가능한 전파 신호를 가져오는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 처리 유닛" 또는 "데이터 처리 장치"는, 데이터를 처리하기 위한 모든 장치, 디바이스 및 기계를 포괄하며, 예를 들어, 프로그래머블 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터들을 포함한다. 상기 장치는, 하드웨어 외에도, 당해 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드를 포함할 수 있고, 코드는 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 이들 중 하나 이상의 조합을 구성한다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로도 알려짐)은 컴파일 또는 인터프리터 언어를 포함하는 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 그 밖의 유닛을 포함하는 임의의 형태로도 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 상응해야 하는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부에 저장되거나(예를 들어, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트), 당해 프로그램 전용의 단일 파일에 저장되거나, 또는 다수의 조직화된 파일들(예를 들어, 하나 이상의 모듈, 서브프로그램, 코드의 부분을 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서, 또는 한 위치에 배치되거나 또는 다수의 위치에 걸쳐서 분산되고 통신 네트워크에 의해 접속된 다수의 컴퓨터에서 실행되도록 배치될 수 있다.

본 명세서에서 설명된 프로세스와 논리 흐름은 하나 이상의 프로그래머블 프로세서에 의해 수행될 수 있고, 이 프로그래머블 프로세서는 입력 데이터에 작용하여 출력을 생성함으로써 기능을 수행하는 하나 이상의 컴퓨터 프로그램들을 실행한다. 프로세서와 논리 흐름은, 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 전용 논리 회로에 의해 수행될 수 있고, 장치 또한 전용 논리 회로로서 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예를 들어, 범용 및 전용 마이크로프로세서 및 임의 종류의 디지털 컴퓨터의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리(ROM), 또는 랜덤 액세스 메모리(RAM), 또는 양자로부터 명령어들과 데이터를 수신한다. 컴퓨터의 필수 구성요소는 명령을 실행하는 프로세서 및 명령어와 데이터를 저장하는 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기 디스크, 광자기 디스크, 또는 광디스크를 포함하거나, 또는 이 디바이스와 데이터를 송수신하기 위하여 동작적으로(operatively) 결합될 수 있다. 하지만 컴퓨터는 이러한 디바이스를 구비할 필요는 없다. 컴퓨터 프로그램 명령어들과 데이터를 저장하기 적합한 컴퓨터 판독가능 매체에는, 예를 들어, 반도체 메모리 디바이스(예를 들어, EPROM, EEPROM, 플래시 메모리 디바이스), 자기 디스크(예를 들어, 내부 하드디스크, 착탈식 디스크), 광자기 디스크 및 CD ROM과 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스가 포함된다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 전용 논리 회로에 통합될 수 있다.

도면과 함께 본 명세서는 오직 예시적인 것으로 간주되어야 한다. 본 문서에서 사용된 "또는"은 문맥이 명시적으로 달리 지시하지 않는 한 "및/또는"을 포함하는 것으로 의도되었다.

본 특허문서가 다수의 특정한 구현 세부사항을 포함하고 있지만, 이는 임의 발명의 범위나 청구할 사항의 범위에 대한 어떠한 제한으로도 이해되어서는 안 되며, 특정한 발명들의 특정한 실시예들에 고유할 수 있는 특징의 설명으로서 이해되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문서에서 설명된 소정의 특징들은 조합되어 단일 실시예로 구현될 수도 있다. 반대로, 단일 실시예의 맥락에서 설명한 다양한 특징들은 복수의 실시예에서 별개로 구현되거나 어떤 적당한 하위 조합으로도 구현 가능하다. 또한, 앞에서 특징들이 특정 조합에서 동작하는 것으로서 설명되고 그와 같이 청구되기까지 하였지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우에 해당 조합으로부터 삭제될 수 있으며, 청구된 조합은 하위 조합이나 하위 조합의 변형으로 될 수 있다.

마찬가지로, 동작들이 도면들에서 특정한 순서로 묘사되고 있지만, 이는 그러한 동작들이 바람직한 결과를 얻기 위해, 도시한 특정 순서나 순차적인 순서로 수행되어야 한다거나, 도시된 모든 동작들이 수행되어야 한다는 것을 의미하지 않는다. 더욱이, 본 특허 문서에 기재된 실시예에 있어서 다양한 시스템 구성요소들의 분리는 모든 실시예에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.

단지 몇 가지 구현들 및 예시들이 기술되었으며, 기타 구현, 개선 및 변형은 본 특허 문서에 기술되고 도시된 것에 기초하여 이루어질 수 있다.

Claims (40)

1. 비디오 처리 방법에 있어서,
   비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 논 어파인 화면 간 AMVR 모드를 기반으로 하도록 결정하는 단계; 및
   상기 변환을 상기 결정에 기초하여 수행하는 단계;를 포함하되,
   상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩에 기반하고, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 인접 블록의 어파인 AMVR 모드 정보의 이용 없이 모델링되는, 비디오 처리 방법.
   
2. 제1 항에 있어서, 상기 코딩된 인접 블록의 논 어파인 화면 간 AMVR 모드 인덱스가 활용되는, 비디오 처리 방법.
   
3. 제2 항에 있어서, 상기 현재 비디오 블록의 상기 논 어파인 화면간 AMVR 모드 인덱스를 코딩하는 데 사용되는 문맥 인덱스는 AMVR 모드 인덱스, 어파인 모드 플래그, 혹은 좌측 및 상단 인접 블록들의 가용성, 특정 MVD 정밀도를 지시하는 상기 논 어파인 화면간 AMVR 모드 인덱스 중 적어도 하나에 의존하는, 비디오 처리 방법.
   
4. 제3 항에 있어서, 오프셋 값들은 상기 좌측 인접 블록 및 상기 상단 인접 블록에 대해 각각 유도되고, 상기 문맥 인덱스는 상기 좌측 인접 블록 및 상기 상단 인접 블록의 상기 오프셋 값들의 합으로서 유도되는, 비디오 처리 방법.
   
5. 제4 항에 있어서, 상기 오프셋 값들 중 적어도 하나는 대응되는 인접 블록이 가용하고 어파인 모드로 코딩되지 않고 상기 인접 블록의 상기 AMVR 모드 인덱스가 0이 아닌 경우 1로 도출되고, 반대의 경우, 상기 오프셋 값들 중 적어도 하나는 0으로 도출되는, 비디오 처리 방법.
   
6. 제1 항에 있어서, 상기 인접 블록의 어파인 AMVR 모드 정보는 직접적으로 사용되지 않고 상기 어파인 AMVR 모드 정보의 함수와 함께 간접적으로 사용되는, 비디오 처리 방법.
   
7. 제6 항에 있어서,상기 함수는 (xNbL, yNbL)를 커버하는 상기 인접 블록의 amvr_mode[ xNbL ][ yNbL] 혹은 amvr_flag[ xNbL ][ yNbL ]이 특정 MVD 정밀도를 지시하는 경우 참(true)을 리턴하는, 비디오 처리 방법.
   
8. 제1 항에 있어서, 상기 인접 블록의 상기 어파인 AMVR 모드 정보는 상기 현재 비디오 블록의 논 어파인 화면 간 AMVR 모드의 제1 구문 요소를 코딩하는 데 활용되는, 비디오 처리 방법.
   
9. 제1 항에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 표현되는 경우, 논 어파인 화면 간 모드와 어파인 화면간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩되는데 활용되는, 비디오 처리 방법.
   
10. 제1 항에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩하는 데 활용되지 않는, 비디오 처리 방법.
    
11. 제1 항에 있어서, 상기 현재 비디오 블록의 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나를 코딩하는 데 직접적으로 활용되지 않고 간접적으로 이용되는, 비디오 처리 방법.
    
12. 제9 항 내지 제11 항 중 어느 한 항에 있어서, 상기 현재 비디오 블록의 상기 AMVR 모드는 어파인 화면 간 AMVR 모드 및 논 어파인 화면 간 AMVR 모드를 포함하는, 비디오 처리 방법.
    
13. 비디오 처리 방법에 있어서, 비디오의 현재 비디오 블록 및 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 적응적 움직임 벡터 해상도(affine AMVR) 모드에 기반하도록 결정하는 단계; 및
    상기 결정에 기반하여 상기 변환을 수행하는 단계;를 포함하되,
    상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하고, 변수는 문맥에 대한 두 개의 확률 업데이트 속도를 제어하는, 비디오 처리 방법.
    
14. 제13 항에 있어서, 상기 두 개의 확률 업데이트 속도는 (shiftIdx >> 2) + 2로 정의되는 고속 업데이트 속도(faster updating speed)를 포함하되, shiftIdx는 상기 변수를 지시하는, 비디오 처리 방법.
    
15. 제13 항에 있어서, 상기 두개의 확률 업데이트 속도는 (shiftIdx & 3) + 3 + shift0로 정의되는 저속 업데이트 속도(slower updating speed)를 포함하되, shift0는 (shiftIdx >> 2) + 2로 정의되고, shiftIdx는 상기 변수를 지시하는, 비디오 처리 방법.
    
16. 제14 항에 있어서, 상기 고속 업데이트 스피드(faster updating speed)는 2 및 5 사이인, 비디오 처리 방법.
    
17. 비디오 처리 방법에 있어서,
    비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환은 어파인 AMVR 모드에 기반한다고 결정하는 단계; 및
    상기 결정에 기반하여 상기 변환을 수행하는 단계;를 포함하되,
    상기 현재 비디오 블록의 상기 코딩된 표현은 문맥 기반 코딩을 기반으로 하되, 상기 현재 비디오 블록의 코딩에 사용되는 문맥은 상기 변환 동안 어파인 화면간 모드 및 정상(normal) 화면 간 모드의 AMVR 모드가 모두 사용되는 인접 블록의 코딩 정보를 이용하여 모델링되는, 비디오 처리 방법.
    
18. 제17 항에 있어서, 상기 인접 블록의 AMVR 모드 정보는 상기 문맥 기반 코딩에 직접적으로 이용되는, 비디오 처리 방법.
    
19. 제17 항에 있어서, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 문맥 기반 코딩에 대해 불허되는, 비디오 처리 방법.
    
20. 제17 항에 있어서, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 직접적으로 이용되지 않고 상기 AMVR 모드 정보의 함수와 간접적으로 사용되는, 비디오 처리 방법.
    
21. 제17 항에 있어서, 상기 인접 블록의 AMVR 모드 정보는 상기 현재 블록의 상기 어파인 AMVR 모드의 제1 구문 요소 코딩에 활용되는, 비디오 처리 방법.
    
22. 제17 항에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 어파인 화면 간 모드 및 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에 활용되는, 비디오 처리 방법.
    
23. 제17 항에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에도 활용되지 않는, 비디오 처리 방법.
    
24. 제17 항에 있어서, 상기 어파인 AMVR 모드가 다중 구문 요소들로 나타나는 경우, 정상(normal) 화면 간 모드로 코딩된 상기 인접 블록의 AMVR 모드 정보는 상기 다중 구문 요소들 중 어느 하나의 코딩에 직접적으로 활용되지 않고 간접적으로 이용되는, 비디오 처리 방법.
    
25. 비디오 처리 방법에 있어서,
    비디오의 현재 비디오 블록과 상기 현재 비디오 블록의 코딩된 표현 간의 변환을 위해, 상기 변환에 대한 다중 문맥들의 사용을 결정하는 단계; 및
    상기 결정을 기반으로 상기 변환을 수행하는 단계를 포함하되,
    상기 다중 문맥들은 조동 움직임 정밀도(coarse motion precision)를 지시하는 구문 요소를 코딩하는 데 활용되는, 비디오 처리 방법.
    
26. 제25 항에 있어서, 상기 다중 문맥들은 정확히 두 개의 문맥에 대응되는, 비디오 처리 방법.
    
27. 제26 항에 있어서, 상기 다중 문맥들은 상기 현재 비디오 블록이 어파인 코딩되는지 여부에 기반하여 선택되는, 비디오 처리 방법.
    
28. 제25 항에 있어서, 다른 구문 요소는 상기 변환이 어파인 AMVR 모드를 기반으로 함을 지시하는 데 이용되는, 비디오 처리 방법.
    
29. 제28 항에 있어서, 상기 다른 구문 요소는 제1 문맥으로만 코딩되고, 상기 구문 요소는 제2 문맥으로만 코딩되는, 비디오 처리 방법.
    
30. 제28 항에 있어서, 상기 다른 구문 요소는 제1 문맥으로만 코딩되고, 상기 구문 요소는 바이패스 코딩되는, 비디오 처리 방법.
    
31. 제28 항에 있어서, 상기 다른 구문 요소는 바이패스 코딩되고(bypass coded), 상기 구문 요소는 바이패스 코딩되는, 비디오 처리 방법.
    
32. 제25 항에 있어서, 움직임 벡터 정밀도들과 연관된 모든 구문 요소들은 바이패스 코딩되는, 비디오 처리 방법.
    
33. 제25 항 혹은 제26 항에 있어서, 상기 구문 요소는 상기 정상(normal) 화면 간 모드에 대한 1-픽셀 혹은 4-픽셀을 포함하는 세트로부터의 선택을 지시하는, 비디오 처리 방법.
    
34. 제25 항 혹은 제26 항에 있어서, 상기 구문 요소는 상기 어파인 모드에 대해 적어도 1/16-픽셀 혹은 1-픽셀 정밀도 사이의 선택을 지시하는, 비디오 처리 방법.
    
35. 제34 항에 있어서, 상기 구문 요소는 상기 어파인 모드에 대한 0, 1/6-픽셀 정밀도와 동일한, 비디오 처리 방법.
    
36. 제34 항에 있어서, 상기 구문 요소는 상기 어파인 모드에 대한 1, 1-픽셀 정밀도와 동일한, 비디오 처리 방법.
    
37. 제1 항 내지 제36 항 중 어느 한 항에 있어서, 상기 변환을 수행하는 단계는 상기 현재 비디오 블록으로부터 상기 코딩된 표현을 생성하는 것을 포함하는, 비디오 처리 방법.
    
38. 제1 항 내지 제36 항 중 어느 한 항에 있어서, 상기 변환을 수행하는 단계는 상기 코딩된 표현으로부터 상기 현재 비디오 블록을 생성하는 것을 포함하는, 비디오 처리 방법.
    
39. 프로세서 및 명령들이 포함된 비 일시적 메모리를 포함하는 비디오 시스템의 장치로서, 상기 프로세서에 의해 실행되는 상기 명령들은, 상기 프로세서가 제1항 내지 제38 항 중 하나 이상의 방법을 구현하게 하는, 비디오 시스템의 장치.
    
    
40. 비 일시적 컴퓨터 읽기 가능한 매체에 저장된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은 제1항 내지 제38 항 중 하나 이상의 방법을 구현하기 위한 프로그램 코드를 포함하는, 상기 매체에 저장된 컴퓨터 프로그램 제품.
    

Images