KR20240050409A - 비디오 신호 처리 방법 및 이를 위한 장치 - Google Patents

Abstract

비디오 신호 디코딩 장치는 프로세서를 포함하며, 상기 프로세서는, 현재 블록에 대한 제1 움직임 정보를 획득하고, 상기 현재 블록에 대한 제2 움직임 정보를 획득하고, 상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하고, 상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하고, 상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿을 비교하여 제2 코스트 값을 획득하고, 상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하고, 상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성한다.

Description

비디오 신호 처리 방법 및 이를 위한 장치

본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.

압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.

본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공하여 비디오 신호의 코딩 효율을 높이기 위한 목적이 있다.

본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공한다.

본 명세서에 있어서, 비디오 신호 디코딩 장치는 프로세서를 포함하며, 상기 프로세서는, 현재 블록에 대한 제1 움직임 정보를 획득하고, 상기 현재 블록에 대한 제2 움직임 정보를 획득하고, 상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하고, 상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하고, 상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를을 비교하여 제2 코스트 값을 획득하고, 상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하고, 상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 것을 특징으로 한다. 상기 프로세서는 상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득하고, 상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성되는 것을 특징으로 한다. 상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고, 상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할된다. 상기 프로세서는, 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득하고, 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득하고, 상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득하고, 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득하고, 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득하고, 상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득하고, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득될 수 있다. 상기 프로세서는 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하는지 여부를 지시하는 신택스 요소를 파싱하고, 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하면, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 한다.

본 명세서에 있어서, 비디오 신호 인코딩 장치는 프로세서를 포함하며, 상기 프로세서는, 디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고, 상기 디코딩 방법은 현재 블록에 대한 제1 움직임 정보를 획득하는 단계; 상기 현재 블록에 대한 제2 움직임 정보를 획득하는 단계; 상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하는 단계; 상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하는 단계; 상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득하는 단계; 상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하는 단계; 및 상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 한다. 상기 디코딩 방법은 상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득하는 단계를 더 포함할 숭 있고, 상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성되는 것을 특징으로 한다. 상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고, 상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할된다. 상기 디코딩 방법은, 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득하는 단계; 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득하는 단계; 상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득하고, 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득하는 단계; 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득하는 단계; 상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득하는 단계를 더 포함할 수 있고, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득될 수 있다. 상기 디코딩 방법은, 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하는지 여부를 지시하는 신택스 요소를 파싱하는 단계를 더 포함할 수 있고, 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하면, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 한다.

본 명세서에 있어서, 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩되고, 상기 디코딩 방법은 현재 블록에 대한 제1 움직임 정보를 획득하는 단계; 상기 현재 블록에 대한 제2 움직임 정보를 획득하는 단계; 상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하는 단계; 상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하는 단계; 상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득하는 단계; 상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하는 단계; 및 상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 한다. 상기 디코딩 방법은 상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득하는 단계를 더 포함할 숭 있고, 상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성되는 것을 특징으로 한다. 상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고, 상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할된다. 상기 디코딩 방법은, 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득하는 단계; 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득하는 단계; 상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득하고, 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득하는 단계; 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득하는 단계; 상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득하는 단계를 더 포함할 수 있고, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득될 수 있다. 상기 디코딩 방법은, 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하는지 여부를 지시하는 신택스 요소를 파싱하는 단계를 더 포함할 수 있고, 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하면, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 한다.

본 명세서에 있어서, 상기 신택스 요소는 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값에 대한 정보를 포함하는 것을 특징으로 한다.

본 명세서에 있어서, 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값은 모두 0인 것을 특징으로 한다.

본 명세서에 있어서, 상기 현재 블록의 부호화 모드는 AMVP 모드인 것을 특징으로 한다.

본 명세서에 있어서, 상기 제1 참조 블록과 상기 제2 참조 블록은 서로 다른 픽쳐 리스트에 포함되는 픽쳐 내의 블록인 것을 특징으로 한다.

본 명세서에 있어서, 상기 작은 코스트 값이 상기 제1 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제1 기준선에 기초하여 획득되고, 상기 작은 코스트 값이 상기 제2 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제2 기준선에 기초하여 획득되는 것을 특징으로 한다.

본 명세서에 있어서, 상기 제1 중간 코스트 값은 상기 제3 코스트 값과 상기 제4 코스트 값을 합한 값이고, 상기 제2 중간 코스트 값은 상기 제5 코스트 값과 상기 제6 코스트 값을 합한 값인 것을 특징으로 한다.

본 명세서에 있어서, 상기 제1 코스트 값은 상기 제1 템플릿 세트와 상기 제2 템플릿 세트간의 유사도와 관련된 값이고, 상기 제2 코스트 값은 상기 제1 템플릿 세트와 상기 제3 템플릿 세트간의 유사도와 관련된 값인 것을 특징으로 한다.

본 명세서에 있어서, 상기 제3 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿간의 유사도와 관련된 값이고, 상기 제4 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿간의 유사도와 관련된 값이고, 상기 제5 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿간의 유사도와 관련된 값이고, 상기 제6 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿간의 유사도와 관련된 값인 것을 특징으로 한다.

본 명세서는 효율적으로 비디오 신호를 처리하기 위한 방법을 제공한다.

본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 움직임 정보를 보정하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 움직임 보정 방법을 재귀적으로 수행하여 현재 블록에 대한 움직임 정보를 보정하는 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 TM 방법이 수행되는 순서를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 초기 움직임 정보에 기초하여 TM 방법을 위한 탐색 영역을 설정하는 방법을 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 탐색 영역 내에서 탐색되는 움직임 후보의 위치를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 움직임 후보의 위치를 탐색하는 과정을 나타내는 도면이다.
도 14는 본 발명의 일 실시예 따른 탐색 후보를 평가하는 과정을 나타내는 도면이다.
도 15는 본 발명의 일 실시예에 따른 움직임 정보의 차분 값을 시그널링하는 방법을 나타내는 도면이다.
도 16은 본 발명의 일 실시예에 따른 'mvd_zero_flag'를 CABAC를 통해 엔크로피 코딩한 결과를 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따른 MMVD 차분 값을 시그널링하는 방법을 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따른 MMVD 차분 값을 지시하는 신택스 요소의 인덱스에 따른 MMVD 차분 값의 수평, 수직 방향에 대한 부호를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 확률 초기화 정보를 나타내는 도면이다.
도 20은, 도 21은 본 발명의 일 실시예에 따른 DMVR을 사용한 움직임 정보를 보정하는 방법을 나타내는 도면이다.
도 22는 본 발명의 일 실시예에 따른 다중 DMVR이 수행되는 과정을 나타내는 도면이다.
도 23은 본 발명의 일 실시예에 따른 코딩 블록의 보정된 움직임 정보와 관련된 코스트 값을 획득하기 위한 탐색 방법을 나타내는 도면이다.
도 24는 본 발명의 일 실시예에 따른 보정된 움직임 정보의 차분 값을 획득하는 방법을 나타내는 도면이다.
도 25는 본 발명의 일 실시예에 따른 움직임 정보의 예측 값을 획득하는 방법을 나타내는 도면이다.
도 26, 도 27은 본 발명의 일 실시예에 따른 움직임 정보의 차분 값에 대한 정보를 시그널링하는 방법을 나타내는 도면이다.
도 28은 본 발명의 일 실시예에 따른 움직임 차분 값의 부호와 관련된 정보를 디코딩하는 방법을 나타내는 도면이다.
도 29, 도 30, 도 31은 본 발명의 일 실시예에 따른 움직임 정보에 대한 부호를 예측하는 방법을 나타내는 도면이다.
도 32는 본 발명의 일 실시예에 따른 선형 관계에 따라 현재 블록의 움직임 정보 부호 후보를 결정하는 방법을 나타내는 도면이다.
도 33, 도 34는 본 발명의 일 실시예에 따른 움직임 정보 부호 후보 리스트를 재설정하는 방법을 나타내는 도면이다.
도 35, 36, 37은 본 발명의 일 실시예에 따른 움직임 정보의 부호화 관련된 신택스 요소들의 문맥 모델을 나타내는 도면이다.
도 38은 본 발명의 일 실시예에 따른 GPM 모드에서의 현재 블록의 분할을 나타내는 도면이다.
도 39는 본 발명의 일 실시예에 따른 GPM 모드에서의 문맥 모델을 나타내는 도면이다.
도 40는 도1 내지 도 39을 통해 설명한 방법들에 기초하여 현재 블록에 대한 예측 블록을 생성하는 방법을 나타낸다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

본 명세서에서 'A 및/또는 B'는 'A 또는 B 중 적어도 하나를 포함하는'과 같은 의미로 해석될 수 있다.

본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 또는 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 또는 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 휘도(luma) 성분 및 색차(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 휘도 성분 및 색차 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션', '신호' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '현재 블록'은 현재 부호화를 진행할 예정인 블록을 의미하며, '참조 블록'은 이미 부호화 또는 복호화가 완료된 블록으로 현재 블록에서 참조로 사용되는 블록을 의미한다. 또한, 본 명세서에서 '루마', 'luma', '휘도', 'Y' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '크로마', 'chroma' '색차', 'Cb 또는 Cr' 등의 용어는 서로 혼용하여 사용될 수 있으며, 색차 성분은 Cb와 Cr 2가지로 나누어지므로 각 색차 성분은 구분되어 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 또는 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다. 구체적으로 촬영된 영상이 비월주사식(interlace) 영상일 경우, 하나의 프레임은 홀수(또는 기수, top) 필드와 짝수(또는 우수, bottom) 필드로 분리되어, 각 필드는 하나의 픽쳐 단위로 구성되어 부호화 또는 복호화 될 수 있다. 만일 촬영된 영상이 순차주사(progressive) 영상일 경우, 하나의 프레임이 픽쳐로서 구성되어 부호화 또는 복호화 될 수 있다. 또한, 본 명세서에서 '오차 신호', '레지듀얼 신호', '잔차 신호', '잔여 신호' 및 '차분 신호' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '인트라 예측 모드', '인트라 예측 방향성 모드', '화면 내 예측 모드' 및 '화면 내 예측 방향성 모드' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '모션', '움직임' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 '좌측', '좌상측', '상측', '우상측', '우측', '우하측', '하측', '좌하측'은 '좌단', '좌상단', '상단', '우상단', '우단', '우하단', '하단', '좌하단'와 서로 혼용하여 사용될 수 있다. 또한, 원소(element), 멤버(member)는 서로 혼용하여 사용될 수 있다. POC(Picture Order Count)는 픽쳐(또는 프레임)의 시간적 위치 정보를 나타내며, 화면에 출력되는 재생 순서가 될 수 있으며, 픽쳐마다 고유의 POC를 가질 수 있다.

도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.

변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 레지듀얼 블록에 대한 변환에 사용되는 변환 커널은 수직 변환 및 수평 변환의 분리 가능한 특성을 가지는 변환 커널일 수 있다. 이 경우, 레지듀얼 블록에 대한 변환은 수직 변환 및 수평 변환으로 분리되어 수행될 수 있다. 예를 들어, 인코더는 레지듀얼 블록의 수직 방향으로 변환 커널을 적용하여 수직 변환을 수행할 수 있다. 또한, 인코더는 레지듀얼 블록의 수평 방향으로 변환 커널을 적용하여 수평 변환을 수행할 수 있다. 본 개시에서, 변환 커널은 변환 매트릭스, 변환 어레이, 변환 함수, 변환과 같이 레지듀얼 신호의 변환에 사용되는 파라미터 세트를 지칭하는 용어로 사용될 수 있다. 예를 들어, 변환 커널은 복수의 사용 가능한 커널들 중 어느 하나일 수 있다. 또한, 수직 변환 및 수평 변환 각각에 대해 서로 다른 변환 타입에 기반한 변환 커널이 사용될 수도 있다.

변환계수는 블록의 좌상단으로 갈수록 높은 계수가 분포하고, 블록의 우하단으로 갈수록 '0'에 가까운 계수가 분포한다. 현재 블록의 크기가 커질수록 우하단 영역에서 계수 '0'이 많이 존재할 가능성이 있다. 크기가 큰 블록의 변환 복잡도를 감소시키기 위해서, 임의의 좌상단 영역만을 남기고 나머지 영역은 '0'으로 재설정될 수 있다.

또한, 코딩 블록에서 일부 영역에만 오차 신호가 존재할 수 있다. 이 경우, 임의의 일부 영역에 대해서만 변환 과정이 수행될 수 있다. 실시 일 예로, 2Nx2N 크기의 블록에서 첫번째 2NxN 블록에만 오차 신호가 존재할 수 있으며, 첫번째 2NxN블록에만 변환과정이 수행되지만 두번째 2NxN 블록은 변환과정이 수행되지 않고 인코딩 또는 디코딩되지 않을 수 있다. 여기서 N은 임의의 양의 정수가 될 수 있다.

인코더는 변환 계수가 양자화되기 전에 추가적인 변환을 수행할 수 있다. 전술한 변환 방법은 1차 변환(primary transform)으로 지칭되고, 추가적인 변환은 2차 변환(secondary transform)으로 지칭될 수 있다. 2차 변환은 레지듀얼 블록 별로 선택적일 수 있다. 일 실시예에 따라, 인코더는 1차 변환만으로 저주파 영역에 에너지를 집중시키기 어려운 영역에 대해 2차 변환을 수행하여 코딩 효율을 향상시킬 수 있다. 예를 들어, 레지듀얼 값들이 레지듀얼 블록의 수평 또는 수직 방향 이외의 방향에서 크게 나타나는 블록에 대해 2차 변환이 추가로 수행될 수 있다. 2차 변환은 1차 변환과 달리 수직 변환 및 수평 변환으로 분리되어 수행되지 않을 수 있다. 이러한 2차 변환은 저대역 비-분리 변환(Low Frequency Non-Separable Transform, LFNST)으로 지칭될 수 있다.

양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.

코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.

디블록킹 필터(deblocking filter)는 복원된 픽쳐에서 블록 간의 경계에 생성된 블록 내의 왜곡을 제거하기 위한 필터이다. 인코더는 블록 내의 임의 경계(edge)를 기준으로 몇 개의 열 또는 행에 포함된 픽셀들의 분포를 통해, 해당 경계에 디블록킹 필터를 적용할지 여부를 판단할 수 있다. 블록에 디블록킹 필터를 적용되는 경우, 인코더는 디블록킹 필터링 강도에 따라 긴 필터(Long Filter), 강한 필터(Strong Filter) 또는 약한 필터(Weak Filter)를 적용할 수 있다. 또한, 수평 방향 필터링 및 수직 방향 필터링이 병렬적으로 처리될 수 있다. 샘플 적응적 오프셋(SAO)은 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋을 보정하는데 사용될 수 있다. 인코더는 특정 픽쳐에 대한 오프셋을 보정하기 위하여 영상에 포함된 픽셀을 일정한 수의 영역으로 구분한 후, 오프셋 보정을 수행할 영역을 결정하고, 해당 영역에 오프셋을 적용하는 방법(Band Offset)을 사용할 수 있다. 또는 인코더는 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법(Edge Offset)을 사용할 수 있다. 적응적 루프 필터(Adaptive Loop Filter, ALF)는 영상에 포함된 픽셀을 소정의 그룹으로 나눈 후, 해당 그룹에 적용될 하나의 필터를 결정하여 그룹마다 차별적으로 필터링을 수행하는 방법이다. ALF를 적용할지 여부에 관련된 정보는 코딩 유닛 단위로 시그널링될 수 있고, 각각의 블록에 따라 적용될 ALF 필터의 모양 및 필터 계수가 달라질 수 있다. 또한, 적용할 대상 블록의 특성에 관계없이 동일한 형태(고정된 형태)의 ALF 필터가 적용될 수도 있다.

예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스, 참조 샘플에 관한 정보 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역과 가장 유사한 부분을 찾고 영역 간의 거리인 모션 벡터 값을 획득한다. 모션 추정부(154a)에서 획득한 참조 영역에 대한 모션 정보(참조 방향 지시 정보(L0 예측, L1 예측, 양방향 예측), 참조 픽쳐 인덱스, 모션 벡터 정보 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 정보를 이용하여 모션 보상부(154b)에서는 인터 모션 보상을 수행하여 현재 블록을 위한 예측 블록을 생성한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.

추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(Intra block copy, IBC) 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 IBC 예측을 수행하여, IBC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. IBC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 지시하는 블록 벡터값을 획득한다. IBC 예측부는 획득된 블록 벡터값을 이용하여 IBC 예측을 수행할 수 있다. IBC 예측부는 IBC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. IBC 부호화 정보는 참조 영역의 크기 정보, 블록 벡터 정보(움직임 후보 리스트 내에서 현재 블록의 블록 벡터 예측을 위한 인덱스 정보, 블록 벡터 차분 정보) 중에서 적어도 하나를 포함할 수 있다.

위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 양자화된 변환 계수를 엔트로피 코딩부(160)로 전달한다.

상기 2차원 배열 형태의 양자화된 변환 계수는 엔트로피 코딩을 위해 1차원의 배열 형태로 재정렬될 수 있다. 양자화된 변환 계수를 스캐닝하는 방법은 변환 블록의 크기 및 화면 내 예측 모드에 따라 어떠한 스캔 방법이 사용될지 여부가 결정될 수 있다. 실시 일 예로, 대각(Diagonal), 수직(vertical), 수평(horizontal) 스캔이 적용될 수 있다. 이러한 스캔 정보는 블록 단위로 시그널링될 수 있으며, 이미 정해진 규칙에 따라 유도될 수 있다.

엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 각 데이터 심볼들의 확률 분포를 이용하여 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.

CABAC은 실험을 통해 얻은 확률을 기반으로 생성된 여러 개의 문맥 모델(context model)을 통해 이진 산술 부호화하는 방법이다. 문맥 모델을 컨텍스트 모델이라고 할 수도 있다. 먼저, 심볼이 이진 형태가 아닐 경우, 인코더는 exp-Golomb 등을 사용하여 각 심볼을 이진화한다. 이진화된 0 또는 1은 빈(bin)으로 기술될 수 있다. CABAC 초기화 과정은 문맥 초기화와 산술 코딩 초기화로 구분된다. 문맥 초기화는 각 심볼의 발생 확률을 초기화하는 과정으로, 심볼의 종류, 양자화 파라미터(QP), 슬라이스 타입(I, P, B 인지)에 따라 결정된다. 이러한 초기화 정보를 가지는 문맥 모델은 실험을 통해 얻은 확률 기반 값을 사용할 수 있다. 문맥 모델은 현재 코딩하려는 심볼에 대한 LPS(Least Probable Symbol) 또는 MPS(Most Probable Symbol)의 발생 확률과 0과 1중에서 어떤 빈 값이 MPS에 해당되는지에 대한 정보(valMPS)를 제공한다. 문맥 인덱스(Context index, ctxIdx)를 통해 여러 개의 문맥 모델 중에서 하나가 선택되며, 문맥 인덱스는 현재 부호화할 블록의 정보 또는 주변 블록의 정보를 통해 유도될 수 있다. 문맥 모델에서 선택된 확률 모델을 기반으로 이진 산술 코딩을 위한 초기화가 수행된다. 이진 산술 부호화는 0과 1의 발생 확률을 통해 확률 구간으로 분할한 후, 처리할 빈에 해당하는 확률 구간이 다음에 처리될 빈에 대한 전체 확률 구간이 되는 과정을 통해 부호화가 진행된다. 마지막 빈이 처리된 확률 구간 안의 위치 정보가 출력된다. 단, 확률 구간이 무한정 분할될 수 없으므로, 일정 크기 이내로 줄어들 경우에는 재규격화(renormalization)과정이 수행되어 확률 구간이 넓어지고 해당 위치 정보가 출력된다. 또한, 각 빈이 처리된 후, 처리된 빈의 정보를 통해 다음 처리될 빈에 대한 확률이 새롭게 설정되는 확률 업데이트 과정이 수행될 수 있다.

상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 영상 데이터를 포함하는 VCL(Video Coding Layer) NAL 유닛과 영상 데이터를 디코딩하기 위한 파라미터 정보를 포함하는 non-VCL NAL 유닛으로 구분되며, 다양한 종류의 VCL 또는 non-VCL NAL 유닛이 존재한다. NAL 유닛은 NAL 헤더 정보와 데이터인 RBSP(Raw Byte Sequence Payload)로 구성되며, NAL 헤더 정보에는 RBSP에 대한 요약 정보가 포함된다. VCL NAL 유닛의 RBSP에는 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등에 포함되어 전송될 수 있다.

한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.

도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.

엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측 값과 합산하여 원래의 화소값을 복원한다.

한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.

예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.

인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.

일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.

인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 현재 픽쳐를 기준으로 시간적으로 이전 또는 이후에 위치하는 픽쳐로서, 이미 복원된 완료된 픽쳐가 될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.

인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.

추가적인 실시예에 따라, 예측부(250)는 IBC 예측부(미도시)를 포함할 수 있다. IBC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. IBC 예측부는 엔트로피 디코딩부(210)로부터 획득된 IBC 부호화 정보를 이용하여 IBC 예측을 수행할 수 있다. IBC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.

상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.

한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.

한편, 본 명세서에서 제안된 기술은 인코더와 디코더의 방법 및 장치에 모두 적용 가능한 기술이며, 시그널링과 파싱으로 기술된 부분은 설명의 편의를 위해 기술한 것일 수 있다. 일반적으로 시그널링은 인코더 관점에서 각 신택스(syntax)를 부호화하기 위한 것이고, 파싱은 디코더 관점에서 각 신택스의 해석을 위한 것으로 설명될 수 있다. 즉, 각 신택스는 인코더로부터 비트스트림에 포함되어 시그널링될 수 있으며, 디코더에서는 신택스를 파싱하여 복원과정에서 사용할 수 있다. 이때, 규정된 계층적 구성대로 나열한 각 신택스에 대한 비트의 시퀀스를 비트스트림이라고 할 수 있다.

하나의 픽쳐는 서브 픽쳐(sub-picture), 슬라이스(slice), 타일(tile) 등으로 분할되어 부호화될 수 있다. 서브 픽쳐는 하나 이상의 슬라이스 또는 타일을 포함할 수 있다. 하나의 픽쳐가 여러 개의 슬라이스 또는 타일로 분할되어 부호화되었을 경우, 픽쳐 내의 모든 슬라이스 또는 타일이 디코딩이 완료되어야만 화면에 출력이 가능하다. 반면에, 하나의 픽쳐가 여러 개의 서브 픽쳐로 부호화되었을 경우, 임의의 서브 픽쳐만 디코딩되어 화면에 출력될 수 있다. 슬라이스는 여러 개의 타일 또는 서브 픽쳐를 포함할 수 있다. 또는 타일은 여러 개의 서브 픽쳐 또는 슬라이스를 포함할 수 있다. 서브 픽쳐, 슬라이스, 타일은 서로 독립적으로 인코딩 또는 디코딩이 가능하므로 병렬처리 및 처리 속도 향상에 효과적이다. 하지만, 인접한 다른 서브 픽쳐, 다른 슬라이스, 다른 타일의 부호화된 정보를 이용할 수 없으므로 비트량이 증가되는 단점이 있다. 서브 픽쳐, 슬라이스, 타일은 여러 개의 코딩 트리 유닛(Coding Tree Unit, CTU)으로 분할되어 부호화될 수 있다.

도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 휘도(luma) 코딩 트리 블록(Coding Tree Block, CTB)와 2개의 색차(chroma) 코딩 트리 블록들, 그리고 그것의 부호화된 신택스(syntax) 정보로 구성될 수 있다. 하나의 코딩 트리 유닛은 하나의 코딩 유닛으로 구성될 수 있으며, 또는 하나의 코딩 트리 유닛은 여러 개의 코딩 유닛으로 분할될 수 있다. 하나의 코딩 유닛은 휘도 코딩 블록(Coding Block, CB)과 2개의 색차 코딩 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 하나의 코딩 블록은 여러 개의 서브 코딩 블록으로 분할될 수 있다. 하나의 코딩 유닛은 하나의 변환 유닛(Transform Unit, TU)으로 구성될 수 있으며, 또는 하나의 코딩 유닛은 여러 개의 변환 유닛으로 분할될 수 있다. 하나의 변환 유닛은 휘도 변환 블록(Transform Block, TB)과 2개의 색차 변환 블록들, 그리고 그것의 부호화된 신택스 정보로 구성될 수 있다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다.

코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 또는 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(또는, 직사각형 블록)은 수직 코딩 유닛(또는, 수직 블록)과 수평 코딩 유닛(또는, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.

도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.

한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 또는 수직 분할의 2진(binary, 바이너리) 또는 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.

멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및/또는 변환의 단위로 사용될 수 있다. 일 실시예로서, 현재 코딩 유닛의 너비 또는 높이가 최대 변환 길이보다 큰 경우, 현재 코딩 유닛은 분할에 관한 명시적 시그널링 없이 복수의 변환 유닛으로 분할될 수 있다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.

도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 노드의 분할 여부를 지시하는 플래그 'split_cu_flag', 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'split_qt_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_cu_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_cu_binary_flag' 중 적어도 하나가 사용될 수 있다.

본 발명의 실시예에 따르면, 현재 노드의 분할 여부를 지시하는 플래그인 'split_cu_flag'가 먼저 시그널링될 수 있다. 'split_cu_flag'의 값이 0인 경우, 현재 노드가 분할되지 않는 것을 나타내며, 현재 노드는 코딩 유닛이 된다. 현재 노드가 코팅 트리 유닛인 경우, 코딩 트리 유닛은 분할되지 않은 하나의 코딩 유닛을 포함한다. 현재 노드가 쿼드 트리 노드 'QT node'인 경우, 현재 노드는 쿼드 트리의 리프 노드 'QT leaf node'이며 코딩 유닛이 된다. 현재 노드가 멀티-타입 트리 노드 'MTT node'인 경우, 현재 노드는 멀티-타입 트리의 리프 노드 'MTT leaf node'이며 코딩 유닛이 된다.

'split_cu_flag'의 값이 1인 경우, 현재 노드는 'split_qt_flag'의 값에 따라 쿼드 트리 또는 멀티-타입 트리의 노드들로 분할될 수 있다. 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT node' 별로 'split_qt_flag'가 시그널링된다. 'split_qt_flag'의 값이 1인 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'split_qt_flag'의 값이 0인 경우 해당 노드는 쿼드 트리의 리프 노드 'QT leaf node'가 되며, 해당 노드는 멀티-타입 노드들로 분할된다. 본 발명의 실시예에 따르면, 현재 노드의 종류에 따라서 쿼드 트리 분할은 제한될 수 있다. 현재 노드가 코딩 트리 유닛(쿼트 트리의 루트 노드) 또는 쿼트 트리 노드인 경우에 쿼드 트리 분할이 허용될 수 있으며, 현재 노드가 멀티-타입 트리 노드인 경우 쿼트 트리 분할은 허용되지 않을 수 있다. 각각의 쿼드 트리 리프 노드 'QT leaf node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 상술한 바와 같이, 'split_qt_flag'가 0인 경우 현재 노드는 멀티-타입 노드들로 분할될 수 있다. 분할 방향 및 분할 모양을 지시하기 위하여, 'mtt_split_cu_vertical_flag' 및 'mtt_split_cu_binary_flag'가 시그널링될 수 있다. 'mtt_split_cu_vertical_flag'의 값이 1인 경우 노드 'MTT node'의 수직 분할이 지시되며, 'mtt_split_cu_vertical_flag'의 값이 0인 경우 노드 'MTT node'의 수평 분할이 지시된다. 또한, 'mtt_split_cu_binary_flag'의 값이 1인 경우 노드 'MTT node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_cu_binary_flag'의 값이 0인 경우 노드 'MTT node'는 3개의 직사각형 노드들로 분할된다.

트리 분할 구조는 휘도 블록과 색차 블록이 동일한 형태로 분할될 수 있다. 즉, 색차 블록은 휘도 블록의 분할 형태를 참조하여 색차 블록을 분할할 수 있다. 현재 색차 블록이 임의의 정해진 크기보다 적다면, 휘도 블록이 분할되었더라도 색차 블록은 분할되지 않을 수 있다.

트리 분할 구조는 휘도 블록과 색차 블록이 서로 다른 형태를 가질 수 있다. 이때, 휘도 블록에 대한 분할 정보와 색차 블록에 대한 분할 정보가 각각 시그널링될 수 있다. 또한, 분할 정보 뿐만 아니라 휘도 블록과 색차 블록의 부호화 정보도 다를 수 있다. 실시 일 예로, 휘도 블록과 색차 블록의 인트라 부호화 모드, 움직임 정보에 대한 부호화 정보 등이 적어도 하나 이상 다를 수 있다.

가장 작은 단위로 분할될 노드는 하나의 코딩 블록으로 처리될 수 있다. 현재 블록이 코딩 블록일 경우, 코딩 블록은 여러 개의 서브 블록(서브 코딩 블록)으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다. 또한 코딩 유닛이 서브 블록으로 분할될 때, 수평 또는 수직 방향으로 분할되거나 사선으로 분할될 수 있다. 인트라 모드에서 현재 코딩 유닛을 수평 또는 수직 방향으로 2개 또는 4개의 서브 블록으로 분할하는 모드를 ISP(Intra Sub Partitions)이라 한다. 인터 모드에서 현재 코딩 블록을 사선으로 분할하는 모드를 GPM(Geometric partitioning mode)이라 한다. GPM모드에서 사선의 위치와 방향은 미리 정해진 각도 테이블을 사용하여 유도하고, 각도 테이블의 인덱스 정보가 시그널링된다.

코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 트리 유닛의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.

이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.

도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.

먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.

한편, 현재 블록의 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 수 있다. 다중 참조 라인은 현재 블록으로부터 기 설정된 범위 이내에 위치한 n개의 라인들로 구성될 수 있다. 일 실시예에 따르면, 인트라 예측을 위해 다중 참조 라인의 픽셀들이 사용될 경우, 참조 픽셀들로 설정될 라인들을 지시하는 별도의 인덱스 정보가 시그널링될 수 있으며, 이를 참조 라인 인덱스라고 명명할 수 있다.

또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.

다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.

본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면(planar) 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.

한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.

본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.

일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, …, 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.

다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-14, -13, -12, …, -1} 및 {67, 68, …, 80} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.

상기 실시예에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, …, 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, …, 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-14, -13, …, -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {53, 53, …, 66} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, …, 80} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {2, 3, 4, …, 15} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.

본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-14, -13, …, -1}은 인트라 예측 모드 인덱스 {52, 53, …, 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, …, 80}은 인트라 예측 모드 인덱스 {2, 3, …, 15}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화될 수 있다.

한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.

인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 픽셀의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측 값과 더하여 현재 블록의 샘플 값들을 복원한다.

인터 예측에 사용되는 움직임(모션) 정보에는 참조 방향 지시 정보(inter_pred_idc), 참조 픽쳐 인덱스(ref_idx_l0, ref_idx_l1), 움직임(모션) 벡터(mvL0, mvL1)이 포함될 수 있다. 참조 방향 지시 정보에 따라 참조 픽쳐 리스트 활용 정보(predFlagL0, predFlagL1)가 설정될 수 있다. 실시 일 예로, L0 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=1, predFlagL1=0로 설정될 수 있다. L1 참조 픽쳐를 사용하는 단방향 예측인 경우, predFlagL0=0, predFlagL1=1로 설정될 수 있다. L0와 L1 참조 픽쳐를 모두 사용하는 양방향 예측인 경우, predFlagL0=1, predFlagL1=1로 설정될 수 있다.

현재 블록이 코딩 유닛일 경우, 코딩 유닛은 여러 개의 서브 블록으로 분할될 수 있으며, 각 서브 블록의 예측 정보는 서로 같거나 또는 다를 수 있다. 실시 일 예로, 코딩 유닛이 인트라 모드일 경우, 각 서브 블록의 인트라 예측 모드는 서로 같거나 또는 다를 수 있다. 또한, 코딩 유닛이 인터 모드일 경우, 각 서브 블록의 움직임 정보는 서로 같거나 또는 다를 수 있다. 또한, 각 서브 블록은 서로 독립적으로 인코딩 또는 디코딩이 가능할 수 있다. 각각의 서브 블록은 서브 블록 인덱스(sub-block index, sbIdx)를 통해 구분될 수 있다.

현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터와 유사할 가능성이 높다. 따라서, 주변 블록의 움직임 벡터는 움직임 정보 예측 값(motion vector predictor, mvp)으로 사용될 수 있고, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터를 이용하여 유도될 수 있다. 또한, 움직임 벡터의 정확성을 높이기 위해서, 인코더에서 원본 영상으로 찾은 현재 블록의 최적의 움직임 벡터와 움직임 정보의 예측 값 간의 움직임 벡터의 차이(motion vector difference, mvd)가 시그널링될 수 있다.

움직임 벡터는 다양한 해상도를 가질 수 있으며, 블록 단위로 움직임 벡터의 해상도가 달라질 수 있다. 움직임 벡터 해상도는 정수 단위, 반화소 단위, 1/4 화소 단위, 1/16 화소 단위, 4의 정수 화소 단위 등으로 표현될 수 있다. 스크린 콘텐츠와 같은 영상은 문자와 같은 단순한 그래픽 형태이므로 보간(interpolation) 필터를 적용하지 않아도 되므로, 정수 단위와 4의 정수 화소 단위가 블록 단위 선택적으로 적용될 수 있다. 회전 및 스케일을 표현할 수 있는 어파인(Affine) 모드로 부호화된 블록은 형태의 변화가 심하므로, 정수 단위, 1/4 화소 단위, 1/16 화소 단위가 블록 기반 선택적으로 적용될 수 있다. 블록 단위로 움직임 벡터 해상도를 선택적으로 적용할 지에 대한 여부 정보는 amvr_flag으로 시그널링된다. 만일 적용되는 경우, 어떠한 움직임 벡터 해상도를 현재 블록에 적용할지는 amvr_precision_idx으로 시그널링된다.

양방향 예측이 적용되는 블록의 경우, 가중치 평균을 적용할 때 2개의 예측 블록 간의 가중치를 같거나 또는 다르게 적용할 수 있으며, 가중치에 대한 정보는 bcw_idx를 통해 시그널링된다.

움직임 정보의 예측 값의 정확도를 높이기 위해서, 머지(Merge) 또는 AMVP(dvanced motion vector prediction) 방법이 블록 단위 선택적으로 사용될 수 있다. Merge 방법은 현재 블록의 움직임 정보를 현재 블록에 인접한 주변 블록의 움직임 정보와 동일하게 구성하는 방법으로, 동질성을 갖는 움직임 영역에서 움직임 정보가 변화없이 공간적으로 전파됨으로써 움직임 정보의 부호화 효율을 증가시키는 장점이 있다. 반면에 AMVP 방법은 정확한 움직임 정보를 표현하기 위해 L0 및 L1 예측 방향으로 각각 움직임 정보를 예측하고 가장 최적의 움직임 정보를 시그널링하는 방법이다. 디코더는 AMVP 또는 Merge 방법을 통해 현재 블록에 대한 움직임 정보를 유도한 후, 참조 픽쳐(reference picture)에서 유도한 움직임 정보에 위치한 참조 블록을 현재 블록을 위한 예측 블록으로 사용한다.

Merge 또는 AMVP에서 움직임 정보를 유도하는 방법은 현재 블록의 주변 블록으로부터 유도된 움직임 정보의 예측 값을 사용하여 움직임 후보 리스트를 구성한 후, 최적의 움직임 후보에 대한 인덱스 정보가 시그널링되는 방법일 수 있다. AMVP의 경우, L0와 L1 각각 움직임 후보 리스트가 유도되므로, L0와 L1 각각에 대한 최적의 움직임 후보 인덱스(mvp_l0_flag, mvp_l1_flag)가 시그널링된다. Merge의 경우, 하나의 움직임 후보 리스트가 유도되므로, 하나의 머지 인덱스(merge_idx)가 시그널링된다. 하나의 코딩 유닛에서 유도되는 움직임 후보 리스트는 다양할 수 있으며, 각 움직임 후보 리스트마다 움직임 후보 인덱스 또는 머지 인덱스가 시그널링될 수 있다. 이때, Merge 모드로 부호화된 블록에서 잔여 블록에 대한 정보가 없는 모드를 머지 스킵(MergeSkip) 모드라고 할 수 있다.

SMVD(Symmetric MVD)는 양방향 예측(bi-directional prediction)의 경우에, L0 방향과 L1 방향의 MVD(Motion Vector Difference) 값이 대칭을 이루도록 하여 전송되는 움직임 정보의 비트량을 줄이는 방법이다. L0 방향과 대칭을 이루는 L1 방향의 MVD 정보는 전송하지 않으며, 더불어 L0 및 L1 방향의 참조 픽쳐 정보도 전송하지 않고 복호화 과정에서 유도한다.

OBMC(Overlapped Block Motion Compensation)는 블록 간의 움직임 정보가 서로 다른 경우, 주변 블록들의 움직임 정보를 사용하여 현재 블록에 대한 예측 블록들을 생성한 후, 예측 블록들을 가중치 평균하여 현재 블록에 대한 최종 예측 블록을 생성하는 방법이다. 이는 움직임 보상된 영상의 블록 경계에서 발생되는 블록킹 현상을 줄여주는 효과가 있다.

일반적으로 머지 움직임 후보는 움직임의 정확도가 낮다. 이러한 머지 움직임 후보의 정확도를 높이기 위해서, MMVD(Merge mode with MVD) 방법이 사용될 수 있다. MMVD 방법은 몇 개의 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 이용하여 움직임 정보를 보정하는 방법이다. MMVD 방법을 통해 획득되는 움직임 정보의 보정 값에 대한 정보(예를 들어, 움직임 차분 값 후보들 중에서 선택된 하나의 후보를 지시하는 인덱스 등)은 비트스트림에 포함되어 디코더로 전송될 수 있다. 기존의 움직임 정보 차분 값을 비트스트림에 포함하는 것에 비해 움직임 정보의 보정 값에 대한 정보를 비트스트림에 포함함으로써 비트량을 절약할 수 있다.

TM(Template Matching) 방법은 현재 블록의 주변 화소를 통해 템플릿을 구성하여 템플릿과 가장 유사도가 높은 매칭 영역을 찾아서 움직임 정보를 보정하는 방법이다. TM(Template matching)은 부호화되는 비트스트림의 크기를 줄이기 위해서, 움직임 정보를 비트스트림에 포함하지 않고 디코더에서 움직임 예측을 수행하는 방법이다. 이때, 디코더는 원본 영상이 없으므로 이미 복원된 주변 블록을 사용하여 현재 블록에 대한 움직임 정보를 개략적으로 유도할 수 있다.

DMVR(Decoder-side Motion Vector Refinement) 방법은 조금 더 정확한 움직임 정보를 찾기 위해 이미 복원된 참조 영상들의 상관성을 통해 움직임 정보를 보정하는 방법으로써, 현재 블록의 양방향 움직임 정보를 사용하여 2개의 참조 픽쳐의 임의의 정해진 영역 내에서 참조 픽쳐 내의 참조 블록 간의 가장 매칭이 잘되는 지점을 새로운 양방향 움직임으로 사용하는 방법이다. 이러한 DMVR이 수행될 때, 인코더는 하나의 블록 단위에서 DMVR을 수행하여 움직임 정보를 보정한 후, 다시 블록을 서브 블록으로 분할하여 각 서브 블록 단위에서 DMVR을 수행하여 서브 블록의 움직임 정보를 다시 보정할 수 있으며, 이를 MP-DMVR(Multi-pass DMVR)이라 할 수 있다.

LIC(Local Illumination Compensation) 방법은 블록 간의 휘도 변화를 보상하는 방법으로, 현재 블록에 인접한 주변 화소들을 사용하여 선형 모델을 유도한 후, 선형 모델을 통해 현재 블록의 휘도 정보를 보상하는 방법이다.

기존 비디오 부호화 방법들은 상하좌우의 평행 이동만을 고려한 움직임 보상을 수행하기 때문에, 현실에서 일반적으로 접하는 확대, 축소, 회전 등과 같은 움직임 포함하고 있는 비디오들의 부호화 시 부호화 효율이 저하된다. 이러한 확대, 축소, 회전에 대한 움직임을 표현하기 위하여, 4개(회전) 또는 6개(확대, 축소, 회전) 파라미터 모델을 이용하는 Affine 모델 기반 움직임 예측 기술이 적용될 수 있다.

BDOF(Bi-Directional Optical Flow)는 양방향 움직임으로 구성된 블록의 참조 블록으로부터 광-흐름(optical-flow) 기반으로 화소의 변화량을 추정하여 예측 블록을 보정하는데 사용된다. 이러한 VVC의 BDOF에서 유도된 움직임 정보를 이용하여 현재 블록의 움직임을 보정할 수 있다.

PROF(Prediction refinement with optical flow)는 서브 블록 단위 Affine 움직임 예측의 정확도를 픽셀 단위 움직임 예측의 정확도와 유사하도록 개선하기 위한 기술이다. PROF는 BDOF와 유사하게 광-흐름(optical-flow)에 기반하여 서브 블록 단위로 Affine 움직임 보상된 픽셀 값들에 대해 픽셀 단위로 보정 값을 계산하여 최종 예측 신호를 획득하는 기술이다.

CIIP(Combined Inter-/Intra-picture Prediction)방법은 현재 블록에 대한 예측 블록을 생성할 때, 화면 내 예측 방법으로 생성한 예측 블록과 화면 간 예측 방법으로 생성한 예측 블록들을 가중치 평균하여 최종 예측 블록을 생성하는 방법이다.

IBC(Intra Block Copy) 방법은 현재 블록과 가장 유사한 부분을 현재 픽쳐 내의 이미 복원된 영역에서 찾아서, 해당 참조 블록을 현재 블록에 대한 예측 블록으로 사용하는 방법이다. 이때, 현재 블록과 참조 블록 간의 거리인 블록 벡터(Block Vector)와 관련된 정보는 비트스트림에 포함될 수 있다. 디코더는 비스트스림에 포함된 블록 벡터와 관련된 정보를 파싱하여 현재 블록을 위한 블록 벡터를 계산하거나 설정할 수 있다.

BCW(Bi-prediction with CU-level Weights) 방법은 서로 다른 참조 픽쳐로 부터 움직임 보상된 두 개의 예측 블록에 대하여, 평균으로 예측 블록을 생성하지 않고, 블록 단위로 적응적으로 가중치를 적용하여 움직임 보상된 두 개의 예측 블록에 가중치 평균을 수행하는 방법이다.

MHP(Multi-hypothesis prediction) 방법은 화면 간 예측 시 단방향 및 양방향 움직임 정보에 추가적인 움직임 정보를 전송함으로써, 다양한 예측 신호를 통한 가중치 예측을 수행하는 방법이다.

CCLM(Cross-component linear model)은 휘도 신호와 해당 휘도 신호와 동일한 위치에 있는 색차 신호 간의 높은 상관성을 이용하여 선형 모델을 구성한 후, 해당 선형 모델을 통해 색차 신호를 예측하는 방법이다. 현재 블록에 인접한 주변 블록 중에서 복원이 완료된 블록을 사용하여 템플릿을 구성한 후, 템플릿을 통해 선형 모델에 대한 파라미터가 유도된다. 다음으로, 영상 포맷에 따라 선택적으로 색차 블록의 크기에 맞게 복원된 현재 휘도 블록이 다운 샘플링된다. 마지막으로, 다운 샘플링된 휘도 블록과 해당 선형 모델을 이용하여 현재 블록의 색차 블록을 예측한다. 이때, 2개 이상의 선형 모델을 사용하는 방법을 MMLM(Multi-model Linear mode)이라고 한다.

독립 스칼라 양자화(independent scalar quantization)에서, 입력된 계수 t_k에 대한 복원된 계수 t'_k는 관련된 양자화 인덱스(quantization index) q_k에만 의존적이다. 즉, 임의의 복원된 계수에 대한 양자화 인덱스(quantization index)는 다른 복원된 계수들에 대한 양자화 인덱스들과는 다른 값을 가진다. 이때 t'_k는 t_k에서 양자화 오차가 포함된 값일 수 있으며, 양자화 파라미터에 따라 서로 다르거나 또는 같을 수 있다. 여기서, t'_k는 복원된 변환 계수 또는 역양자화된 변환계수라고 명명할 수 있으며, 양자화 인덱스를 양자화된 변환 계수라고 명명할 수도 있다.

균일 복원 양자화(URQ; Uniform Reconstruction Quantizers)에서, 복원된 계수들은 동일한 간격으로 배치되는 특성을 지닌다. 이때 인접하는 두 복원 값들 사이의 거리를 양자화 단계 크기(quantization step size)라고 할 수 있다. 복원된 값 중에는 0을 포함할 수 있으며, 사용 가능한 복원 값들의 전체 집합(set)은 양자화 단계 크기에 따라 고유하게 정의될 수 있다. 양자화 단계 크기는 양자화 파라미터에 따라 달라질 수 있다.

기존 방법에서는 양자화로 인해 허용 가능한 복원된 변환 계수들의 집합(세트)이 감소하며, 이러한 집합의 원소(element)는 유한 개일 수 있다. 이로 인해, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하는데 한계가 존재한다. 이러한 평균적인 오차를 최소화하기 위한 방법으로 벡터 양자화(Vector Quantization)를 사용할 수 있다.

비디오 부호화에서 사용되는 간단한 형태의 벡터 양자화 방법에는 부호 데이터 은닉(sign data hiding)이 있다. 이는 인코더에서 0이 아닌 하나의 계수에 대한 부호를 부호화하지 않고, 디코더에서는 해당 계수에 대한 부호를 모든 계수들에 대한 절대값의 합이 짝수인지 또는 홀수인지에 따라 결정하는 방법이다. 이를 위해 인코더에서는 적어도 하나의 계수가 '1'이 증가되거나 또는 감소될 수 있으며, 이는 율-왜곡(rate-distortion)에 대한 비용(Cost) 관점에서 최적이 되도록 적어도 하나의 계수가 선택되어 값이 조정될 수 있다. 실시 일 예로, 양자화 간격의 경계에 가까운 값을 가지는 계수가 선택될 수 있다.

또 다른 벡터 양자화 방법에는 트렐리스 부호화된 양자화(Trellis-Coded Quantization)가 있으며, 비디오 부호화에서는 종속 양자화(dependent quantization)에서 최적화된 양자화 값을 얻기 위한 최적의 경로 탐색 기법으로 활용된다. 블록 단위로, 블록 내 모든 계수들에 대한 양자화 후보들을 트렐리스 그래프에 배치하고, 최적화된 양자화 후보들 간의 최적의 트렐리스 경로를 율-왜곡(rate-distortion)에 대한 비용(Cost)을 고려하여 탐색한다. 구체적으로, 비디오 부호화에 적용된 종속 양자화는 변환 계수에 대한 허용 가능한 복원된 변환 계수들의 집합이 복원 순서에서 현재 변환 계수에 선행하는 변환 계수의 값에 의존하도록 설계될 수 있다. 이때, 여러 개의 양자화기를 변환 계수에 따라 선택적으로 사용하게 함으로써, 원본 영상과 복원된 영상 간의 평균적인 오차를 최소화하여 부호화 효율을 높이는 효과가 있다.

인트라 예측 부호화 기술 중에서 MIP(Matrix Intra Prediction) 방법은 행렬 기반 인트라 예측 방법으로 현재 블록에 인접한 주변 블록의 픽셀로부터 방향성을 가지는 예측 방법과 달리, 주변 블록의 좌측 및 상단의 픽셀들을 미리 정의된 행렬 매트릭스와 오프셋 값을 이용하여 예측 신호를 구하는 방법이다.

현재 블록의 인트라 예측 모드를 유도하기 위해서, 현재 블록에 인접하면서 복원된 임의의 영역인 템플릿(template)을 기반으로, 해당 템플릿의 주변 픽셀을 통해 유도된 템플릿에 대한 인트라 예측 모드가 현재 블록의 복원을 위해 이용할 수 있다. 우선, 디코더는 템플릿에 인접한 주변 픽셀(reference)을 이용하여 템플릿에 대한 예측 템플릿을 생성하고, 이미 복원된 템플릿과 가장 유사한 예측 템플릿을 생성한 인트라 예측 모드를 현재 블록의 복원을 위해 사용할 수 있다. 이러한 방법을 TIMD(Template intra mode derivation)이라고 할 수 있다.

일반적으로 인코더는 예측 블록을 생성하기 위한 예측 모드를 결정하여 결정된 예측 모드에 대한 정보가 포함된 비트스트림을 생성할 수 있다. 디코더는 수신한 비트스트림을 파싱하여 인트라 예측 모드를 설정할 수 있다. 이때, 예측 모드에 대한 정보의 비트량은 전체 비트스트림 크기의 10% 정도일 수 있다. 예측 모드에 대한 정보의 비트량을 감소시키기 위해 인코더는 비트스트림에 인트라 예측 모드에 대한 정보를 포함하지 않을 수 있다. 이에, 디코더는 주변 블록의 특성을 이용하여 현재 블록의 복원을 위한 인트라 예측 모드를 유도(결정)할 수 있고, 유도된 인트라 예측 모드를 이용하여 현재 블록을 복원할 수 있다. 이때, 디코더는 인트라 예측 모드를 유도하기 위해 현재 블록에 인접한 주변 화소(픽셀)들마다 소벨(Sobel) 필터를 가로 및 세로 방향으로 적용하여 방향성 정보를 유추한 후, 해당 방향성 정보를 인트라 예측 모드로 매핑하는 방법을 이용할 수 있다. 디코더가 주변 블록을 이용하여 인트라 예측 모드를 유도하는 방법은 DIMD(Decoder side intra mode derivation)로 기술될 수 있다.

도 7은 인터 예측에서 움직임 후보 리스트를 구성하기 위해 사용되는 주변 블록들의 위치를 나타낸 도면이다.

주변 블록들은 공간적인 위치의 블록이거나 시간적인 위치의 블록일 수 있다. 현재 블록에 공간적으로 인접한 주변 블록은 좌측(Left, A1) 블록, 좌하측(Left Below, A0) 블록, 상측(Above, B1) 블록, 상우측(Above Right, B0) 블록 또는 상좌측(Above Left, B2) 블록 중 적어도 하나가 될 수 있다. 현재 블록에 시간적으로 인접한 주변 블록은 대응되는 픽쳐(Collocated picture)에서 현재 블록의 하우측(bottom Right, BR) 블록의 좌상단 픽셀 위치를 포함하는 블록이 될 수 있다. 상기 현재 블록에 시간적으로 인접한 주변 블록이 인트라 모드로 부호화되거나 상기 현재 블록에 시간적으로 인접한 주변 블록이 사용할 수 없는 위치에 존재하면, 현재 픽쳐에 대응되는 픽쳐(Collocated picture)에서 현재 블록의 가로 및 세로의 중앙(Center, Ctr) 픽셀 위치를 포함하는 블록이 시간적 주변 블록으로 사용될 수 있다. 대응되는 픽쳐에서 유도된 움직임 후보 정보는 TMVP(Temporal Motion Vector Predictor)라 지칭될 수 있다. TMVP는 하나의 블록에서 하나만 유도될 수 있고, 하나의 블록을 여러 개의 서브 블록으로 분할한 후, 각 서브 블록마다 각각의 TMVP 후보가 유도될 수 있다. 서브 블록 단위의 TMVP 유도 방법은 sbTMVP(sub-block Temporal Motion Vector Predictor)로 지칭될 수 있다.

본 명세서에서 설명하는 방법들이 적용될 것인지 여부는 슬라이스 타입 정보 (예, I 슬라이스, P 슬라이스, B 슬라이스 인지 여부), 타일인지 여부, 서브 픽쳐인지 여부, 현재 블록의 크기, 코딩 유닛의 깊이, 현재 블록이 휘도 블록인지 색차 블록인지 여부, 참조 프레임인지 비참조 프레임인지 여부, 참조 순서 및 계층에 따른 시간적인 계층 등에 대한 정보들 중 적어도 어느 하나에 기초하여 결정될 수 있다. 본 명세서에서 설명하는 방법들이 적용될 것인지 여부를 결정하기 위해 사용되는 정보들은 디코더 및 인코더 간 미리 약속된 정보일 수 있다. 또한, 이러한 정보들은 프로파일 및 레벨에 따라 결정되어 있을 수 있다. 이러한 정보들은 변수 값으로 표현될 수 있고, 비트스트림에는 변수 값에 대한 정보가 포함될 수 있다. 즉, 디코더는 비트스트림에 포함된 변수 값에 대한 정보를 파싱하여 상술한 방법들이 적용되는지 여부를 결정할 수 있다. 예를 들어, 코딩 유닛의 가로의 길이 또는 세로의 길이에 기초하여 상술한 방법들이 적용될 것인지 여부가 결정될 수 있다. 가로의 길이 또는 세로의 길이가 32 이상(예, 32, 64, 128 등)이면 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 32 보다 작은 경우(예, 2, 4, 8, 16)에 상술한 방법들은 적용될 수 있다. 또한 가로의 길이 또는 세로의 길이가 4 또는 8인 경우 상술한 방법들은 적용될 수 있다.

도 8은 본 발명의 일 실시예에 따른 움직임 정보를 보정하는 방법을 나타내는 도면이다.

도 8(a)는 현재 블록의 주변 블록으로부터 유도된 움직임 정보를 보정(revision)하여 새로운 움직임 정보를 출력하는 과정을 나타낸다. 도 8(a)를 참조하면 디코더는 현재 블록의 주변 블록에 대한 움직임 정보를 다양한 움직임 보정 방법으로 보정하여 보정된 움직임 정보를 획득할 수 있다. 도 8(b)를 참조하면 디코더는 현재 블록의 주변 블록으로부터 움직임 후보 리스트를 유도한 후, 유도된 움직임 후보 리스트 내의 하나 이상의 움직임 후보들을 다양한 움직임 보정 방법으로 보정하여 보정된 움직임 후보 리스트를 획득할 수 있다. 움직임 후보 리스트는 현재 블록의 주변 블록으로부터 유도된 움직임 정보를 이용하여 구성될 수 있다. 디코더는 움직임 후보 리스트 내의 하나 이상의 움직임 후보들을 각각 또는 전부에 대해 움직임 보정 과정을 수행하여 보정된 하나 이상의 움직임 후보들을 포함하는 보정된 움직임 후보 리스트를 획득할 수 있다. 도 8(c)를 참조하면 디코더는 현재 블록에 대한 초기 움직임 정보를 다양한 움직임 보정 방법으로 보정하여 보정된 움직임 정보를 획득할 수 있다.

도 9는 본 발명의 일 실시예에 따른 움직임 보정 방법을 재귀적으로 수행하여 현재 블록에 대한 움직임 정보를 보정하는 방법을 나타내는 도면이다.

도 9(a)를 참조하면 디코더는 주변 블록 정보를 이용하여 현재 블록에 대한 움직임 후보 리스트를 구성한 후 하나 이상의 움직임 보정 방법을 이용하여 움직임 후보 리스트 내 움직임 후보를 보정하고, 보정된 움직임 후보를 다시 재정렬하여 보정된 움직임 후보 리스트를 획득할 수 있다. 이러한 움직임 후보 보정 방법은 재귀적으로 수행될 수 있다. 도 9(b)를 참조하면 디코더는 초기 움직임 정보를 획득하고, 하나 이상의 움직임 보정 방법을 이용하여 움직임 정보를 보정하여 보정된 움직임 정보를 획득할 수 있다. 이러한 움직임 후보 보정 방법은 재귀적으로 수행될 수 있다.

디코더는 움직임 보정 방법을 재귀적으로 수행하여 현재 블록에 대한 초기 움직임 정보를 보정할 수 있다. 디코더는 현재 블록의 주변 블록들을 이용하여 현재 블록에 대한 움직임 후보 리스트를 구성하고, 하나 이상의 움직임 보정 방법을 재귀적으로 수행하여 움직임 정보를 보정할 수 있다. 이때, 하나 이상의 움직임 보정 방법은 MVD(Motion Vector Difference), TM(Template Matching), BM(Bilateral Matching), MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow 기반 TM, Multi pass DMVR 등일 수 있다. MVD는 인코더가 움직임 정보에 대한 보정 값을 비트스트림에 포함하여 생성하고, 디코더는 비트스트림을 통해 움직임 정보에 대한 보정 값을 획득하여 움직임 정보를 보정하는 방법일 수 있다(도 9의 MV 차분 값 보정). TM은 디코더가 현재 블록의 주변 화소에 기초하여 템플릿을 구성하고, 구성된 템플릿과 가장 유사도가 높은 매칭 영역을 찾아 움직임 정보를 보정하는 방법일 수 있다. BM은 디코더가 현재 블록의 움직임 정보를 기반으로 유도된 L0 픽쳐 리스트에 포함된 픽쳐 내의 참조 블록과 L1 픽쳐 리스트에 포함된 픽쳐 내의 참조 블록 간의 유사도에 기초하여 움직임 정보를 보정하는 방법일 수 있다. MMVD 방법은 하나 이상의 움직임 차분 값 후보들 중에서 하나를 이용하여 움직임 정보를 보정하는 방법이다. 인코더는 하나 이상의 움직임 차분 값 후보들 중에서 어느 하나를 나타내는 인덱스에 대한 정보를 포함하는 비트스트림을 생성할 수 있다. 디코더는 비트스트림에 포함된 인덱스에 대한 정보를 파싱하여 인덱스가 지시하는 차분 값 후보를 획득하고, 획득한 차분 값 후보에 기초하여 움직임 정보를 보정할 수 있다. MMVD 기반의 TM 방법은 움직임 후보 리스트와 하나 이상의 움직임 차분 값 후보들을 이용하여 구성되는 확장된 움직임 후보 리스트가TM 코스트 값에 기초하여 재정렬되고, 재정렬된 리스트 내의 움직임 후보를 이용하여 현재 블록의 움직임 정보를 보정하는 방법이다. 인코더는 재정렬된 리스트 내의 후보들 중 어느 하나를 나타내는 인덱스에 대한 정보를 포함하는 비트스트림을 생성할 수 있다. 디코더는 비트스트림에 포함된 인덱스에 대한 정보를 파싱하여 해당 인덱스가 지시하는 움직임 보정 후보를 현재 블록의 움직임 정보의 보정 값으로 사용할 수 있다. Optical flow 기반 TM 방법은 디코더가 현재 블록에 인접한 영역의 템플릿을 Optical flow 맵으로 구성하여 참조 픽쳐의 Optical flow 맵과 유사한 영역을 찾아서 움직임 정보를 보정하는 방법일 수 있다.

하나 이상의 움직임 보정 방법은 머지 또는 AMVP 모드에 적용될 수 있다. 도 9를 참조하면 디코더는 현재 블록에 대한 움직임 후보 리스트(예, 머지 후보 리스트)를 유도(구성)할 수 있다. 그리고 디코더는 하나 이상의 움직임 보정 방법을 이용하여 움직임 후보 리스트 내 움직임 정보(예, 머지 후보)를 각각 또는 전부 보정할 수 있다. 디코더는 보정된 움직임 정보에 대한 코스트(Cost) 값에 기초하여 움직임 후보 리스트를 재정렬할 수 있다. 상술한 바와 같이 디코더는 재정렬된 움직임 후보 리스트 내의 움직임 후보들 각각 또는 전부에 대해 상술한 보정 방법을 수행하고, 움직임 후보 리스트를 재정렬할 수 있다. 즉, 디코더는 상술한 움직임 후보들에 대한 보정 및 움직임 후보 리스트의 재정렬을 재귀적으로 수행할 수 있다. 이러한 방법이 적용되면 움직임 후보 리스트 내 움직임 후보에 대한 움직임 정보의 정확도가 높아지고, 이로 인해, 잔여 신호가 줄어들 수 있어, 잔여 신호에 대한 비트량이 감소되는 효과가 있을 수 있다. 디코더는 재정렬된 움직임 후보 리스트 내의 움직임 후보들 중 어느 하나를 지시하는 인덱스를 별도로 시그널링 받고 인덱스가 지시하는 움직임 후보에 기초하여 현재 블록을 예측(복원) 할 수 있다. 또는 디코더는 코스트 값이 가장 낮은 움직임 후보를 선택하여 코스트 값이 가장 낮은 움직임 후보에 기초하여 현재 블록을 예측(복원)할 수 있다.

머지 후보의 정확도를 높이기 위해서, 인코더는 MMVD(Merge mode with MVD) 방법을 사용하여 획득되는 움직임 정보의 보정 값들 중 어느 하나를 나타내는 인덱스에 대한 정보를 포함하여 비트스트림을 생성할 수 있고, 디코더는 비트스트림에 포함된 인덱스에 대한 정보를 파싱하여 획득되는 인덱스를 통해 움직임 정보의 보정 값을 획득하고, 움직임 종보의 보정 값을 현재 블록을 예측(복원)하는데 사용할 수 있다. MMVD 방법은 복수 개의 움직임 차분 값 후보들 중에서 어느 하나를 선택하는 방법으로 기존의 움직임 정보 차분 값을 정확하게 보내는 것 대비 정확도는 다소 부족하나 많은 비트량을 절약할 수 있다는 효과가 있다. 정확도를 조금 더 높이기 위해 디코더는 MMVD 방법을 사용하여 획득되는 움직임 정보의 보정 값에 기초하여 보정되는 제1 보정 움직임 정보에 TM, BM, MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow기반 TM, Multi pass DMVR 방법 중 적어도 어느 하나의 방법을 추가적으로 적용하여 제2 보정 움직임 정보를 획득할 수 있다. 또는, 인코더는 TM, BM, MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow 기반 TM, Multi pass DMVR 방법 중 적어도 어느 하나의 방법을 적용하여 움직임 정보를 보정한 후, 상기 적어도 어느 하나의 방법을 적용하여 획득되는 움직임 정보에 대한 보정 값에 대한 정보를 추가적으로 포함하여 비트스트림을 생성할 수 있다.

AMVP를 위해서는 움직임 정보의 차분 값이 비스트스트림에 포함될 수 있다. 디코더는 비트스트림에 포함된 움직임 정보의 차분 값을 사용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 움직임 정보의 차분 값이 비트스트림에 포함되기 때문에, 비트량이 증가되는 문제가 있다. 이를 위해 상술한 방법은 AMVP 후보 리스트에도 적용될 수 있다. 즉, AMVP를 이용하여 획득된 후보 리스트 내 하나 이상의 후보들 각각 또는 전부는 TM, BM, MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow기반 TM, Multi pass DMVR 중 적어도 어느 하나의 방법에 기초하여 보정될 수 있다. 보정된 움직임 정보가 사용되기 때문에 실제 비트스트림에 포함되는 움직임 정보의 차분 값에 대한 비트량이 줄어드는 효과가 있다.

MVD 방법이 먼저 수행되고, TM, BM, MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow기반 TM, Multi pass DMVR 중 적어도 어느 하나를 이용한 보정 방법이 수행될 수 있다. 또는 인코더는 MVD를 사용하여 초기 움직임 정보에 대한 보정 값을 포함한 비트스트림을 생성할 수 있다. 디코더는 비트스트림에 포함된 초기 움직임 정보에 대한 보정 값에 기초하여 상술한 움직임 보정 방법을 수행할 수 있다.

이하에서 MVD(Motion Vector Difference), TM(Template Matching), BM(Bilateral Matching), MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow 기반 TM, Multi pass DMVR 등을 적용하는 방법에 대해 설명한다.

현재 블록의 부호화 모드(예측 모드)에 기초하여 사용되는 움직임 보정 방법이 결정될 수 있다. 예를 들어, 현재 블록이 GPM 모드로 부호화된 경우, 먼저 MMVD를 이용하여 보정된 MV 차분 값에 대해 TM, BM, Optical flow 기반 TM 방법 중에서 적어도 어느 하나가 수행될 수 있다. 예를 들어, 현재 블록이 AMVP 모드로 부호화된 경우, 머지 모드의 MMVD를 이용하여 보정된 MV 차분 값에 대해 TM, BM, Optical flow 기반 TM 방법 중에서 적어도 어느 하나가 수행될 수 있다. 이때, AMVP 모드의 MVD는 적용되지 않을 수 있다.

예를 들어, 현재 블록에 인접한 주변 블록들의 움직임 정보가 서로 같거나 비슷한 경우, MV 차분 값에 대한 보정은 수행되지 않고, TM, BM, Optical flow 기반 TM 방법 중에서 적어도 어느 하나가 수행될 수 있다. 현재 블록의 움직임도 주변 블록의 움직임과 비슷할 가능성이 크기 때문이다. 한편 현재 블록에 인접한 주변 블록들의 움직임 정보들의 분포가 서로 비슷하지 않는 경우, MVD 또는 MMVD를 이용하여 보정된 MV 차분 값에 대해 TM, BM, Optical flow 기반 TM 방법 중에서 적어도 어느 하나가 수행될 수 있다. 현재 블록의 움직임이 주변 블록과 상이할 수 있기 때문이다.

예를 들어, 현재 블록의 크기, 현재 블록이 휘도 성분 블록인지 색차 성분 블록인지 여부, 현재 블록에 대한 양자화 파라미터 정보, 현재 블록의 움직임 해상도 정보들, 현재 블록에 차분 신호가 존재하는지 여부, 현재 블록에 대한 차분 신호에서 0이 아닌 양자화 인덱스들의 절대값의 합 또는 개수 중 적어도 어느 하나에 기초하여 움직임 보정 방법(예, MVD(Motion Vector Difference), TM(Template Matching), BM(Bilateral Matching), MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow 기반 TM, Multi pass DMVR 등)이 선택될 수 있다. 현재 블록의 크기가 임의의 크기 이상이거나 현재 블록의 움직임 해상도가 1/16 화소 단위인 경우, TM 방법은 선택되지 않을 수 있다. TM 방법은 복잡도가 높기 때문이다. 현재 블록이 색차 성분 블록인 경우, TM 방법이 수행되지 않고, 현재 블록의 휘도 성분 블록에서 TM 방법을 통해 보정된 움직임 정보가 사용될 수 있다. 예를 들어, 현재 블록의 휘도 성분 블록에서 TM 방법을 통해 보정된 움직임 정보는 스케일(scale)되어 현재 블록의 색차 블록에 사용될 수 있다.

예를 들어, 현재 블록의 특성에 따라 움직임 보정 방법(예, MVD(Motion Vector Difference), TM(Template Matching), BM(Bilateral Matching), MMVD(Merge mode with MVD), MMVD(Merge mode with MVD) 기반의 TM, Optical flow 기반 TM, Multi pass DMVR 등)은 선택될 수 있다. 각 움직임 보정 방법마다 복잡도 및 정확도 간의 상충관계(trade-off)가 존재하기 때문이다. 예를 들어, TM은 복잡도가 높고 병렬처리가 불가한 반면에 가장 높은 성능을 보이며, BM은 TM보다 성능은 낮지만 병렬처리가 가능하며, Optical flow는 복잡도는 낮고 병렬처리도 가능하지만, 성능이 낮다는 단점이 있다. 이때, 선택되는 움직임 보정 방법은 별도로 시그널링될 수 있다. 예를 들어, 디코더는 비트스트림에 포함된 신택스 요소에 의해 움직임 보정 방법을 결정할 수 있다. 이때, 신택스 요소는 SPS 레벨, PPS 레벨, 픽쳐 레벨, 또는 슬라이스 레벨, CU(Coding Unit) 레벨에서 시그널링될 수 있다.

도 10은 본 발명의 일 실시예에 따른 TM 방법이 수행되는 순서를 나타내는 도면이다.

도 10을 참조하면 디코더는 주변 블록으로부터 유도된 초기 움직임 정보(initial MV, reference index)를 획득할 수 있다. 디코더는 초기 움직임 정보에 기초하여 참조 영상 내에서 탐색 영역을 설정할 수 있다. 디코더는 미리 정의된 탐색 패턴에 따라, 탐색 영역 내에서 몇 개의 후보 위치를 선정할 수 있다. 디코더는 현재 블록의 주변 블록을 사용하여 현재 블록에 대한 템플릿을 구성하고, 후보 위치를 기준으로 현재 블록에 대한 템플릿과 동일한 크기의 참조 영상 템플릿을 구성할 수 있다. 디코더는 현재 블록에 대한 템플릿과 참조 영상 템플릿 간의 코스트(cost) 값을 획득할 수 있다. 코스트 값은 SAD(Sum of Absolute Differences) 또는 MRSAD(Mean-Removed SAD)를 통해 획득될 수 있다. 디코더는 탐색 영역 내의 모든 후보 위치들에 대하여, 코스트 값을 획득하고, 최소의 코스트 값에 대응되는 위치의 움직임 후보의 정보를 최종 움직임 정보(도 10의 개선된 움직임 정보)로 사용할 수 있다. 본 명세서에서 코스트 값을 획득한다는 의미는 디코더가 코스트 값을 계산한다는 의미와 동일할 수 있다.

도 11은 본 발명의 일 실시예에 따른 초기 움직임 정보에 기초하여 TM 방법을 위한 탐색 영역을 설정하는 방법을 나타내는 도면이다.

도 11을 참조하면 디코더는 참조 픽쳐에서 현재 블록에 대응되는 참조 블록을 찾기 위해, 현재 블록의 좌상단 위치를 기준으로 초기 움직임 정보(initial MV)만큼 이동한 위치를 참조 블록의 위치로 설정할 수 있다. 디코더는 참조 블록의 좌상단 위치를 기준으로 임의의 (m x n) 크기만큼 탐색 영역(Search range)을 설정할 수 있다. 이때, m x n 은 16 x 16일 수 있다. 예를 들어, 탐색 영역은 초기 움직임 정보의 위치를 기준으로 수평 방향으로 -8에서 8만큼의 범위를 가질 수 있고, 수직 방향으로 -8에서 8까지의 범위를 가질 수 있다. 구체적으로 초기 움직임 정보가 나타내는 위치를 수평 방향, 수직 방향의 좌표 형태로 표현하면 (x, y)일 수 있다. 이때, 탐색 영역의 수평 방향의 좌표는 x-8에서 x+8 까지의 범위일 수 있고, 수직 방향의 좌표는 y-8에서 y+8 까지의 범위일 수 있다 이후 디코더는 현재 블록에 인접한 블록을 이용하여 현재 블록의 좌측 템플릿과 현재 블록의 상측 템플릿을 구성할 수 있다. 또한, 디코더는 참조 픽쳐에서도 설정한 참조 블록의 위치를 기준으로 참조 블록의 좌측 템플릿과 참조 블록의 상측 템플릿을 구성한다. 이때, 현재 블록의 좌측 템플릿과 참조 블록의 좌측 템플릿의 크기는 동일할 수 있고, 현재 블록의 상측 템플릿과 참조 블록의 상측 템플릿의 크기는 동일할 수 있다.

도 12는 본 발명의 일 실시예에 따른 탐색 영역 내에서 탐색되는 움직임 후보의 위치를 나타내는 도면이다.

도 12를 참조하면 TM 방법을 위한 탐색 영역 내에서 탐색되는 움직임 후보의 위치는 초기 움직임 정보에 대한 위치(도 12의 가운데 점)를 기준으로 설정될 수 있다. 움직임 후보가 탐색되는 위치는 탐색 패턴에 따라 달라질 수 있다. 탐색 패턴은 다이아몬드DIAMOND) 패턴, 크로스(CROSS) 패턴 등이 있을 수 있다. 도 12에서 ◇는 다이아몬드 패턴에 따라 움직임 후보가 탐색되는 위치를 나타내고, +는 크로스 패턴에 따라 움직임 후보가 탐색되는 위치를 나타낼 수 있다. 패턴의 간격은 초기 움직임 정보에서 멀어질수록 간격이 더 넓어지도록 설정되거나 좁아지도록 설정될 수 있다.

도 13은 본 발명의 일 실시예에 따른 움직임 후보의 위치를 탐색하는 과정을 나타내는 도면이다.

구체적으로, 도 13은 TM 방법을 위한 움직임 후보가 탐색되는 위치에 대한 탐색 수행 과정을 나타낸 순서도이다. 도 13을 참조하면 디코더는 초기 움직임 정보에 대한 화소(픽셀) 기반 코스트 값을 획득(계산)할 수 있다. 디코더는 탐색 수행의 반복횟수가 '0'이라면, TM 방법을 수행하지 않고 종료할 수 있다. 그렇지 않다면(즉, 탐색 수행의 반복횟수가 '0'이 아니라면), 디코더는 TM 방법을 수행할 수 있다. 이때, 반복횟수는 1 이상의 임의의 정수 값일 수 있다. 또한, 반복횟수, 초기 탐색 패턴, 초기 탐색 간격은 도 13을 통해 설명하는 탐색 수행 과정이 수행되기 전에 설정될 수 있다. 예를 들어, 반복횟수는 '375', 초기 탐색 패턴은 '다이아몬드(DIAMOND)', 초기 탐색 간격은 '6'으로 설정될 수 있다.

다음으로, 탐색 패턴과 탐색 간격이 재설정될 수 있다. 탐색 패턴과 탐색 간격은 현재 블록의 크기, 현재 블록이 휘도 성분 블록인지 색차 성분 블록인지 여부, 현재 움직임 해상도, 반복횟수, 이전 반복 단계에서 계산된 움직임 후보 위치에 대한 코스트 값의 분포 중에서 적어도 하나 이상에 기초하여 결정될 수 있다. 이하에서 탐색 패턴과 탐색 간격을 설정하는 방법에 대해 설명한다.

탐색 간격은 현재 블록의 움직임 정보 해상도에 따라 결정될 수 있다. 움직임 정보 해상도는 1의 정수 화소, 4의 정수 화소, 1/2 정수 화소, 1/4 정수 화소, 1/16 정수 화소 단위가 될 수 있다. 움직임 정보 해상도가 1/4 정수 화소인 경우 초기 탐색 간격은 6으로 설정될 수 있고 그 외의 경우에 초기 탐색 간격은 4로 설정될 수 있다.

탐색 패턴은 다이아몬드 패턴 또는 크로스 패턴으로 결정될 수 있다. 탐색 간격은 초기 탐색 간격에서 임의의 간격만큼 감소되거나 증가되면서 조정될 수 있다. 예를 들어, 탐색 패턴과 탐색 간격은 반복 단계에 다라 달라질 수 있다. 반복 단계는 반복횟수가 0이 아닌 경우 탐색 패턴과 탐색 간격의 재설정이 몇 번째로 반복되는지를 나타낼 수 있다. 즉, 몇 번째 반복 단계인지에 따라 탐색 패턴과 탐색 간격이 달라질 수 있다. 예를 들어 첫 번째 반복 단계에서 탐색 패턴과 탐색 간격은 다이아몬드 탐색 패턴과 초기 탐색 간격으로 설정될 수 있다. 두 번째 단계에서 탐색 패턴과 탐색 간격은 크로스 패턴과 초기 탐색 간격에서 1만큼 감소시킨 탐색 간격으로 설정될 수 있다. 두 번째 단계 이후 단계에서 탐색 패턴과 탐색 간격은 크로스 패턴과 이전 단계보다 1만큼 감소된 탐색 간격으로 설정될 수 있다.

탐색 패턴과 탐색 간격은 현재 블록의 컬러 성분에 따라 설정될 수 있다. 색차 성분에 대한 탐색 패턴과 탐색 간격은 휘도 성분에 대한 탐색 패턴과 탐색 간격보다 넓게 설정될 수 있다. 휘도 성분(신호) 대비 색차 성분(신호)는 공간적인 상관도가 높기 때문이다. 또는, 성능을 높이기 위해서 색차 성분에 대한 탐색 패턴과 탐색 간격은 휘도 성분에 대한 탐색 패턴과 탐색 간격보다 더 짧게 설정될 수 있다.

탐색 패턴과 탐색 간격은 현재 블록의 크기에 기초하여 설정될 수 있다. 현재 블록의 크기가 임의의 정해진 값보다 큰 경우, 탐색 패턴은 크로스 패턴이 사용되고 탐색 간격은 초기 탐색 간격보다 넓게 설정될 수 있다. 예를 들어 탐색 간격은 '7'일 수 있다. 또는, 성능을 높이기 위해 현재 블록의 크기가 임의의 정해진 수보다 큰 경우, 탐색 패턴은 다이아몬드 패턴이 사용되고 탐색 간격은 초기 탐색 간격보다 짧게 설정될 수 있다. 예를 들어 탐색 간격은 '5'일 수 있다. 현재 블록의 크기는 16x16, 32x32가 될 수 있으며, 탐색 패턴과 탐색 간격은 현재 블록의 가로의 크기 및 세로의 크기의 합에 기초하여 설정될 수 있다.

다음으로, 디코더는 탐색 패턴과 탐색 간격을 이용하여 탐색되는 움직임 후보의 위치에 대한 보정 값(offset)을 설정하고, 탐색되는 움직임 후보들에 대한 평가를 수행할 수 있다. 본 명세서에서의 평가는 코스트 값을 획득하는 것을 의미할 수 있다. 움직임 후보가 탐색되는 위치는 탐색 패턴에 따라 달라질 수 있다. 예를 들어, 탐색 패턴이 크로스 패턴인 경우, 보정 값은 (0, 1), (1, 0), (0, -1), (-1, 0)이며, 탐색 패턴이 다이아몬드 패턴인 경우, 보정 값은 (0, 2), (1, 1), (2, 0), (1, -1), (0, -2), (-1, -1), (-2, 0), (-1, 1)이다. 이때 보정 값 (x, y)는 (수평, 수직)으로 x는 수평 방향에 대한 보정 값이고 y는 수직 방향에 대한 보정 값일 수 있다.

도 13을 통해 설명한 방법은 임의의 정해진 반복횟수만큼 재귀적으로 수행될 수 있다. 예를 들어 반복횟수가 1이면 1회 이상 수행될 수 있다. 디코더는 움직임 후보들을 탐색하여 탐색되는 움직임 후보들 전부에 대한 평가를 수행하였다면 가장 작은 코스트 값에 대응되는 움직임 후보의 움직임 정보를 최종 움직임 정보로 사용할 수 있다.

도 13의 초기 움직임 후보는 이전 반복 단계에서 가장 작은 코스트 값에 기초하여 재설정될 수 있다. 첫 번째 단계에서 가장 작은 코스트 값에 대응되는 움직임 후보를 기준으로 다음 단계의 초기 움직임 후보가 재설정될 수 있다. 예를 들어, 첫 번째 단계에서 가장 작은 코스트 값에 대응되는 움직임 후보가 좌상단에 위치한 움직임 후보인 경우, 다음 반복 단계에서는 좌상단에 위치한 움직임 후보에 인접한 움직임 후보에 대해서 디코더는 평가를 수행할 수 있다.

현재 블록이 코딩 유닛(블록)인지 서브 블록(서브 코딩 블록)인지에 따라 도 13을 참조하여 설명한 탐색 수행 과정은 다르게 진행될될 수 있다.

현재 블록이 코딩 블록이고 현재 블록에 AMVP 모드가 적용되는 경우, 현재 블록의 L0 예측을 위한 L0 움직임 후보 리스트와 L1 예측을 위한 L1 움직임 후보 리스트가 유도될 수 있다. 유도된 후보 리스트의 일부 또는 모든 움직임 후보에 대해 탐색 수행 과정이 진행되어 보정된 움직임 정보가 유도될 수 있다. 한편, 현재 블록이 코딩 블록이고 현재 블록에 Merge 모드가 적용되는 경우, 현재 블록의 L0 및 L1 예측을 위한 하나의 움직임 후보 리스트가 유도될 수 있다. 유도된 하나의 움직임 후보 리스트 내의 일부 또는 모든 움직임 후보들에 대해 탐색 수행 과정이 진행될 수 있다. 본 명세서에서 기술하는 L0는 L0 예측, L1은 L1 예측을 의미할 수 있다.

현재 블록에는 L0 단방향 예측, L1 단방향 예측 또는 양방향 예측이 적용될 수 있다. 현재 블록에는 L0 단방향 예측, L1 단방향 예측 또는 양방향 예측 중 어느 것이 적용되는지 여부는 참조 방향 지시 정보에 의해 지시될 수 있다. 참조 방향 지시 정보는 코스트 값에 기초하여 재설정될 수 있다. 예를 들어, L0의 초기 움직임 정보를 이용하여 생성되는 예측 블록의 코스트 값, L1의 초기 움직임 정보를 이용하여 생성되는 예측 블록의 코스트 값, L0와 L1의 초기 움직임 정보를 통해 양방향 예측을 수행하여 2개의 예측 블록을 가중치 평균하여 생성되는 예측 블록의 코스트 값, L0의 보정된 움직임 정보를 이용하여 생성되는 예측 블록의 코스트 값, L1의 보정된 움직임 정보를 이용하여 생성되는 예측 블록의 코스트 값, L0와 L1의 보정된 움직임을 통해 양방향 예측을 수행하여 2개의 예측 블록을 가중치 평균하여 생성되는 예측 블록의 코스트 값 중에서 가장 작은 코스트 값에 대응되는 움직임 정보 및 참조 방향 지시 정보가 현재 블록에 재설정될 수 있다.

현재 코딩 블록은 여러 개의 서브 블록들로 분할될 수 있다. 각 서브 블록의 초기 움직임 정보는 탐색 수행 과정에 따라 보정된 움직임 정보로 재설정될 수 있다. 각 서브 블록마다 템플릿은 상이할 수 있고, 인접한 서브 블록의 화소(픽셀)가 템플릿으로 사용될 수 있다. 다만, 디코더는 인접한 서브 블록이 복원된 경우에만 다음 서브 블록에 대한 탐색을 수행할 수 있으므로, 탐색 수행 과정이 각 서브 블록 별로 병렬적으로 처리되지 않는 문제가 있다. 이를 위해 현재 블록의 경계에 위치하는 서브 블록에 대해서만 탐색 수행 과정이 진행될 수 있다. 또는, 현재 블록의 경계에 위치한 서브 블록에 대해 디코더는 TM 방법으로 보정된 움직임 정보를 유도하고, 현재 블록의 경계에 위치하지 않는 서브 블록에 대해 디코더는 BM, Optical flow 기반 TM, Multi pass DMVR 방법 중에서 어느 하나 이상을 이용하여 보정된 움직임 정보를 유도할 수 있다.

현재 블록이 코딩 블록으로 처리되는 경우, 디코더는 L0와 L1에 대한 초기 움직임 정보를 사용하여 현재 블록 전체에 대한 코스트 값을 계산하고, 계산된 코스트 값에 기초하여 보정된 움직임 정보를 유도할 수 있다. 이때, 코딩 블록으로 처리되는 블록 내의 우하단 일부 영역의 움직임은 코딩 블록의 전체 움직임과 조금 상이할 수 있다. 템플릿이 어떻게 구성되는지에 따라 탐색 수행 과정은 달라질 수 있고, 보정된 움직임 정보도 달라질 수 있다. 따라서, 현재 블록이 코딩 블록으로 처리되더라도 보정된 움직임 정보는 서브 블록 기반으로 구성된 템플릿에 대한 코스트 값에 기초하여 서브 블록 단위로 보정된 움직임 정보가 유도될 수 있다.

도 14는 본 발명의 일 실시예 따른 탐색 후보를 평가하는 과정을 나타내는 도면이다.

구체적으로 도 14는 도 13을 참조하여 설명한 탐색 패턴과 탐색 간격에 따라 선정된 후보 위치에 대한 보정 값들을 사용하여 탐색 후보를 평가하는 과정을 나타내는 순서도이다. 디코더는 초기 움직임 정보를 최종 움직임 정보로 저장할 수 있다. 그리고 디코더는 탐색 후보 전부에 대한 보정 값들에 대해 후술하는 과정을 수행할 수 있다.

디코더는 탐색할 후보 위치에 대한 보정 값들 중에서 하나를 선택할 수 있다. 보정 값은 현재 블록에서 사용될 움직임 해상도(resolution)에 적합하도록 재설정될 수 있다. 디코더는 재설정된 보정 값을 초기 움직임 정보에 더하여 평가할 움직임 정보를 재구성할 수 있다. 재구성된 움직임 정보에 기초하여 코스트 값을 획득할 수 있다. 이때, 움직임 정보에 기초하여 획득되는 코스트 값은 초기 움직임 정보와 재구성된 움직임 정보 간의 수평 방향 성분들의 절대값의 차이 값과 수직 방향 성분들의 절대값의 차이 값을 더한 후, 임의의 가중치 값을 곱하여 계산될 수 있다. 임의의 가중치 값은 '4'일 수 있다. 디코더는 움직임 정보에 기초하여 획득한 코스트 값 화소(픽셀)에 기초하여 획득한 초기 움직임 정보의 코스트 값보다 작은 경우에만 재구성된 움직임 정보에 대한 화소(픽셀)기반 코스트 값을 계산할 수 있다.

디코더는 모든 탐색 후보에 대한 보정 값들에 대하여 평가한 후, 가장 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정할 수 있다.

움직임 정보에 기초하여 획득되는 코스트 값들 각각은 초기 움직임 정보에 따라 선정되는 위치에 대응되는 복수의 움직임 후보들 각각에 보정 값을 더하여 획득되는 움직임 정보들 간의 차분 값을 통해 획득될 수 있다. 움직임 정보에 기초하여 획득되는 코스트 값은 보정 값의 크기에 따라 달라질 수 있다. 즉, 보정 값이 작을수록 코스트 값은 작아질 수 있다. 가장 작은 코스트 값에 대응되는 움직임 정보가 최종 움직임 정보로 설정되기 때문에, 보정 값이 작은 초기 움직임 정보가 나타내는 위치의 주변 움직임 후보에 대해서만 평가가 수행될 수 있다. 그러나, 보정 값이 큰 움직임 후보가 최적의 움직임 후보일 수 있다. 따라서, 다양한 움직임 후보에 대한 평가를 수행하여 최적의 움직임 후보를 선정하기 위해, 코스트 값은 후술하는 방법을 이용하여 획득될 수 있다. 코스트 값은 주변 블록 각각의 움직임 정보 값 간의 차이, 양자화 파라미터, 현재 블록의 크기 등을 이용하여 획득될 수 있다.

코스트 값은 주변 블록의 움직임 정보의 분포를 이용하여 획득될 수 있다. 다양한 움직임 후보에 대한 평가를 위해, 디코더는 보정된 움직임 정보와 주변 블록의 움직임 정보 간의 차이 값을 이용하여 코스트 값을 획득할 수 있다. 예를 들어, 보정된 움직임 정보와 주변 블록의 움직임 정보 간의 차이 값과 임의의 정해진 값을 비교하여 비교 결과에 따라 코스트 값을 획득할 수 있다. 구체적으로 보정된 움직임 정보와 주변 블록의 움직임 정보 간의 차이 값이 임의의 정해진 값보다 큰 경우(또는 작은 경우, 같은 경우) 디코더는 코스트 값을 획득할 수 있다. 이때 주변 블록은 현재 블록에 인접한 주변 블록이거나 또는 대응 픽쳐(Collocated picture)에서 현재 블록과 동일한 위치에 있는 시간적인 주변 블록일 수 있다.

코스트 값은 현재 블록의 크기에 기초하여 획득될 수 있다. 예를 들어, 상술한 코스트 값을 획득하기 위한 가중치는 현재 블록의 크기에 따라 설정될 수 있다. 가중치는 현재 블록의 크기와 반비례하게 설정될 수 있다. 즉, 현재 블록의 크기가 클수록 가중치는 낮게 설정될 수 있다. 이는, 적합한 움직임 후보를 선정하기 위해 보다 더 넓은 범위의 움직임 후보를 평가하기 위함이다. 한편 가중치는 현재 블록의 크기와 비례하게 설정될 수 있다. 즉, 현재 블록의 크기가 클수록 가중치는 높게 설정될 수 있다. 이는 복잡도를 낮추기 위함이다. 예를 들어, 현재 블록의 크기는 16x16, 32x32가 될 수 있고, 현재 블록의 가로 및 세로 크기의 합으로 설정될 수 있다. 가중치는 1, 2, 3, 4, 5, 6 등의 정수 값이 될 수 있다. 또한 가중치가 커질수록 코스트 값이 높아지므로 가중치가 특정 값 이상인 경우 디코더는 코스트 값을 획득하기 위한 평가를 수행하지 않을 수 있다.

본 명세서에서 설명하는 코스트 값에 기초한 움직임 정보를 보정하는 방법을 사용하는 경우, 현재 블록에 대한 움직임 정보의 예측 효율이 높아지게 되며, 비트스트림으로 시그널링되는 움직임 차분 값에 대한 비트량이 줄어드는 효과가 있다. 차분 값은 'x, y' 형태로 설정될 수 있는데 이때, x는 수평 방향의 차분 값이고, y는 수직 방향의 차분 값일 수 있다. 움직임 정보의 예측 효율이 높아지면서 움직임 정보의 차분 값이 '0, 0'인 경우가 많이 발생할 수 있다. 차분 값이 '0, 0'인 경우 인코더는 현재 블록에 대한 최종 부호화 모드로 머지 모드를 선택할 수 있다. 머지 모드는 하나의 움직임 후보 리스트를 사용하므로 L0 예측 움직임 정보와 L1 예측 움직임 정보가 서로 결합되어 움직임 후보 리스트가 처리되지만, AMVP 모드는 L0 예측을 위한 움직임 후보 리스트와 L1 예측을 위한 움직임 후보 리스트를 각각 서로 독립적으로 처리할 수 있다. 따라서 TM 방법에 있어서는 AMVP가 보다 더 효과적일 수 있다. 즉, 코스트 값에 기초한 현재 블록의 움직임 정보를 보정하는 방법에 있어서, 인코더는 현재 블록의 부호화 모드를 AMVP 모드로 선택할 수 있다. 움직임 정보의 차분 값을 부호화 하는데 있어서, 인코더는 수평 방향의 차분 값과 수직 방향의 차분 값을 분리하여 각각의 코드워드로 시그널링할 수 있다. 또한, 인코더는 수평 방향의 차분 값과 수직 방향의 차분 값을 하나의 코드워드로 통합하여 시그널링할 수 있다. 예를 들어, 움직임 정보의 차분 값이 기 설정된 값보다 같거나 작은 경우에는 수평 및 수직 방향에 대한 차분 값은 하나의 코드워드로 통합되어 시그널링될 수 있다. 반대로, 움직임 정보의 차분 값이 기 설정된 값보다 큰 경우에는 수평 및 수직 방향에 대한 차분 값은 각각의 코드워드로 시그널링될 수 있다. 이때, 임의의 값은 정수일 수 있다. 특히, AMVP 모드에서 움직임 정보의 차분 값이 '0,0'인 경우, 수평 및 수직 방향의 움직임 정보 차분 값은 서로 분리되어 각각 시그널링되지 않고 하나의 신택스 요소(플래그)에 의하여 통합적으로 시그널링될 수 있다. 본 명세서에서의 신택스 요소는 플래그와 동일한 의미일 수 있다.

도 15는 본 발명의 일 실시예에 따른 움직임 정보의 차분 값을 시그널링하는 방법을 나타내는 도면이다.

도 15는 움직임 정보의 차분 값이 '0, 0'일 때, 이러한 차분 값을 시그널링하는 방법을 나타낸다. 도 15를 참조하면 디코더는 'mvd_zero_flag'를 파싱할 수 있다. 'mvd_zero_flag'는 현재 블록의 움직임 정보의 차분 값이 '0, 0'인지 여부를 나타내는 신택스 요소일 수 있다. 'mvd_zero_flag'의 값이 '1'인 경우, 현재 블록의 움직임 정보의 차분 값은 '0, 0'로 설정될 수 있고, 이후의 움직임 정보의 차분 값에 대한 파싱 과정은 생략될 수 있다. 'mvd_zero_flag'의 값이 '0'인 경우, 현재 블록의 움직임 정보의 차분 값은 '0, 0'이 아니므로, 디코더는 'abs_mvd_greater0_flag[ 0 ]'를 파싱할 수 있다. 'abs_mvd_greater0_flag[ 0 ]는 현재 블록의 움직임 차분 값의 수평 방향을 나타내는 신택스 요소일 수 있다. 'abs_mvd_greater0_flag[ 0 ]'의 값이 0인 경우, 움직임 정보의 수평 방향에 대한 차분 값은 0일 수 있다. 움직임 정보의 수평 방향에 대한 차분 값이 0이면, 수직 방향에 대한 차분 값은 1 이상이어야 한다. 따라서, 'abs_mvd_greater0_flag[ 0 ]'의 값이 0인 경우, 디코더는 'abs_mvd_greater0_flag[ 1 ]'를 파싱하지 않고, 'abs_mvd_greater0_flag[ 1 ]'의 값을 1로 추론(infer)할 수 있다. 'abs_mvd_greater0_flag[ 0 ]'의 값이 '1'인 경우, 수직 방향에 대한 차분 값은 '0' 또는 '1'일 수 있다. 따라서, 디코더는 'abs_mvd_greater0_flag[ 0 ]'의 값이 '1'인 경우, 'abs_mvd_greater0_flag[ 1 ]'을 파싱할 수 있다. 'abs_mvd_greater0_flag[ 1 ]'는 움직임 정보의 수직 방향에 대한 차분 값을 나타내는 신택스 요소일 수 있다. 'mvd_zero_flag' 값이 파싱되지 않았다면, 'mvd_zero_flag'의 값은 '0'으로 추론될 수 있다. 'mvd_zero_flag'가 파싱되는지 여부는 SPS레벨, PPS 레벨, 픽쳐 헤더 레벨 등에서 특정 신택스 요소를 통해 시그널링될 수 있다. 각 레벨에서의 특정 신택스 요소는 각각 sps_mvd_zero_enabled_flag, pps_mvd_zero_flag, ph_mvd_zero_enabled_flag로 기술될 수 있다. 'mvd_zero_flag' 가 파싱되지 않는다면 'mvd_zero_flag'의 값은 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨 등에서 시그널링되는 특정 신택스 요소가 지시하는 값으로 설정될 수 있다.

도 16은 본 발명의 일 실시예에 따른 'mvd_zero_flag'를 CABAC를 통해 엔크로피 코딩한 결과를 나타내는 도면이다.

도 16을 참조하면 'mvd_zero_flag'는 CABAC(Context adaptive binary arithmetic coding)을 사용하여 엔트로피 코딩될 수 있다. 도 16과 같이 'mvd_zero_flag'에 대한 문맥 모델은 실험을 통해 얻은 값으로 정의될 수 있다. 도 16(a)에서 'initValue'는 'mvd_zero_flag'에 대한 문맥 모델들을 나타내고, 'shiftIdx'는 'mvd_zero_flag'에 대한 확률 업데이트시 사용될 수 있다. 'initValue'는 현재 슬라이스의 타입에 따라 결정된다. 구체적으로, 'initValue'는 현재 슬라이스가 I 슬라이스인지, P 슬라이스인지, B 슬라이스 인지에 따라 결정될 수 있다. 도 16(b)는 각 슬라이스 타입에 따라 사용될 수 있는 문맥 모델을 나타낸다. 도 16(b)를 참조하면 현재 슬라이스의 타입이 I 슬라이스인 경우, 'mvd_zero_flag'는 0 내지 2의 값을 가질 수 있고, 'initValue'는 'mvd_zero_flag'의 값에 따라 17, 42, 36의 값이 될 수 있다(도 16(a)를 참조하면 ctxidx of mvd_zero_flag가 0 내지 2의 값일 때, 대응되는 initValue의 값). 현재 슬라이스의 타입이 P 슬라이스일 경우, 'mvd_zero_flag'는 3 내지 5의 값을 가질 수 있고, 'initValue'는 'mvd_zero_flag'의 값에 따라 0, 57, 44의 값이 될 수 있다(도 16(a)를 참조하면 ctxidx of mvd_zero_flag가 3 내지 5의 값일 때, 대응되는 initValue의 값). 현재 슬라이스의 타입이 B 슬라이스인 경우, 'mvd_zero_flag'는 6 내지 8의 값을 가질 수 있고, 'initValue'는 'mvd_zero_flag'의 값에 따라 0, 43, 35의 값이 될 수 있다(도 16(a)를 참조하면 ctxidx of mvd_zero_flag가 6 내지 8의 값일 때, 대응되는 initValue의 값).

각 슬라이스 타입마다 사용되는 'initValue'는 적어도 하나 이상일 수 있다. 슬라이스 타입마다 'initValue'는 하나만 정의될 수 있다. 예를 들어, 현재 슬라이스의 타입이 I 슬라이스인 경우, 'mvd_zero_flag'의 값은 0일 수 있고, 이때 'initValue'는 17일 수 있다. 현재 슬라이스의 타입이 P 슬라이스인 경우, 'mvd_zero_flag'의 값은 3일 수 있고, 'initValue'는 0일 수 있다. 현재 슬라이스의 타입이 B 슬라이스인 경우, 'mvd_zero_flag'의 값은 6일 수 있고, 'initValue'는 0일 수 있다. 또한, 'initValue'는 슬라이스마다 선택적으로 적용할 수 있다. 예를 들어, 슬라이스 헤더에 정의된 신택스 요소인 'sh_cabac_init_flag'의 값에 따라 'initValue' 값의 사용 순서가 달라질 수 있다. 'sh_cabac_init_flag' 값이 '1'이고, 현재 슬라이스의 타입이 P 슬라이스인 경우, 'mvd_zero_flag'의 값은 6일 수 있고 'initValue'는 0일 수 있다. 'sh_cabac_init_flag' 값이 '1'이고, 현재 슬라이스의 타입이 B 슬라이스인 경우, 'mvd_zero_flag'의 값은 3이고, 'initValue'는 0일 수 있다. 'sh_cabac_init_flag'의 값이 '0'이고, 현재 슬라이스의 타입이 P 슬라이스인 경우, 'mvd_zero_flag'의 값은 3이고, 'initValue'는 0일 수 있다. 'sh_cabac_init_flag'의 값이 '0'이고 현재 슬라이스의 타입이 B 슬라이스인 경우, 'mvd_zero_flag'의 값은 6이고, 'initValue'는 0일 수 있다.

이하에서 현재 코딩할 'mvd_zero_flag' 심볼에 대한 여러 개의 문맥 모델 중에서 하나의 문맥 모델을 나타내는 문맥 인덱스를 선택하는 방법에 대해 설명한다.

i) 문맥 인덱스는 현재 블록의 주변 블록 'mvd_zero_flag' 정보를 통해 선택될 수 있다. 예를 들어 현재 블록에 인접한 좌측 주변 블록의 'mvd_zero_flag' 정보와 현재 블록에 인접한 상측 주변 블록의 'mvd_zero_flag' 정보의 합을 통해 문맥 인덱스는 결정될 수 있다. 즉, 문맥 인덱스는 0~2의 값을 가질 수 있다. 한편 현재 블록의 주변 블록이 사용 불가능한 위치에 있다면(주변 블록이 사용 가능하지 않다면), 문맥 인덱스에 0이 더해지거나 주변 블록은 문맥 인덱스를 유도하는데 사용되지 않을 수 있다.

ii) 문맥 인덱스는 현재 블록의 주변 블록이 템플릿 매칭을 사용했는지에 따라 선택될 수 있다. 예를 들어, 현재 블록에 인접한 좌측 주변 블록과 상측 주변 블록이 모두 템플릿 매칭을 사용했으면, 문맥 인덱스는 '2'로 결정될 수 있다. 현재 블록에 인접한 좌측 주변 블록과 상측 주변 블록 중에서 템플릿 매칭이 한 개의 블록에만 사용되었다면, 문맥 인덱스는 '1'로 결정될 수 있다. 현재 블록에 인접한 좌측 주변 블록과 상측 주변 블록이 모두 템플릿 매칭을 사용하지 않았다면, 문맥 인덱스는 '0'으로 결정될 수 있다.

iii) 문맥 인덱스는 현재 블록의 크기(가로 그리고 세로 크기의 합 혹은 화소(픽셀)의 개수)에 따라 선택될 수 있다. 현재 블록의 크기가 기 설정된 제1 값보다 크다면, 문맥 인덱스는 2가 될 수 있고, 기 설정된 제2 값보다 작다면, 문맥 인덱스는 0이 될 수 있고, 나머지 경우에 문맥 인덱스는 1이 될 수 있다. 제1 값은 32 x 32일 수 있고, 제2 값은 16 x 16일 수 있다. 또한, 제1 값, 제2 값은 현재 블록의 가로 그리고 세로 크기의 합에 기초하여 설정되는 값일 수 있다. 또한, 제1 값, 제2 값은 현재 블록의 화소(픽셀)의 개수를 기초하여 설정되는 값일 수 있다.

iv) 문맥 인덱스는 현재 블록의 컬러 성분 및 트리 구조 중 적어도 어느 하나에 기초하여 결정될 수 있다. 예를 들어, 현재 블록이 색차 성분 블록이고, 듀얼 트리 방식으로 부호화된 경우, 문맥 인덱스는 휘도 성분 블록의 'mvd_zero_flag' 값에 따라 결정될 수 있다. 휘도 성분 블록의 'mvd_zero_flag' 값이 '0'인 경우, 색차 성분 블록의 문맥 인덱스는 '0'이 될 수 있다. 휘도 성분 블록의 'mvd_zero_flag' 값이 '1'인 경우, 색차 성분 블록의 문맥 인덱스는 '1'이 될 수 있다. 이때, 색차 성분 블록의 문맥 인덱스는 휘도 성분 블록의 문맥 인덱스와 동일하거나 상이할 수 있다. 또한, 색차 성분 블록에 대한 문맥 인덱스 값은 상술한 i) 내지 iii) 방법을 통해 획득될 수 있다.

인코더는 'mvd_zero_flag'는 문맥 모델을 통한 이진 산술 부호화를 수행하지 않고, 고정된 확률 구간을 사용하는 bypass 형태의 이진 산술 부호화를 수행할 수 있다. 이러한 bypass 현태의 이진 산술 부호화는 휘도 성분 블록과 색차 성분 블록이 선택적으로 적용될 수 있다. 예를 들어, 휘도 성분 블록에는 문맥 모델을 통한 이진 산술 부호화가 수행될 수 있고, 색차 성분 블록에는 bypass 형태의 이진 산술 부호화가 수행될 수 있다. 반대로, 색차 성분 블록에는 문맥 모델을 통한 이진 산술 부호화가 수행될 수 있고, 휘도 성분 블록에는 bypass 형태의 이진 산술 부호화가 수행될 수 있다. 또한 인코더는 단 하나의 문맥 모델만을 사용하여 'mvd_zero_flag'를 이진 산술 부호화할 수 있다. 이 경우, 슬라이스 타입에 따라 각각 하나의 문맥 모델만을 가지므로, 문맥 모델 인덱스는 유도되지 않고, 고정된 문맥 모델이 슬라이스의 모든 블록에 사용될 수 있다.

머지 모드에서는 움직임 차분 값이 코딩될 때, 미리 정의된 거리들로 구성된 테이블의 인덱스와 수평 및 수직에 대한 한가지 방향 정보를 시그널링하는 방법이 사용된다. 본 명세서에서 설명하는 템플릿 매칭 방법을 사용할 경우, 움직임 차분 값의 분포가 0에 더 집중되는 형태를 가질 수 있다. 따라서, 거리 정보와 방향 정보가 통합된 하나의 테이블이 구성될 수 있고, 통합된 하나의 테이블에서 하나의 인덱스만을 사용하여 거리 정보와 방향 정보가 획득될 수 있다. 움직임 정보의 차분 값이 부호화됨에 있어, 거리 정보와 방향 정보를 분리하여 각각의 인덱스로 시그널링하는 방법과 거리 정보와 방향 정보에 대하여 하나의 인덱스만으로 시그널링하는 방법이 사용될 수 있다. 예를 들어, 움직임 차분 값이 기 설정된 값보다 같거나 작은 경우 거리 정보와 방향 정보는 하나의 인덱스만으로 시그널링될 수 있고, 움직임 차분 값이 기 설정된 값보다 큰 경우에는 거리 정보와 방향 정보는 서로 다른 인덱스를 통해 각각 시그널링될 수 있다. 이때, 기 설정된 값은, 1, 2, 3... 과 같은 정수일 수 있다.

도 17은 본 발명의 일 실시예에 따른 MMVD 차분 값을 시그널링하는 방법을 나타내는 도면이다.

도 17을 참조하면, 디코더는 신택스 요소인 'mmvd_one_distance_direction_idx'를 파싱할 수 있다. 'mmvd_one_distance_direction_idx'는 MMVD 차분 값을 지시하는 인덱스를 나타내는 신택스 요소일 수 있다. 'mmvd_one_distance_direction_idx'의 값이 4라면, 디코더는 MMVD 차분 값의 거리를 지시하는 인덱스를 나타내는 신택스 요소인 'mmvd_distance_idx'와 MMVD 차분 값의 방향을 지시하는 인덱스를 나타내는 신택스 요소인 'mmvd_direction_idx'를 추가적으로 파싱할 수 있다. 이때, 움직임 정보의 차분 값의 절대값은 수평 또는 수직 방향으로 '2'이상일 수 있다.

도 18은 본 발명의 일 실시예에 따른 MMVD 차분 값을 지시하는 신택스 요소의 인덱스에 따른 MMVD 차분 값의 수평, 수직 방향에 대한 부호를 나타내는 도면이다.

도 18을 참조하면, 'mmvd_one_distance_direction_idx'의 값이 '0'이면, 움직임 차분 값은 (+1, 0)일 수 있다. 'mmvd_one_distance_direction_idx'의 값이 '1'이면, 움직임 차분 값은 (-1, 0)일 수 있다. 'mmvd_one_distance_direction_idx'의 값이 '2'이면, 움직임 차분 값은 (0, +1)일 수 있다. 'mmvd_one_distance_direction_idx'의 값이 '3'이면, 움직임 차분 값은 (0, -1)일 수 있다. 'mmvd_one_distance_direction_idx'가 파싱되지 않는다면, 'mmvd_one_distance_direction_idx'의 값은 4로 추론될 수 있다. 'mmvd_one_distance_direction_idx'가 파싱되는지 여부는 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨의 신택스 요소에 의해 시그널링될 수 있다. 'mmvd_one_distance_direction_idx'가 파싱되지 않는다면 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨에서 시그널링되는 값과 미리 정의된 ESCAPE 인덱스에 해당하는 값을 더한 값으로 'mmvd_one_distance_direction_idx'의 값이 추론될 수 있다. SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨의 신택스 요소는 sps_mmvd_one_enabled_flag, pps_mmvd_one_flag, ph_mmvd_one_enabled_flag로 기술될 수 있다.

도 19는 본 발명의 일 실시예에 따른 확률 초기화 정보를 나타내는 도면이다.

도 19(a)는 'mmvd_one_distance_direction_idx'의 값에 대한 문맥 모델을 나타내고, 도 19(b)는 initType 유도를 위한 테이블을 나타낸다. 현재 코딩할 'mmvd_one_distance_direction_idx' 심볼에 대한 여러 개의 문맥 모델 중에서 하나를 선택하는 방법은 도 16을 참조하여 설명한 방법이 사용될 수 있다.

도 20은, 도 21은 본 발명의 일 실시예에 따른 DMVR을 사용한 움직임 정보를 보정하는 방법을 나타내는 도면이다.

DMVR은 BM(Bilateral Matching) 방법을 사용하여 현재 블록에 대한 보정된 움직임 정보를 획득하는 방법이다. BM(Bilateral Matching) 방법은 양방향 움직임을 가지는 블록에서 L0 참조 블록의 주변 탐색 영역(Search area)과 L1 참조 블록의 주변 탐색 영역에서 서로 간의 가장 유사한 부분을 찾아서 초기 움직임 정보를 보정하고, 보정된 움직임 정보를 현재 블록의 예측에 사용하는 방법이다. 탐색 영역의 크기는 참조 블록의 특정 지점을 기준으로 임의의 (m x n)크기로 설정될 수 있다. 예를 들어, 특정 지점은 참조 블록의 좌상단 위치 또는 참조 블록의 중앙 위치일 수 있고, 임의의 크기는 16 x 16일 수 있다. 가장 유사한 부분은 각 블록 간 화소 단위의 코스트 값을 계산하여 가장 작은 코스트 값에 대응되는 지점일 수 있다. 코스트 값은 SAD(Sum of Absolute Differences) 또는 MRSAD(Mean-Removed SAD)를 이용하여 계산될 수 있다. 탐색 영역에 따라 코스트 값은 달라질 수 있고, 보정된 움직임 정보 또한 달라질 수 있다. 디코더는 현재 블록을 복수 개의 서브 블록으로 분할하여 각 서브 블록에 대하여 DMVR을 사용한 움직임 정보를 보정할 수 있다. 크기가 큰 블록들 대비 크기가 작은 블록들에 대한 움직임 정보가 더 정확하기 때문이다. 이때, 크기가 큰 블록에서는 DMVR이 수행되지 않고, 분할된 작은 블록(예, 서브 블록)에서만 DMVR이 수행될 수 있다. 도 21을 참조하면 하나의 블록은 4개의 서브 블록으로 분할될 수 있다. 디코더는 분할된 각 서브 블록마다 DMVR을 사용하여 보정된 움직임 정보를 획득할 수 있다. 또는 디코더는 큰 블록에서 DMVR을 통해 찾은 보정된 움직임 정보를 사용하여 분할된 작은 블록에서 DMVR을 통해 보다 정확한 움직임 정보를 유도하는 다중 DMVR 방법을 사용할 수 있다.

도 22는 본 발명의 일 실시예에 따른 다중 DMVR이 수행되는 과정을 나타내는 도면이다.

도 22(a)는 다중 DMVR이 수행되는 일반적인 과정을 나타내고, 도 22(b)는 다중 DMVR의 일반적인 과정을 보다 구체적으로 나타낸다.

도 22(a)를 참조하면, 다중 DMVR은 초기 움직임 정보에 기초하여 코딩 유닛(블록) 단위의 DMVR을 수행하여 하나 이상의 보정된 움직임 정보를 획득할 수 있다(S2210). 현재 코딩 블록에 TM이 적용되는 경우, 디코더는 S2210 단계에서 획득한 하나 이상의 보정된 움직임 정보를 이용하여 TM을 수행할 수 있다(S2220). TM을 수행하여 결정되는 현재 코딩 블록의 보정된 움직임 정보가 양방향에서 단방향으로 변경되었다면, DMVR 과정을 수행할 수 없으므로 S2220 이후의 단계들(S2230, S2240)은 수행되지 않고, 현재 블록의 움직임은 단방향으로 최종 결정된다. TM을 수행한 결과, 현재 코딩 블록의 보정된 움직임 정보가 양방향이라면, 디코더는 서브 블록 단위의 DMVR을 수행하여 각 서브 블록마다 서브 블록 단위의 보정된 움직임 정보를 획득할 수 있다(S2230). 그리고 디코더는 S2240 단계에서 획득한 서브 블록 단위의 보정된 움직임 정보를 BDOF에 기반하여 다시 보정하고, BDOF에 기반하여 보정된 움직임 정보를 최종적으로 획득할 수 있다.

도 22(b)를 참조하면, 도 22(a)의 S2210 단계는 정수 단위의 탐색을 이용하여 코딩 유닛(블록) 단위의 DMVR을 수행하는 단계(S2201)과 반화소 단위의 탐색을 이용하여 코딩 유닛(블록) 단위의 DMVR을 수행하는 단계(S2202)로 세분화 될 수 있다. 이때, 움직임 해상도는 S2201 단계에서는 정수 단위로, S2202 단계에서는 반화소 단위로 설정될 수 있다. S2201 단계에서 디코더는 초기 움직임 정보와 정수 단위 보정 값을 사용하여 보정된 움직임 정보를 획득할 수 있다. S2202 단계에서 디코더는 초기 움직임 정보와 반화소 단위 보정 값을 사용하여 보정된 움직임 정보를 획득할 수 있다. 디코더는 S2201 단계에서 획득된 보정된 움직임 정보를 S2202 단계를 위한 기준 움직임 정보로 사용할 수 있다. 즉, 디코더는 S2201 단계에서 획득된 보정된 움직임 정보에 기초하여 새로운 움직임 후보를 생성하고, 새로운 움직임 후보에 대한 평가를 수행할 수 있다.

S2230 단계에서 디코더는 현재 코딩 블록을 여러 개의 서브 블록으로 분할한 후, 각 서브 블록마다 도 22(b)의 S2204, S2205 단계가 수행될 수 있다. 이때 서브 블록 크기는 최대 16x16으로 설정될 수 있다. 구체적으로 디코더는 S2220 (또는 S2203) 단계에서 TM을 수행하여 획득한 보정된 움직임 정보를 S2204, S2205단계를 위한 초기 움직임 정보로 설정할 수 있다. 디코더는 초기 움직임 정보를 이용하여 정수 단위의 전역 탐색을 수행하고, 현재 서브 블록에 대한 최적의 움직임 정보와 최적의 움직임 정보에 대한 코스트 값을 획득할 수 있다(S2204). S2204단계 이후, 디코더는 반화소(1/2) 단위의 3x3 Square 탐색을 수행할 수 있다(S2205). S2204 단계를 통해 획득되는 움직임 정보는 S2205 단계의 기준 움직임 정보로 사용될 수 있다. S2204, S2205 단계는 모든 서브 블록에 대해 반복되어 수행될 수 있다. 서브 블록 단위의 DMVR 과정은 서브 블록 간의 의존성이 없으므로, 모든 서브 블록이 병렬적으로 DMVR을 수행할 수 있다는 장점이 있다. 이후 디코더는 S2205 단계에서 획득한 새로운 움직임 후보에 대한 움직임 정보를 BDOF에 기반하여 보정하고, BDOF에 기반하여 보정된 움직임 정보를 최종적으로 획득할 수 있다(S2206). S2206 단계는 S2240 단계와 동일할 수 있다.

도 23은 본 발명의 일 실시예에 따른 코딩 블록의 보정된 움직임 정보와 관련된 코스트 값을 획득하기 위한 탐색 방법을 나타내는 도면이다.

도 23을 참조하면 디코더는 초기 움직임 정보를 획득하고, 획득된 초기 움직임 정보에 기초하여 탐색할 움직임 후보들을 설정할 수 있다. 그리고 디코더는 설정된 움직임 후보들에 대한 평가를 수행하여 획득되는 코스트 값에 기초하여 보정된 움직임 정보을 획득할 수 있다. 그리고 디코더는 현재 블록의 움직임 정보 해상도에 따라 모델 기반 fractional MVD 최적화를 이용하여 최종적인 보정된 움직임 정보를 획득할 수 있다. 도 22(b)의 S2201, S2202 단계에서 획득되는 보정된 움직임 정보는 도 23을 통해 설명한 방법을 통해 획득될 수 있다.

AMVP 모드에서는 움직임 차분값을 비트스트림에 포함하기 때문에 Merge 모드에 비해 움직임 정확도는 높다. 반면 Merge 모드는 이전 움직임과의 동일성에 대한 정보만 비트스트림에 포함하면 되므로, 임의의 동일 움직임 영역에서의 시그널링 오버헤드를 줄일 수 있다는 장점이 있다. 정확한 움직임을 표현하기 위해서는 보다 많은 정보가 요구되며, 그러한 정보는 비트스트림에 포함되어야 하므로 전체 부호화된 비트량이 증가될 수밖에 없다. 이러한 비트량 증가를 해소하기 위해서 디코더에서 이미 복원된 데이터를 이용하여 보다 정확한 움직임을 유도할 수 있다.

도 24는 본 발명의 일 실시예에 따른 보정된 움직임 정보의 차분 값을 획득하는 방법을 나타내는 도면이다.

현재 블록이 AMVP로 부호화된 경우, 비트스트림에 움직임 정보의 차분 값에 대한 비트량이 많이 포함될 수 있다. 이러한 움직임 정보의 차분 값에 대한 비트량을 감소시키기 위해서, 템플릿 매칭이나 DMVR을 사용하여 보다 정확한 움직임 정보의 예측 값을 유도할 수 있다. 그러나, 정확한 움직임 정보의 예측 값을 유도하더라도, AMVP 모드에서는 움직임 정보의 차분 값에 대한 정보가 비트스트림에 포함되어야 한다.

이하에서는 AMVP 모드에서 움직임 정보의 차분 값에 대한 비트량을 감소시키기 위한 방법에 대해 설명한다.

도 24(a)를 참조하면, 인코더는 움직임 정보의 차분 값을 양자화 하여 시그널링함으로써, 움직임 정보의 차분 값에 대한 비트량을 감소시킬 수 있다. 양자화된 움직임 정보의 차분 값은 기존 움직임 차분 값에서 임의의 단위에 대한 차분 값 정보가 제거된 값일 수 있다. 예를 들어, 양자화된 움직임 정보의 차분 값은 소수 단위 또는 정수 단위일 수 있다. 또한, 어떠한 양자화를 수행했는지에 대한 움직임 양자화 파라미터 값이 비트스트림에 포함될 수 있다.도 24(b)를 참조하면, 디코더는 양자화된 움직임 차분 값을 역양자화하여 움직임 정보의 차분 값을 획득할 수 있다. 디코더는 움직임 정보의 차분 값과 움직임 정보의 예측 값을 합하여 현재 블록에 대한 움직임 정보(예, 모션 벡터)를 획득하고, 획득된 움직임 정보를 이용한 템플릿 매칭 또는 DMVR을 수행할 수 있다. 디코더는 획득된 움직임 정보를 이용한 템플릿 매칭 또는 DMVR을 수행하여 도 24(a)의 양자화로 제거된 임의의 단위에 대한 차분 값을 보정할 수 있다.

도 25는 본 발명의 일 실시예에 따른 움직임 정보의 예측 값을 획득하는 방법을 나타내는 도면이다.

움직임 정보의 차분 값에 대해 양자화가 수행되는 경우, 양자화 레벨에 따라 임의의 단위 이내의 움직임 차분 값의 정보가 제거될 수 있다. 이하에서는 제거된 움직임 차분 값의 정보를 보정하는 방법에 대해 설명한다.

도 25를 참조하면 디코더는 양자화된 움직임 차분 값을 역양자화하여 역양자화된 움직임 정보의 차분 값을 획득할 수 있다. 또한 디코더는 움직임 정보의 예측 값을 본 명세서에서 설명한 움직임 정보를 보정하는 방법을 이용하여 움직임 정보의 예측 값을 보정할 수 있다(예측 값에 대한 1차 움직임 정보의 보정). 디코더는 보정된 움직임 정보의 예측 값과 역양자화된 움직임 정보의 차분 값을 합산하여 최종 움직임 정보를 획득할 수 있다. 디코더는 최종 움직임 정보에 대해 본 명세서에서 설명한 움직임 정보를 보정하는 방법을 이용하여 최종 움직임 정보를 보정할 수 있다(최종 움직임 정보에 대한 2차 움직임 보정). 이를 통해 디코더는 최종 보정된 움직임 정보를 획득할 수 있다. 최종 보정된 움직임 정보는 제거된 움직임 차분 값의 정보를 보정한 움직임 정보일 수 있다.

AMVR은 움직임 정보의 해상도를 블록 단위 적응적으로 설정하는 방법으로, AMVR을 위해 블록마다 1/4 화소 단위, 1/2 화소 단위, 1의 정수 화소 단위, 4의 정수 화소 단위 중 어느 하나에 대한 움직임 정보가 시그널링 될 수 있다. 현재 블록이 어파인(affine) 모드로 부호화된 경우, 블록마다 1/4 화소 단위, 1/16 화소 단위, 1의 정수 화소 단위 중 어느 하나에 대한 움직임 정보가 시그널링될 수 있다. 현재 블록이 IBC 모드로 부호화된 경우, 블록마다 1의 정수 화소 단위, 4의 정수 화소 단위 중 어느 하나에 대한 움직임 정보가 시그널링될 수 있다.

움직임 정보의 차분 값에 대한 양자화 레벨은 AMVR의 시그널링 정보를 통해 유추될 수 있다. 디코더는 AMVR의 블록 단위 움직임 해상도 레벨을 양자화 레벨로 설정할 수 있다. 디코더는 현재 블록의 움직임 정보를 기 설정된 움직임 해상도(현재 블록에 대한 AMVR 움직임 해상도)로 설정하고, 본 명세서에서 설명한 움직임 보정 방법을 통해 현재 블록의 움직임 정보를 보정할 수 있다. 여기서 임의의 정해진 움직임 해상도는 1/4 화소 단위, 1/2 화소 단위, 1의 정수 화소 단위, 2의 정수 화소 단위, 4의 정수 화소 단위 중의 하나가 될 수 있다.

AMVR이 1의 정수 화소 단위인 경우, 움직임 보정 방법을 통해 현재 블록의 움직임 정보는 1/4 화소 단위까지 계산될 수 있다. 또한 AMVR이 1/4 화소 단위인 경우, 현재 블록의 움직임 해상도는 1/4이 최소일 수 있다. 따라서, 해당 블록에는 움직임 정보의 차분 값에 대한 양자화 방법이 적용되지 않을 수 있다. 또는 현재 블록의 움직임 정보의 차분 값에 대한 양자화 레벨이 추가적으로 시그널링될 수 있다. 디코더는 AMVR 정보 및 양자화 레벨과 관련하여 시그널링된 정보(신택스 요소)를 모두 파싱하여 현재 블록에 대한 움직임 차분 값을 역양자화하고, 움직임 보정 방법을 통해 AMVR의 움직임 해상도에 맞도록 현재 블록의 움직임 정보를 보정할 수 있다. 또한 움직임 정보의 차분 값에 대한 양자화 레벨은 시그널링되지 않고, AMVR의 움직임 해상도가 양자화 레벨로 정의될 수 있다. 즉, 블록 마다 AMVR의 움직임 해상도는 1/2 화소 단위, 1의 정수 화소 단위, 2의 정수 화소 단위, 4의 정수 화소 단위 중 어느 하나로 설정될 수 있다. 이때, 움직임 정보의 차분 값에 대한 양자화 레벨은 AMVR의 움직임 해상도에 맞게 설정될 수 있다. 또한 AMVR의 움직임 해상도가 2의 정수 화소 단위인 경우, 움직임 정보의 차분 값도 2의 정수 화소 단위로 양자화되어 비트스트림에 포함될 수 있다. 디코더는 AMVR의 움직임 해상도와 현재 블록의 움직임 정보의 차분 값과 관련하여 시그널링된 정보(신택스 요소)를 파싱하여 움직임 해상도에 맞도록 움직임 정보의 차분값을 역양자화(2의 배수를 적용)할 수 있다. 디코더는 움직임 정보의 예측 값과 움직임 정보의 차분 값을 합산하여 최종적인 움직임 정보를 획득할 수 있다. 이후 디코더는 움직임 보정 방법을 사용하여 최종적인 움직임 정보에 대해 양자화로 인해 제거된 움직임을 보정할 수 있다.

양자화 레벨에 대한 시그널링은 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨, 슬라이스 헤더 레벨, CTU 단위 레벨, CU 단위 레벨 중에 적어도 하나 이상에 포함될 수 있다. 예를 들어, 블록 단위로 양자화 레벨이 시그널링되는 경우, CU 단위마다 양자화 레벨은 시그널링될 수 있다. 또한 슬라이스 내의 모든 CU에 동일한 양자화 레벨이 설정되는 경우, 슬라이스 헤더 레벨에서 양자화 레벨이 시그널링되고, CU 단위 레벨에서는 시그널링되지 않을 수 있다. 양자화 레벨은 현재 블록이 AVMP 모드로 부호화된 경우 시그널링될 수 있다. 또한, 현재 블록이 머지 모드로 부호화된 경우, 움직임 보정에 대한 탐색 영역을 설정하기 위해 양자화 레벨은 시그널링될 수 있다.

도 26, 도 27은 본 발명의 일 실시예에 따른 움직임 정보의 차분 값에 대한 정보를 시그널링하는 방법을 나타내는 도면이다.

도 26은 본 발명의 일 실시예에 따른 움직임 정보의 차분 값에 대한 양자화 레벨을 시그널링하는 방법을 나타내고, 도 27은 양자화된 움직임 정보의 차분 값과 양자화로 인한 오차 값에 대한 정보를 시그널링하는 방법을 나타낸다.

도 26을 참조하면, SPS 레벨에서 움직임의 차분 값에 대한 양자화 방법이 활성화되는지 여부에 대한 신택스 요소(sps_mvd_quant_enabled_flag)를 시그널링할 수 있다. 디코더는 sps_mvd_quant_enabled_flag가 시그널링된 경우 움직임 정보의 차분 값에 대한 양자화 레벨과 관련된 신택스 요소(mvd_quant_minus1)를 파싱할지 여부를 결정할 수 있다. mvd_quant_minus1의 값이 '0'인 경우, 양자화 레벨은 '1'로 설정될 수 있다. 양자화 레벨이 '1'인 경우, 소수점 단위의 움직임 정보의 차분 값들이 모두 '0'으로 매핑되었음을 의미할 수 있다. 이때, 소수점 단위의 움직임 정보의 차분 값들은 본 명세서에서 설명하는 움직임 보정 방법들을 통해 보정될 수 있다. mvd_quant_minus1에 대한 컨텍스트 및 문맥 모델 선택 방법은 도 16을 통해 상술한 방법이 적용될 수 있다.

움직임 보정을 수행할 때의 탐색 영역은 양자화 레벨 또는 현재 블록의 움직임 해상도에 따라 범위가 달라질 수 있다.

양자화 레벨이 1의 정수 단위인 경우, 1/4 화소 단위의 움직임 정보의 차분 값을 보정하기 위한 탐색 범위는 임의의 정해진 (m, n)이 될 수 있다. 예를 들어, 탐색 범위는 (16, 16)일 수 있다. 또한 양자화 레벨이 1/2 화소 단위인 경우, 1/2 화소 단위의 움직임 정보의 차분 값을 보정하기 위한 탐색 범위는 임의의 정해진 (m, n)이 될 수 있다. (m, n)은 m x n 크기의 영역을 의미할 수 있다. 예를 들어, 탐색 범위는 (8, 8)일 수 있다. 또한 양자화 레벨이 4의 정수 화소 단위이고 현재 블록의 움직임 해상도가 1의 정수 화소 단위인 경우, 4의 정수 화소 이내의 1의 정수 화소 단위의 움직임 정보의 차분 값을 보정하기 위한 탐색 범위는 임의의 정해진 (m, n)이 될 수 있다. 예를 들어, 탐색 범위는 (16, 16)일 수 있다. 또한, 현재 블록의 AMVR 해상도에 따라 탐색 범위가 달라질 수 있다. 예를 들어, 현재 블록의 AMVR 해상도가 1/4 화소 단위인 경우, 탐색 범위는 (16, 16)일 수 있고, 현재 블록의 AMVR 해상도가 1/2 화소 단위인 경우, 탐색 범위는 (8, 8)일 수 있다.

현재 코딩 블록이 여러 개의 서브 블록으로 분할된 경우, 디코더는 각 서브 블록마다 현재 코딩 블록의 양자화 레벨을 적용하여 움직임 정보의 차분 값을 보정할 수 있다. 또는 각 서브 블록마다 양자화 레벨은 다르게 설정될 수 있고, 디코더는 각 서브 블록마다 다른 양자화 레벨을 설정하여 움직임 차분 값을 보정할 수 있다. 이때, 각 서브 블록에 대한 양자화 레벨의 보정 값이 비트스트림에 포함되어 디코더로 전송될 수 있다. 디코더는 현재 코딩 블록의 양자화 레벨과 서브 블록의 양자화 레벨 보정 값을 합산하여 현재 서브 블록의 양자화 레벨을 설정할 수 있다.

이하에서는 움직임 차분 값의 양자화 방법에 대해 설명한다.

'0'에 인접한 차분 값들은 '0'으로 재설정될 수 있다. 차분 값의 분포는 '0'에 가까워질수록 크다. 즉, '0'에 인접한 차분 값이 많다면, 디코더는 '0'에 인접한 차분 값 중에서 일정 범위 내의 차분 값들을 '0'으로 재설정할 수 있다. 일정 범위는 1, 2 ,3, 4 ... 인 양의 정수일 수 있다. 예를 들어 일정 범위가 1인 경우, 디코더는 -1 ~ 1 사이의 소수점 단위의 움직임 정보의 차분 값들을 모두 '0'으로 재설정할 수 있다. 이때, 움직임 정보의 차분 값은 mvd_zero_flag를 사용하여 시그널링될 수 있다. 또한, 움직임 정보의 차분 값을 양자화하는 방법은 움직임 정보의 차분 값의 수평 또는 수직 방향 중에서 적어도 하나 이상의 성분에 대해 적용될 수 있다. 예를 들어, 수평 방향의 움직임 정보의 차분 값만 양자화가 수행될 수 있다. 또한, 도 27을 참조하면 양자화된 움직임 정보의 차분 값과 양자화로 인한 오차 값에 대한 신택스 요소가 비트스트림에 포함될 수 있다. 양자화된 움직임 정보에 대한 정보가 비트스트림에 포함되면, 복잡도가 높아 움직임 정보의 보정 방법을 사용할 수 없을 경우에 효과적일 수 있다. 현재 블록의 움직임 정보의 차분 값이 '(13, 14)'이고 양자화 레벨이 '4'의 정수 화소 단위인 경우, 양자화된 움직임 정보의 차분 값은 '(3, 3)'이 되고, 양자화로 인한 오차 값은 '(1, 2)'이 될 수 있다. 이때, 양자화된 움직임 차분값 '(3, 3)'은 abs_mvd_minus2[0] 또는 abs_mvd_minus2[1]로 부호화되고, 양자화로 인한 오차 값은 '(1, 2)'는 abs_dmvd_minus2[0] 또는 abs_dmvd_minus2[1]로 부호화될 수 있다. 디코더는 abs_mvd_minus2[0] 또는 abs_mvd_minus2[1]를 파싱하여 '(3, 3)'을 획득한 후 양자화 레벨에 맞도록 역양자화하여 '(12, 12)'를 복원할 수 있다. 다음으로, 디코더는 abs_dmvd_minus2[0] 또는 abs_dmvd_minus2[1]를 파싱하여 '(1, 2)'를 획득한 후, '(1, 2)'를 역양자화된 '(12, 12)'와 합산하여 최종 움직임 정보의 보정 값을 획득할 수 있다. 이때, 양자화된 움직임 정보의 차분 값에 대한 부호와 양자화로 인한 오차 값에 대한 부호화 값은 mvd_sign_flag[ 0 or 1 ] 및 dmvd_sign_flag[ 0 or 1 ]를 통해 부호화될 수 있다. 이때 인코더가 양자화로 인한 오차 값을 부호화할 때 또 다른 양자화 레벨을 적용하여 2차 양자화를 적용할 수 있다. 예를 들어 양자화로 인한 오차 값인 '(1, 2)'에 2차 양자화 레벨 '2'를 적용하여 양자화 시킨 오차 값 '(1, 1)'을 생성할 수 있다. 디코더는 역양자화를 수행하여 역양자화된 오차 값 '(2, 2)'를 획득하여 움직임 정보의 차분 값과 합산할 수 있다.

현재 블록에 대해 화면 간 예측이 수행될 때, 현재 블록에 대한 움직임 정보는 현재 블록의 주변 블록으로부터 유도될 수 있다. 주변 블록으로부터 유도된 움직임 정보가 현재 블록의 움직임 정보의 예측 값으로 사용될 수 있다. 현재 블록에 대한 최적의 움직임 정보는 움직임 정보의 예측 값과 다를 수 있다. 인코더는 최적의 움직임 정보와 움직임 정보의 예측 값 간의 차이인 움직임 차분 값을 포함하는 비트스트림을 생성하고, 디코더는 이러한 비트스트림을 시그널링받을 수 있다. 디코더는 비트스트림으로부터 움직임 차분 값을 파싱하여 현재 블록에 대한 움직임 정보를 구성하는데 사용할 수 있다. 이때, 움직임 차분 값은 수평 및 수직 방향에 대한 움직임 정보의 절대값과 부호(+, -)로 구성될 수 있다. 여기서 부호에 대한 정보는 주변 블록 간의 상관성 등을 사용하여 확률적으로 모델화하기 어렵기 때문에 컨텍스트 모델이 구성되기 힘든 경우가 있다. 따라서 인코더는 움직임 차분 값에 대한 부호를 컨텍스트 모델 없이 0 또는 1이 발생할 확률을 '0.5'로 동일하게 설정하여, 엔트로피 코딩할 수 있다. 확률을 '0.5'로 동일하게 설정하여 엔트로피 코딩하는 방법은 bypass 모드로 기술될 수 있다.

도 28은 본 발명의 일 실시예에 따른 움직임 차분 값의 부호와 관련된 정보를 디코딩하는 방법을 나타내는 도면이다.

인코더는 움직임 차분 값에 대한 엔트로피 코딩 효율을 높이기 위해서, 움직임 차분 값에 대한 부호 정보를 예측한 후, 예측 정확도에 대한 확률을 통해 컨텍스트 모델을 구성하여 엔트로피 코딩을 수행할 수 있다.

이하에서 엔트로피 코딩된 움직임 차분 값에 대한 부호 정보를 디코딩하는 구체적인 과정에 대해 설명한다.

디코더는 현재 블록에 대한 템플릿을 구성할 수 있다(S2801). 이때, 템플릿은 현재 블록에 인접한 주변 블록의 복원된 픽셀들로 구성될 수 있다. 디코더는 주변 블록으로부터 현재 블록의 움직임 정보를 유도할 수 있다(S2802). 구체적으로, 디코더는 주변 블록으로부터 현재 블록의 움직임 정보의 예측 값을 유도할 수 있다. 디코더는 비트스트림으로부터 현재 블록의 움직임 정보의 차분 값에 대한 절대 값을 파싱하여 획득할 수 있다(S2803). 디코더는 현재 블록의 움직임 정보의 차분 값에 대한 절대값과 움직임 정보의 예측 값을 사용하여, 모든 가능한 조합의 현재 블록에 대한 움직임 정보 부호 후보 리스트를 구성할 수 있다(S2804). 이때, 움직임 정보의 차분 값에 대한 절대값이 '0'인 경우에는 부호가 없으므로, 절대값이 '0'인 경우는 움직임 정보 부호 후보 리스트에서 제외될 수 있다. 디코더는 현재 블록에 대한 템플릿과 움직임 정보 부호 후보 리스트에 대응되는 모든 움직임 정보를 통해 유도된 참조 템플릿 간의 코스트 값들을 계산할 수 있다. 움직임 정보 부호 후보 리스트에 대응되는 모든 움직인 정보는 참조 픽쳐 내의 참조 블록에 대한 움직임 정보일 수 있다. 디코더는 계산한 코스트 값에 기초하여 현재 블록에 대한 최종 움직임 정보의 부호 후보를 결정할 수 있다(S2805). 이때 최종 움직임 정보의 부호 후보는 계산된 코스트 값들 중 가장 작은 코스트 값에 대응되는 움직임 정보의 부호 후보일 수 있다. 디코더는 현재 블록에 대한 최종 움직임 정보의 부호 후보는 실제 움직임 차분 값에 대한 부호와 일치하는지 여부를 지시하는 부호 결정 인덱스를 파싱하기 위해 현재 블록의 움직임 정보에 대한 절대 값의 크기를 이용하여 부호 결정 인덱스에 대한 컨텍스트 모델을 유도할 수 있다(S2806). 예를 들어, 현재 블록의 움직임 정보에 대한 절대 값이 기 설정된 임계 값보다 같거나 작은 경우, 첫번째 컨텍스트 모델이 사용될 수 있다. 이때, 기 설정된 임계 값은 1이상의 정수일 수 있다. 또한 현재 블록의 움직임 정보에 대한 절대 값이 기 설정된 임계 값보다 큰 경우, 두번째 컨텍스트 모델이 사용될 수 있다. 이때, 기 설정된 임계 값은 현재 블록의 움직임 정보의 특성에 따라 결정되는 값일 수 있다. 기 설정된 임계 값은 현재 블록의 움직임 정보가 Affine 기반 모드인지, SMVD 또는 MMVD 모드인지에 따라 상이하게 설정될 수 있다. 현재 블록의 움직임 정보가 Affine 기반 모드인 경우, SMVD 또는 MMVD 모드인 경우보다 기 설정된 임계 값은 작거나 크게 설정될 수 있다. Affine 기반 모드는 Affine 모드와 Affine MMVD 모드 일 수 있다. 예를 들어, 현재 블록의 움직임 정보가 SMVD 또는 MMVD 모드일 경우, 기 설정된 임계 값은 '16'으로 설정될 수 있으며, 현재 블록의 움직임 정보가 Affine 기반 모드인 경우, 기 설정된 임계 값은 '4'로 설정될 수 있다. 현재 블록에 대한 최종 움직임 정보의 부호 후보는 실제 움직임 정보의 차분 값에 대한 부호와 일치하지 않을 수 있다. 따라서, 디코더는 현재 블록에 대한 최종 움직임 정보의 부호 후보와 실제 움직임 정보의 차분 값에 대한 부호가 서로 일치하는지 여부에 대한 정보인 부호 결정 인덱스를 상기 유도된 컨텍스트 모델을 사용하여 파싱한 후, 최종 움직임 정보의 부호를 결정할 수 있다(S2807). 디코더는 부호 결정 인덱스와 현재 블록에 대한 최종 움직임 정보의 부호 후보를 이용해서, 현재 블록에 대해 가장 적합한 움직임 정보의 차분 값의 부호를 결정할 수 있다(S2808). 이후 디코더는 가장 적합한 움직임 정보의 차분 값의 부호에 기초하여 현재 블록에 대한 움직임 정보를 획득할 수 있다.

도 29, 도 30, 도 31은 본 발명의 일 실시예에 따른 움직임 정보에 대한 부호를 예측하는 방법을 나타내는 도면이다.

움직임 정보에 대한 부호를 예측하는 방법은 현재 블록의 부호화 모드에 따라 달라질 수 있다. 도 29는 현재 블록의 부호화 모드가 AMVP 모드일 때, 움직임 정보의 차분 값에 대한 부호를 예측하는 방법을 나타내고, 도 30은 현재 블록의 부호화 모드가 MMVD 모드일 때, 움직임 정보의 차분 값에 대한 부호를 예측하는 방법을 나타내고, 도 31은 현재 블록의 부호화 모드가 Affine 모드일 때, 움직임 정보의 차분 값에 대한 부호를 예측하는 방법을 나타낸다.

도 29를 참조하면 수평 방향의 움직임 정보의 차분 값의 절대값과 수직 방향의 움직임 정보의 차분 값의 절대값은 동일한 크기일 수 있다. 이때, 수평 방향 및 수직 방향의 움직임 정보의 차분 값은 '0'이 아닐 수 있다. 차분 값은 현재 블록이 AMVP 모드로 부호화된 경우에 획득될 수 있고, SMVD 모드로 부호화된 경우에도 획득될 수 있다. 도 30을 참조하면 현재 블록이 MMVD 모드로 부호화된 경우 움직임 정보의 차분 값은 수평 또는 수직 방향 중 어느 하나의 방향에만 해당할 수 있다. 현재 블록이 MMVD 모드로 부호화된 경우 움직임 정보의 차분 값은 대각선 방향이 존재하지 않을 수 있다. 또는 MMVD 모드에서 대각선 방향으로의 움직임 정보의 차분 값이 표현되는 경우, 기 설정된 각도에 대한 인덱스 정보와 크기 정보가 사용될 수 있다. 이때 디코더는 움직임 정보의 차분 값에 대한 부호 예측 대신 각도에 대한 인덱스 정보를 예측할 수 있다. 도 31을 참조하면 현재 블록이 Affine 모드로 부호화된 경우 움직임 정보는 최대 3개일 수 있다. 따라서, 예측해야 할 움직임 정보의 차분 값에 대한 부호 개수는 최대 6개일 수 있다. 디코더 연산의 복잡도 감소를 위해 Affine 모드에서 허용 가능한 부호 조합의 수는 제한되어 설정될 수 있다. 제한되어 설정된 허용 가능한 부호 조합의 수가 기 설정된 값보다 크다면 디코더는 움직임 부호의 예측 방법을 사용하지 않을 수 있다. 이때, 기 설정된 값은 1 이상의 정수로, 16일 수 있다. 또한, 현재 블록이 Affine 모드로 부호화된 경우, 디코더는 현재 블록을 여러 개의 서브 블록으로 분할하여 예측을 수행하므로, 템플릿도 각 서브 블록의 위치와 크기에 따라 분할되도록 구성될 수 있다. 마찬가지로, 참조 픽쳐의 템플릿도 Affine 모드의 움직임 정보와 각 서브 블록의 위치와 크기에 따라 구성될 수 있다.

움직임 정보의 차분 값의 부호를 예측하는 방법의 다양한 실시예가 존재할 수 있다. 이하에서 도 28 내지 도 31를 통해 설명한 템플릿을 구성하는 방법에 대해 설명한다.

디코더는 현재 블록의 좌측에 인접한 좌측 블록으로 구성된 좌측 템플릿과 현재 블록의 상측에 인접한 상단 템플릿을 모두 사용하지 않고 일부만 사용할 수 있다. 가장 작은 코스트 값에 기초하여 획득되는 최종 움직임 정보의 부호 후보는 템플릿에 적합한 후보일 뿐, 현재 블록에 적합한 후보가 아닐 수 있다. 따라서, 현재 블록에 가장 잘 맞는 템플릿을 유도하기 위해 디코더는 좌측 템플릿과 상단 템플릿 중 어느 하나의 템플릿만 사용할 수 있다. 좌측 템플릿과 상단 템플릿 중 어느 템플릿이 사용되는지에 대한 정보는 비트스트림에 포함될 수 있다. 즉, 디코더는 비트스트림을 파싱하여 좌측 템플릿과 상단 템플릿 중 어느 템플릿이 사용되는지 확인할 수 있다. 또한 디코더는 좌측 템플릿만을 사용하여 구성한 움직임 정보의 부호 후보 리스트와 상단 템플릿만을 사용하여 구성한 움직임 정보의 부호 후보 리스트와 좌측과 상단 템플릿을 모두 사용하여 구성한 움직임 정보의 부호 후보 리스트 중에서, 가장 작은 코스트 값을 갖는 템플릿과 움직임 정보의 부호 후보를 획득하여 최종 움직임 정보의 부호 후보로 사용할 수 있다.

디코더는 현재 블록의 움직임 정보의 예측 값을 유도할 때 사용한 주변 블록의 위치에 따라 템플릿을 다르게 구성할 수 있다. 디코더가 현재 블록의 움직임 정보의 예측 값을 현재 블록의 상단 주변 블록에서 유도한 경우, 디코더는 상단 템플릿만을 사용하여 코스트 값을 계산할 수 있다. 디코더가 현재 블록의 움직임 정보의 예측 값을 TMVP로부터 유도한 경우, 디코더는 좌측 템플릿 및 상단 템플릿을 모두 사용하여 코스트 값을 계산할 수 있다. 즉, 주변 블록으로부터 유도된 움직임 정보가 공간적인 주변 블록으로부터 유도된 움직임 정보(SMVP)인지 시간적인 주변 블록으로부터 유도된 움직임 정보(예를 들어, TMVP)인지에 따라 사용되는 템플릿의 구성 방법 또는 움직임 정보의 부호에 대한 예측 방법의 사용 유무가 달라질 수 있다. 현재 블록의 움직임 정보의 예측 값을 유도하기 위해 TMVP가 사용된 경우는 현재 블록에 공간적으로 인접한 주변 블록은 현재 블록의 움직임 정보와는 다른 특성을 지닐 수 있어, 템플릿에 대한 정확도가 낮을 수 있다. 따라서, 디코더는 현재 블록의 움직임 정보의 예측 값을 유도하는데 TMVP가 사용된 경우, 움직임 정보의 부호에 대한 예측 방법을 사용하지 않을 수 있다. 또한, 디코더는 템플릿을 구성하지 않고, 미리 정의된 움직임 정보의 부호 후보를 사용하여 움직임 부호에 대한 예측 방법을 수행할 수 있다. 이때, 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다.

디코더는 현재 블록의 움직임 정보의 예측 값을 유도할 때 사용한 주변 블록의 위치에 따라 움직임 정보의 부호를 예측하는 방법을 사용할지 여부를 결정할 수 있다. 현재 블록과 주변 블록 간의 상관성이 높을수록 움직임 정보의 부호를 예측하는 방법의 정확도가 높아질 수 있다. 따라서, 인접한 주변 블록으로부터 현재 블록의 움직임 정보의 예측 값이 유도되었다면, 움직임 정보의 부호를 예측하는 방법이 사용될 수 있다. 반대로, 인접한 주변 블록으로부터 현재 블록의 움직임 정보의 예측 값이 유도되지 않았다면, 움직임 정보의 부호를 예측하는 방법은 사용되지 않을 수 있고, 디코더는 bypass 모드로 부호를 파싱할 수 있다. 또한 디코더는 미리 정의된 움직임 정보의 부호 후보를 사용하여 움직임 정보의 부호를 예측하는 방법을 수행할 수 있으며, 이때 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다. 현재 블록의 움직임 정보의 예측 값을 유도할 때 사용한 주변 블록의 위치에 따라 움직임 정보의 부호를 예측하는 방법은 움직임 정보의 예측 값에 의존하여 움직임 정보의 부호가 예측될 수 있다. 또한 디코더는 현재 블록의 움직임 정보를 유도하기 위한 움직임 정보 후보 리스트 중에서 예측 값을 지시하는 인덱스의 값이 기 설정된 값보다 작은 경우(즉, 공간적으로 인접한 주변 블록이 주로 배정되는 순서인 경우), 현재 블록의 움직임 정보의 부호를 예측하는 방법을 사용할 수 있다. 현재 블록의 움직임 정보를 유도하기 위한 움직임 정보 후보 리스트 중에서 예측 값을 지시하는 인덱스의 값이 기 설정된 값보다 크거나 같은 경우, 움직임 정보의 부호를 예측하는 방법은 사용되지 않고 디코더는 bypass 모드로 부호를 파싱할 수 있다. 이때 기 설정된 값은 0 이상의 정수일 수 있다. 또한 디코더는 미리 정의된 움직임 정보의 부호 후보를 사용하여 움직임 정보의 부호를 예측하는 방법을 수행할 수 있으며, 이때 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다.

디코더는 현재 블록의 주변 블록의 정보에 기초하여 좌측 템플릿 및 상단 템플릿의 사용 여부를 결정할 수 있다. 디코더는 현재 블록의 움직임 정보와 주변 블록의 움직임 정보가 가장 유사한 템플릿을 이용하여 코스트 값을 계산할 수 있다. 다시 말하면 좌측 템플릿 및 상단 템플릿의 움직임 정보가 현재 블록의 움직임 정보의 부호 후보 리스트 내의 임의의 후보와 유사할 경우, 디코더는 임의의 후보와 유사한 템플릿을 사용할 수 있다. 이는 현재 블록의 움직임 정보를 부호화하는 모드에 따라 다르게 적용될 수 있다. 현재 블록이 AMVP 모드로 부호화된 경우, 디코더는 좌측 템플릿 및 상단 템플릿의 움직임 정보 중 현재 블록의 움직임 정보 부호 후보 리스트 내의 임의의 후보와 유사하지 않는 템플릿을 사용할 수 있다. AMVP 모드는 주변 블록의 움직임 정보와 현재 블록의 움직임 정보가 크게 다를 경우에 주로 선택되는 모드이기 때문이다. 또한 현재 블록이 머지 모드로 부호화된 경우, 디코더는 좌측 템플릿 및 상단 템플릿의 움직임 정보 중 현재 블록의 움직임 정보 부호 후보 리스트 내의 임의의 후보와 가장 유사한 템플릿을 사용할 수 있다. 머지 모드는 주변 블록의 움직임 정보와 현재 블록의 움직임 정보가 유사할 경우에 주로 선택되는 모드이기 때문이다.

디코더는 현재 블록의 가로 및 세로 크기의 비율에 따라 템플릿을 구성할 수 있다. 예를 들어, 현재 블록의 가로 크기가 세로 크기보다 크다면, 디코더는 상단 템플릿만을 사용하여 코스트 값을 계산할 수 있다.

디코더는 현재 블록의 위치에 따라 템플릿을 구성할 수 있다. 디코더는 현재 블록이 픽쳐, 서브픽쳐, 슬라이스, 타일, CTB 경계에 위치하는 경우 각각에 따라 템플릿을 다르게 구성할 수 있다. 예를 들어, 현재 블록의 상단 경계가 CTB 경계인 경우, 디코더는 상단 템플릿을 사용하지 않고, 좌측 템플릿만 사용하여 코스트 값을 계산할 수 있다. 현재 블록의 좌측 경계가 CTB 경계인 경우, 디코더는 좌측 템플릿을 사용하지 않고, 상단 템플릿만 사용하여 코스트 값을 계산할 수 있다. 현재 블록이 CTB의 첫번째 블록인 경우(즉, 좌측 경계와 상단 경계가 모두 CTB 경계인 경우), 디코더는 움직임 정보의 부호를 예측하는 방법을 사용하지 않고 bypass 모드로 부호를 파싱할 수 있다. 또는 디코더는 미리 정의된 움직임 정보 부호 후보를 사용하여 움직임 부호에 대한 예측 방법을 수행할 수 있다. 이때, 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다.

현재 블록에 인접한 주변 블록이 화면 내 예측 모드로 부호화된 블록인 경우, 디코더는 움직임 정보의 부호를 예측하는 방법을 수행하지 않을 수 있다. 또는 디코더는 미리 정의된 움직임 정보 부호 후보를 사용하여 움직임 부호에 대한 예측 방법을 수행할 수 있다. 이때, 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다. 이는 디코더의 처리 속도를 높이기 위함이다.

움직임 정보 부호 후보 리스트 내의 움직임 정보가 픽쳐, 서브픽쳐, 슬라이스, 타일 경계를 벗어나는 경우, 디코더는 벗어나는 움직임 정보에 대한 템플릿을 구성하지 않을 수 있다. 이때, 벗어나는 움직임 정보에 대한 코스트 값은 최대로 설정되어 디코더는 이를 선택하지 않을 수 있다.

디코더는 현재 블록의 가로 및 세로 크기에 따라 템플릿 사용 여부를 결정할 수 있다. 예를 들어, 현재 블록의 가로 또는 세로 크기가 임의의 값보다 같거나 작은 경우(또는 같거나 큰 경우), 디코더는 움직임 정보의 부호를 예측하는 방법을 사용하지 않을 수 있다. 이때 임의의 값은 1이상의 정수일 수 있다. 또는 디코더는 미리 정의된 움직임 정보 부호 후보를 사용하여 움직임 부호에 대한 예측 방법을 수행할 수 있다. 이때, 미리 정의된 움직임 정보의 부호 후보는 모든 부호가 '+' 또는 '-'로 구성될 수 있다.

템플릿은 복원된 블록으로 구성될 수 있기 때문에 현재 블록의 주변 블록이 모두 복원되어 있는 경우에만 템플릿을 사용할 수 있다. 하지만, 템플릿을 사용하는 경우 블록 간의 병렬성이 약화되어 디코더측에서의 처리 속도가 느리다는 문제점이 있다. 이러한 문제점을 해결하기 위해 이하에서는 현재 블록의 주변 블록의 정보를 이용하여 현재 블록의 움직임 정보의 부호를 예측하는 방법에 대해 설명한다.

디코더는 현재 블록의 움직임 정보의 예측 값을 유도하는데 사용되지 않은 주변 블록의 움직임 정보(공간적인 주변 블록에 대한 움직임 정보인 SMVP 또는 시간적인 주변 블록에 대한 움직임 정보 TMVP 또는 재구성된 움직임 정보 중에서 적어도 하나 이상)를 기준 움직임 정보로 사용하여 현재 블록의 움직임 정보의 부호를 예측할 수 있다. 예를 들어, 현재 블록의 좌측 주변 블록이 현재 블록의 움직임 정보의 예측 값을 유도하는 데 사용되었다면, 디코더는 현재 블록의 상단 주변 블록의 움직임 정보를 기준 움직임 정보로 사용할 수 있다. 이때, 디코더는 현재 블록의 움직임 정보 부호 후보 리스트 중에서 기준 움직임 정보와의 차이가 임의의 값 이내인 움직임 정보 부호 후보를 현재 블록에 대한 최종 움직임 정보 부호 후보로 선택할 수 있다. 이때, 임의의 값은 1 이상의 정수일 수 있다. 또한 현재 블록의 좌측 주변 블록이 현재 블록의 움직임 정보의 예측 값을 유도하는데 사용되었다면, 디코더는 현재 블록의 시간적인 주변 블록의 움직임 정보(TMVP)를 기준 움직임 정보로 사용하여 현재 블록의 움직임 정보의 부호를 예측할 수 있다.

도 32는 본 발명의 일 실시예에 따른 선형 관계에 따라 현재 블록의 움직임 정보 부호 후보를 결정하는 방법을 나타내는 도면이다.

현재 블록의 움직임 정보는 양방향 예측을 사용하는 움직임이거나 MHP 모드일 수 있다. 현재 블록의 움직임 정보가 양방향 예측을 사용하는 움직임인 경우, 디코더는 L0 방향에 대해서는 템플릿 기반으로 움직임 부호를 예측한 후, L0 방향에서 결정된 움직임 정보를 이용하여 L1 방향 및 추가 움직임 정보에 대한 부호를 예측할 수 있다. 즉, 디코더는 L0와 L1의 움직임에 대한 선형성에 기초하여 L1 방향의 움직임 부호를 예측할 수 있다. 이때, 디코더는 선형성을 판단하기 위해 L0 참조 픽쳐의 시간 순서와 L1 참조 픽쳐의 시간 순서가 선형 관계에 있는지 확인할 수 있다. 예를 들어, 디코더는 L0 및 L1 참조 픽쳐의 시간 순서를 비교하여 선형성을 판단할 수 있다. 다시 말하면 디코더는 L0 및 L1 참조 픽쳐의 시간 순서가 서로 다른 경우 선형성이 있는 것으로 판단할 수 있다. 현재 블록의 움직임 정보가 MHP 모드인 경우, 디코더는 L0 또는 L1 방향의 움직임 정보 중에서 적어도 하나 이상을 사용하여 추가적인 움직임 정보에 대한 부호를 예측할 수 있다. 선형 관계를 통해 부호를 예측하는 방법은 물체의 움직임이 선형적으로 이동한다는 특성을 이용한 예측 방법일 수 있다. 도 32를 참조하면, 디코더는 L1 참조 픽쳐를 참조하는 4개의 L1 움직임 정보 부호 후보 중에서 이미 결정된 L0 움직임 정보 부호 후보와 선형적으로 가장 유사한 L1 움직임 정보 부호 후보를 현재 블록에 대한 최종 L1 움직임 정보 부호 후보로 결정할 수 있다. 이러한 방법은 MHP 모드에서 추가적인 움직임 정보에 대한 부호 예측에도 활용될 수 있다.

디코더는 현재 블록의 움직임 정보의 차분 값에 대한 절대값과 움직임 정보의 예측 값을 사용하여, 조합 가능한 모든 현재 블록에 대한 움직임 정보 부호 후보에 대한 리스트를 구성할 수 있다. 이하에서 조합 가능한 모든 현재 블록에 대한 움직임 정보 부호 후보 리스트를 구성하는 방법에 대해 설명한다.

미리 정의된 부호 패턴에 따라 움직임 정보 부호 후보 리스트는 구성될 수 있다. 이때 미리 정의된 부호 패턴은 수평 방향을 우선적으로 변화시키는 패턴과 수직 방향을 우선적으로 변화시키는 패턴 중 어느 하나의 패턴일 수 있다. 어떠한 패턴이 사용되는지는 영상의 특성에 따라 달라질 수 있다. 어떠한 패턴이 사용되는지 여부는 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨, 슬라이스 헤더 레벨 중 적어도 어느 하나의 레벨에서 시그널링될 수 있다. 수평 방향을 우선적으로 변화시키는 패턴에 따른 움직임 정보 부호 후보 리스트는 (+, +), (-, +), (+, -), (-, -) 순으로 구성될 수 있다. 수직 방향을 우선적으로 변화시키는 패턴에 따른 움직임 정보 부호 후보 리스트는 (+, +), (+, -), (-, +), (-, -) 순으로 구성될 수 있다.

움직임 정보의 차분 값의 절대 값이 '0'인 움직임 정보의 부호는 예측되지 않을 수 있다. 예를 들어, 수직 방향 차분 값의 절대 값이 '0'인 경우, 수직 방향 차분 값의 부호는 예측되지 않고, 수평 방향에 대한 부호 패턴을 변화시켜서 움직임 정보 부호 후보 리스트가 구성될 수 있다. 이때, 부호 후보 리스트는 (+, 0), (-, 0)로 구성될 수 있다.

현재 블록의 움직임 정보가 양방향 움직임인의 경우, L0 및 L1 방향의 움직임 정보 부호 후보 리스트는 각각 구성될 수 있다. 디코더가 코스트 값을 계산할 때 양방향 움직임에 대한 평균을 고려하는 경우 보다 정확한 부호의 예측이 가능하다. 또한, L0 및 L1 방향의 움직임 정보 부호 후보 리스트는 하나의 리스트로 통합되어 구성될 수 있다. 예를 들어, 하나의 리스트는 (L0 수평 방향의 부호, L0 수직 방향의 부호, L1 수평 방향의 부호, L1 수직 방향의 부호) 형태의 후보들로 구성될 수 있다. 구체적으로 하나의 리스트는 (+, +, +, +), (+, +, +, -), (+, +, -, +), (+, +, -, -), (+, -, +, +), (+, -, +, -), (+, -, -, +), (+, -, -, -), (-, +, +, +), (-, +, +, -), (-, +, -, +), (-, +, -, -), (-, -, +, +), (-, -, +, -), (-, -, -, +), (-, -, -, -) 순으로 구성될 수 있다.

현재 블록이 Affine 모드로 부호화된 경우에 디코더는 최대 3개의 움직임 정보의 부호를 예측해야 한다. 3개의 움직임 정보 중에서 수평 또는 수직 방향의 움직임 정보의 차분 값 중 절대값이 '0'인 움직임 정보에 대한 부호가 움직임 정보 부호 후보 리스트의 처음에 위치할 수 있다. 3개의 움직임 정보 중에서 수평 또는 수직 방향의 움직임 정보의 차분 값 중 절대값이 '0'인 움직임 정보의 부호를 먼저 결정하기 위함이다. 움직임 정보 부호 후보 리스트 중 나머지 2개의 움직임 정보에 대한 부호는 움직임 정보 중에서 수평 또는 수직 방향의 움직임 정보의 차분 값 중 절대값이 '0'인 움직임 정보에 기초하여 재정렬될 수 있다.

도 33, 도 34는 본 발명의 일 실시예에 따른 움직임 정보 부호 후보 리스트를 재설정하는 방법을 나타내는 도면이다.

이하에서 도 33을 참조하여 현재 블록의 움직임 정보를 획득하는 방법에 대해 설명한다.

도 33을 참조하면 현재 블록의 움직임 정보는 움직임 정보 부호 리스트를 재정렬하여 획득될 수 있다. 도 33에 도시된 과정 중 일부는 도 28을 참조하여 설명한 과정과 동일할 수 있고, 동일한 과정에 대한 설명은 생략하기로 한다.

도 33의 S3301, S3302, S3303, S3305 단계는 도 28의 S2801, S2802, S2804, S2805 단계와 동일할 수 있다. 또한, 도 33의 S3306, S3307, S3309 단계는 도 28의 S2803, S2806, S2807 단계와 동일할 수 있다.

디코더는 S3303 단계에서 구성한 움직임 정보 부호 후보 리스트 중 특정 후보를 제외하고, 움직임 정보 부호 후보 리스트를 재정렬할 수 있다(S3304). 예를 들어, 디코더는 S3303 단계에서 구성한 움직임 정보 부호 후보 리스트 내의 임의의 움직임 정보 부호 후보에 대응하는 움직임 정보 후보가 픽쳐, 서브 픽쳐, 슬라이스, 타일 경계를 벗어나는 경우, 벗어나는 움직임 정보 후보에 대한 부호 후보를 리스트에서 제외할 수 있다. 또한, 움직임 정보가 양방향 움직임 예측 또는 MHP 모드인 경우, 현재 블록에 대한 움직임 정보는 복수 개일 수 있다. 이때, 이미 결정된 움직임 정보의 부호는 다음의 결정될 움직임 정보 부호 후보 리스트에서 제외되어야 한다. 즉, 디코더는 이미 결정된 L0 방향의 움직임 정보의 부호가 L1 방향의 움직임 정보 부호 후보 리스트(또는 MHP에서 추가적인 움직임 정보 부호 후보 리스트)에 존재하는지 확인하여 존재한다면, 이미 결정된 움직임 정보의 부호를 움직임 정보 부호 후보 리스트에서 제외할 수 있다.

디코더는 S3304 단계에서 재설정된 움직임 정보 부호 후보 리스트 내의 후보에 대응하는 움직임 정보 후보에 대해 화면 간 예측을 수행하여 참조 템플릿을 유도할 수 있다. 그리고 디코더는 참조 템플릿과 현재 블록의 주변 템플릿과의 코스트 값들을 계산할 수 있다. 디코더는 계산된 코스트 값들에 기초하여 움직임 정보 부호 후보 리스트 내의 움직임 정보 부호 후보들을 재정렬할 수 있다. 그리고 디코더는 재정렬된 움직임 정보 부호 후보들 중 어느 하나의 후보를 초기 움직임 정보 부호 후보로 결정할 수 있다(S3305). 이때, 계산된 코스트 값들 중 가장 작은 코스트 값에 대응되는 움직임 정보 후보의 부호가 리스트의 처음에 위치할 수 있다. 즉, 가장 작은 코스트 값에 대응되는 움직임 정보 후보의 부호가 현재 블록에 대한 초기 움직임 정보 부호 후보가 될 수 있다.

코스트 값만을 이용하여 초기 움직임 정보 부호 후보가 결정되는 경우, 현재 블록과 템플릿 간 특성이 달라 정확도가 낮다는 문제점이 있을 수 있다. 따라서 움직임 부호 후보들을 재정렬할 때, 코스트 값뿐 아니라, 재정렬되기 전 움직임 정보 부호 후보(초기 움직임 정보 부호 후보)들의 위치도 추가적으로 고려되어 재정렬될 수 있다. 예를 들어, 리스트 내 초기 움직임 후보의 인덱스가 작을수록 코스트 값에 대한 영향력이 작아지도록, 코스트 값에 대한 가중치가 설정될 수 있다. 즉, 각 움직임 후보의 최종 코스트 값은 화소(픽셀) 단위 코스트 값과 인덱스에 따른 가중치를 곱한 값으로 결정될 수 있다. 이때, 가중치는 초기 움직임 후보의 인덱스가 낮을수록 낮아지고, 높을수록 높게 설정될 수 있다. 가중치에 따라 코스트 값을 계산하는 것은 선택적일 수 있다.

이하에서는 화면 간 예측에 대한 복잡도를 감소시키기 위한 방법에 대해 설명한다. 후술하는 방법을 통해 화면 간 예측에 따른 코스트 값이 계산될 수 있다. 후술하는 방법은 선택적으로 수행될 수 있다.

복잡도 감소를 위해 기존 움직임 정보의 정밀도(precision)를 임의의 범위로 클리핑하여 화면 간 예측이 수행될 수 있다. 이때 임의의 범위는 정수 단위, 반 화소 단위, 1/4 단위 등이 될 수 있다. 또한, 복잡도 감소를 위해 소수점 단위 움직임 예측을 위해 고복잡도 보간 필터 대신에 저복잡도 보간 필터를 사용할 수 있다. 예를 들어, 탭(tap)의 개수가 작은 필터가 사용될 수 있다. 구체적으로, 기존의 6-tap 필터 대신 4-tap 또는 2-tap 필터가 사용될 수 있다. 이때, 2-tap 필터는 bi-linear 필터일 수 있다. 또한, 복잡도 감소를 위해 디코더는 움직임 정보 부호 후보 리스트의 모든 후보에 대한 코스트 값을 계산하지 않고, 특정 후보의 코스트 값이 임의의 값 이내인 경우, 나머지 후보들에 대한 코스트 값은 계산하지 않고 최대 값으로 설정할 수 있다. 이때, 임의의 값은 현재 블록의 가로 및 세로의 크기에 따라 달라지는 값일 수 있다. 예를 들어, 현재 블록의 가로 및 세로 크기가 8x8인 경우, 임의의 값은 64일 수 있다.

템플릿에 대한 코스트 값을 이용하여 움직임 정보의 부호를 예측하는 것은 템플릿의 특성이 현재 블록의 특성과 다르므로 정확도가 낮을 수 있다. 따라서, 초기 움직임 정보 부호 후보는 주변 블록의 움직임 정보에 기초하여 다른 움직임 정보 부호 후보로 재설정될 수 있다. 이하에서는 다른 움직임 정보 부호 후보로 재설정하는 방법에 대해 설명한다.

디코더는 현재 블록의 움직임 정보의 예측 값을 유도하는데 사용되지 않은 주변 블록의 움직임 정보(공간적인 주변 블록에 대한 움직임 정보인 SMVP 또는 시간적인 주변 블록에 대한 움직임 정보 TMVP 또는 재구성된 움직임 정보 중에서 적어도 하나 이상)를 기준 움직임 정보로 사용하여 움직임 정보 부호 후보를 재설정 할 수 있다. 다시 말하면, 디코더는 현재 블록의 움직임 정보 부호 후보 리스트 중에서 상기 기준 움직임 정보와 가장 유사한 후보를 초기 움직임 정보 부호 후보를 재설정할 수 있다. 예를 들어, 현재 블록의 좌측 주변 블록이 현재 블록의 움직임 정보의 예측 값을 유도하는 데 사용되었다면, 디코더는 현재 블록의 상단 주변 블록의 움직임 정보를 기준 움직임 정보로 사용할 수 있다. 이때, 디코더는 현재 블록의 움직임 정보 부호 후보 리스트 중에서 기준 움직임 정보와의 차이가 임의의 값 이내인 움직임 정보 부호 후보를 현재 블록에 대한 최종 움직임 정보 부호 후보로 선택할 수 있다. 이때, 임의의 값은 1 이상의 정수일 수 있다.

현재 블록의 움직임 정보는 양방향 움직임이거나 MHP 모드일 수 있다. 현재 블록의 움직임 정보가 양방향 움직임인 경우, 디코더는 L0 방향에 대해서는 템플릿 기반으로 움직임 부호를 예측한 후, L0 방향에서 결정된 움직임 정보를 이용하여 L1 방향 및 추가 움직임 정보에 대한 부호를 재설정할 수 있다. 즉, 디코더는 L0와 L1의 움직임에 대한 선형성에 기초하여 L1 방향의 움직임 부호를 예측하고, 예측 결과에 따라 L1 방향 및 추가 움직임 정보에 대한 부호를 재설정할 수 있다. 이때, 디코더는 선형성을 판단하기 위해 L0 참조 픽쳐의 시간 순서와 L1 참조 픽쳐의 시간 순서가 선형 관계에 있는지 확인할 수 있다. 예를 들어, 디코더는 L0 및 L1 참조 픽쳐의 시간 순서를 비교하여 선형성을 판단할 수 있다. 다시 말하면 디코더는 L0 및 L1 참조 픽쳐의 시간 순서가 서로 다른 경우 선형성이 있는 것으로 판단할 수 있다. 현재 블록의 움직임 정보가 MHP 모드인 경우, 디코더는 L0 또는 L1 방향의 움직임 정보 중에서 적어도 하나 이상을 사용하여 추가적인 움직임 정보에 대한 부호를 재설정할 수 있다. 선형 관계를 통해 부호를 예측하는 방법은 물체의 움직임이 선형적으로 이동한다는 특성을 이용한 예측 방법일 수 있다. 도 32를 참조하면, 디코더는 L1 참조 픽쳐를 참조하는 4개의 L1 움직임 정보 부호 후보 중에서 이미 결정된 L0 움직임 정보 부호 후보와 선형적으로 가장 유사한 L1 움직임 정보 부호 후보를 현재 블록에 대한 최종 L1 움직임 정보 부호 후보로 결정할 수 있다. 이러한 방법은 MHP 모드에서 추가적인 움직임 정보에 대한 부호 예측에도 활용될 수 있다.

현재 블록에 대한 최종 움직임 정보 부호 후보는 실제 움직임 정보의 차분 값에 대한 부호와 일치하지 않을 수 있다. 따라서, 현재 블록에 대한 최종 움직임 정보 부호 후보는 실제 움직임 정보의 차분 값에 대한 부호와 일치하는지 여부를 지시하는 부호 결정 인덱스가 시그널링될 수 있다. 디코더는 부호 결정 인덱스를 파싱하여 부호를 결정할 수 있다(S3309). 일치 여부에 대한 정보인 부호 결정 인덱스가 파싱되어, 최종 움직임 정보의 부호를 결정하는데 사용될 수 있다. 이하에서, 부호 결정 인덱스를 파싱하는데 사용되는 컨텍스트 모델에 대해 설명한다.

움직임 정보의 차분 값의 절대값의 크기는 현재 블록의 움직임 정보 해상도에 따라 다르게 설정될 수 있다. 예를 들어 현재 블록이 Affine 모드로 부호화된 경우 AMVR 해상도는 1/16 화소(픽셀) 단위일 수 있다. 이때, 움직임 정보의 차분 값의 절대값의 크기와 기 설정된 값 간의 비교 결과에 따라 컨텍스트 모델이 결정될 수 있다. 기 설정된 값은 1이상의 정수로 16 또는 32일 수 있다. 현재 블록이 Affine 모드로 부호화된 경우 AMVR 해상도는 1/16 화소(픽셀) 단위일 때, 움직임 정보의 차분 값의 절대값의 크기가 32보다 같거나 작은 경우 첫번째 컨텍스트 모델이 선택될 수 있다. 첫번째 컨텍스트 모델은 도 35를 참조하면 첫번째 initValue 인 20을 초기화 값으로 사용하는 모델일 수 있다. 반대로 현재 블록이 Affine 모드로 부호화된 경우 AMVR 해상도는 1/16 화소(픽셀) 단위일 때, 움직임 정보의 차분 값의 절대값의 크기가 32보다 큰 경우 두번째 컨텍스트 모델이 선택될 수 있다. 두번째 컨텍스트 모델은 도 35를 참조하면 두번째 initValue 인 43을 초기화 값으로 사용하는 모델일 수 있다.

움직임 정보의 차분 값의 절대값의 크기와 임의의 값 간의 비교 결과에 따라 컨텍스트 모델의 사용 여부가 결정될 수 있다. 이때, 임의의 값은 1 이상의 정수일 수 있다. 예를 들어, 움직임 정보의 차분 값의 절대값의 크기가 16 보다 같거나 작은 경우에는 컨텍스트 모델이 사용될 수 있고, 움직임 정보의 차분 값의 절대값의 크기가 16 보다 큰 경우에는 bypass 모드가 수행될 수 있다.

현재 블록의 크기, 현재 블록의 가로 및 세로 크기의 비율, 현재 블록의 부호화 모드 중 적어도 어느 하나에 기초하여 컨텍스트 모델은 선택될 수 있다. 현재 블록의 크기가 클수록 또는 현재 블록의 부호화 모드에 따라 코스트 값이 달라질 수 있기 때문이다.

현재 블록의 크기(가로 또는 세로의 크기 또는 화소(픽셀)의 개수)에 따라 컨텍스트 모델의 사용 여부가 결정될 수 있다. 현재 블록의 가로 및 세로의 크기와 임의의 값 간 비교 결과에 따라 컨텍스트 모델이 사용되는지 bypass 모드가 사용되는지가 결정될 수 있다. 이때, 임의의 값은 1 이상의 정수일 수 있다. 예를 들어, 현재 블록의 가로 또는 세로의 크기가 4보다 같거나 작은 경우, bypass 모드로 엔트로피 코딩이 수행될 수 있고, 현재 블록의 가로 또는 세로의 크기 중 어느 하나라도 4보다 크다면 컨텍스트 모델이 사용될 수 있다.

현재 블록에 대한 움직임 정보 부호 후보 리스트의 후보가 1개만 있는 경우, 디코더는 부호 결정 인덱스를 파싱하지 않고, 움직임 정보 부호 후보 리스트 내의 후보를 최종 부호로 결정할 수 있다.

부호 결정 인덱스는 수평 방향에 대한 부호 결정 인덱스와 수직 방향에 대한 부호 결정 인덱스로 구분될 수 있다. 디코더는 수평 방향에 대한 부호 결정 인덱스와 수직 방향에 대한 부호 결정 인덱스 중 어떠한 방향의 인덱스를 먼저 파싱할지 여부를 결정할 수 있다. 예를 들어, 디코더는 수평 방향에 대한 부호 결정 인덱스를 먼저 파싱하고, 수직 방향에 대한 부호 결정 인덱스를 파싱할 수 있다. 다만, 수직 방향의 움직임이 많은 영상의 경우, 디코더는 수직 방향에 대한 부호 결정 인덱스를 먼저 파싱할 수 있다. 디코더는 어떠한 방향의 인덱스를 먼저 파싱할지 여부를 SPS 레벨, PPS 레벨, 픽쳐 헤더 레벨, 슬라이스 헤더 레벨 중 적어도 어느 하나의 레벨에서 시그널링되는 정보(예, 신택스 요소)에 기초하여 결정할 수 있다.

이하에서 현재 블록에 대한 움직임 부호 결정 인덱스에 대한 파싱하는 방법은 다음과 같이 다양하게 적용될 수 있다.

디코더는 움직임 정보의 부호를 수평 및 수직 방향으로 각각 구분하지 않고, 하나의 그룹으로 묶어 움직임 정보의 부호가 움직임 정보의 부호의 예측 값과 일치하는지 여부를 지시하는 플래그(sign_pred_flag)를 파싱할 수 있다. sign_pred_flag의 값이 0이면 이전 단계(S2805 또는 S3305)에서 구해진 현재 블록에 대한 움직임 부호 후보가 현재 블록에 대한 최종 움직임 부호로 결정될 수 있다. 이때 움직임 정보 부호 후보는 수평 및 수직 방향을 모두 포함하는 후보일 수 있다. sign_pred_flag의 값이 1이면 이전 단계(S2805 또는 S3305)에서 구해진 현재 블록에 대한 움직임 부호 후보 중에서 수평 및 수직 방향의 부호 중에서 적어도 하나 이상의 부호가 다를 수 있으므로, 디코더는 실제 수평 방향 및 수직 방향의 부호에 대한 정보가 각각 추가로 파싱할 수 있다. 예를 들어, 현재 블록이 Affine 모드로 부호화된 경우, 최대 3개의 움직임 정보가 있을 수 있다. 이때, 3개의 움직임 정보 각각에 대한 수평 방향 및 수직 방향의 부호는 하나의 그룹으로 묶여 총 3개의 그룹이 구성될 수 있다. 또는 3개의 움직임 정보 각각의 수평 방향의 부호가 하나의 그룹으로 묶이고, 수직 방향의 부호가 또 다른 하나의 그룹으로 묶일 수 있다. 즉, 부호에 대한 정보는 2개의 그룹으로 구성되어 시그널링될 수 있다.

현재 블록이 Affine 모드로 부호화된 경우 디코더는 sign_pred_flag를 파싱할 수 있다. sign_pred_flag의 값이 0이면 이전 단계(S2805 또는 S3305)에서 구해진 현재 블록에 대한 움직임 부호 후보가 현재 블록에 대한 최종 움직임 부호로 결정될 수 있다. sign_pred_flag의 값이 1이면 그렇지 않고 해당 플래그 정보가 '1'이라면, 이전 단계에서 구해진 현재 블록에 대한 움직임 부호 후보 중에서 적어도 하나 이상의 부호가 다를 수 있다. 따라서, 디코더는 최대 3개의 움직임 정보에 대한 부호 각각에 대한 정보를 추가적으로 파싱할 수 있다.

현재 블록이 Affine 모드로 부호화된 경우 최대 3개의 움직임 정보가 존재할 수 있으므로, 디코더는 최대 6개의 움직임 정보에 대한 부호를 예측해야 한다. 이때, 6개의 움직임 정보에 대한 부호들 중 1개의 움직임 정보에 대한 부호만 다른 경우가 있을 수 있다. 1개의 움직임 정보에 대한 부호만 다른 경우, 몇 번째에 위치한 부호가 다른지를 나타내는 위치 정보(sign_diff_idx)가 시그널링될 수 있다. 예를 들어, 디코더는 sign_pred_flag를 파싱하여, 파싱 결과가 움직임 정보의 부호가 움직임 정보의 부호의 예측 값과 일치하지 않는 경우, 디코더는 sign_diff_1_flag 및 sign_diff_idx를 순차적으로 파싱할 수 있다. 즉, 디코더는 sign_pred_flag를 파싱하여 움직임 정보의 부호가 움직임 정보의 부호의 예측 값과 일치하는지 여부를 확인하고, 일치하지 않는 경우, sign_diff_1_flag를 파싱하여 1개의 움직임 정보에 대한 부호만이 상이한지 확인할 수 있다. 1개의 움직임 정보에 대한 부호만이 상이한 경우, 디코더는 sign_diff_idx를 파싱하여 몇 번째에 위치한 부호가 상이한 부호인지 확인할 수 있다. 디코더가 sign_diff_1_flag를 파싱하여 1개 이상의 움직임 정보에 대한 부호가 상이한지 확인하는 경우, 디코더는 최대 6개의 움직임 정보의 부호에 대한 정보를 파싱할 수 있다.

각 성분(수평 및 수직 방향 성분)의 부호 결정 인덱스에 대한 파싱 여부는 각 성분의 움직임 차분값의 절대값 크기에 따라 다르게 적용할 수 있다. 디코더는 각 성분의 움직임 차분값의 절대값 크기에 기초하여 부호 결정 인덱스를 파싱하기 전 움직임 정보 부호 후보 리스트 내 몇 번째에 위치한 움직임 정보 부호 후보에 대한 부호 결정 인덱스를 파싱할지 여부를 결정할 수 있다. 예를 들어, 각 성분의 움직임 정보의 차분 값의 절대값 크기가 임의의 정해진 크기보다 작은 경우, 디코더는 부호 결정 인덱스를 파싱할 수 있다(S3309). 즉, 디코더는 S3308 단계 이전 움직임 정보 부호 후보 리스트 내 N번째 부호 결정 인덱스의 파싱 여부를 결정할 수 있다(S3308). 그리고, 디코더는 S3308 단계에서 결정된 N번째 부호 결정 인덱스를 파싱할 수 있다(S3309). 반대로, 각 성분의 움직임 정보의 차분 값의 절대값 크기가 임의의 정해진 크기보다 같거나 큰 경우, 디코더는 각 성분의 실제 부호를 파싱될 수 있다(S3310). 이 과정은 선택적으로 수행될 수 있다. 이때 N은 0 부터 최대 부호 개수(즉, 움직임 정보 부호 후보 리스트 내 후보들의 수의 2배(+, -))까지의 값일 수 있다. 디코더는 S3309, S3310 단계를 통해 N번째에 위치한 움직임 정보의 부호를 결정할 수 있다(S3312). 그리고 디코더는 S3312 단계에서 결정한 N번째에 위치한 움직임 정보의 부호에 기초하여 움직임 정보 부호 후보를 재설정할 수 있다(S3313).

이하에서 S3313 단계의 움직임 정보 부호 후보를 재설정하는 방법에 대해 설명한다.

도 34를 참조하면 첫번째 성분의 부호 결정 인덱스를 통해 결정된 첫번째 성분의 제1 부호는 '-'일 수 있다. 이때, 움직임 정보 부호 후보 리스트 내 가장 처음에 위치한 인덱스(i) 0의 첫번째 성분의 제1-1 부호는 +일 수 있다. 디코더는 제1 부호와 제1-1부호가 다른 경우, 움직임 정보 부호 후보 리스트 내 제1 부호와 다른 부호 후보를 모두 삭제할 수 있다. 즉, 디코더는 도 34의 인덱스(i) 0, 3, 6, 7의 움직임 정보 부호 후보들을 움직임 정보 부호 후보 리스트 내에서 삭제할 수 있다. 따라서, 움직임 정보 부호 후보 리스트 내 나머지 움직임 정보 부호들은 제1 부호와 동일 부호를 가지는 후보들일 수 있다. 디코더는 움직임 정보 부호 후보 리스트 내 나머지 움직임 정보들 중 어느 하나의 후보를 현재 블록의 움직임 후보로 재설정할 수 있다. 즉, 디코더는 도 34의 인덱스(i) 1의 움직임 정보 부호 후보를 현재 블록의 움직임 후보로 재설정할 수 있다. 이때, 움직임 정보 부호 후보 리스트 내 움직임 정보들은 코스트 값에 기초한 오름차순으로 정렬될 수 있다. 디코더는 재설정된 움직임 정보 부호 후보에 기초하여 다음 번째 성분의 부호를 결정할 수 있다. 디코더는 상술한 과정을 N번째 성분의 부호까지 반복하여 수행할 수 있다. N번째 성분은 하나의 그룹 내 움직임 정보들의 수직, 수평 방향의 값을 순차적으로 나열했을 때 N번째에 해당하는 방향을 의미할 수 있다. 예를 들어, 도 34를 참조하면 첫번째 성분은 CPMV0의 수평 방향(Hor)이고, 두번째 성분은 CPMV0의 수직 방향(Ver)이고, 세번째 성분은 CPMV1의 수평 방향일 수 있고, 마찬가지로 여섯번째 성분은 CPMV2의 수직 방향일 수 있다. 디코더가 움직임 정보 부호 후보를 재설정할지 여부는 현재 블록의 가로 또는 세로의 크기, 현재 블록의 움직임 정보의 차분 값의 절대값 크기 중 적어도 어느 하나에 기초하여 결정될 수 있다.

화면 간 예측은 다양한 움직임 정보를 통해 다양한 예측 블록들을 생성한 후, 가중치 평균을 통해 부호화 효율을 높일 수 있는 방법이다. 화면 간 예측은 양방향 예측뿐만 아니라 추가적인 움직임 정보를 전송하는 MHP 모드가 존재할 수 있다. 이러한 가중치 평균에 의한 부호화 효율을 향상시키기 위해서, 부호 결정 인덱스를 통해 결정된 부호와 움직임 정보 부호 후보 리스트 내 가장 처음에 위치한 후보의 부호가 상이하더라도 상이한 후보들을 제외하지 않을 수 있다. 이때, 재설정된 움직임 부호 후보와 상이한 후보들은 추가적인 움직임 정보로 사용될 수 있다. 부호 결정 인덱스를 통해 결정된 부호와 상이한 후보들을 추가적인 움직임 정보로 사용할지 여부는 현재 블록의 크기, 현재 블록의 움직임 차분 값의 절대값의 크기, 움직임 정보 부호 후보 리스트 내 후보들의 코스트 값 중 적어도 어느 하나에 기초하여 결정될 수 있다. 이하에서 부호 결정 인덱스를 통해 결정된 부호와 상이한 후보들이 현재 블록을 위한 추가적인 움직임 정보로 사용되는지 여부를 결정하는 방법에 대해 설명한다.

S3311 단계에서 획득된 부호 후보를 통해 획득되는 움직임 정보와 S3313 단계에서 획득한 부호 후보를 통해 획득되는 움직임 정보 모두가 현재 블록을 위한 움직임 정보로 사용될 수 있다. 즉, 디코더는 2개 움직임 정보에 기초한 예측 블록을 생성하여 가중치 예측을 통해 현재 블록에 대한 예측 블록을 생성할 수 있다.

디코더는 현재 블록의 크기, 현재 블록의 움직임 차분 값의 절대값의 크기, 움직임 정보 부호 후보 리스트 내 후보들의 코스트 값 중 적어도 어느 하나에 기초하여 추가적인 움직임 정보를 선택할 수 있다. 즉, 움직임 정보 부호 후보 리스트 내의 후보들 간의 코스트 값이 같거나 코스트 값의 차이가 일정 범위 이내인 경우가 있을 수 있다. 이러한 움직임 정보 부호 후보 리스트 내의 후보들을 모두 사용하는 경우, 부호화 효율이 증가될 수 있다. 즉, 디코더는 움직임 정보 부호 후보 리스트 내의 후보들 간의 코스트 값이 같거나 코스트 값의 차이가 일정 범위 이내인 경우 해당하는 움직임 정보 부호 후보 리스트 내의 후보들을 현재 블록을 위한 추가적인 움직임 정보로 사용할 수 있다.

도 35, 36, 37은 본 발명의 일 실시예에 따른 움직임 정보의 부호화 관련된 신택스 요소들의 문맥 모델을 나타내는 도면이다.

움직임 정보의 부호는 수평 및 수직 방향으로 각각 구분하지 않고, 하나의 그룹으로 묶여져 엔트로피 코딩 될 수 있다. 이때, 인코더는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx를 CABAC(Context adaptive binary arithmetic coding)을 사용하여 엔트로피 코딩할 수 있다. sign_pred_flag, sign_diff_1_flag, sign_diff_idx에 대한 문맥 모델은 실험을 통해 얻은 값으로 정의될 수 있다.

도 35(a), 도 36(a), 도 37(a)의 initValue는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx에 대한 문맥 모델들을 나타낸다. 도 35(a), 도 36(a), 도 37(a)의 shiftIdx는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx,에 대한 확률 업데이트시 사용된다. initValue는 현재 슬라이스의 타입에 따라 결정될 수 있다. 구체적으로 initValue는 현재 슬라이스의 타입이 I 슬라이스, P 슬라이스, B 슬라이스 인지에 따라 결정될 수 있다. 도 35(b), 도 36(b), 도 37(b)는 현재 슬라이스 타입에 따라 사용될 수 있는 문맥 모델을 나타낸다. 도 35(b), 도 36(b), 도 37(b)를 참조하면 현재 슬라이스의 타입이 I 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 0~2일 수 있다. 현재 슬라이스의 타입이 P 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 3~5일 수 있다. 현재 슬라이스의 타입이 B 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 6~8일 수 있다. initValue는 현재 슬라이스 각 타입에 따라 결정되는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 도 35(a), 도 36(a), 도 37(a)에 대응되는 값으로 결정될 수 있다.

각 슬라이스 타입마다 'initValue'는 하나의 값으로 결정될 수 있다. 예를 들어, 현재 슬라이스의 타입이 I 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 0일 수 있다. 현재 슬라이스의 타입이 P 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 3일 수 있다. 현재 슬라이스의 타입이 B 슬라이스일 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 6일 수 있다. initValue는 현재 슬라이스 각 타입에 따라 하나의 값으로 결정되는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 도 35(a), 도 36(a), 도 37(a)에 대응되는 값으로 결정될 수 있다.

또한, 슬라이스 헤더에서 시그널링되는 신택스 요소(sh_cabac_init_flag)에 따라 슬라이스 타입에 따른 initValue의 사용 순서가 결정될 수 있다. 예를 들어, sh_cabac_init_flag의 값이 1이고, 현재 슬라이스의 타입이 P 슬라이스인 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 6일 수 있다. sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 initValue의 값이 결정될 수 있다. sh_cabac_init_flag의 값이 1이고, 현재 슬라이스의 타입이 B 슬라이스인 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 3일 수 있다. sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 initValue의 값이 결정될 수 있다. sh_cabac_init_flag의 값이 0이고, 현재 슬라이스의 타입이 P 슬라이스인 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 3일 수 있다. sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 initValue의 값이 결정될 수 있다. sh_cabac_init_flag의 값이 0이고, 현재 슬라이스의 타입이 B 슬라이스인 경우, sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값은 6일 수 있다. sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 값에 따라 initValue의 값이 결정될 수 있다.

이하에서는 문맥 인덱스를 결정하는 구체적인 방법에 대해 설명한다.

sign_pred_flag, sign_diff_1_flag, sign_diff_idx는 현재 블록의 가로 또는 세로의 크기(또는 비율 또는 차이), 현재 블록의 움직임 정보의 차분 값에 대한 절대값의 크기, 현재 블록과 주변 블록 간의 움직임 정보의 차이, 양자화 파라미터 중에서 적어도 하나 이상을 사용하여 결정되는 문맥 모델을 이용하여 코딩 또는 파싱될 수 있다. 이때, sign_diff_idx는 2개 이상의 빈(bin)으로 구성될 수 있고, 첫 번째 빈에 대해서 선택되는 문맥 모델이 사용될 수 있고, 두 번째 빈부터는 bypass 형태의 이진 산술 부호화 또는 미리 설정된 문맥 모델이 사용될 수 있다.

현재 블록의 크기에 기초하여 sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 문맥 인덱스가 선택될 수 있다. 예를 들어, 현재 블록의 크기가 제1 값보다 크다면, 문맥 인덱스는 2가 될 수 있으며, 현재 블록의 크기가 제2 값보다 작다면, 문맥 인덱스는 0이 될 수 있으며, 이외의 경우 문맥 인덱스는 1이 될 수 있다. 제1 값은 32x32가 될 수 있으며, 제2 값은 16x16이 될 수 있다. 또한, 문맥 인덱스는 현재 블록의 가로 및 세로의 크기의 합에 기초하여 결정될 수 있다. 현재 블록의 크기가 임의의 값보다 작은 경우(또는 같거나 큰 경우) 컨텍스트 모델은 유도되지 않고 bypass 모드로 엔트로피 코딩이 수행될 수 있다. 본 명세서에서 기술하는 현재 블록의 크기와 관련된 비교는, 현재 블록의 가로의 크기에 대한 비교이거나 세로의 크기에 대한 비교이거나 가로의 크기 및 세로의 크기의 합에 대한 비교일 수 있다.

sign_pred_flag, sign_diff_1_flag, sign_diff_idx는 현재 블록의 움직임 정보의 차분 값의 절대값 크기에 기초하여 결정되는 문맥 인덱스에 따라 코딩 또는 파싱될 수 있다. 현재 블록의 움직임 정보의 차분 값의 절대값 크기가 임의의 값 이내인 경우, 문맥 인덱스는 0일 수 있고, 현재 블록의 움직임 정보의 차분 값의 절대값 크기가 임의의 값보다 같거나 큰 경우, 문맥 인덱스는 1일 수 있다. 이때 임의의 값은 1이상의 정수로, 4 또는 16일 수 있다. 현재 블록이 Affine 모드로 부호화된 경우 AMVR 해상도는 1/16 화소(픽셀) 단위일 수 있다. 이때 임의의 값은 기존에 설정에 사용된 임의의 값과 다르게 설정될 수 있다(예, 커지거나 작아질 수 있다). 현재 블록이 Affine 모드로 부호화된 경우 임의의 값은 1 이상의 정수로 16 또는 32일 수 있다. 현재 블록의 움직임의 차분 값의 절대값 크기가 특정 값보다 작은 경우(또는 큰 경우) 컨텍스트 모델은 유도되지 않고 bypass 모드로 엔트로피 코딩이 수행될 수 있다.

sign_pred_flag, sign_diff_1_flag, sign_diff_idx는 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보 간 차이에 따라 결정되는 문맥 인덱스에 따라 코딩 또는 파싱될 수 있다. 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보 간 차이가 임의의 값보다 작은 경우 문맥 인덱스는 0이 될 수 있고, 현재 블록의 움직임 정보와 현재 블록의 주변 블록의 움직임 정보 간 차이가 임의의 값보다 같거나 큰 경우 문맥 인덱스는 1일 수 있다. 이때, 임의의 값은 1 이상의 정수로 4 또는 16일 수 있다. 현 Affine 모드인 경우에 AMVR 해상도가 1/16 픽셀 단위가 될 수 있으며, 현재 블록이 Affine 모드로 부호화된 경우 AMVR 해상도는 1/16 화소(픽셀) 단위일 수 있다. 이때 임의의 값은 기존에 설정에 사용된 임의의 값과 다르게 설정될 수 있다(예, 커지거나 작아질 수 있다). 현재 블록이 Affine 모드로 부호화된 경우 임의의 값은 1 이상의 정수로 16 또는 32일 수 있다. 현재 블록의 움직임의 차분 값의 절대값 크기가 특정 값보다 작은 경우(또는 큰 경우) 컨텍스트 모델은 유도되지 않고 bypass 모드로 엔트로피 코딩이 수행될 수 있다. 이때 현재 블록의 주변 블록은 현재 블록의 좌측, 상측, 좌상측, 우상측, 좌하측에 위치한 블록 중 적어도 하나 이상의 블록일 수 있다.

sign_pred_flag, sign_diff_1_flag, sign_diff_idx는 현재 블록의 주변 블록의 sign_pred_flag, sign_diff_1_flag, sign_diff_idx의 정보 기초하여 선택되는 문맥 인덱스에 따라 코딩 또는 파싱될 수 있다. 예를 들어, 현재 블록에 인접한 좌측 주변 블록의 sign_pred_flag의 값과 현재 블록에 인접한 상측 주변 블록의 sign_pred_flag의 값을 합한 값에 기초하여 문맥 인덱스는 결정될 수 있다. 즉, 문맥 인덱스는 0~2의 값을 가질 수 있다. 현재 블록의 주변 블록이 사용 불가능한 위치에 있는 경우 해당 주변 블록에 대한 정보의 값은 0일 수 있다.

sign_pred_flag, sign_diff_1_flag, sign_diff_idx는 현재 블록의 가로의 크기와 세로의 크기의 차이에 기초하여 결정되는 문맥 인덱스에 따라 코딩 또는 파싱될 수 있다. 예를 들어, 현재 블록의 가로의 크기와 세로의 크기가 동일한 경우, 문맥 인덱스는 0일 수 있고, 현재 블록의 가로의 크기가 세로의 크기보다 크다면 문맥 인덱스는 1일 수 있고, 현재 블록의 가로의 크기가 세로의 크기보다 작다면 문맥 인덱스는 2일 수 있다.

인코더는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx를 문맥 모델을 통해 이진 산술 부호화하지 않고, 고정된 확률 구간을 사용하는 bypass 형태의 이진 산술 부호화할 수 있다.

인코더는 sign_pred_flag, sign_diff_1_flag, sign_diff_idx를 하나의 문맥 모델만을 이진 산술 부호화할 수 있다. 이 경우, 슬라이스 타입에 따라 각각 하나의 문맥 모델만을 가지므로, 문맥 모델 인덱스는 유도되지 않고, 슬라이스 내 모든 블록에 고정된 문맥 모델이 적용될 수 있다.

본 명세서에서 설명한 움직임 정보의 부호를 예측하는 방법을 사용하여 디코더는 AMVP, MMVD, Affine모드, MHP 모드의 움직임 정보에 대한 부호를 예측할 수 있다.

또한 디코더는 움직임 정보의 부호를 예측하는 방법을 사용하여 AMVR에 대한 움직임 해상도를 예측할 수 있다. 움직임 해상도는 부호화 모드에 따라 다르게 설정될 수 있다. 현재 블록이 Affine 모드로 부호화된 경우, AMVR 움직임 해상도는 1/16, 1/4, 1 화소 단위 중 어느 하나일 수 있다. 디코더는 1/16, 1/4, 1 화소 단위의 움직임 정보를 사용하여 참조 템플릿에 대한 예측 블록을 생성한 후, 현재 블록의 템플릿과 참조 템플릿 간의 코스트 값들을 획득하고, 코스트 값들 중 가장 작은 코스트 값에 대응되는 AMVR 움직임 해상도의 화소 단위를 선택할 수 있다. 현재 블록이 Affine 모드나 IBC 모드가 아닌 다른 모드로 부호화된 경우, 디코더는 상술한 코스트 값에 기초하여 AMVR 움직임 해상도의 화소 단위를 선택할 수 있다. 이때, 코스트 값은 현재 블록의 템플릿과 참조 템플릿 간의 코스트 값일 수 있다. 또한 코스트 값은 최종 복원 블록의 경계 부분의 화소와 현재 블록에 인접한 주변 블록의 경계 부분의 화소 간 차이를 통해 계산될 수 있다. 이때 최종 복원 블록은 움직임 해상도 후보를 통해 생성한 모든 움직임 정보를 사용하여 생성되는 예측 블록의 차분 블록과 현재 블록을 합하여 생성될 수 있다. 또 다른 방법으로 인코더는 모든 AMVR 움직임 해상도를 사용한 움직임 후보들을 통해 리스트 구성한 후, 리스트 내 모든 움직임 후보들에 대하여 코스트 값을 계산한 후, 코스트 값에 기초하여 모든 움직임 후보들을 오름차순으로 재정렬할 수 있다. 그리고 인코더는 재정렬된 모든 움직임 후보들 중 최적의 후보를 나타내는 인덱스에 대한 정보를 포함하는 비트스트림을 생성할 수 있다. 디코더는 비트스트림에 포함된 인덱스에 대한 정보를 파싱하여 획득되는 인덱스에 기초하여 현재 블록에 대한 AMVR 움직임 해상도 및 움직임 후보를 결정할 수 있다.

본 명세서에서 설명한 움직임 부호를 예측하는 방법은 GPM 모드의 파티션 인덱스를 예측하는데 사용될 수 있다. GPM 모드는 다양한 방향(각도)의 기준선에 기초하여 현재 블록을 2개의 블록으로 분할하여 각 블록에 대해 예측을 수행하는 방법을 의미한다. 어느 방향(각도)의 기준선이 사용되었는지, 기준선이 현재 블록의 중앙으로부터 거리가 얼마나 되는지를 나타내는 신택스 요소(merge_gpm_partition_idx)는 비트스트림에 포함되어 시그널링될 수 있다. merge_gpm_partition_idx는 0 내지 63의 값을 가질 수 있다. GPM 모드에서 기준선의 위치와 방향은 미리 정해진 각도 테이블에 기초하여 유도될 수 있다. 표 1은 본 발명의 일 실시예에 따른 GPM 모드에서의 각도 테이블을 나타낸다.

이하에서는 merge_gpm_partition_idx의 부호화에 따른 비트량을 줄이기 위한 방법에 대해 설명한다.

도 38은 본 발명의 일 실시예에 따른 GPM 모드에서의 현재 블록의 분할을 나타내는 도면이고, 도 39는 본 발명의 일 실시예에 따른 GPM 모드에서의 문맥 모델을 나타내는 도면이다.

GPM 모드에 있어서 디코더는 63가지의 분할 방법을 이용하여 구성되는 참조 템플릿과 현재 블록의 템플릿 간의 코스트 값들을 계산할 수 있다. 디코더는 코스트 값들 중 가장 작은 코스트 값에 대응되는 움직임 정보를 이용하여 분할 예측 값을 결정할 수 있다. 또는 디코더는 최종 복원 블록의 경계 부분의 화소(픽셀) 값과 현재 블록에 인접한 주변 블록의 경계 부분의 화소(픽셀) 값의 차이에 따라 코스트 값을 계산할 수 있다. 이때, 최종 복원 블록은 63가지의 분할 방법을 이용하여 생성된 예측 블록과 현재 블록의 차분 블록이 합해져서 생성된 블록일 수 있다. 분할 예측 값이 실제 GPM 분할 정보와 일치할 경우, 인코더는 일치 여부를 나타내는 플래그 정보를 비트스트림에 포함하여 생성함으로써 부호화 효율을 높일 수 있다. 디코더는 비트스트림에 포함된 플래그 정보를 파싱하여 분할 모드를 설정할 수 있다. 인코더는63가지(또는 그 중 일부) 분할 방법에 대하여 후보 리스트를 구성한 후, 리스트 내 모든 분할 후보들에 대하여 코스트 값을 계산할 수 있다. 그리고 인코더는 코스트 값에 기초하여 모든 움직임 후보들을 오름차순으로 재정렬하고, 재정렬된 모든 움직임 후보들 중 최적의 후보를 나타내는 인덱스에 대한 정보를 포함하는 비트스트림을 생성할 수 있다. 디코더는 비트스트림에 포함된 인덱스에 대한 정보를 파싱하여 획득되는 인덱스에 기초하여 현재 블록에 대한 분할 방법을 결정할 수 있다.

도 38(a)는 표 1에서 정의된 각도 angleIdx를 나타내고, 도 38(b)는 표 1에 정의된 현재 블록의 중앙과 기준선과의 거리 distanceIdx를 나타내고, 도 38(c)는 GPM 모드에서의 분할 정보 예측과 관련된 신택스 구조를 나타낸다. 도 38(c)를 참조하면 디코더는 분할 예측 값이 실제 GPM 분할 정보와 일치하는 여부를 나타내는 신택스 요소(merge_gpm_pred_flag)를 파싱할 수 있다. merge_gpm_pred_flag의 값이 1이면, 디코더는 분할 예측 값을 사용하여 GPM 분할 정보를 설정할 수 있다. merge_gpm_pred_flag의 값이 0이면, 분할 예측 값과 실제 GPM 분할 정보가 다른 것을 의미하므로, 디코더는 추가적인 GPM 분할 정보를 나타내는 신택스 요소(merge_gpm_partition_idx)를 파싱할 수 있다. merge_gpm_partition_idx는 표 1의 angleIdx과 distanceIdx에 대한 인덱스를 지시할 수 있다. 또는 merge_gpm_partition_idx는 분할 예측 값과 실제 분할 정보 간의 차이 값을 지시할 수 있다. merge_gpm_pred_flag 도 39의 문맥 모델을 사용하여 코딩 또는 파싱될 수 있다. 이때 문맥 모델은 도 35 내지 도 37을 통해 설명한 방법들을 이용하여 유도될 수 있다.

도 40은 본 발명의 일 실시예에 따른 현재 블록에 대한 예측 블록을 생성하는 방법을 나타내는 순서도이다.

도 40는 도1 내지 도 39을 통해 설명한 방법들에 기초하여 현재 블록에 대한 예측 블록을 생성하는 방법을 나타낸다.

도 40을 참조하면 디코더는 현재 블록에 대한 제1 움직임 정보를 획득할 수 있다(S4010). 디코더는 상기 현재 블록에 대한 제2 움직임 정보를 획득할 수 있다(S4020). 디코더는 상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성할 수 있다(S4030). 디코더는 상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득할 수 있다(S4040). 디코더는 상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득할 수 있다(S4050). 상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정할 수 있다(S4060). 디코더는 상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성할 수 있다(S4070).

디코더는 상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득할 수 있다. 이때, 상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성될 수 있다. 이때, 상기 신택스 요소는 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값에 대한 정보를 포함할 수 있다. 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값은 모두 0일 수 있다.

상기 현재 블록의 부호화 모드는 AMVP 모드일 수 있다.

상기 제1 참조 블록과 상기 제2 참조 블록은 서로 다른 픽쳐 리스트에 포함되는 픽쳐 내의 블록일 수 있다.

상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고, 상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고, 상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할될 수 있다. 이때 디코더는 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득할 수 있다. 디코더는 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득할 수 있다. 디코더는 상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득할 수 있다. 디코더는 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득할 수 있다. 디코더는 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득할 수 있다. 디코더는 상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득할 수 있다. 이때, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득될 수 있다.

상기 작은 코스트 값이 상기 제1 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제1 기준선에 기초하여 획득되고, 상기 작은 코스트 값이 상기 제2 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제2 기준선에 기초하여 획득될 수 있다.

상기 제1 중간 코스트 값은 상기 제3 코스트 값과 상기 제4 코스트 값을 합한 값이고, 상기 제2 중간 코스트 값은 상기 제5 코스트 값과 상기 제6 코스트 값을 합한 값일 수 있다.

디코더는 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하는지 여부를 지시하는 신택스 요소를 파싱할 수 있다. 상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하면, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득될 수 있다.

상기 제1 코스트 값은 상기 제1 템플릿 세트와 상기 제2 템플릿 세트간의 유사도와 관련된 값이고, 상기 제2 코스트 값은 상기 제1 템플릿 세트와 상기 제3 템플릿 세트간의 유사도와 관련된 값일 수 있다.

상기 제3 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿간의 유사도와 관련된 값이고, 상기 제4 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿간의 유사도와 관련된 값이고, 상기 제5 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿간의 유사도와 관련된 값이고, 상기 제6 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿간의 유사도와 관련된 값일 수 있다.

본 명세서에서 상술한 방법들은 디코더 또는 인코더의 프로세서를 통해 수행될 수 있다. 또한, 인코더는 비디오 신호 처리 방법에 의해 디코딩되는 비트스트림을 생성할 수 있다. 또한, 인코더가 생성한 비트스트림은 컴퓨터 판독 가능한 비 일시적 저장 매체(기록 매체)에 저장될 수 있다.

본 명세서는 주로 디코더 관점에서 기술되었으나 인코더에서도 동일하게 동작될 수 있다. 본 명세서의 파싱이라는 용어는 비트스트림으로부터 정보를 획득하는 과정을 중점으로하여 설명되었으나 인코더 측면에서는 비트스트림에 해당 정보를 구성하는 것으로 해석될 수 있다. 따라서 파싱이라는 용어는 디코더 동작으로만 한정되지 않고 인코더에서는 비트스트림을 구성하는 행위로까지 해석될 수 있다. 또한, 이러한 비트스트림은 컴퓨터 판독 가능한 기록 매체에 저장되어 구성될 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

1. 비디오 신호 디코딩 장치에 있어서,
   프로세서를 포함하며,
   상기 프로세서는,
   현재 블록에 대한 제1 움직임 정보를 획득하고,
   상기 현재 블록에 대한 제2 움직임 정보를 획득하고,
   상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하고,
   상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하고,
   상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득하고,
   상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하고,
   상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 것을 특징으로 하는 디코딩 장치.
2. 제 1항에 있어서,
   상기 프로세서는,
   상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득하고,
   상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성되는 것을 특징으로 하는 디코딩 장치.
3. 제 2항에 있어서,
   상기 신택스 요소는 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값에 대한 정보를 포함하는 것을 특징으로 하는 디코딩 장치.
4. 제 3항에 있어서,
   상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값은 모두 0인 것을 특징으로 하는 디코딩 장치.
5. 제 4항에 있어서,
   상기 현재 블록의 부호화 모드는 AMVP 모드인 것을 특징으로 하는 디코딩 장치.
6. 제 1항에 있어서,
   상기 제1 참조 블록과 상기 제2 참조 블록은 서로 다른 픽쳐 리스트에 포함되는 픽쳐 내의 블록인 것을 특징으로 하는 디코딩 장치.
7. 제 1항에 있어서,
   상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고,
   상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고,
   상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고,
   상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할되고,
   상기 프로세서는,
   상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득하고,
   상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득하고,
   상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득하고,
   상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득하고,
   상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득하고,
   상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득하고,
   상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 하는 디코딩 장치.
8. 제 7항에 있어서,
   상기 작은 코스트 값이 상기 제1 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제1 기준선에 기초하여 획득되고,
   상기 작은 코스트 값이 상기 제2 중간 코스트 값인 경우, 상기 현재 블록에 대한 예측 블록은 상기 제2 기준선에 기초하여 획득되는 것을 특징으로 하는 디코딩 장치.
9. 제 7항에 있어서,
   상기 제1 중간 코스트 값은 상기 제3 코스트 값과 상기 제4 코스트 값을 합한 값이고,
   상기 제2 중간 코스트 값은 상기 제5 코스트 값과 상기 제6 코스트 값을 합한 값인 것을 특징으로 하는 디코딩 장치.
10. 제 7항에 있어서,
    상기 프로세서는,
    상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하는지 여부를 지시하는 신택스 요소를 파싱하고,
    상기 작은 코스트 값에 대응되는 기준선이 기 설정된 기준선과 일치하면, 상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 하는 디코딩 장치.
11. 제 1항에 있어서,
    상기 제1 코스트 값은 상기 제1 템플릿 세트와 상기 제2 템플릿 세트간의 유사도와 관련된 값이고,
    상기 제2 코스트 값은 상기 제1 템플릿 세트와 상기 제3 템플릿 세트간의 유사도와 관련된 값인 것을 특징으로 하는 비디오 신호 디코딩 장치.
12. 제 7항에 있어서,
    상기 제3 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿간의 유사도와 관련된 값이고,
    상기 제4 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿간의 유사도와 관련된 값이고,
    상기 제5 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿간의 유사도와 관련된 값이고,
    상기 제6 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿간의 유사도와 관련된 값인 것을 특징으로 하는 비디오 신호 디코딩 장치.
13. 비디오 신호 인코딩 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    디코딩 방법에 의해 디코딩되는 비트스트림을 획득하고,
    상기 디코딩 방법은,
    현재 블록에 대한 제1 움직임 정보를 획득하는 단계;
    상기 현재 블록에 대한 제2 움직임 정보를 획득하는 단계;
    상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하는 단계;
    상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하는 단계;
    상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득하는 단계;
    상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하는 단계; 및
    상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 인코딩 장치.
14. 제 13항에 있어서,
    상기 디코딩 방법은,
    상기 최종 움직임 정보의 차분 값을 비트스트림에 포함된 신택스 요소를 파싱하여 획득하는 단계를 더 포함하고,
    상기 현재 블록에 대한 예측 블록은 상기 차분 값을 추가적으로 고려하여 생성되는 것을 특징으로 하는 인코딩 장치.
15. 제 14항에 있어서,
    상기 신택스 요소는 상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값에 대한 정보를 포함하는 것을 특징으로 하는 인코딩 장치.
16. 제 15항에 있어서,
    상기 최종 움직임 정보의 수평 방향에 대한 차분 값 및 수직 방향에 대한 차분 값은 모두 0인 것을 특징으로 하는 인코딩 장치.
17. 제 13항에 있어서,
    상기 현재 블록은 제1 기준선에 기초하여 제1 블록과 제2 블록으로 분할되고,
    상기 제1 템플릿 세트는 상기 제1 기준선에 기초하여 제3 템플릿과 제4 템플릿으로 분할되고,
    상기 현재 블록은 제2 기준선에 기초하여 제3 블록과 제4 블록으로 분할되고,
    상기 제1 템플릿 세트는 상기 제2 기준선에 기초하여 제5 템플릿과 제6 템플릿으로 분할되고,
    상기 디코딩 방법은,
    상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿을 비교하여 제3 코스트 값을 획득하는 단계;
    상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿을 비교하여 제4 코스트 값을 획득하는 단계;
    상기 제3 코스트 값과 상기 제4 코스트 값에 기초하여 제1 중간 코스트 값을 획득하는 단계;
    상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿을 비교하여 제5 코스트 값을 획득하는 단계;
    상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿을 비교하여 제6 코스트 값을 획득하는 단계;
    상기 제5 코스트 값과 상기 제6 코스트 값에 기초하여 제2 중간 코스트 값을 획득하는 단계를 더 포함하고,
    상기 현재 블록에 대한 상기 예측 블록은 상기 제1 중간 코스트 값과 상기 제2 중간 코스트 값 중 작은 코스트 값에 대응되는 기준선에 의해 분할되는 템플릿들에 기초하여 획득되는 것을 특징으로 하는 인코딩 장치.
18. 제 13항에 있어서,
    상기 제1 코스트 값은 상기 제1 템플릿 세트와 상기 제2 템플릿 세트간의 유사도와 관련된 값이고,
    상기 제2 코스트 값은 상기 제1 템플릿 세트와 상기 제3 템플릿 세트간의 유사도와 관련된 값인 것을 특징으로 하는 비디오 신호 인코딩 장치.
19. 제 17항에 있어서,
    상기 제3 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제3 템플릿과 대응되는 템플릿과 상기 제3 템플릿간의 유사도와 관련된 값이고,
    상기 제4 코스트 값은 상기 제1 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제4 템플릿과 대응되는 템플릿과 상기 제4 템플릿간의 유사도와 관련된 값이고,
    상기 제5 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제2 템플릿 세트 중 상기 제5 템플릿과 대응되는 템플릿과 상기 제5 템플릿간의 유사도와 관련된 값이고,
    상기 제6 코스트 값은 상기 제2 기준선에 기초하여 분할되는 상기 제3 템플릿 세트 중 상기 제6 템플릿과 대응되는 템플릿과 상기 제6 템플릿간의 유사도와 관련된 값인 것을 특징으로 하는 비디오 신호 인코딩 장치.
20. 비트스트림을 저장하는 컴퓨터 판독 가능한 비 일시적 저장 매체에 있어서, 상기 비트스트림은 디코딩 방법에 의해 디코딩되고,
    상기 디코딩 방법은,
    현재 블록에 대한 제1 움직임 정보를 획득하는 단계;
    상기 현재 블록에 대한 제2 움직임 정보를 획득하는 단계;
    상기 현재 블록의 주변 블록들로 구성되는 제1 템플릿 세트를 구성하는 단계;
    상기 제1 움직임 정보에 대응되는 제1 참조 블록의 주변 블록들로 구성되는 제2 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제1 코스트 값을 획득하는 단계;
    상기 제2 움직임 정보에 대응되는 제2 참조 블록의 주변 블록들로 구성되는 제3 템플릿 세트와 상기 제1 템플릿 세트를 비교하여 제2 코스트 값을 획득하는 단계;
    상기 제1 코스트 값과 상기 제2 코스트 값 중 작은 코스트 값에 대응되는 움직임 정보를 최종 움직임 정보로 설정하는 단계; 및
    상기 최종 움직임 정보에 기초하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 비 일시적 저장 매체.

Images