KR20230169474A

KR20230169474A - 서브블록 기반 시간적 모션 벡터 예측을 사용한 비디오 코딩의 방법 및 장치

Info

Publication number: KR20230169474A
Application number: KR1020237041851A
Authority: KR
Inventors: 이-원 천; 샹린 왕
Original assignee: 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드
Priority date: 2018-08-29
Filing date: 2019-08-29
Publication date: 2023-12-15
Also published as: KR20210030473A; US11936901B2; CN113242432B; CN112789859A; JP2022120058A; KR102359877B1; MX2021002201A; EP3827589A4; JP2021527371A; WO2020047289A1; CN116761000A; US11368713B2; KR20220012431A; JP2024029187A; KR20240013897A; ZA202101242B; CN113242432A; KR102643422B1; CN114363610A; CN116980591B

Abstract

서브블록 기반 시간적 모션 벡터 예측 방법은 컴퓨팅 장치에서 수행된다. 컴퓨팅 장치는 복수의 인코딩된 픽처와 연관된 데이터를 포함하는 비디오 비트스트림을 획득한다. 비디오 비트스트림에서 현재 픽처를 디코딩하는 동안, 컴퓨팅 장치는 비디오 비트 스트림에서 시그널링된 신택스 요소에 따라 하나의 참조 픽처를 현재 픽처의 병치된 픽처로서 선택하고, 고정된 순서에 따라 현재 코드 유닛(CU)의 공간적으로 이웃하는 블록의 모션 정보로부터 병치된 픽처와 현재 픽처 사이의 모션 쉬프트를 결정한다. 다음, 컴퓨팅 장치는 현재 CU를 복수의 서브 CU로 분할하고, 현재 픽처의 각각의 서브위 블록에 대응하며 시간적 모션 벡터 예측자에 따라 현재 CU를 디코딩하는 병치된 픽처의 모션 쉬프트 및 모션 정보로부터 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득한다.

Description

서브블록 기반 시간적 모션 벡터 예측을 사용한 비디오 코딩의 방법 및 장치{METHODS AND APPARATUS OF VIDEO CODING USING SUBBLOCK-BASED TEMPORAL MOTION VECTOR PREDICTION}

본 출원은 일반적으로 비디오 데이터 인코딩 및 디코딩에 관한 것으로, 구체적으로는 서브블록 기반 시간적 모션 벡터 예측을 사용하는 비디오 코딩의 방법 및 시스템에 관한 것이다.

디지털 비디오는 디지털 텔레비전, 랩탑 또는 데스크탑 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 장치, 디지털 매체 플레이어, 비디오 게임 콘솔, 스마트 폰, 화상 회의 장치, 비디오 스트리밍 장치 등과 같은 다양한 전자 장치에 의해 지원된다. 전자 장치는 MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC(Advanced Video Coding), HEVC(High Efficiency Video Coding) 및 VVC(Versatile Video Coding) 표준에 의해 정의된 비디오 압축/압축 해제 표준을 구현함으로써 디지털 비디오 데이터를 전송하고, 수신하며, 인코딩하고, 디코딩하며, 그리고/또는 저장한다. 비디오 압축은 전형적으로 비디오 데이터에 내재된 중복성을 줄이거나 제거하기 위해 공간(프레임 내) 예측 및/또는 시간(프레임 간) 예측을 수행하는 것을 포함한다. 블록 기반 비디오 코딩의 경우, 비디오 프레임은 하나 이상의 슬라이스로 분할되며, 각각의 슬라이스는 또한 코딩 트리 유닛(coding tree unit, CTU)으로 지칭될 수 있는 다수의 비디오 블록을 갖는다. 각각의 CTU는 하나의 코딩 유닛(CU)을 포함하거나 미리 정의된 최소 CU 크기에 도달할 때까지 더 작은 CU로 재귀적으로 분할될 수 있다. 각각의 CU(또한 리프(leaf) CU라고도 함)는 하나 또는 다수의 변환 유닛(transform unit, TU)을 포함하고 각각의 CU는 또한 하나 또는 다수의 예측 유닛(prediction unit, PU)을 포함한다. 각각의 CU는 인트라(intra), 인터(inter) 또는 IBC 모드로 코딩될 수 있다. 비디오 프레임의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간적 예측을 사용하여 인코딩된다. 비디오 프레임의 인터 코딩된(P 또는 B) 슬라이스의 비디오 블록은 동일한 비디오 프레임 내의 이웃 블록의 참조 샘플에 대한 공간적 예측 또는 다른 이전의 그리고/또는 미래의 참조 비디오 프레임의 참조 샘플에 대한 시간적 예측을 사용할 수 있다.

이전에 인코딩된 참조 블록, 예를 들어, 이웃 블록에 기초한 공간적 또는 시간적 예측은 코딩될 현재의 비디오 블록에 대한 예측 블록을 생성한다. 참조 블록을 찾는 프로세스는 블록 매칭 알고리즘에 의해 수행될 수 있다. 코딩될 현재 블록과 예측 블록 사이의 픽셀 차이를 나타내는 잔여 데이터는 잔여 블록 또는 예측 오류로서 지칭된다. 인터 코딩된 블록은 예측 블록을 형성하는 참조 프레임의 참조 블록과 잔여 블록을 가리키는 모션 벡터에 따라 인코딩된다. 모션 벡터를 결정하는 프로세스는 전형적으로 모션 추정으로 지칭된다. 인트라 코딩된 블록은 인트라 예측 모드 및 잔여 블록에 따라 인코딩된다. 추가 압축을 위해, 잔여 블록은 픽셀 도메인으로부터 변환 도메인, 예를 들어 주파수 도메인으로 변환되어, 그 결과 잔여 변환 계수가 생성되고, 이는 그 후에 양자화될 수 있다. 초기에 2차원 어레이로 배열된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캐닝될 수 있으며, 그 다음 더 많은 압축을 달성하기 위해 비디오 비트스트림으로 엔트로피 인코딩될 수 있다.

인코딩된 비디오 비트스트림은 디지털 비디오 능력을 가진 다른 전자 장치에 의해 액세스되거나 또는 유선이나 무선으로 전자 장치에게 직접 전송되기 위해 컴퓨터 판독 가능 저장 매체(예를 들어, 플래시 메모리)에 저장된다. 그런 다음, 전자 장치는, 예를 들어 비트스트림으로부터 신택스 요소를 획득하기 위해 인코딩된 비디오 비트스트림을 파싱하고 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 인코딩된 비디오 비트스트림으로부터 원래의 포맷으로 디지털 비디오 데이터를 재구성함으로써, 비디오 압축 해제(상기한 비디오 압축과 반대되는 프로세스임)를 수행하고, 전자 장치의 디스플레이 상에 재구성된 디지털 비디오 데이터를 렌더링한다.

디지털 비디오 품질이 고화질에서 4Kx2K 또는 심지어 8Kx4K로 이동함에 따라, 인코딩/디코딩될 비디오 데이터의 양이 기하 급수적으로 증가한다. 디코딩된 비디오 데이터의 이미지 품질을 유지하면서 비디오 데이터를 보다 효율적으로 인코딩/디코딩할 수 있는 방법에 대해 도전이 계속되고 있다.

본 출원은 비디오 데이터 인코딩 및 디코딩, 보다 구체적으로 서브블록 기반 시간적 모션 벡터 예측을 사용하는 비디오 인코딩 및 디코딩의 시스템 및 방법에 관한 구현을 설명한다.

본 출원의 제1 측면에 따르면, 서브블록 기반 시간적 모션 벡터 예측 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행되는 복수의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 장치에서 수행된다. 컴퓨팅 장치는 복수의 인코딩된 픽처와 연관된 데이터를 포함하는 비디오 비트스트림을 획득한다. 비디오 비트스트림의 현재 픽처를 디코딩하는 동안, 컴퓨팅 장치는 비디오 비트스트림에서 시그널링된 신택스 요소(syntax element)에 따라, 현재 픽처의 병치된 픽처(collocated picture)로서 하나의 참조 픽처를 선택하고, 고정된 순서에 따라 현재 코딩 유닛(CU)의 공간적으로 이웃하는 블록의 모션 정보로부터 병치된 픽처와 현재 픽처 사이의 모션 쉬프트를 결정한다. 다음, 컴퓨팅 장치는 현재 CU를 복수의 서브 CU로 분할하며, 각각의 서브 CU는 현재 픽처의 각각의 서브블록에 대응한다. 그 후, 컴퓨팅 장치는 (i) 병치된 픽처와 현재 픽처 사이의 모션 쉬프트 및 (ii) 현재 픽처의 각각의 서브블록에 대응하는 병치된 픽처 내의 블록의 모션 정보로부터 현재 CU의 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득하고, 현재 CU의 복수의 서브 CU의 시간적 모션 벡터 예측자에 따라 현재 CU를 디코딩한다.

본 출원의 제2 측면에 따르면, 컴퓨팅 장치는 하나 이상의 프로세서, 메모리 및 메모리에 저장된 복수의 프로그램을 포함한다. 프로그램은, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 장치로 하여금 상기한 바와 같이 전술한 작동을 수행하게 한다.

본 출원의 제3 측면에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체는 하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의한 실행을 위해 복수의 프로그램을 저장한다. 프로그램은, 하나 이상의 프로세서에 의해 실행될 때, 컴퓨팅 장치로 하여금 상기한 바와 같이 전술한 작동을 수행하게 한다.

구현의 추가 이해를 제공하기 위해 포함되고 여기에서 통합되어 명세서의 일부를 구성하는 첨부 도면은 설명된 구현을 예시하고 설명과 함께 기본 원리를 설명하는 역할을 한다. 동일한 참조 번호는 대응하는 부품을 지칭한다.
도 1은 본 개시의 일부 구현에 따른 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2는 본 개시의 일부 구현에 따른 예시적인 비디오 인코더를 도시한 블록도이다.
도 3은 본 개시의 일부 구현에 따른 예시적인 비디오 디코더를 도시한 블록도이다.
도 4a-4d는 본 개시의 일부 구현에 따라 프레임이 상이한 크기의 다수의 비디오 블록으로 재귀적으로 쿼드 트리 분할되는 방법을 도시한 블록도이다.
도 5a는 본 개시의 일부 구현에 따라 인코딩될 현재 CU의 공간적으로 이웃하고 시간적으로 병치된 블록 위치를 도시한 블록도이다.
도 5b는 본 개시의 일부 구현에 따라 모션 벡터 후보의 리스트가 식별되는 예시적인 프로세스를 도시한 흐름도이다.
도 5c는 본 개시의 일부 구현에 따라 현재 픽처와 병치된 픽처 사이에 서브블록 기반 시간적 모션 벡터 예측이 수행되는 방법을 도시한 블록도이다.
도 6은 본 개시의 일부 구현에 따라 비디오 디코더가 병치된 픽처의 모션 정보로부터 현재 픽처에 대한 서브블록 기반 시간적 모션 벡터 예측을 구축하는 기술을 구현하는 예시적인 프로세스를 도시한 흐름도이다.

이제 특정 구현에 대한 참조가 상세하게 이루어질 것이며, 그 예는 첨부 도면에 도시되어 있다. 다음의 상세한 설명에서, 여기에서 제시된 주제의 이해를 돕기 위해 다수의 비 제한적인 특정 세부 사항이 설명된다. 그러나, 청구 범위의 범위를 벗어나지 않고 다양한 대안이 사용될 수 있고 주제가 이러한 특정 세부 사항없이 실시될 수 있다는 것이 당업자에게 명백할 것이다. 예를 들어, 여기에서 제시된 주제가 디지털 비디오 기능을 가진 많은 유형의 전자 장치에서 구현될 수 있다는 것이 당업자에게 명백할 것이다.

도 1은 본 개시의 일부 구현에 따라 비디오 블록을 병렬로 인코딩하고 디코딩하기 위한 예시적인 시스템(10)을 도시한 블록도이다. 도 1에 도시된 바와 같이, 시스템(10)은 데스티네이션 장치(14)에 의해 나중에 디코딩될 비디오 데이터를 생성하고 인코딩하는 소스 장치(12)를 포함한다. 소스 장치(12) 및 데스티네이션 장치(14)는 데스크탑 또는 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 셋탑 박스, 디지털 텔레비전, 카메라, 디스플레이 장치, 디지털 매체 플레이어, 비디오 게임 콘솔, 비디오 스트리밍 장치 등을 포함하는 다양한 전자 장치 중 임의의 것을 포함할 수 있다. 일부 구현에서, 소스 장치(12) 및 데스티네이션 장치(14)는 무선 통신 기능을 갖추고 있다.

일부 구현에서, 데스티네이션 장치(14)는 링크(16)를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)는 인코딩된 비디오 데이터를 소스 장치(12)로부터 데스티네이션 장치(14)로 이동할 수 있는 임의 유형의 통신 매체 또는 장치를 포함할 수 있다. 일 예에서, 링크(16)는 소스 장치(12)가 인코딩된 비디오 데이터를 데스티네이션 장치(14)에게 실시간으로 직접 전송할 수 있도록 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되어 데스티네이션 장치(14)로 전송될 수 있다. 통신 매체는 무선 주파수(RF) 스펙트럼 또는 하나 이상의 물리 전송 라인과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 근거리 통신망, 광역 네트워크 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 스위치, 기지국, 또는 소스 장치(12)로부터 데스티네이션 장치(14)로의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.

일부 다른 구현에서, 인코딩된 비디오 데이터는 출력 인터페이스(22)로부터 저장 장치(32)로 전송될 수 있다. 그 후, 저장 장치(32)의 인코딩된 비디오 데이터는 입력 인터페이스(28)를 통해 데스티네이션 장치(14)에 의해 액세스될 수 있다. 저장 장치(32)는 하드 드라이브, 블루레이 디스크, DVD, CD-ROM, 플래시 메모리, 휘발성 또는 비 휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체와 같은 다양한 분산 또는 로컬 액세스 데이터 저장 매체를 포함할 수 있다. 추가 예에서, 저장 장치(32)는 소스 장치(12)에 의해 생성된 인코딩된 비디오 데이터를 보유할 수 있는 파일 서버 또는 다른 중간 저장 장치에 대응할 수 있다. 데스티네이션 장치(14)는 스트리밍 또는 다운로드를 통해 저장 장치(32)로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 인코딩된 비디오 데이터를 데스티네이션 장치(14)로 전송할 수 있는 임의 유형의 컴퓨터일 수 있다. 예시적인 파일 서버는 웹 서버(예를 들어, 웹 사이트용), FTP 서버, 네트워크 접속 저장 장치(network attached storage, NAS) 또는 로컬 디스크 드라이브를 포함한다. 데스티네이션 장치(14)는 무선 채널(예를 들어, Wi-Fi 연결), 유선 연결(예를 들어, DSL, 케이블 모뎀 등) 또는 파일 서버에 저장된 인코딩된 비디오 데이터에 액세스하는 데 적합한 이들의 조합을 포함하는 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수 있다. 저장 장치(32)로부터 인코딩된 비디오 데이터의 전송은 스트리밍 전송, 다운로드 전송 또는 이 둘의 조합일 수 있다.

도 1에 도시된 바와 같이, 소스 장치(12)는 비디오 소스(18), 비디오 인코더(20) 및 출력 인터페이스(22)를 포함한다. 비디오 소스(18)는 비디오 캡처 장치, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브와 같은 소스, 비디오 컨텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 소스 비디오로서 컴퓨터 그래픽 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스의 조합을 포함할 수 있다. 일 예로서, 비디오 소스(18)가 보안 감시 시스템의 비디오 카메라인 경우, 소스 장치(12) 및 데스티네이션 장치(14)는 카메라 폰 또는 비디오 폰을 형성할 수 있다. 그러나, 본 출원에서 설명되는 구현은 일반적으로 비디오 코딩에 적용될 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수 있다.

캡처된, 미리 캡처된 또는 컴퓨터 생성 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 데이터는 소스 장치(12)의 출력 인터페이스(22)를 통해 데스티네이션 장치(14)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한(또는 다르게는) 디코딩 및/또는 재생을 위해 데스티네이션 장치(14) 또는 다른 장치에 의한 추후 액세스를 위해 저장 장치(32)에 저장된다. 출력 인터페이스(22)는 모뎀 및/또는 전송기를 더 포함할 수 있다.

데스티네이션 장치(14)는 입력 인터페이스(28), 비디오 디코더(30) 및 디스플레이 장치(34)를 포함한다. 입력 인터페이스(28)는 수신기 및/또는 모뎀을 포함할 수 있고 링크(16)를 통해 인코딩된 비디오 데이터를 수신할 수 있다. 링크(16)를 통해 통신되거나 또는 저장 장치(32)를 통해 제공되는 인코딩된 비디오 데이터는 비디오 데이터를 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 인코더(20)에 의해 생성된 다양한 신택스 요소를 포함할 수 있다. 이러한 신택스 요소는 통신 매체를 통해 전송되거나 저장 매체에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터 내에 포함될 수 있다.

일부 구현에서, 데스티네이션 장치(14)는 통합 디스플레이 장치 및 데스티네이션 장치(14)와 통신하도록 구성된 외부 디스플레이 장치일 수 있는 디스플레이 장치(34)를 포함할 수 있다. 디스플레이 장치(34)는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 또는 다른 유형의 디스플레이 장치와 같은 다양한 디스플레이 장치 중 임의의 것을 포함할 수 있다.

비디오 인코더(20) 및 비디오 디코더(30)는 VVC, HEVC, MPEG-4, Part 10, AVC(Advanced Video Coding) 또는 이러한 표준의 확장과 같은 독점 또는 산업 표준에 따라 작동할 수 있다. 본 출원은 특정 비디오 코딩/디코딩 표준에 제한되지 않고 다른 비디오 코딩/디코딩 표준에 적용될 수 있음을 이해해야 한다. 소스 장치(12)의 비디오 인코더(20)는 이러한 현재 또는 미래의 표준 중 임의의 것에 따라 비디오 데이터를 인코딩하도록 구성될 수 있다는 것이 일반적으로 고려된다. 유사하게, 데스티네이션 장치(14)의 비디오 디코더(30)는 이러한 현재 또는 미래의 표준 중 임의의 것에 따라 비디오 데이터를 디코딩하도록 구성될 수 있다는 것이 일반적으로 고려된다.

비디오 인코더(20) 및 비디오 디코더(30)는 각각 하나 이상의 마이크로 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 주문형 집적 회로(application specific integrated circuit, ASIC), 필드 프로그래밍 가능 게이트 어레이(field programmable gate array, FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은 다양한 적절한 인코더 회로 중 임의의 것으로 구현될 수 있다. 소프트웨어에서 부분적으로 구현되는 경우, 전자 장치는 소프트웨어에 대한 명령을 적절한 비 일시적 컴퓨터 판독 가능 매체에 저장하고 하나 이상의 프로세서를 사용하여 하드웨어에서 명령을 실행하여 본 개시에서 개시된 비디오 코딩/디코딩 작업을 수행할 수 있다. 비디오 인코더(20) 및 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있으며, 이들 중 어느 하나는 각각의 장치에서 결합된 인코더/디코더(CODEC)의 일부로서 통합될 수 있다.

도 2는 본 출원에서 설명된 일부 구현에 따른 예시적인 비디오 인코더(20)를 도시한 블록도이다. 비디오 인코더(20)는 비디오 프레임 내의 비디오 블록의 인트라 및 인터 예측 코딩을 수행할 수 있다. 인트라 예측 코딩은 주어진 비디오 프레임 또는 픽처 내의 비디오 데이터에서 공간적 중복성을 줄이거나 제거하기 위해 공간적 예측에 의존한다. 인터 예측 코딩은 비디오 시퀀스의 인접한 비디오 프레임 또는 픽처 내의 비디오 데이터에서 시간적 중복성을 줄이거나 제거하기 위해 시간적 예측에 의존한다.

도 2에 도시된 바와 같이, 비디오 인코더(20)는 비디오 데이터 메모리(40), 예측 처리 유닛(41), 디코딩된 픽처 버퍼(decoded picture buffer, DPB)(64), 합산기(summer)(50), 변환 처리 유닛(52), 양자화 유닛(54) 및 엔트로피 인코딩 유닛(56)을 포함한다. 예측 처리 유닛(41)은 모션 추정 유닛(42), 모션 보상 유닛(44), 분할 유닛(45), 인트라 예측 처리 유닛(46) 및 인트라 블록 복사(block copy, BC) 유닛(48)을 더 포함한다. 일부 구현에서, 비디오 인코더(20)는 또한 비디오 블록 재구성을 위해 역양자화 유닛(58), 역변환 처리 유닛(60) 및 합산기(62)를 포함한다. 디블록킹 필터(deblocking filter)(도시되지 않음)는 재구성된 비디오로부터 블록킹 현상(blockiness artifact)을 제거하기 위해 블록 경계를 필터링하도록 합산기(62)와 DPB(64) 사이에 위치될 수 있다. 인 루프 필터(도시되지 않음)는 또한 합산기(62)의 출력을 필터링하기 위해 디블로킹 필터에 추가로 사용될 수 있다. 비디오 인코더(20)는 고정된 또는 프로그램 가능한 하드웨어 유닛의 형태를 취할 수 있거나 또는 예시된 고정된 또는 프로그래밍 가능한 하드웨어 유닛 중 하나 이상으로 분할될 수 있다.

비디오 데이터 메모리(40)는 비디오 인코더(20)의 컴포넌트에 의해 인코딩될 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(40)의 비디오 데이터는 예를 들어 비디오 소스(18)로부터 획득될 수 있다. DPB(64)는 (예를 들어, 인트라 또는 인터 예측 코딩 모드에서) 비디오 인코더(20)에 의해 비디오 데이터를 인코딩하는 데 사용하기 위한 참조 비디오 데이터를 저장하는 버퍼이다. 비디오 데이터 메모리(40) 및 DPB(64)는 다양한 메모리 장치 중 임의의 것에 의해 형성될 수 있다. 다양한 예에서, 비디오 데이터 메모리(40)는 비디오 인코더(20)의 다른 컴포넌트를 구비한 온 칩일 수 있거나, 또는 이들 컴포넌트에 대해 오프 칩일 수 있다.

도 2에 도시된 바와 같이, 비디오 데이터를 수신한 후, 예측 처리 유닛(41) 내의 분할 유닛(45)은 비디오 데이터를 비디오 블록으로 분할한다. 이러한 분할은 또한 비디오 데이터와 연관된 쿼드 트리(quad-tree) 구조와 같은 미리 정의된 분할 구조에 따라 비디오 프레임을 슬라이스, 타일 또는 다른 더 큰 코딩 유닛(coding unit, CU)으로 분할하는 것을 포함할 수 있다. 비디오 프레임은 다수의 비디오 블록(또는 타일로 지칭되는 비디오 블록의 세트)으로 분할될 수 있다. 예측 처리 유닛(41)은 오류 결과(예를 들어, 코딩 레이트 및 왜곡 수준)에 기초하여 현재 비디오 블록에 대해 복수의 인트라 예측 코딩 모드 중 하나 또는 복수의 인터 예측 코딩 모드 중 하나와 같은 복수의 가능한 예측 코딩 모드 중 하나를 선택할 수 있다. 예측 처리 유닛(41)은 잔여 블록을 생성하기 위해 결과적인 인트라 또는 인터 예측 코딩된 블록을 합산기(50)에게 제공할 수 있고, 후속하여 참조 프레임의 일부로서 사용하기 위해 인코딩된 블록을 재구성하기 위해 합산기(52)에게 제공할 수 있다. 예측 처리 유닛(41)은 또한 모션 벡터, 인트라 모드 지시자, 분할 정보 및 기타 그러한 신택스 정보와 같은 신택스 요소를 엔트로피 인코딩 유닛(56)에게 제공한다.

현재 비디오 블록에 대한 적절한 인트라 예측 코딩 모드를 선택하기 위해, 예측 처리 유닛(41) 내의 인트라 예측 처리 유닛(46)은 공간 예측을 제공하기 위해 코딩될 현재 블록으로서 동일한 프레임 내의 하나 이상의 이웃 블록에 대해 현재 비디오 블록의 인트라 예측 코딩을 수행할 수 있다. 예측 처리 유닛(41) 내의 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 시간적 예측을 제공하기 위해 하나 이상의 참조 프레임에서 하나 이상의 예측 블록에 대해 현재 비디오 블록의 인터 예측 코딩을 수행한다. 비디오 인코더(20)는 예를 들어 비디오 데이터의 각각의 블록에 대해 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스(coding pass)를 수행할 수 있다.

일부 구현에서, 모션 추정 유닛(42)은 모션 벡터를 생성함으로써 현재 비디오 프레임에 대한 인터 예측 모드를 결정하는데, 이는 비디오 프레임의 시퀀스 내의 미리 결정된 패턴에 따라 참조 비디오 프레임 내의 예측 블록에 대해 현재 비디오 프레임 내에서 비디오 블록의 예측 유닛(prediction unit, PU)의 변위를 지시한다. 모션 추정 유닛(42)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 현재 프레임(또는 다른 코딩된 유닛) 내에서 코딩된 현재 블록에 대해 참조 프레임(또는 기타 코딩된 유닛) 내에서의 예측 블록에 대한 현재 비디오 프레임 또는 픽처 내에서의 비디오 블록의 PU의 변위를 지시할 수 있다. 미리 결정된 패턴은 시퀀스의 비디오 프레임을 P 프레임 또는 B 프레임으로 지정할 수 있다. 인트라 BC 유닛(48)은 인터 예측을 위한 모션 추정 유닛(42)에 의한 모션 벡터의 결정과 유사한 방식으로 인트라 BC 코딩을 위한 벡터, 예를 들어 블록 벡터를 결정할 수 있거나, 또는 블록 벡터를 결정하기 위해 모션 추정 유닛(42)을 이용할 수 있다.

예측 블록은 픽셀 차이 측면에서 코딩될 비디오 블록의 PU와 밀접하게 매칭하는 것으로 간주되는 참조 프레임의 블록으로, 이는 절대 차이의 합(sum of absolute difference, SAD), 제곱 차이의 합(sum of square difference, SSD) 또는 기타 차이 메트릭에 의해 결정될 수 있다. 일부 구현에서, 비디오 인코더(20)는 DPB(64)에 저장된 참조 프레임의 서브 정수 픽셀(sub-integer pixel) 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 참조 프레임의 1/4 픽셀 위치, 1/8 픽셀 위치 또는 기타 부분 픽셀(fractional pixel)의 값을 보간할 수 있다. 따라서, 모션 추정 유닛(42)은 전체 픽셀 위치 및 부분 픽셀 위치에 대한 모션 검색을 수행하고 부분 픽셀 정밀도로 모션 벡터를 출력할 수 있다.

모션 추정 유닛(42)은 제1 참조 프레임 리스트(예를 들어, List0) 또는 제2 참조 프레임 리스트(예를 들어, List1)로부터 선택된 참조 프레임의 예측 블록의 위치와 PU의 위치를 비교함으로써 인터 예측 코딩된 프레임에서 비디오 블록의 PU에 대한 모션 벡터를 계산하며, 이들 각각은 DPB(64)에 저장된 하나 이상의 참조 프레임을 식별한다. 모션 추정 유닛(42)은 계산된 모션 벡터를 모션 보상 유닛(44)으로 전송한 다음 엔트로피 인코딩 유닛으로 전송한다.

모션 보상 유닛(44)에 의해 수행되는 모션 보상은 모션 추정 유닛(42)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하거나 생성하는 것을 포함할 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 유닛(44)은 참조 프레임 리스트 중 하나에서 모션 벡터가 가리키는 예측 블록을 찾고, DPB(64)로부터 예측 블록을 검색하며, 예측 블록을 합산기(50)로 전달할 수 있다. 그 후, 합산기(50)는 코딩되는 현재 비디오 블록의 픽셀 값에서 모션 보상 유닛(44)에 의해 제공된 예측 블록의 픽셀 값을 감산함으로써 픽셀 차이 값의 잔여 비디오 블록을 형성한다. 잔여 비디오 블록을 형성하는 픽셀 차이 값은 루마(luma) 또는 크로마(chroma) 차이 성분 또는 둘 다를 포함할 수 있다. 모션 보상 유닛(44)은 또한 비디오 프레임의 비디오 블록을 디코딩할 때 비디오 디코더(30)에 의한 사용을 위해 비디오 프레임의 비디오 블록과 연관된 신택스 요소를 생성할 수 있다. 신택스 요소는 예를 들어 예측 블록을 식별하는 데 사용되는 모션 벡터를 정의하는 신택스 요소, 예측 모드를 지시하는 임의의 플래그, 또는 여기에서 설명된 임의의 다른 신택스 정보를 포함할 수 있다. 모션 추정 유닛(42) 및 모션 보상 유닛(44)은 고도로 통합될 수 있지만 개념적 목적을 위해 별도로 도시되어 있음에 유의한다.

일부 구현에서, 인트라 BC 유닛(48)은 모션 추정 유닛(42) 및 모션 보상 유닛(44)과 관련하여 전술한 것과 유사한 방식으로 벡터를 생성하고 예측 블록을 페치할 수 있지만, 예측 블록은 코딩 중인 현재 블록과 동일한 프레임 내에 있고 벡터는 모션 벡터와는 반대로 블록 벡터로서 지칭된다. 특히, 인트라 BC 유닛(48)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 BC 유닛(48)은 다양한 인트라 예측 모드를 사용하여, 예를 들어 개별 인코딩 패스 동안 현재 블록을 인코딩할 수 있고, 레이트 왜곡 분석(rate-distortion analysis)을 통해 그들의 성능을 테스트할 수 있다. 다음, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드 중에서 적절한 인트라 예측 모드를 선택할 수 있어서, 그에 따라 인트라 모드 지시자를 사용하고 생성할 수 있다. 예를 들어, 인트라 BC 유닛(48)은 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산할 수 있고, 테스트된 모드 중에서 가장 우수한 레이트 왜곡 특성을 갖는 인트라 예측 모드를 사용하기에 적절한 인트라 예측 모드로 선택할 수 있다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양과 인코딩된 블록을 생성하는 데 사용된 비트 전송률(즉, 비트 수)을 결정한다. 인트라 BC 유닛(48)은 어떤 인트라 예측 모드가 블록에 대해 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.

다른 예에서, 인트라 BC 유닛(48)은 여기에서 설명된 구현에 따라 인트라 BC 예측을 위한 기능을 수행하기 위해 전체적으로 또는 부분적으로 모션 추정 유닛(42) 및 모션 보상 유닛(44)을 사용할 수 있다. 두 경우 모두, 인트라 블록 복사의 경우, 예측 블록은 픽셀 차이의 측면에서 코딩될 블록과 밀접하게 매칭하는 것으로 간주되는 블록일 수 있으며, 이는 절대 차이의 합(SAD), 제곱 차이의 합(SSD), 또는 다른 차이 메트릭에 의해 결정될 수 있으며, 예측 블록의 식별은 서브 정수 픽셀 위치에 대한 값의 계산을 포함할 수 있다.

예측 블록이 인트라 예측에 따라 동일한 프레임에 있든, 또는 인터 예측에 따라 다른 프레임에 있든, 비디오 인코더(20)는 픽셀 차이 값을 형성하는, 코딩 중인 현재 비디오 블록의 픽셀 값에서 예측 블록의 픽셀 값을 감산함으로써 잔여 비디오 블록을 형성할 수 있다. 잔여 비디오 블록을 형성하는 픽셀 차이 값은 루마 및 크로마 성분 차이 모두를 포함할 수 있다.

인트라 예측 처리 유닛(46)은 상기한 바와 같이, 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 수행되는 인터 예측 또는 인트라 BC 유닛(48)에 의해 수행되는 인트라 블록 복사 예측에 대한 대안으로서 현재 비디오 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 처리 유닛(46)은 현재 블록을 인코딩하는 데 사용할 인트라 예측 모드를 결정할 수 있다. 이를 위해, 인트라 예측 처리 유닛(46)은 다양한 인트라 예측 모드를 사용하여, 예를 들어 개별 인코딩 패스 동안 현재 블록을 인코딩할 수 있고, 인트라 예측 처리 유닛(46)(또는 일부 예에서 모드 선택 유닛)은 테스트된 인트라 예측 모드로부터 사용할 적절한 인트라 예측 모드를 선택할 수 있다. 인트라 예측 처리 유닛(46)은 블록에 대해 선택된 인트라 예측 모드를 나타내는 정보를 엔트로피 인코딩 유닛(56)에게 제공할 수 있다. 엔트로피 인코딩 유닛(56)은 선택된 인트라 예측 모드를 지시하는 정보를 비트스트림으로 인코딩할 수 있다.

예측 처리 유닛(41)이 인터 예측 또는 인트라 예측을 통해 현재 비디오 블록에 대한 예측 블록을 결정한 후, 합산기(50)는 현재 비디오 블록에서 예측 블록을 감산함으로써 잔여 비디오 블록을 형성한다. 잔여 블록의 잔여 비디오 데이터는 하나 이상의 변환 유닛(TU)에 포함될 수 있으며, 변환 처리 장치(52)에게 제공된다. 변환 처리 장치(52)는 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은 변환을 사용하여 잔여 비디오 데이터를 잔여 변환 계수로 변환한다.

변환 처리 유닛(52)은 결과적인 변환 계수를 양자화 유닛(54)으로 전송할 수 있다. 양자화 유닛(54)은 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화한다. 양자화 프로세스는 또한 계수의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 그 후 양자화된 변환 계수를 포함하는 매트릭스의 스캔을 수행할 수 있다. 다르게는, 엔트로피 인코딩 유닛(56)은 스캔을 수행할 수 있다.

양자화 후에, 엔트로피 인코딩 유닛(56)은 예를 들어, 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 인코딩 방법론 또는 기술을 사용하여 양자화된 변환 계수를 비디오 비트스트림으로 인코딩한다. 인코딩된 비트스트림은 그 후 비디오 디코더(30)로 전송되거나, 비디오 디코더(30)로의 추후의 전송 또는 비디오 디코더(30)에 의한 검색을 위해 저장 장치(32)에 보관될 수 있다. 엔트로피 인코딩 유닛(56)은 또한 코딩 중인 현재 비디오 프레임에 대한 모션 벡터 및 다른 신택스 요소를 엔트로피 인코딩할 수 있다.

역양자화 유닛(58) 및 역변환 처리 유닛(60)은 다른 비디오 블록의 예측을 위한 참조 블록을 생성하기 위해 픽셀 도메인에서 잔여 비디오 블록을 재구성하기 위해 각각 역양자화 및 역변환을 적용한다. 위에서 언급된 바와 같이, 모션 보상 유닛(44)은 DPB(64)에 저장된 프레임의 하나 이상의 참조 블록으로부터 모션 보상된 예측 블록을 생성할 수 있다. 모션 보상 유닛(44)은 또한 모션 추정에서의 사용을 위해 서브 정수 픽셀 값을 계산하기 위해 하나 이상의 보간 필터를 예측 블록에 적용할 수 있다.

합산기(62)는 DPB(64)에의 저장을 위해 참조 블록을 생성하기 위해 모션 보상 유닛(44)에 의해 생성된 모션 보상된 예측 블록에 재구성된 잔여 블록을 추가한다. 참조 블록은 또한 인트라 BC 유닛(48), 모션 추정 유닛(42) 및 모션 보상 유닛(44)에 의해 후속 비디오 프레임에서 다른 비디오 블록을 인터 예측하기 위한 예측 블록으로서 사용될 수 있다.

도 3은 본 출원의 일부 구현에 따른 예시적인 비디오 디코더(30)를 도시한 블록도이다. 비디오 디코더(30)는 비디오 데이터 메모리(79), 엔트로피 디코딩 유닛(80), 예측 처리 유닛(81), 역양자화 유닛(86), 역변환 처리 유닛(88), 합산기(90) 및 DPB(92)를 포함한다. 예측 처리 유닛(81)은 모션 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 인트라 BC 유닛(85)을 더 포함한다. 비디오 디코더(30)는 도 2와 관련하여 비디오 인코더(20)에 대해 위에서 설명된 인코딩 프로세스와 일반적으로 역인 디코딩 프로세스를 수행할 수 있다. 예를 들어, 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터에 기초하여 예측 데이터를 생성할 수 있는 반면에, 인트라 예측 유닛(84)은 엔트로피 디코딩 유닛(80)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.

일부 예에서, 비디오 디코더(30)의 유닛은 본 출원의 구현을 수행하도록 작동될 수 있다. 또한, 일부 예에서, 본 개시의 구현은 비디오 디코더(30)의 유닛 중 하나 이상으로 분할될 수 있다. 예를 들어, 인트라 BC 유닛(85)은 본 출원의 구현을 단독으로 또는 모션 보상 유닛(82), 인트라 예측 처리 유닛(84) 및 엔트로피 디코딩 유닛(80)과 같은 비디오 디코더(30)의 다른 유닛과 결합하여 수행할 수 있다. 일부 예에서, 비디오 디코더(30)는 인트라 BC 유닛(85)을 포함하지 않을 수 있고 인트라 BC 유닛(85)의 기능은 모션 보상 유닛(82)과 같은 예측 처리 유닛(81)의 다른 컴포넌트에 의해 수행될 수 있다.

비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트에 의해 디코딩될 인코딩된 비디오 비트 스트림과 같은 비디오 데이터를 저장할 수 있다. 비디오 데이터 메모리(79)에 저장된 비디오 데이터는 비디오 데이터의 유선 또는 무선 네트워크 통신을 통해 또는 물리 데이터 저장 매체(예를 들어, 플래시 드라이브 또는 하드 디스크)에 액세스하여 카메라와 같은 로컬 비디오 소스로부터, 예를 들어 저장 장치(32)로부터 획득될 수 있다. 비디오 데이터 메모리(79)는 인코딩된 비디오 비트스트림으로부터 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼(coded picture buffer, CPB)를 포함할 수 있다. 비디오 디코더(30)의 디코딩된 픽처 버퍼(DPB)(92)는 (예를 들어, 인트라 또는 인터 예측 코딩 모드에서) 비디오 디코더(30)에 의해 비디오 데이터를 디코딩하는 데 사용하기 위한 참조 비디오 데이터를 저장한다. 비디오 데이터 메모리(79) 및 DPB(92)는 동기식 DRAM(synchronous dynamic random access memory, SDRAM)을 포함하는 DRAM(dynamic random access memory), 자기 저항성 RAM(magneto-resistive RAM, MRAM), 저항성 RAM(RRAM) 또는 다른 유형의 메모리 장치와 같은 다양한 메모리 장치 중 임의의 것에 의해 형성될 수 있다. 설명을 위해, 비디오 데이터 메모리(79) 및 DPB(92)는 도 3에서 비디오 디코더(30)의 두 개의 별개의 컴포넌트로서 도시된다. 그러나, 비디오 데이터 메모리(79) 및 DPB(92)는 동일한 메모리 장치 또는 별개의 메모리 장치에 의해 제공될 수 있다는 것은 당업자에게 명백할 것이다. 일부 예에서, 비디오 데이터 메모리(79)는 비디오 디코더(30)의 다른 컴포넌트를 구비한 온 칩일 수 있거나, 또는 이들 컴포넌트에 대해 오프 칩일 수 있다.

디코딩 프로세스 동안, 비디오 디코더(30)는 인코딩된 비디오 프레임 및 연관된 신택스 요소의 비디오 블록을 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)는 비디오 프레임 레벨 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(80)은 양자화된 계수, 모션 벡터 또는 인트라 예측 모드 지시자 및 다른 신택스 요소를 생성하기 위해 비트스트림을 엔트로피 디코딩한다. 그런 다음, 엔트로피 디코딩 유닛(80)은 모션 벡터 및 다른 신택스 요소를 예측 처리 유닛(81)으로 전달한다.

비디오 프레임이 인트라 예측 코딩된(I) 프레임으로서 코딩되거나 또는 다른 유형의 프레임에서 인트라 코딩된 예측 블록에 대해 코딩되는 경우, 예측 처리 유닛(81)의 인트라 예측 처리 유닛(84)은 시그널링된 인트라 예측 모드 및 현재 프레임의 이전에 디코딩된 블록으로부터의 참조 데이터에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 예측 데이터를 생성할 수 있다.

비디오 프레임이 인터 예측 코딩된(즉, B 또는 P) 프레임으로서 코딩되는 경우, 예측 처리 유닛(81)의 모션 보상 유닛(82)은 엔트로피 디코딩 유닛(80)으로부터 수신된 모션 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 프레임의 비디오 블록에 대한 하나 이상의 예측 블록을 생성한다. 각각의 예측 블록은 참조 프레임 리스트 중 하나 내의 참조 프레임으로부터 생성될 수 있다. 비디오 디코더(30)는 DPB(92)에 저장된 참조 프레임에 기초한 디폴트 구성 기술을 사용하여 참조 프레임 리스트, 예를 들어 List0 및 List1을 구성할 수 있다.

일부 예에서, 비디오 블록이 여기에서 설명된 인트라 BC 모드에 따라 코딩되는 경우, 예측 처리 유닛(81)의 인트라 BC 유닛(85)은 엔트로피 디코딩 유닛(80)으로부터 수신된 블록 벡터 및 다른 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 비디오 인코더(20)에 의해 정의된 현재 비디오 블록과 동일한 픽처의 재구성된 영역 내에 있을 수 있다.

모션 보상 유닛(82) 및/또는 인트라 BC 유닛(85)은 모션 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 프레임의 비디오 블록에 대한 예측 정보를 결정한 다음, 예측 정보를 사용하여 디코딩 중인 현재 비디오 블록에 대한 예측 블록을 생성할 수 있다. 예를 들어, 모션 보상 유닛(82)은 비디오 프레임의 비디오 블록, 인터 예측 프레임 유형(예를 들어, B 또는 P), 프레임에 대한 참조 프레임 리스트 중 하나 이상에 대한 구성 정보, 프레임의 각각의 인터 예측 인코딩된 비디오 블록에 대한 모션 벡터, 프레임의 각각의 인터 예측 코딩된 비디오 블록에 대한 인터 예측 상태, 및 현재 비디오 프레임 내의 비디오 블록을 디코딩하기 위한 기타 정보를 코딩하는 데 사용되는 예측 모드(예를 들어, 인트라 또는 인터 예측)를 결정하기 위해 수신된 신택스 요소 중 일부를 사용한다.

유사하게, 인트라 BC 유닛(85)은 수신된 신택스 요소, 예를 들어, 현재 비디오 블록이 인트라 BC 모드를 사용하여 예측되었음을 결정하기 위한 플래그, 프레임의 비디오 블록이 재구성된 영역 내에 있으면서 DPB(92)에 저정되어야 하는 구성 정보, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 블록 벡터, 프레임의 각각의 인트라 BC 예측된 비디오 블록에 대한 인트라 BC 예측 상태 및 현재 비디오 프레임 내의 비디오 블록을 디코딩하기 위한 기타 정보 중 일부를 사용할 수 있다.

모션 보상 유닛(82)은 또한 참조 블록의 서브 정수 픽셀에 대한 보간된 값을 계산하기 위해 비디오 블록의 인코딩 동안 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용하여 보간을 수행할 수 있다. 이 경우, 모션 보상 유닛(82)은 수신된 신택스 요소로부터 비디오 인코더(20)에 의해 사용되는 보간 필터를 결정하고 예측 블록을 생성하기 위해 보간 필터를 사용할 수 있다.

역양자화 유닛(86)은 양자화 정도를 결정하기 위해 비디오 프레임의 각각의 비디오 블록에 대해 비디오 인코더(20)에 의해 계산된한 동일한 양자화 파라미터를 사용하여 비트스트림에서 제공되고 엔트로피 디코딩 유닛(80)에 의해 엔트로피 디코딩된 양자화된 변환 계수를 양자화한다. 역변환 처리 유닛(88)은 픽셀 도메인에서 잔여 블록을 재구성하기 위해 변환 계수에 역변환, 예를 들어 역 DCT, 역 정수 변환 또는 개념적으로 유사한 역변환 프로세스를 적용한다.

모션 보상 유닛(82) 또는 인트라 BC 유닛(85)이 벡터 및 기타 신택스 요소에 기초하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 합산기(90)는 역변환 처리 유닛(88)으로부터의 잔여 블록과 모션 보상 유닛(82) 및 인트라 BC 유닛(85)에 의해 생성된 대응하는 예측 블록을 합산함으로써 현재 비디오 블록에 대한 디코딩된 비디오 블록을 재구성한다. 인 루프 필터(도시되지 않음)는 디코딩된 비디오 블록을 추가로 처리하기 위해 합산기(90)와 DPB(92) 사이에 위치될 수 있다. 주어진 프레임의 디코딩된 비디오 블록은 다음 비디오 블록의 후속 모션 보상을 위해 사용되는 참조 프레임을 저장하는 DPB(92)에 저장된다. DPB(92) 또는 DPB(92)와 분리된 메모리 장치는 또한 도 1의 디스플레이 장치(34)와 같은 디스플레이 장치를 통한 추후의 표시를 위해 디코딩된 비디오를 저장할 수 있다.

전형적인 비디오 코딩 프로세스에서, 비디오 시퀀스는 전형적으로 순서화된 프레임 또는 픽처 세트를 포함한다. 각각의 프레임은 SL, SCb 및 SCr로 표시되는 3개의 샘플 어레이를 포함할 수 있다. SL은 루마 샘플의 2차원 어레이이다. SCb는 Cb 크로마 샘플의 2차원 어레이이다. SCr은 Cr 크로마 샘플의 2차원 어레이이다. 다른 경우에, 프레임은 단색일 수 있으므로, 루마 샘플의 2차원 배열을 하나만 포함한다.

도 4a에 도시된 바와 같이, 비디오 인코더(20)(또는 더 구체적으로 분할 유닛(45))는 먼저 프레임을 일련의 코딩 트리 유닛(CTU)으로 분할함으로써 프레임의 인코딩된 표현을 생성한다. 비디오 프레임은 왼쪽에서 오른쪽으로 그리고 위에서 아래로 래스터 스캔(raster scan) 순서로 연속적으로 정렬된 정수 개수의 CTU를 포함할 수 있다. 각각의 CTU는 가장 큰 논리 코딩 유닛이고 CTU의 폭 및 높이는 시퀀스 파라미터 세트에서 비디오 인코더(20)에 의해 시그널링되어, 비디오 시퀀스의 모든 CTU가 128×128, 64×64, 32×32 및 16×16 중 하나와 동일한 크기를 갖는다. 그러나, 본 출원은 반드시 특정 크기로 제한되는 것은 아니라는 점에 유의해야 한다. 도 4b에 도시된 바와 같이, 각각의 CTU는 루마 샘플의 하나의 코딩 트리 블록(coding tree block, CTB), 크로마 샘플의 두 개의 대응하는 코딩 트리 블록, 및 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 신택스 요소는 픽셀의 코딩된 블록의 유닛의 상이한 유형의 특성 및 비디오 시퀀스가 인터 또는 인트라 예측, 인트라 예측 모드, 모션 벡터 및 기타 파라미터를 포함하여 비디오 디코더(30)에서 재구성될 수 있는 방법을 설명한다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CTU는 코딩 트리 블록의 샘플을 코딩하는 데 사용되는 단일 코딩 트리 블록 및 신택스 요소를 포함할 수 있다. 코딩 트리 블록은 샘플의 NxN 블록일 수 있다.

더 나은 성능을 달성하기 위해, 비디오 인코더(20)는 CTU의 코딩 트리 블록에서 바이너리 트리 분할, 쿼드 트리 분할 또는 둘 모두의 조합과 같은 트리 분할을 재귀적으로 수행하고 CTU를 더 작은 코딩 유닛(CU)으로 분할할 수 있다. 도 4c에 도시된 바와 같이, 64x64 CTU(400)는 먼저 각각 블록 크기가 32x32인 4개의 더 작은 CU로 분할된다. 4개의 더 작은 CU 중에서, CU(410) 및 CU(420)는 각각 블록 크기 단위로 16x16의 4개의 CU로 분할된다. 2개의 16x16 CU(430 및 440)는 각각 블록 크기 단위로 8x8의 4개의 CU로 더 분할된다. 도 4d는 도 4c에 도시된 바와 같이 CTU(400)의 분할 프로세스의 최종 결과를 예시하는 쿼드 트리 데이터 구조를 도시하며, 각 크기의 하나의 CU에 대응하는 쿼드 트리의 각각의 리프 노드(leaf node)는 32x32에서 8x8 범위이다. 도 4b에 도시된 CTU와 마찬가지로, 각각의 CU는 루마 샘플의 코딩 블록(CB) 및 동일한 크기의 프레임의 크로마 샘플의 2개의 대응하는 코딩 블록, 및 코딩 블록의 샘플을 코딩하는 데 사용되는 신택스 요소를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, CU는 코딩 블록의 샘플을 코딩하는 데 사용되는 단일 코딩 블록 및 신택스 구조를 포함할 수 있다.

일부 구현에서, 비디오 인코더(20)는 CU의 코딩 블록을 하나 이상의 MxN 예측 블록(PB)으로 더 분할할 수 있다. 예측 블록은 동일한 예측(인터 또는 인트라)이 적용되는 샘플의 직사각형(정사각형 또는 비 정사각형) 블록이다. CU의 예측 유닛(PU)은 루마 샘플의 예측 블록, 크로마 샘플의 2개의 대응하는 예측 블록, 및 예측 블록을 예측하는 데 사용되는 신택스 요소를 포함할 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 갖는 픽처에서, PU는 예측 블록을 예측하는 데 사용되는 단일 예측 블록 및 신택스 구조를 포함할 수 있다. 비디오 인코더(20)는 CU의 각각의 PU의 루마, Cb 및 Cr 예측 블록에 대한 예측 루마, Cb 및 Cr 블록을 생성할 수 있다.

비디오 인코더(20)는 PU에 대한 예측 블록을 생성하기 위해 인트라 예측 또는 인터 예측을 사용할 수 있다. 비디오 인코더(20)가 인트라 예측을 사용하여 PU의 예측 블록을 생성하는 경우, 비디오 인코더(20)는 PU와 연관된 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다. 비디오 인코더(20)가 인터 예측을 사용하여 PU의 예측 블록을 생성하는 경우, 비디오 인코더(20)는 PU와 연관된 프레임이 아닌 하나 이상의 프레임의 디코딩된 샘플에 기초하여 PU의 예측 블록을 생성할 수 있다.

비디오 인코더(20)가 CU의 하나 이상의 PU에 대한 예측 루마, Cb 및 Cr 블록을 생성한 후, CU의 루마 잔여 블록의 각각의 샘플이 CU의 예측 루마 블록 중 하나의 루마 샘플과 CU의 원래 루마 코딩 블록의 대응하는 샘플 사이의 차이를 지시하도록, 비디오 인코더(20)는 원래의 루마 코딩 블록에서 CU의 예측 루마 블록을 감산함으로써 CU에 대한 루마 잔여 블록을 생성할 수 있다. 유사하게, CU의 Cb 잔여 블록의 각각의 샘플이 CU의 예측 Cb 블록 중 하나의 Cb 샘플과 CU의 원래 Cb 코딩 블록의 대응하는 샘플 사이의 차이를 지시하고 CU의 Cr 잔여 블록이 CU의 예측 Cr 블록 중 하나의 Cr 샘플과 CU의 원래 Cr 코딩 블록의 대응하는 샘플 사이의 차이를 지시할 수 있도록, 비디오 인코더(20)는 CU에 대한 Cb 잔여 블록 및 Cr 잔여 블록을 각각 생성할 수 있다.

또한, 도 4c에 도시된 바와 같이, 비디오 인코더(20)는 CU의 루마, Cb 및 Cr 잔여 블록을 하나 이상의 루마, Cb 및 Cr 변환 블록으로 분해하기 위해 쿼드 트리 분할을 사용할 수 있다. 변환 블록은 동일한 변환이 적용되는 샘플의 직사각형(정사각형 또는 비 정사각형) 블록이다. CU의 변환 유닛(TU)은 루마 샘플의 변환 블록, 크로마 샘플의 두 개의 대응하는 변환 블록, 및 변환 블록 샘플을 변환하는 데 사용되는 신택스 요소를 포함할 수 있다. 따라서, CU의 각각의 TU는 루마 변환 블록, Cb 변환 블록 및 Cr 변환 블록과 연관될 수 있다. 일부 예에서, TU와 연관된 루마 변환 블록은 CU의 루마 잔여 블록의 서브블록일 수 있다. Cb 변환 블록은 CU의 Cb 잔여 블록의 서브블록일 수 있다. Cr 변환 블록은 CU의 Cr 잔여 블록의 서브블록일 수 있다. 단색 픽처 또는 3개의 개별 컬러 평면을 가진 픽처에서, TU는 변환 블록의 샘플을 변환하는 데 사용되는 단일 변환 블록 및 신택스 구조를 포함할 수 있다.

비디오 인코더(20)는 TU에 대한 루마 계수 블록을 생성하기 위해 TU의 루마 변환 블록에 하나 이상의 변환을 적용할 수 있다. 계수 블록은 변환 계수의 2차원 어레이일 수 있다. 변환 계수는 스칼라 양일 수 있다. 비디오 인코더(20)는 TU에 대한 Cb 계수 블록을 생성하기 위해 TU의 Cb 변환 블록에 하나 이상의 변환을 적용할 수 있다. 비디오 인코더(20)는 TU에 대한 Cr 계수 블록을 생성하기 위해 TU의 Cr 변환 블록에 하나 이상의 변환을 적용할 수 있다.

계수 블록(예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록)을 생성한 후, 비디오 인코더(20)는 계수 블록을 양자화할 수 있다. 양자화는 일반적으로 추가 압축을 제공하여 변환 계수가 변환 계수를 나타내는 데 사용되는 데이터의 양을 감소시키기 위해 양자화되는 프로세스를 지칭한다. 비디오 인코더(20)가 계수 블록을 양자화한 후, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 요소를 엔트로피 인코딩할 수 있다. 예를 들어, 비디오 인코더(20)는 양자화된 변환 계수를 지시하는 신택스 요소에 대해 CABAC(Context-Adaptive Binary Arithmetic Coding)를 수행할 수 있다. 마지막으로, 비디오 인코더(20)는 코딩된 프레임 및 연관된 데이터의 표현을 형성하는 비트 시퀀스를 포함하는 비트스트림을 출력할 수 있으며, 이는 저장 장치(32)에 저장되거나 데스티네이션 장치(14)로 전송된다.

비디오 인코더(20)에 의해 생성된 비트스트림을 수신한 후, 비디오 디코더(30)는 비트스트림으로부터 신택스 요소를 획득하기 위해 비트스트림을 파싱할 수 있다. 비디오 디코더(30)는 비트스트림으로부터 획득된 신택스 요소에 적어도 부분적으로 기초하여 비디오 데이터의 프레임을 재구성할 수 있다. 비디오 데이터의 재구성 프로세스는 일반적으로 비디오 인코더(20)에 의해 수행되는 인코딩 프로세스의 역순이다. 예를 들어, 비디오 디코더(30)는 현재 CU의 TU와 연관된 계수 블록에 대해 역변환을 수행하여 현재 CU의 TU와 연관된 잔여 블록을 재구성할 수 있다. 비디오 디코더(30)는 또한 현재 CU의 PU에 대한 예측 블록의 샘플을 현재 CU의 TU의 변환 블록의 대응하는 샘플에 더함으로써 현재 CU의 코딩 블록을 재구성한다. 프레임의 각각의 CU에 대한 코딩 블록을 재구성한 후, 비디오 디코더(30)는 프레임을 재구성할 수 있다.

전술한 바와 같이, 비디오 코딩은 주로 두 가지 모드, 즉 인트라 프레임 예측(또는 인트라 예측) 및 인터 프레임 예측(또는 인터 예측)을 사용하여 비디오 압축을 달성한다. IBC는 인트라 프레임 예측 또는 제3 모드로 간주될 수 있음에 유의한다. 두 가지 모드 사이에서, 인터 프레임 예측은 참조 비디오 블록에서 현재 비디오 블록을 예측하기 위해 모션 벡터를 사용하기 때문에 인트라 프레임 예측보다 코딩 효율성에 더 많이 기여한다.

그러나, 비디오 데이터 캡처 기술이 지속적으로 향상되고 비디오 데이터의 세부 사항을 보존하기 위한 보다 정제된 비디오 블록 크기로 인해, 현재 프레임에 대한 모션 벡터를 표현하는 데 필요한 데이터의 양도 크게 증가한다. 이러한 문제를 극복하는 한 가지 방법은 공간 및 시간 도메인 모두에서 이웃하는 CU 그룹이 예측 목적을 위해 유사한 비디오 데이터를 가질 뿐만 아니라 이들 이웃하는 CU 사이의 모션 벡터도 유사하다는 사실을 활용하는 것이다. 따라서, 공간적 및 시간적 상관 관계를 탐색함으로써 공간적으로 이웃하는 CU 및/또는 시간적으로 병치된(collocated) CU의 모션 정보를 현재 CU의 모션 정보(예를 들어, 모션 벡터)의 근사로서 사용할 수 있으며, 이것은 또한 현재 CU의 "모션 벡터 예측자"(motion vector predictor, MVP)로서 지칭된다.

도 2와 관련하여 전술한 바와 같이 모션 추정 유닛(42)에 의해 결정된 현재 CU의 실제 모션 벡터를 비디오 비트스트림으로 인코딩하는 대신에, 현재 CU의 모션 벡터 예측자는 현재 CU의 모션 벡터 차이(motion vector difference, MVD)를 생성하기 위해 현재 CU의 실제 모션 벡터에서 감산된다. 그렇게 함으로써, 프레임의 각각의 CU에 대해 모션 추정 유닛(42)에 의해 결정된 실제 모션 벡터를 비디오 비트스트림으로 인코딩할 필요가 없으며 비디오 비트스트림에서 모션 정보를 표현하는 데 사용되는 데이터의 양은 크게 감소될 수 있다.

코드 블록의 인터 프레임 예측 동안 참조 프레임의 예측 블록을 선택하는 프로세스와 마찬가지로, 현재 CU의 공간적으로 이웃하는 CU 및/또는 시간적으로 병치된 CU와 연관된 잠재적 후보 모션 벡터를 사용하여 현재 CU에 대한 모션 벡터 후보 리스트를 구성하고 그 후 모션 벡터 후보 리스트로부터 하나의 멤버를 현재 CU에 대한 모션 벡터 예측자로서 선택하기 위해 비디오 인코더(20)와 비디오 디코더(30) 모두에 의해 규칙 세트가 채택될 필요가 있다. 그렇게 함으로써, 비디오 인코더(20)와 비디오 디코더(30) 사이에서 모션 벡터 후보 리스트 자체를 전송할 필요가 없으며, 모션 벡터 후보 리스트 내에서 선택된 모션 벡터 예측자의 인덱스는 비디오 인코더(20) 및 비디오 디코더(30)가 현재 CU를 인코딩하고 디코딩하기 위해 모션 벡터 후보 리스트 내에서 동일한 모션 벡터 예측자를 사용하기에 충분하다.

일부 구현에서, 각각의 인터 예측 CU는 모션 벡터 후보 리스트를 구성하기 위해 인터("어드밴스트 모션 벡터 예측(advanced motion vector prediction, AMVP)"로도 지칭됨), 스킵 및 병합을 포함하는 3개의 모션 벡터 예측 모드를 갖는다. 각각의 모드하에서, 하나 이상의 모션 벡터 후보는 아래에 설명되는 알고리즘에 따라 모션 벡터 후보 리스트에 추가될 수 있다. 궁극적으로 후보 리스트에 있는 이들 중 하나는 비디오 인코더(20)에 의해 비디오 비트스트림으로 인코딩되거나 비디오 디코더(30)에 의해 비디오 비트스트림으로부터 디코딩될 인터 예측 CU의 최상의 모션 벡터 예측자로서 사용된다. 후보 리스트로부터 최상의 모션 벡터 예측자를 찾기 위해, 모션 벡터 경쟁(motion vector competition, MVC) 방식이 모션 벡터의 주어진 후보 세트에서, 즉 공간적 및 시간적 모션 벡터 후보를 포함하는 모션 벡터 후보 리스트에서 모션 벡터를 선택하는 데 도입된다.

현재 CU에 대한 모션 벡터의 주어진 후보 세트 내에서 하나의 MVP 후보가 선택된 후, 비디오 인코더(20)는 대응하는 MVP 후보에 대한 하나 이상의 신택스 요소를 생성하고 비디오 디코더(30)가 신택스 요소를 사용하여 비디오 비트스트림으로부터 MVP 후보를 검색할 수 있도록 하나 이상의 신택스 요소를 비디오 비트스트림으로 인코딩할 수 있다. 모션 벡터 후보 세트를 구성하는 데 사용되는 특정 모드에 따라, 상이한 모드(예를 들어, AMVP, 병합, 스킵 등)는 상이한 세트의 신택스 요소를 갖는다. AMVP 모드의 경우, 신택스 요소는 인터 예측 지시자(예를 들어, List0, List1 또는 양방향 예측), 참조 인덱스, 모션 벡터 후보 인덱스, 모션 벡터 차이 및 예측 잔여 신호 등을 포함한다. 스킵 모드 및 병합 모드의 경우, 현재 CU가 코딩된 병합 인덱스가 참조되는 이웃하는 CU로부터 인터 예측 지시자, 참조 인덱스 및 모션 벡터를 포함하는 다른 신택스 요소를 받기 때문에 병합 인덱스만이 비트스트림으로 인코딩된다. 스킵 코딩된 CU의 경우, 모션 벡터 예측 잔여 신호가 또한 생략된다.

도 5a는 본 개시의 일부 구현에 따라 인코딩/디코딩될 현재 CU의 공간적으로 이웃하고 시간적으로 병치된 블록 위치를 예시하는 블록도이다. 주어진 모드(예를 들어, AMVP, 병합 또는 스킵)의 경우, 먼저 공간적으로 왼쪽(A0, A1) 및 위(B0, B1, B2)에 이웃하는 블록 위치와 연관된 모션 벡터의 가용성 및 시간적으로 병치된 블록 위치와 연관된 모션 벡터의 가용성을 확인함으로써 모션 벡터 예측(MVP) 후보 리스트가 구성된다. MVP 후보 리스트를 구성하는 프로세스 동안, 중복된 MVP 후보는 후보 리스트에서 제거되고, 필요한 경우, 후보 리스트가 고정 길이(상이한 모드는 상이한 고정 길이를 가질 수 있음)를 갖도록 하기 위해 0 값 모션 벡터가 추가된다. MVP 후보 리스트의 구축 후, 비디오 인코더(20)는 후보 리스트에서 최상의 모션 벡터 예측자를 선택하고 선택된 후보를 지시하는 대응하는 인덱스를 비디오 비트스트림으로 인코딩할 수 있다.

도 5a를 예로서 사용하고 후보 리스트가 2의 고정 길이를 갖는 것으로 가정하면, 도 5b는 본 개시의 일부 구현에 따라 모션 벡터 후보의 리스트가 식별되는 예시적인 프로세스를 도시한 흐름도이다. 특히, 현재 CU에 대한 모션 벡터 예측wk자(motion vector predictor, MVP) 후보 리스트는 도 5b에 도시된 바와 같이 AMVP 모드하에서 다음의 단계를 수행하는 것으로 구성될 수 있다.

1) 단계 505 : 공간적으로 인접한 5개의 CU에서 2개의 MVP 후보 선택

a) A0으로 시작하여 A1로 끝나는 두 개의 왼쪽 공간에 이웃하는 CU 중 하나에서 최대 하나의 비 스케일링된(non-scaled) MVP 후보를 도출하고;

b) 이전 단계에서 왼쪽에서 논 스케일드 MVP 후보가 가용하지 않은 경우, A0으로 시작하여 A1로 끝나는 두 개의 왼쪽 공간에 이웃하는 CU 중 하나에서 최대 하나의 스케일링된 MVP 후보를 도출하며;

c) B0, 그 다음 B1로 시작하여 B2로 끝나는 3개의 윗 공간에 이웃하는 CU 중 하나에서 최대 하나의 비 스케일링된 MVP 후보를 도출하고;

d) A0도 A1도 가용하지 않거도 또는 그들이 인트라 모드에서 코딩되는 경우, B0, 그 다음 B1로 시작하여 B2로 끝나는 3개의 윗 공간에 이웃하는 CU 중 하나에서 최대 하나의 스케일링된 MVP 후보를 도출함

2) 단계 510 : 시간적으로 병치된 2개의 CU로부터 하나의 MVP 후보 선택;

3) 단계 515 : MVP 후보 리스트로부터 이전 단계에서 찾은 중복 MVP 후보 제거.

4) 단계 520 : MVP 후보 리스트에 최대 2개의 0 값 MVP 추가.

5) 단계 525 : MVP 후보 리스트로부터 인덱스가 1보다 큰 MVP 후보 제거.

6) 단계 530 : 현재 CU에 대한 MVP 후보 리스트에서 두 개의 MVP 후보의 마무리.

위에서 구성된 AMVP 모드 MVP 후보 리스트에는 후보가 두 개뿐이므로, 후보 리스트 내의 두 개의 MVP 후보 중 어느 것이 현재 CU를 디코딩하는 데 사용되는지를 지시하기 위해 이진 플래그와 같은 연관된 신택스 요소가 비트스트림으로 인코딩된다.

일부 구현에서, 현재 CU를 인코딩/디코딩하기 위한 시간적 모션 벡터 예측자를 선택하는 프로세스는 디코딩된 픽처의 정확도를 향상시키기 위해 서브 CU 레벨에서 수행된다. 이러한 프로세스는 먼저 현재 CU를 포함하는 현재 픽처에 대한 병치된 픽처를 식별한 다음, 시간적 벡터(본 출원에서 "모션 쉬프트"라고도 함)를 결정한다. 다음으로, 프로세스는 현재 CU를 다수의 서브 CU로 분할하고, 미리 정의된 알고리즘에 따라 시간적 벡터에 의해 식별되는 병치된 픽처의 대응하는 블록으로부터 각각의 서브 CU에 대한 모션 정보를 도출하며, 이는 "서브블록 기반 시간적 모션 벡터 예측"(subblock-based temporal motion vector prediction, SbTMVP)으로도 지칭된다.

도 5c는 본 개시의 일부 구현에 따라 현재 픽처와 병치된 픽처 사이에서 서브블록 기반 시간적 모션 벡터 예측이 수행되는 방법을 도시한 블록도이다. 본 예에서, 현재 CU(535-1)는 64x64 코드 블록이고 그것은 8x8 서브 CU로 분할되며, 각 서브 CU는 8x8 코드 블록이다. 각각의 서브 CU에 대한 모션 정보를 도출하기 위해, SbTMVP 프로세스는 두 가지 주요 단계로 분리된다.

ㆍ 단계 1 : 현재 픽처(535)와 병치된 픽처(540) 사이에 소위 "시간적 벡터"를 사용하여 병치된 픽처(540)에서 대응하는 블록(540-1)을 식별한다.

ㆍ 단계 2 : 현재 CU(535-1)를 다수의 서브 CU로 분할하고 병치된 픽처(540)에서 대응하는 블록으로부터 각각의 서브 CU(535-3)의 모션 벡터 및 참조 인덱스(기본적으로 0임)를 포함하는 서브 CU에 대한 모션 정보를 획득한다.

위에서 언급된 바와 같이, 병치된 픽처(540)는 SbTMVP 프로세스의 실행 전에 현재 픽처(535)에 대해 알려진 것으로 가정된다. 예를 들어, 병치된 픽처는 전형적으로 현재 픽처의 하나의 참조 픽처이며, 이것은 현재 픽처의 2개의 참조 픽처 리스트, 예를 들어 List0 및 List1 중 하나로부터 선택된다. 일부 구현에서, 대응하는 블록은 현재 픽처의 현재 CU에 대해 병치된 픽처에서의 동일한 상대 위치에 있는 블록이다. 일부 다른 구현(예를 들어, 도 5c)에서, 대응하는 블록은 반드시 현재 픽처의 현재 CU(535-1)에 대해 병치된 픽처에서의 동일한 상대 위치에 있는 블록일 필요는 없다. 대신에, 현재 픽처의 현재 CU(535-1)의 중심을 병치된 픽처(540)의 대응하는 블록(540-1)의 중심에 연결하는 시간적 벡터가 있다.

일부 구현에서, SbTMVP 프로세스는 비디오 인코딩 동안 현재 CU에 대해 위에서 설명된 모션 벡터 후보 리스트를 구성하는 프로세스의 일부로서 구현된다. 즉, 현재 CU가 SbTMVP를 사용하여 처리되어야 하는 것으로 판단되는 경우, 그에 따라 SbTMVP에 대응하는 파라미터가 모션 벡터 후보 리스트에 추가된다. 일부 다른 구현에서, SbTMVP 프로세스는 비디오 인코딩 동안 현재 CU에 대해 위에서 설명된 모션 벡터 후보 리스트를 구성하는 프로세스와 독립적으로 구현된다. 즉, SbTMVP는 전술한 인터 예측 모드와 같이 별도의 인터 예측 모드로 취급된다. 인코딩 프로세스와 디코딩 프로세스 사이의 대칭 특성으로 인해, 본 출원의 나머지 부분은 현재 CU의 시간적 모션 벡터를 예측하기 위해 SbTMVP 프로세스가 사용되는 방법을 설명하기 위해 현재 CU의 디코딩을 사용한다.

도 6은 비디오 디코더가 본 개시의 일부 구현에 따라 병치된 픽처의 모션 정보로부터 현재 픽처에 대한 서브블록 기반 시간적 모션 벡터 예측을 구성하는 기술을 구현하는 예시적인 디코딩 프로세스를 도시한 흐름도이다.

먼저, 비디오 디코더(30)는 다수의 인코딩된 픽처와 연관된 데이터를 포함하는 인코딩된 비디오 비트스트림을 획득한다(610). 도 4a 및 4c에 도시된 바와 같이, 각각의 픽처는 코딩 트리 유닛(CTU)의 다수 행을 포함하고 각각의 CTU는 하나 이상의 코딩 유닛(CU)을 포함한다. 비디오 디코더(30)는 행 단위로 픽처를 재구성하기 위해 비디오 비트스트림으로부터 신택스 요소 및 픽셀 값과 같은 서로 다른 정보를 추출한다.

본 예에서, 비디오 디코더(30)가 도 5c에 도시된 현재 픽처(535), 보다 구체적으로 현재 픽처(535)의 현재 CU(535-1)를 디코딩하고 있는 것(630)으로 가정한다. 위에서 언급된 바와 같이, 현재 픽처(535)는 다수의 참조 픽처, 예를 들어 List0 및/또는 List를 갖는다. 시간적 모션 벡터 예측을 위해, 참조 픽처 중 하나는 도 5c에 도시된 바와 같이 현재 픽처(535)의 소위 "병치된 픽처"(540)이다. 따라서, 비디오 디코더(30)는 먼저 미리 정의된 순서로 비디오 비트스트림에서 시그널링된 신택스 요소에 따라 참조 픽처 중 하나를 현재 픽처의 병치된 픽처로 결정한다(630-1). 예를 들어, 시간적 모션 벡터 후보의 도출에서, 슬라이스 헤더의 명시적 플래그(collocated_from_l0_flag)는 먼저 병치된 픽처가 예를 들어 List0 또는 List1로부터 선택되었는지 여부를 지시하기 위해 비디오 디코더(30)로 전송된다. 병치된 참조 인덱스(collocated_ref_idx)는 시간적 모션 벡터 후보를 도출하기 위한 병치된 픽처로서 그 리스트에서 어느 참조 픽처가 선택되었는지를 지시하는 비디오 디코더(30)로 더 전송된다.

어느 경우든, 현재 픽처의 참조 픽처가 병치된 픽처인 것으로 식별된 후, 비디오 디코더(30)는 고정된 순서에 따라 현재 CU(535-1)의 공간적으로 이웃하는 블록의 모션 정보로부터 병치된 픽처와 현재 픽처 사이의 모션 쉬프트("시간적 벡터"라고도 함)를 결정한다(예를 들어, 도 5c에 도시된 시간적 벡터(537) 참조)(630-3). 위에서 언급된 바와 같이, 각각의 CTU(하나 이상의 CU 포함함)는 A0, A1, B0, B1, B2 등과 같은 공간적으로 이웃하는 다수의 블록을 가지고 있다. 공간적으로 이웃한 블록 각각은 현재 CU의 각 참조 픽처 내에서 대응하는 블록을 가리키는 모션 벡터를 가질 수 있다. 일부 구현에서, 비디오 디코더(30)는 그들 중 하나가 병치된 픽처와 동일할 때까지 대응하는 공간적으로 이웃하는 블록과 연관된 각각의 참조 픽처를 확인한다. 여기서 동일한 픽처는 동일한 컨텐츠를 갖는다. 확인 순서는 조정 가능하다. 일부 구현에서, 확인 순서는 저지연 조건(low delay condition, LDC) 및 신택스 요소 "collocated_from_l0_flag"에 따라 List0 및 List1 중 하나로 시작한다. LDC는 모든 참조 픽처가 현재 픽처보다 작은 POC(Picture Order Count)를 갖는지 여부를 지시하는 부울 변수(Boolean variable)이다. 예를 들어, List0은 현재 픽처를 적시에 선행하는 적어도 하나의 참조 픽처를 포함할 수 있고, 선택적으로, 현재 픽처를 적시에 따르는 하나 이상의 참조 픽처를 포함할 수 있다. List1은 현재 픽처를 적시에 따르는 적어도 하나의 참조 픽처를 포함하거나 또는 현재 픽처를 적시에 선행하는 참조 픽처만을 포함할 수 있다. 현재 CU의 공간적으로 이웃하는 특정 블록과 연관된 참조 픽처를 식별한 후, 비디오 디코더(30)는 공간적으로 이웃하는 블록의 모션 정보를 결정하고 이를 병치된 픽처와 현재 픽처 사이의 모션 쉬프트로 사용한다. 모션 쉬프트를 사용하면, 병치된 픽처 내의 블록이 현재 CU에 대응하는 것으로 식별될 수 있다. 도 5c에 도시된 바와 같이 현재 CU(535-1)와 대응하는 블록(540-1) 사이의 매핑 관계를 구축한 후, 비디오 디코더(30)는 현재 CU(535-1)의 각각의 서브블록에 대한 시간적 모션 벡터 예측 구성을 시작할 수 있다.

비디오 인코더(20)가 비디오 디코더(30)에 의해 수신된 비디오 비트스트림의 생성 동안 현재 CU(535-1)를 다수의 서브 CU로 분할한 것으로 가정한다. 따라서, 비디오 디코더(30)는, 비디오 비트 스트림으로부터, 현재 CU(535-1)를 다수의 서브 CU로 분할하기 위한 동일한 신택스 요소 세트를 사용할 수 있다(630-5). 도 5c에 도시된 바와 같이, 현재 픽처(535)의 각각의 서브 CU(535-3)는 병치된 픽처(540)에서 동일한 상대 위치에 대응하는 서브블록을 갖는다. 비디오 디코더(30)는, 비디오 인코더(20)가 SbTMVP 프로세스에 따라 서브 CU를 비디오 비트스트림으로 인코딩하는 경우 수행함에 따라, 각각의 서브 CU에 대해 동일한 시간적 모션 벡터 예측을 재구성하는 역할을 한다.

일부 구현에서, 비디오 디코더(30)는 2개의 정보, 즉, 병치된 픽처와 현재 픽처 사이의 모션 쉬프트 및 현재 픽처의 개별 서브블록에 대응하는 병치된 픽처에서의 블록의 모션 정보에 기초하여 현재 CU의 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득한다(630-7). 예를 들어, 현재 픽처(535)의 각각의 서브 CU에 대해, 비디오 디코더(30)는 병치된 픽처와 현재 픽처 사이의 모션 쉬프트에 따라 동일한 상대 위치에서의 병치된 픽처의 블록을 현재 픽처에서의 서브 CU의 서브블록으로 식별한다. 다음으로, 비디오 디코더(30)는 병치된 픽처에서 식별된 블록의 모션 정보를 결정하고, 현재 픽처와 참조 픽처 사이의 POC 차이와 병치된 픽처와 그 대응하는 블록의 참조 픽처 사이의 POC 차이의 비율에 따라 서브 CU의 시간적 모션 벡터 예측자를 도출하기 위해 식별된 블록의 결정된 모션 정보로부터 모션 벡터와 참조 인덱스를 선택한다.

한편, 병치된 픽처(540)의 대응하는 블록(540-1)은 상이한 CU, CTU 또는 심지어 상이한 슬라이스 또는 타일에 속할 수 있다. 대응 블록(540-1)의 상이한 서브블록은 대응하는 블록(540-1)의 일부 서브블록이 모션 벡터를 전혀 갖지 않도록 서로 다른 예측 모드를 가질 수 있다. 일부 구현에서, 비디오 디코더(30)는 대응하는 블록(540-1) 내의 특정 서브블록을 확인하고 특정 서브블록이 모션 정보를 갖는지 여부를 결정함으로써 이러한 상황을 처리한다. 특정 서브블록이 모션 정보를 가지고 있는 경우, 비디오 디코더(30)는 병치된 픽처에서 서브 CU의 대응하는 블록이 모션 정보를 가지고 있지 않을 때 현재 CU의 다른 서브 CU에 대한 디폴트 시간적 모션 벡터 예측자로 특정 서브블록의 것을 사용할 수 있다. 예를 들어, 현재 CU에서 임의의 서브 CU를 처리하기 전에, 비디오 디코더(30)는 먼저 대응하는 블록(540-1)의 중앙 또는 그 근처에서 블록(또는 샘플)의 대응하는 블록(예를 들어, 대응하는 블록(540-1)의 중앙 바로 아래 오른쪽에 있는 것)을 조사하여 블록이 모션 정보를 가지고 있는지 여부를 확인할 수 있다. 블록이 모션 정보를 가지고 있지 않으면, 비디오 디코더(30)는 SbTMVP 프로세스가 현재 CU에 적용되지 않는 것으로 가정하고 현재 픽처에서 다른 병합 후보를 처리하는 것을 진행한다. 그러나, 블록이 모션 정보를 가지고 있으면, 비디오 디코더(30)는 SbTMVP 프로세스가 현재 CU에 적용되는 것으로 가정하고 병치된 픽처에서 동일한 상대 위치에 있는 대응하는 블록이 서브 CU의 시간적 모션 벡터 예측자를 구성하기 위한 모션 정보를 가지고 있지 않은 경우 모션 정보를 현재 CU의 임의의 서브 CU에 대한 디폴트 시간적 모션 벡터 예측자로 사용한다. SbTMVP 프로세스가 현재 CU에 적용되는 것으로 가정하면, 비디오 디코더(30)는 그에 따라 현재 CU를 디코딩하기 위해 현재 CU의 복수의 서브 CU에 대해 획득된 시간적 모션 벡터 예측자를 사용한다.

위에서 언급된 바와 같이, 인트라 블록 복사(IBC)는 스크린 컨텐츠 재료의 코딩 효율을 상당히 향상시킬 수 있다. IBC 모드가 블록 레벨 코딩 모드로서 구현되기 때문에, 각각의 CU에 대한 최적의 블록 벡터를 찾기 위해 비디오 인코더(20)에서 블록 매칭(BM)이 수행된다. 여기서, 블록 벡터는 현재 블록으로부터 현재 픽처 내에서 이미 재구성된 참조 블록까지의 변위를 지시하는 데 사용된다. IBC 코딩된 CU는 인트라 또는 인터 예측 모드가 아닌 제3 예측 모드로서 취급된다.

CU 레벨에서, IBC 모드는 아래와 같이 IBC AMVP 모드 또는 IBC 스킵/병합 모드로 시그널링될 수 있다.

- IBC AMVP 모드 : CU의 실제 블록 벡터와 CU의 블록 벡터 후보에서 선택된 CU의 블록 벡터 예측자 사이의 블록 벡터 차이(block vector difference, BVD)가, 모션 벡터 차이가 상기한 AMVP 모드 하에서 인코딩되는 것과 동일한 방식으로 인코딩된다. 블록 벡터 예측 방법은 두 개의 블록 벡터 후보를 예측자로 사용하는데, 하나는 왼쪽 이웃의 것이고, 다른 하나는 위의 이웃의 것이다(IBC 코딩된 경우). 이웃 중 하나가 사용될 수 없는 경우, 디폴트 블록 벡터가 블록 벡터 예측자로서 사용될 것이다. 이진 플래그는 블록 벡터 예측자 인덱스를 지시하기 위해 시그널링된다.

- IBC 스킵/병합 모드 : 병합 후보 인덱스는 이웃하는 IBC 코딩된 블록으로부터 병합 후보 리스트의 어떤 블록 벡터 후보가 현재 블록에 대한 블록 벡터를 예측하는 데 사용되는지를 지시하는 데 사용된다.

비디오 코더는 상기 웨이브프론트(wavefront)의 처음 두 블록의 데이터뿐만 아니라 현재 웨이브프론트의 제1 코드 블록을 포함하는 슬라이스에 대한 슬라이스 헤더의 하나 이상의 요소에 기초하여 현재의 웨이브프론트의 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC)을 수행하기 위해 현재의 웨이브프론트에 대한 컨텍스트를 초기화할 수 있다. 비디오 코더는 후속하는 CTU 행 위의 CTU 행의 두 CTU를 코딩한 후 컨텍스트 상태를 사용하여 후속하는 웨이브프론트(또는 CTU 행)의 CABAC 초기화를 수행할 수 있다. 즉, 현재의 웨이브프론트의 코딩을 시작하기 전에, 비디오 코더는, 현재 웨이브프론트가 픽처의 CTU의 맨 위의 행이 아닌 것으로 가정하여, 현재 웨이브프론트 위의 웨이브프론트의 적어도 두 개의 블록을 코딩할 수 있다. 그 후, 비디오 코더는 현재의 웨이브프론트 위에 웨이브프론트의 적어도 두 개의 블록을 코딩한 후 현재의 웨이브프론트에 대한 CABAC 컨텍스트를 초기화할 수 있다.

하나 이상의 예에서, 설명된 기능은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능은 하나 이상의 명령 또는 코드로서 컴퓨터 판독 가능 매체에 저장되거나 전송될 수 있으며 하드웨어 기반 처리 장치에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 데이터 저장 매체와 같은 유형의 매체에 해당하는 컴퓨터 판독 가능 저장 매체 또는 예를 들어 통신 프로토콜에 따라 컴퓨터 프로그램을 한 장소에서 다른 장소로 전송하는 것을 용이하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독 가능 매체는 일반적으로 (1) 비 일시적인 유형의 컴퓨터 판독 가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체는 본 출원에서 설명된 구현의 구현을 위한 명령, 코드 및/또는 데이터 구조를 검색하기 위해 하나 이상의 컴퓨터 또는 하나 이상의 프로세서에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 매체를 포함할 수 있다.

여기에서의 구현의 설명에서 사용된 용어는 오직 특정 구현을 설명하기 위한 목적이며 청구항의 범위를 제한하고자 하는 것이 아니다. 구현의 설명 및 첨부된 특허 청구 범위에서 사용된 바와 같이, 단수 형태 "하나(a)", "하나(an)" 및 "그(the)"는 문맥이 달리 명시하지 않는 한 복수 형태도 포함하도록 의도된다. 여기에서 사용된 용어 "및/또는"은 하나 이상의 연관된 열거된 항목의 임의의 및 모든 가능한 조합을 지칭하고 포함하는 것으로 또한 이해될 것이다. 본 명세서에서 사용된 경우 용어 "포함하다" 및/또는 "포함하는"은 언급된 특징, 요소 및/또는 컴포넌트의 존재를 명시하지만 하나 이상의 다른 특징, 요소, 컴포넌트 및/또는 그들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 더 이해될 것이다.

또한, 용어 제1, 제2 등이 여기에서 다양한 요소를 설명하기 위해 사용될 수 있지만, 이들 요소는 이들 용어에 의해 제한되어서는 안된다는 것이 이해될 것이다. 이들 용어는 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 제1 전극은 제2 전극으로 명명될 수 있고, 유사하게 제2 전극은 구현의 범위를 벗어나지 않고 제1 전극으로 명명될 수 있다. 제1 전극과 제2 전극은 모두 전극이지만, 같은 전극이 아니다.

본 출원의 설명은 예시 및 설명의 목적으로 제시되었으며, 공개된 형태로 본 발명을 총망라하거나 제한하고자 하는 것은 아니다. 전술한 설명 및 관련 도면에서 제시된 교시의 이점을 갖는 당업자에게는 많은 수정, 변형 및 대안적인 구현이 명백할 것이다. 실시예는 본 발명의 원리, 실제 적용을 가장 잘 설명하고, 당업자가 다양한 구현을 위해 본 발명을 이해하고 고려되는 특정 용도에 적합하도록 다양한 수정을 통해 기본 원리 및 다양한 구현을 가장 잘 활용할 수 있도록 하기 위해 선택되고 설명되었다. 따라서, 청구항의 범위는 개시된 구현의 특정 예에 제한되지 않으며, 수정 및 다른 구현이 첨부된 청구항의 범위 내에 포함되도록 의도된다는 것이 이해되어야 한다.

Claims

디코딩 방법으로서,
비디오 비트스트림에서 시그널링된 신택스 요소에 따라, 현재 픽처의 복수의 참조 픽처 중 하나를 상기 현재 픽처의 병치된 픽처(collocated picture)로서 선택하는 단계 - 상기 복수의 참조 픽처는 참조 픽처의 제1 리스트 및 참조 픽처의 제2 리스트를 포함하고, 상기 신택스 요소는 제1 신택스 요소 및 제2 신택스 요소를 포함하고, 상기 제1 신택스 요소는 상기 병치된 픽처가 상기 제1 리스트에서 선택되는지 또는 상기 제2 리스트에서 선택되는지를 지시하고, 상기 제2 신택스 요소는 상기 제1 신택스 요소에 의해 지시된 리스트 내의 어느 참조 픽처가 상기 병치된 픽처인지를 지시함 -;
상기 병치된 픽처와 상기 현재 픽처 사이의 시간적 벡터를 결정하는 단계 ― 상기 시간적 벡터를 결정하는 단계는, 고정된 순서에 따라 상기 현재 픽처의 현재 CU의 공간적으로 이웃하는 블록과 연관된 참조 픽처를, 상기 공간적으로 이웃하는 블록과 연관된 복수의 참조 픽처 중 하나의 확인되는 참조 픽처가 병치된 픽처와 동일한 픽처일 때까지 확인하는 단계; 및 확인된 참조 픽처를 가리키는 상기 공간적으로 이웃하는 블록의 모션 벡터를 상기 시간적 벡터로 선택하는 단계를 포함함 ― ;
상기 현재 CU를 복수의 서브 CU로 분할하는 단계 ― 각각의 서브 CU는 상기 현재 픽처의 각각의 서브블록에 대응함 ―;
(i) 상기 병치된 픽처와 상기 현재 픽처 사이의 시간적 벡터 및 (ii) 상기 현재 픽처의 각각의 서브블록에 대응하는 병치된 픽처 내의 블록의 모션 정보로부터 상기 현재 CU의 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득하는 단계; 및
상기 현재 CU의 복수의 서브 CU의 시간적 모션 벡터 예측자에 따라 상기 현재 CU를 디코딩하는 단계
디코딩 방법.
제1항에 있어서,
상기 제1 리스트는 적시에 상기 현재 픽처에 선행하는 적어도 하나의 참조 픽처를 포함하고, 상기 제2 리스트는 적시에 상기 현재 픽처에 후행하는 적어도 하나의 참조 픽처를 포함하는,
디코딩 방법.
제1항에 있어서,
상기 고정된 순서는 상기 복수의 참조 픽처의 미리 정의된 순서이며, 상기 미리 정의된 순서는 상기 참조 픽처의 제2 리스트를 처리하기 전에 상기 참조 픽처의 제1 리스트를 처리하는 것인,
디코딩 방법.
제1항에 있어서,
상기 고정된 순서는 상기 복수의 참조 픽처의 미리 정의된 순서이며, 상기 미리 정의된 순서는 상기 참조 픽처의 제1 리스트를 처리하기 전에 상기 참조 픽처의 제2 리스트를 처리하는 것인,
디코딩 방법.
제1항에 있어서,
상기 현재 CU의 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득하는 단계는,
상기 병치된 픽처와 상기 현재 픽처 사이의 시간적 벡터에 따라 상기 현재 픽처 내의 서브 CU의 서브블록과 동일한 상대 위치에서 상기 병치된 픽처의 블록을 식별하는 단계;
상기 병치된 픽처에서 식별된 블록의 모션 정보를 결정하는 단계; 및
상기 서브 CU의 시간적 모션 벡터 예측자로서 상기 식별된 블록의 결정된 모션 정보로부터 모션 벡터를 도출하는 단계
를 더 포함하는, 디코딩 방법.
제1항에 있어서,
상기 현재 CU의 각각의 서브 CU에 대한 시간적 모션 벡터 예측자를 획득하는 단계는,
상기 현재 픽처의 현재 CU의 중심에서 또는 상기 현재 CU의 중심에 가까운 서브 CU의 서브블록에 대응하는 상기 병치된 픽처에서 블록을 식별하는 단계;
상기 병치된 픽처에서 식별된 블록의 모션 정보를 결정하는 단계; 및
상기 병치된 픽처에서 대응하는 블록이 모션 정보를 갖지 않는 현재 CU의 임의의 서브 CU의 디폴트 시간적 모션 벡터 예측자로서 상기 식별된 블록의 결정된 모션 정보로부터 모션 벡터를 도출하는 단계
를 더 포함하는, 디코딩 방법.
컴퓨팅 장치로서,
하나 이상의 프로세서;
상기 하나 이상의 프로세서에 연결된 메모리; 및
상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 제1항 내지 제6항 중 어느 하나의 항에 따른 방법을 수행하게 하는, 상기 메모리에 저장된 복수의 프로그램
을 포함하는 컴퓨팅 장치.
하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의한 실행을 위한 복수의 프로그램을 저장하는 비 일시적 컴퓨터 판독 가능 저장 매체로서,
상기 복수의 프로그램은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 제1항 내지 제6항 중 어느 하나의 항에 따른 방법을 수행하게 하는,
비 일시적 컴퓨터 판독 가능 저장 매체.
하나 이상의 프로세서를 갖는 컴퓨팅 장치에 의한 실행을 위한, 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금 제1항 내지 제6항 중 어느 하나의 항에 따른 방법을 수행하게 하는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
비트스트림을 저장하는 컴퓨터 판독 가능 저장 매체로서,
상기 비트스트림은 제1항 내지 제6항 중 어느 하나의 항에 따른 방법에 의해서 디코딩되는, 컴퓨터 판독 가능 저장 매체.
디코딩 장치에 의해 디코딩되는 비트스트림을 수신하기 위한 방법으로서, 상기 디코딩 장치는 제1항 내지 제6항 중 어느 한 항의 항에 따른 방법을 수행하도록 구성된 하나 이상의 프로세서를 포함하는, 방법.