KR20210141710A

KR20210141710A - 인코더, 디코더 및 대응하는 방법들

Info

Publication number: KR20210141710A
Application number: KR1020217034921A
Authority: KR
Inventors: 프뉴 헨드리; 예-쿠이 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-04-03
Filing date: 2020-04-02
Publication date: 2021-11-23
Also published as: HUE064155T2; WO2020206171A1; FI3939290T3; CN113632478A; ES2967911T3; EP3939290A4; US20220021896A1; PL3939290T3; EP3939290B1; PT3939290T; US20240163467A1; EP3939290A1; MX2021012094A; EP4277271A2; DK3939290T3; JP2022527555A; EP4277271A3

Abstract

비디오 코딩 메커니즘이 개시된다. 메커니즘은 플래그와, IRAP(intra random access point) 픽처 및 상기 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신하는 것을 포함한다. 플래그가 제1 값으로 설정될 때, IRAP 픽처와 연관된 임의의 선행 픽처들은 디코딩을 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행한다. 플래그가 제2 값으로 설정될 때, 비-선행 픽처는 디코딩을 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행한다. IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들은 플래그에 기반하여 코딩 순서로 디코딩된다.

Description

선행 픽처들로 인터레이스된 비디오 코딩

이 특허 출원은 발명의 명칭이 "Handling Intra Random Access Point And Leading Pictures In Video Coding"이고, FNU Hendry 등에 의해 2019년 4월 3일에 출원된 미국 가특허 출원 번호 제62/828,875호, 및 발명의 명칭이 "Handling Intra Random Access Point And Leading Pictures In Video Coding"이고, FNU Hendry 등에 의해 2019년 6월 21일에 출원된 미국 가특허 출원 번호 제62/864,958호의 이익을 주장하고, 이는 본원에 참조로 통합된다.

본 개시내용은 일반적으로 비디오 코딩에 관한 것이고, 특히 인터레이스된 비디오 코딩 컨텍스트(interlaced video coding context)에서 선행 픽처들의 코딩에 관한 것이다.

상대적으로 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있고, 이는 데이터가 스트리밍되거나 그렇지 않고 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움들을 초래할 수 있다. 따라서, 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스들이 제한될 수 있기 때문에 비디오가 저장 디바이스에 저장될 때 비디오의 크기는 또한 문제일 수 있다. 비디오 압축 디바이스들은 종종 송신 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 사용하고, 이에 의해 디지털 비디오 이미지들을 나타내는 데 필요한 데이터의 양을 감소시킨다. 이어서, 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 리소스들과 더 높은 비디오 품질에 대한 요구들이 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축 해제기법들이 바람직하다.

실시예에서, 본 개시내용은 디코더에서 구현되는 방법을 포함하고, 이 방법은: 디코더의 수신기에 의해, 플래그(flag)와, IRAP(intra random access point) 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신하는 단계; 프로세서에 의해, 플래그가 제1 값으로 설정될 때, IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행하는 것을 결정하는 단계; 프로세서에 의해, 플래그가 제2 값으로 설정될 때, 비-선행 픽처가 디코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행하는 것을 결정하는 단계; 프로세서에 의해, 플래그가 제1 값으로 설정되는지 제2 값으로 설정되는지에 기반하여 디코딩 순서로 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 디코딩하는 단계; 및 프로세서에 의해, 디코딩된 비디오 시퀀스의 일부로서 디스플레이를 위해 하나 이상의 디코딩된 픽처들을 포워딩하는 단계를 포함한다.

다용도 비디오 코딩(VVC: Versatile Video Coding) 비디오 시스템들은 IRAP 픽처들, 선행 픽처들 및 비-선행 픽처들을 포함하는 비트스트림을 이용할 수 있다. 비-선행 픽처들은 또한 일부 예들에서 후행 픽처들이라고 지칭될 수 있다. IRAP 픽처는 코딩된 비디오 시퀀스의 시작 역할을 하는 인트라-예측 코딩된 픽처이다. 선행 픽처는 제시 순서에서 IRAP 픽처에 선행하지만, 코딩 순서에서 IRAP 픽처 이후에 코딩되는 픽처이다. 비-선행 픽처/후행 픽처는 제시 순서와 코딩 순서 둘 모두에서 IRAP 픽처를 따르는 픽처이다. 일부 비디오 코딩 시스템들은 선행 픽처들이 디코딩 순서에서 IRAP 픽처를 바로 뒤따르고 모든 비-선행 픽처들이 선행 픽처들을 뒤따는 것을 요구한다. 인터레이스된 비디오 코딩은 스트리밍 대역폭을 증가시키지 않고 인지 프레임 레이트를 증가시키는 메커니즘이다. 인터레이스된 비디오 코딩에서, 비디오 프레임은 2개의 필드들로 분할된다. 프레임의 제1 필드에 대한 수평 라인들은 제1 시간에 캡처되고 제1 픽처에 코딩된다. 프레임의 제2 필드에 대한 수평 라인들은 제2 시간에 캡처되고 제1 픽처에 바로 인접한 제2 픽처에 코딩된다. 이러한 방식으로, 결과 프레임은 제1 시간에 제1 픽처의 슬라이스들 및 제2 시간에 제2 픽처의 슬라이스들을 포함하고, 이는 움직임 센스를 증가시킨다. VVC 시스템들은 인터레이스 비디오를 지원하도록 설계되지 않을 수 있다. 예를 들어, 인터레이스된 프레임은 기능하기 위해 IRAP 픽처 및 인접한 인트라-예측 코딩된 픽처를 이용할 수 있다. 인트라-예측 코딩된 픽처는 비-선행/후행 픽처들로 간주된다. 또한, 선행 픽처들이 이용될 때, 선행 픽처들은 인접한 인트라-예측 코딩된 픽처 이후에 배치될 것이다. 이것은 선행 픽처들이 디코딩 순서에서 IRAP 픽처를 바로 뒤따르고 모든 비-선행 픽처들이 선행 픽처들을 뒤따른다는 VVC 제약을 위반한다. 본 예는 선행 픽처들을 이용하는 VVC 시스템에서 인터레이스된 비디오 코딩을 구현하는 데 이용될 수 있는 플래그를 포함하다. 플래그가 0과 같은 제1 값으로 설정되면, 선행 픽처들은, 만약에 있다면, 모든 비-선행 픽처에 선행한다. 그러나, 인코더는 단일 비-선행 픽처가 IRAP 픽처와 임의의 선행 픽처들 사이에 배치되는 것을 디코더에게 가리키기 위해 플래그를 1과 같은 제2 값으로 설정할 수 있다. 예에서, 비-선행 픽처들은 선행 픽처들 사이에 배치되지 않을 수 있다. 플래그는 시퀀스 파라미터 세트(SPS)에 포함될 수 있고 전체 픽처들의 시퀀스에 적용될 수 있다. 따라서, 본 예는 선행 픽처들 및 인터레이스 비디오가 동일한 비트스트림에서 함께 구현되도록 함으로써 인코더 및/또는 디코더의 기능을 증가시키는 플래그를 포함한다. 또한, 본 예는 선행 픽처들과 인터레이스 비디오가 함께 구현되도록 함으로써 결과적인 비트스트림의 코딩 효율을 증가시킨다. 이와 같이, 본 예는 인코더 및/또는 디코더에서 프로세서 리소스들, 메모리 리소스들, 및/또는 네트워크 리소스들의 사용을 감소시킬 수 있다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현은 플래그가 제2 값으로 설정될 때 어떠한 선행 픽처들도 디코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 배치되지 않는 것을 프로세서에 의해 결정하는 것을 더 포함하는 것을 제공한다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 비트스트림은 SPS를 포함하고, 플래그는 SPS로부터 획득된다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 플래그는 순차 필드 플래그(sequential field flag)(field_seq_flag)이다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 코딩된 비디오 시퀀스가 필드들을 나타내는 픽처들을 포함한다는 것을 나타낼 때 field_seq_flag는 1로 설정되고, 코딩된 비디오가 시퀀스가 프레임들을 나타내는 픽처들을 포함하는 것을 나타낼 때 field_seq_flag는 0으로 설정된다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 IRAP 픽처는 프레임의 제1 필드를 포함하고, 초기 선행 픽처에 선행하는 비-선행 픽처는 프레임의 제2 필드를 포함한다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 IRAP 픽처 및 하나 이상의 비-선행 픽처를 디코딩하는 것은 단일 프레임을 생성하기 위해 IRAP 픽처로부터의 제1 필드 및 초기 선행 픽처에 선행하는 비-선행 픽처로부터의 제2 필드를 인터레이싱하는 것을 포함한다.

실시예에서, 본 개시내용은 인코더에서 구현되는 방법을 포함하고, 방법은: 인코더의 프로세서에 의해, IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함하는 비디오 시퀀스에 대해 코딩 순서를 결정하는 단계; 프로세서에 의해, 플래그를 비트스트림으로 인코딩하는 단계로서, IRAP 픽처와 연관된 임의의 선행 픽처들이 코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 플래그는 제1 값으로 설정되고, 비-선행 픽처가 코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행할 때 플래그는 제2 값으로 설정되는, 상기 플래그를 비트스트림으로 인코딩하는 단계; 프로세서에 의해, IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 코딩 순서로 비트스트림으로 인코딩하는 단계; 및 프로세서에 결합된 메모리에 의해, 디코더로의 통신을 위해 비트스트림을 저장하는 단계를 포함한다.

VVC 비디오 시스템들은 IRAP 픽처들, 선행 픽처들 및 비-선행 픽처들을 포함하는 비트스트림을 이용할 수 있다. 비-선행 픽처들은 또한 일부 예들에서 후행 픽처들이라고 지칭될 수 있다. IRAP 픽처는 코딩된 비디오 시퀀스의 시작 역할을 하는 인트라-예측 코딩된 픽처이다. 선행 픽처는 제시 순서에서 IRAP 픽처에 선행하지만, 코딩 순서에서 IRAP 픽처 이후에 코딩되는 픽처이다. 비-선행 픽처/후행 픽처는 제시 순서와 코딩 순서 둘 모두에서 IRAP 픽처를 따르는 픽처이다. 일부 비디오 코딩 시스템들은 선행 픽처들이 디코딩 순서에서 IRAP 픽처를 바로 뒤따르고 모든 비-선행 픽처들이 선행 픽처들을 뒤따는 것을 요구한다. 인터레이스된 비디오 코딩은 스트리밍 대역폭을 증가시키지 않고 인지 프레임 레이트를 증가시키는 메커니즘이다. 인터레이스된 비디오 코딩에서, 비디오 프레임은 2 개의 필드들로 분할된다. 프레임의 제1 필드에 대한 수평 라인들은 제1 시간에 캡처되고 제1 픽처에 코딩된다. 프레임의 제2 필드에 대한 수평 라인들은 제2 시간에 캡처되고 제1 픽처에 바로 인접한 제2 픽처에 코딩된다. 이러한 방식으로, 결과 프레임은 제1 시간에 제1 픽처의 슬라이스들 및 제2 시간에 제2 픽처의 슬라이스들을 포함하고, 이는 움직임 센스를 증가시킨다. VVC 시스템들은 인터레이스 비디오를 지원하도록 설계되지 않을 수 있다. 예를 들어, 인터레이스된 프레임은 기능하기 위해 IRAP 픽처 및 인접한 인트라-예측 코딩된 픽처를 이용할 수 있다. 인트라-예측 코딩된 픽처는 비-선행/후행 픽처들로 간주된다. 또한, 선행 픽처들이 이용될 때, 선행 픽처들은 인접한 인트라-예측 코딩된 픽처 이후에 배치될 것이다. 이것은 선행 픽처들이 디코딩 순서에서 IRAP 픽처를 바로 뒤따르고 모든 비-선행 픽처들이 선행 픽처들을 뒤따른다는 VVC 제약을 위반한다. 본 예는 선행 픽처들을 이용하는 VVC 시스템에서 인터레이스된 비디오 코딩을 구현하는 데 이용될 수 있는 플래그를 포함하다. 플래그가 0과 같은 제1 값으로 설정되면, 선행 픽처들은, 만약에 있다면, 모든 비-선행 픽처에 선행한다. 그러나, 인코더는 단일 비-선행 픽처가 IRAP 픽처와 임의의 선행 픽처들 사이에 배치되는 것을 디코더에게 가리키기 위해 플래그를 1과 같은 제2 값으로 설정할 수 있다. 예에서, 비-선행 픽처들은 선행 픽처들 사이에 배치되지 않을 수 있다. 플래그는 SPS에 포함될 수 있고 전체 픽처들의 시퀀스에 적용될 수 있다. 따라서, 본 예는 선행 픽처들 및 인터레이스 비디오가 동일한 비트스트림에서 함께 구현되도록 함으로써 인코더 및/또는 디코더의 기능을 증가시키는 플래그를 포함한다. 또한, 본 예는 선행 픽처들과 인터레이스 비디오가 함께 구현되도록 함으로써 결과적인 비트스트림의 코딩 효율을 증가시킨다. 이와 같이, 본 예는 인코더 및/또는 디코더에서 프로세서 리소스들, 메모리 리소스들, 및/또는 네트워크 리소스들의 사용을 감소시킬 수 있다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 플래그가 제2 값으로 설정될 때 어떠한 선행 픽처들도 코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 배치되지 않는다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 비트스트림은 SPS를 포함하고, 플래그는 SPS로 인코딩된다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 플래그는 field_seq_flag이다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 IRAP 픽처로부터의 제1 필드 및 초기 선행 픽처에 선행하는 비-선행 픽처로부터의 제2 필드는 단일 인터레이스된 비디오 프레임을 나타내는 비디오 데이터의 교번 라인들을 포함한다.

실시예에서, 본 개시내용은 프로세서, 프로세서에 결합된 수신기, 프로세서에 결합된 메모리, 및 프로세서에 결합된 송신기를 포함하는 비디오 코딩 디바이스를 포함하고, 여기서 프로세서, 수신기, 메모리, 및 송신기는 이전 양태들 중 임의의 양태의 방법을 수행하도록 구성된다.

실시예에서, 본 개시내용은 비디오 코딩 디바이스에 의해 사용하기 위한 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독가능 매체를 포함하고, 프로세서에 의해 실행될 때 비디오 코딩 디바이스로 하여금 이전 양태들 중 임의의 것의 방법을 수행하게 하도록 컴퓨터 프로그램 제품은 비-일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 실행가능 명령들을 포함한다.

실시예에서, 본 개시내용은 디코더를 포함하고, 디코더는: 플래그와, IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신하기 위한 수신 수단; 플래그가 제1 값으로 설정될 때, IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행하는 것을 결정하고, 플래그가 제2 값으로 설정될 때, 비-선행 픽처가 디코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행하는 것을 결정하기 위한 결정 수단; 플래그가 제1 값으로 설정되는지 제2 값으로 설정되는지에 기반하여 디코딩 순서로 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 디코딩하기 위한 디코딩 수단; 및 디코딩된 비디오 시퀀스의 일부로서 디스플레이를 위해 하나 이상의 디코딩된 픽처들을 포워딩하기 위한 포워딩 수단을 포함한다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 디코더는 이전 양태들 중 임의의 것의 방법을 수행하도록 추가로 구성된다.

실시예에서, 본 개시내용은 인코더를 포함하고, 인코더는: IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함하는 비디오 시퀀스에 대해 코딩 순서를 결정하기 위한 결정 수단; 인코딩 수단으로서: IRAP 픽처와 연관된 임의의 선행 픽처들이 코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 플래그가 제1 값으로 설정되고, 비-선행 픽처가 코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행할 때 플래그가 제2 값으로 설정되는, 플래그를 비트스트림으로 인코딩하기 위한 것이고, 그리고 RAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 코딩 순서로 비트스트림으로 인코딩하기 위한 상기 인코딩 수단; 및 디코더로의 통신을 위해 비트스트림을 저장하기 위한 저장 수단을 포함한다.

선택적으로, 이전 양태들 중 임의의 것에서, 양태의 다른 구현이 제공되고, 여기서 인코더는 이전 양태들 중 임의의 것의 방법을 수행하도록 추가로 구성된다.

명확성의 목적을 위해, 전술한 실시예들 중 임의의 실시예는 본 개시내용의 범위 내에서 새로운 실시예를 생성하기 위해 다른 전술한 실시예들 중 임의의 하나 이상과 결합될 수 있다.

이들 및 다른 특징들은 첨부 도면들 및 청구범위들과 함께 취해진 이하 상세한 설명으로부터 더 쉽게 이해될 것이다.

본 개시내용의 보다 완전한 이해를 위해, 유사한 참조 번호들이 유사한 부분들을 나타내는 첨부 도면들 및 상세한 설명과 관련하여 취해진 다음의 간략한 설명이 이제 참조된다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 선행 픽처를 갖는 예시적인 코딩된 비디오 시퀀스를 예시하는 개략도이다.
도 6a 내지 도 6c는 인터레이스된 비디오 코딩의 예를 집합적으로 예시하는 개략도이다.
도 7은 인터레이스된 비디오 코딩 및 선행 픽처들 둘 모두를 이용하는 예시적인 코딩된 비디오 시퀀스를 예시하는 개략도이다.
도 8은 인터레이스된 비디오 코딩 및 선행 픽처들 둘 모두를 포함하도록 구성된 예시적인 비트스트림을 예시하는 개략도이다.
도 9는 예시적인 비디오 코딩 디바이스의 개략도이다.
도 10은 인터레이스된 비디오 코딩 및 선행 픽처들로 비디오 시퀀스를 비트스트림으로 인코딩하는 예시적인 방법의 흐름도이다.
도 11은 비트스트림으로부터 인터레이스된 비디오 코딩 및 선행 픽처를 사용하여 비디오 시퀀스를 디코딩하는 예시적인 방법의 흐름도이다.
도 12는 인터레이스된 비디오 코딩 및 선행 픽처들로 비디오 시퀀스를 비트스트림으로 코딩하기 위한 예시적인 시스템의 개략도이다.

하나 이상의 실시예들의 예시적인 구현이 아래에 제공되지만, 개시된 시스템들 및/또는 방법들이 현재 알려져 있든 존재하든 임의의 수의 기법들을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 개시내용은 본원에 예시되고 설명된 예시적인 설계들 및 구현들을 포함하여 아래에 예시된 예시적인 구현들, 도면들 및 기법들에 결코 제한되어서는 안 되지만, 등가물들의 전체 범위와 함께 첨부된 청구범위들의 범위 내에서 수정될 수 있다.

다음 용어는 본원에서 반대되는 맥락에서 사용되지 않는 한 다음과 같이 정의된다. 특히, 하기 정의들은 본 개시내용에 추가적인 명확성을 제공하기 위한 것이다. 그러나, 용어는 상이한 맥락들에서 상이하게 설명될 수 있다. 따라서, 다음 정의들은 보충으로 간주되어야 하고 본원에서 이러한 용어에 대해 제공된 설명들의 임의의 다른 정의들을 제한하는 것으로 간주되어서는 안 된다.

비트스트림은 인코더와 디코더 사이의 송신을 위해 압축된 비디오 데이터를 포함하는 시퀀스 비트들이다. 인코더는 비디오 데이터를 비트스트림으로 압축하기 위해 인코딩 프로세스들을 이용하도록 구성된 디바이스이다. 디코더는 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하기 위해 디코딩 프로세스들을 이용하도록 구성된 디바이스이다. 플래그는 인코딩 동안 인코더에 의해 이용되는 메커니즘들을 시그널링하는 비트스트림으로 코딩된 비트 또는 비트들의 그룹이고, 따라서 디코딩 동안 비트스트림으로부터 비디오 데이터를 정확하게 재구성하는 디코더에 의해 이용될 메커니즘들을 나타낸다. 인트라-예측은 다른 픽처들을 참조하지 않고 픽처를 재구성할 수 있도록 자신을 참조하여 픽처를 코딩하는 메커니즘이다. 인터-예측은 하나 이상의 다른 픽처들을 참조하여 픽처를 코딩하는 메커니즘이다. IRAP(intra random access point) 픽처들은 인트라-예측에 따라 코딩되고 코딩된 비디오 시퀀스에 대한 시작점으로 작용하는 픽처이다. 선행 픽처는 코딩 순서에서 연관된 IRAP 픽처 이후에 코딩되지만 출력 순서에서 연관된 IRAP 픽처에 선행하는 픽처이다. 또한 후행 픽처로 지칭될 수 있는 비-선행 픽처는 코딩 순서 및 출력 순서 둘 모두에서 IRAP 픽처를 뒤따르는 픽처이다. 인터레이스된 비디오 코딩은 제1 픽처에서 제1 시간에 비디오 데이터의 제1 필드를 코딩하고, 제2 픽처에서 제2 시간에 비디오 데이터의 제2 필드를 코딩하고, 증가된 프레임 레이트의 인상을 제공하기 위해 제시를 위해 단일 프레임으로 제1 필드와 제2 필드를 결합하는 비디오 코딩 메커니즘이다. 프레임은 비디오 시퀀스의 대응 순간에 사용자에게 전체 또는 부분 디스플레이를 위한 완전한 이미지이다. 픽처는 인터레이스 비디오와 관련된 컨텍스트들을 제외한 프레임이고, 이 경우 픽처는 프레임의 필드이다. 파라미터 세트는 코딩된 비디오 시퀀스의 대응 섹션에 대해 플래그들 및 다른 파라미터들과 같은 데이터를 시그널링하는 비트스트림의 일부이다. 순차 필드 플래그(field_seq_flag)는 인터레이스 비디오에 사용되고 코딩 순서에서 IRAP 픽처와 선행 픽처 사이에 비-선행 픽처가 배치될 때를 시그널링하는 플래그이다.

본원에 다음 약어들이 사용되고, 약어들은 코딩 트리 블록(CTB), 코딩 트리 유닛(CTU), 코딩 유닛(CU), 코딩된 비디오 시퀀스(CVS), JVET(Joint Video Expert Team), MCTS(Motion Constrained Tile Set), MTU(Maximum Transfer Unit), NAL(Network Abstraction Layer), POC(Picture Order Count), RBSP(Raw Byte Sequence Payload), 순차 파라미터 세트(SPS) 및 WD(Working Draft)이다.

많은 비디오 압축 기법들은 데이터 손실을 최소화하면서 비디오 파일들의 크기를 감소시키는 데 이용될 수 있다. 예를 들어, 비디오 압축 기법들은 비디오 시퀀스들에서 데이터 리던던시(redundancy, 중복성)를 감소 또는 제거하기 위해 공간적(예를 들어, 인트라-픽처) 예측 및/또는 시간적(예를 들어, 인터-픽처) 예측을 수행하는 것을 포함할 수 있다. 블록-기반 비디오 코딩의 경우, 비디오 슬라이스(예를 들어, 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록들로 파티셔닝(partition)될 수 있고, 이는 또한 트리블록들, 코딩 트리 블록(CTB)들, 코딩 트리 유닛(CTU)들, 코딩 유닛(CU)들, 및/또는 코딩 노드들로 지칭될 수 있다. 픽처의 인트라-코딩된(I) 슬라이스의 비디오 블록들은 동일한 픽처의 이웃 블록들의 참조 샘플들에 관하여 공간 예측을 사용하여 코딩된다. 픽처의 인터-코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록들은 동일한 픽처의 이웃 블록들의 참조 샘플들에 관하여 공간적 예측 또는 다른 참조 픽처들의 참조 샘플들에 관하여 시간적 예측을 이용하여 코딩될 수 있다. 픽처들은 프레임들 및/또는 이미지들로 지칭될 수 있고, 참조 픽처들은 참조 프레임들 및/또는 참조 이미지들로 지칭될 수 있다. 공간적 또는 시간적 예측은 이미지 블록을 나타내는 예측 블록을 초래한다. 잔차 데이터는 원본 이미지 블록과 예측 블록 간의 픽셀 차이를 나타낸다. 따라서, 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있다. 이는 양자화될 수 있는 잔차 변환 계수들을 초래한다. 양자화된 변환 계수들은 초기에 2차원 어레이로 배열될 수 있다. 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캔될 수 있다. 더 많은 압축을 달성하기 위해 엔트로피 코딩이 적용될 수 있다. 이러한 비디오 압축 기법들은 아래에서 더 자세히 논의된다.

인코딩된 비디오가 정확하게 디코딩될 수 있도록 보장하기 위해, 비디오는 대응 비디오 코딩 표준들에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준들은 ITU(International Telecommunication Union) Standardization Sector(ITU-T) H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG(Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, 또한 ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10이라고 알려진 ITU-T H.263, ISO/IEC MPEG-4 Part 2, AVC(Advanced Video Coding), 및 또한 ITU-T H.265 또는 MPEG-H Part 2라고 알려진 HEVC(High Efficiency Video Coding)를 포함한다. AVC는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC+D(Multiview Video Coding plus Depth), 3차원(3D) AVC(3D-AVC)와 같은 확장들을 포함한다. HEVC는 SHVC(Scalable HEVC), MV-HEVC(Multiview HEVC) 및 3D-HEVC(3D HEVC)와 같은 확장들을 포함한다. ITU-T와 ISO/IEC의 JVET(joint video experts team)은 다용도 비디오 코딩(VVC)으로 지칭되는 비디오 코딩 표준을 개발하기 시작했다. VVC는 JVET-M1001-v7을 포함하는 규격 초안(WD: Working Draft)에 포함된다.

비디오 코딩 시스템들은 IRAP 픽처들 및 비-IRAP 픽처들을 사용하여 비디오를 인코딩할 수 있다. IRAP 픽처들은 비디오 시퀀스에 대한 랜덤 액세스 포인트들의 역할을 하는 인트라-예측에 따라 코딩된 픽처이다. 인트라-예측에서, 픽처의 블록들은 동일한 픽처의 다른 블록들을 참조하여 코딩된다. 이것은 인터-예측을 이용하는 비-IRAP 픽처들과 대조된다. 인터-예측에서, 현재 픽처의 블록들은 현재 픽처와 상이한 참조 픽처의 다른 블록들을 참조하여 코딩된다. IRAP 픽처는 다른 픽처들을 참조하지 않고 코딩되기 때문에, IRAP 픽처는 임의의 다른 픽처들을 먼저 디코딩하지 않고 디코딩될 수 있다. 따라서, 디코더는 임의의 IRAP 픽처에서 비디오 시퀀스의 디코딩을 시작할 수 있다. 대조적으로, 비-IRAP 픽처는 다른 픽처들을 참조하여 코딩되고, 따라서 디코더는 일반적으로 비-IRAP 픽처에서 비디오 시퀀스의 디코딩을 시작할 수 없다. IRAP 픽처들은 또한 디코딩된 픽처 버퍼(DPB)를 리프레시할 수 있다. 이는 IRAP 픽처가 코딩된 비디오 시퀀스(CVS)의 시작점이고, CVS의 픽처들이 이전 CVS의 픽처들을 참조하지 않기 때문이다. 이와 같이, IRAP 픽처들은 또한 인터-예측 관련 코딩 오류들을 중지할 수 있는 데, 그 이유는 이러한 오류들이 IRAP 픽처를 통해 전파될 수 없기 때문이다. 그러나, IRAP 픽처들은 데이터 크기 관점에서 비-IRAP 픽처들보다 상당히 크다. 이와 같이, 비디오 시퀀스는 일반적으로 코딩 효율성과 기능성을 밸런싱하기 위해 산재된 더 적은 수의 IRAP 픽처들을 갖는 많은 비-IRAP 픽처들을 포함한다. 예를 들어, 60개의 프레임 CVS는 하나의 IRAP 픽처와 59개의 비-IRAP 픽처들을 포함할 수 있다. 따라서, IRAP 픽처들은 비트스트림에서 압축 효율을 감소시킨다. 또한, 비트스트림에 IRAP 픽처의 존재는 비트-레이트의 급증을 야기한다. 압축 효율에 대한 이러한 페널티는 부분적으로 인트라-예측이 인터-예측보다 픽처를 표현하기 위해 상당히 더 많은 비트들을 이용한다는 사실에 의해 야기된다. 또한, IRAP 픽처들은 디코딩 프로세스를 리프레시하고 DPB로부터 참조 픽처들을 제거할 수 있다. 이것은 IRAP 픽처를 뒤따르는 픽처들을 코딩할 때 인터-예측을 위해 이용가능한 참조 픽처들의 수를 감소시키고, 따라서 인터-예측 프로세스의 효율성을 일시적으로 감소시킨다.

비디오 코딩 시스템들은 또한 선행 픽처들을 이용할 수 있다. 선행 픽처는 코딩 순서에서 IRAP 픽처 이후에 배치되고 제시 순서에서 IRAP 픽처 이전에 배치되는 픽처이다. 선행 픽처는 IRAP 픽처보다 먼저 픽처를 제시해야 함에도 불구하고 IRAP 픽처로부터 대응 픽처를 효율적으로 예측할 수 있는 경우에 이용될 수 있다. 이러한 픽처는 IRAP 픽처가 인터-예측을 위한 참조 픽처로 이용되게 하도록 코딩 순서에서 IRAP 픽처 이후에 배치된다. 이어서, 디코더는 상이한 제시 순서를 생성하기 위해 제시 전에 선행 픽처와 IRAP 픽처의 순서를 교환할 수 있다. 선행 픽처들은 RASL(Random Access Skipped Leading) 픽처들 및 RADL(Random Access Decodeable Leading) 픽처들을 포함할 수 있다. RASL 픽처는 또한 IRAP 픽처 이전의 픽처들에 의존할 수 있고 IRAP 픽처가 랜덤 액세스 포인트로 사용될 때 스킵된다. 이는 이러한 다른 픽처들이 디코딩되지 않아, IRAP 픽처부터 디코딩을 시작할 때 다른 참조 픽처들과 같이 이용할 수 없기 때문이다. RADL 픽처는 참조를 위해 IRAP 픽처 또는 RADL 픽처와 IRAP 픽처 사이의 다른 픽처들에만 의존한다. 따라서 IRAP를 랜덤 액세스 포인트로 사용하는 경우에도 RADL 픽처들은 디코딩된다. 이것은 RADL 픽처가 참조할 수 있는 임의의 픽처는 IRAP 픽처에서 코딩이 시작되는 경우에도 디코딩이 보장되기 때문이다. 비디오 코딩 시스템들은 선행 픽처들이 디코딩 순서에서 참조하는 IRAP 픽처 바로 다음에 배치되도록 요구할 수 있다. 이어서, 임의의 연관된 후행 픽처들은 디코딩 순서에서 선행 픽처를 뒤따른다.

비디오 코딩은 다양한 메커니즘들을 이용한다. 예를 들어, 인터레이스 코딩은 프레임을 1개 초과의 필드와 1개 초과의 픽처로 코딩한다. 예를 들어, 프레임은 짝수 필드와 홀수 필드로 나뉘어질 수 있다. 인터레이스된 프레임의 짝수 필드는 프레임의 짝수 번째 수평 라인들의 샘플들을 포함하고 인터레이스된 프레임의 홀수 필드는 프레임의 홀수 번째 수평 라인들의 샘플들을 포함한다. 구체적인 예로, 짝수 필드는 제1 시간에 캡쳐되어 제1 픽처에 저장될 수 있다. 이어서, 홀수 필드는 제2 시간에 캡처되어 제2 픽처에 저장될 수 있다. 2개의 필드들을 동일한 프레임에 포함하는 것은 움직임 측면을 증가시킨다. 이와 같이, 인터레이스 코딩은 비디오 시퀀스의 대역폭을 증가시키지 않고 증가된 프레임 레이트의 인상을 생성한다. 인터레이스 코딩은 표준화된 코딩 시스템들에서 기본적으로 지원되지 않을 수 있다. 그러나, 인터레이스 코딩은 비트스트림이 인터레이스 코딩된 비트스트림임을 나타내기 위해 비디오 사용 정보(VUI)의 신택스 요소(syntax element)들을 이용함으로써 일부 시스템들에서 관리될 수 있다. 이러한 신택스 요소들은 field_seq_flag 및 general_frame_only_constraint_flag를 포함할 수 있다.

선행 픽처들을 이용하는 표준화된 비디오 코딩 시스템들은 인터레이스된 비디오 코딩을 지원하도록 구성되지 않는다. 예를 들어, VVC 및 HEVC는 있는 경우 IRAP 픽처 다음 선행 픽처들을 뒤따를 것을 요구하는 코딩 순서를 이용할 수 있다. 이어서, 선행 픽처들 다음에 비-선행/후행 픽처들이 뒤따른다. 이러한 순서는 IRAP 픽처와 연관된 선행 픽처들 사이에 비-선행 픽처들이 배치되는 것을 방지한다. 그러나, 인터레이스된 비디오 코딩 컨텍스트에서, IRAP 프레임은 2개의 픽처들의 2개의 필드들로 분할된다. 제1 필드를 갖는 제1 픽처는 IRAP 픽처로 코딩된다. 제2 필드를 갖는 제2 픽처는 제2 픽처가 랜덤 액세스 포인트로 사용될 수 없기 때문에 IRAP 픽처 대신에 비-선행/후행 픽처로 코딩된다. 이는, 둘 모두의 픽처들이 디코딩을 시작하기 위해 필요하여, 제1 픽처가 스킵될 수 없기 때문이다. IRAP 프레임을 구성하는 2개의 픽처들은 효율적인 코딩을 위해 서로 나란히 배치되어야 한다. 그러나, 제1 IRAP 필드를 갖는 IRAP 픽처에 인접한 제2 IRAP 필드를 갖는 비-선행 픽처를 배치하는 것은 VVC 및 HEVC 코딩 순서를 위반한다. 이는 이러한 배치가 임의의 선행 픽처들 이전에 비-선행 픽처를 배치하기 때문이다.

인터레이스 비디오를 인코딩하기 위해 선행 픽처들을 이용하는 비디오 코딩 시스템을 구성하기 위한 메커니즘들이 본원에 개시된다. 예를 들어, 플래그는 선행 픽처들을 이용하는 VVC 시스템으로 인터레이스된 비디오 코딩을 구현하는 데 이용될 수 있다. 플래그는 IRAP 픽처와 임의의 선행 픽처 사이에 비-선행 픽처가 존재할 수 있는 경우 디코더에 시그널링하는 데 이용될 수 있다. 디코더는 플래그를 읽고 인터레이스된 비디오 코딩을 지원하기 위해 원하는 대로 순서를 조정할 수 있다. 플래그가 0과 같은 제1 값으로 설정되면, 선행 픽처들은, 만약에 있다면, 모든 비-선행 픽처에 선행한다. 그러나, 인코더는 단일 비-선행 픽처가 IRAP 픽처와 임의의 선행 픽처들 사이에 배치되는 것을 디코더에게 가리키기 위해 플래그를 1과 같은 제2 값으로 설정할 수 있다. 예에서, 비-선행 픽처들은 선행 픽처들 사이에 배치되지 않을 수 있다. 예를 들어, 순차 필드 플래그(field_seq_flag)는 이 목적에 이용될 수 있다. 플래그는 시퀀스 파라미터 세트(SPS)에 포함될 수 있고 전체 픽처들의 시퀀스에 적용될 수 있다. 인터레이스된 비디오 컨텍스트에서, 프레임이 다중 픽처들(예를 들어, 2개)을 포함할 수 있다는 점이 유의되어야 한다. 그러나, 인터레이스된 비디오 컨텍스트 외측에서, 프레임은 단일 픽처를 포함하므로 프레임이라는 용어와 픽처라는 용어는 상호교환적으로 사용될 수 있다. 따라서, 아래의 프레임 및 픽처라는 용어의 사용은 인터레이스 코딩의 컨텍스트에서 사용되지 않는 한 제한적인 것으로 간주되어서는 안 된다.

도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 특히, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 감소시키기 위해 다양한 메커니즘들을 이용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일이 사용자에게 송신되게 함과 동시에, 연관된 대역폭 오버헤드가 감소한다. 이어서, 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 디스플레이할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구성하게 하도록 인코딩 프로세스를 미러링한다.

단계(101)에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 압축되지 않은 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 디바이스에 의해 캡처되고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 성분과 비디오 성분 둘 모두를 포함할 수 있다. 비디오 성분은 시퀀스에서 보여질 때 모션의 시각적 인상을 제공하는 일련의 이미지 프레임들을 포함한다. 프레임들은 본원에서 루마 성분들(또는 루마 샘플들)이라고 지칭되는 광과, 크로마 성분들(또는 컬러 샘플들)이라고 지칭되는 컬러로 표현되는 픽셀들을 포함한다. 일부 예들에서, 프레임들은 또한 3차원 보기를 지원하는 깊이 값들을 포함할 수 있다.

단계(103)에서, 비디오는 블록들 파티셔닝된다. 파티셔닝은 압축을 위해 각각의 프레임의 픽셀들을 정사각형 및/또는 직사각형 블록들로 세분화하는 것을 포함한다. 예를 들어, HEVC(또한 High Efficiency Video Coding)(H.265 및 MPEG-H Part 2라고 알려짐)에서, 프레임은 먼저 미리 정의된 크기(예를 들어, 64개 x 64개)의 블록들인 코딩 트리 유닛(CTU)들로 나뉘어질 수 있다. CTU들은 루마 및 크로마 샘플들 둘 모두를 포함한다. 코딩 트리들은 CTU들을 블록들로 나누고 이어서 추가 인코딩을 지원하는 구성들이 달성될 때까지 블록들을 재귀적으로 세분화하는 데 이용될 수 있다. 예를 들어, 프레임의 루마 성분들은 개별 블록들이 상대적으로 균일한 조명 값들을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 성분들은 개별 블록들이 비교적 균일한 컬러 값들을 포함할 때까지 세분화될 수 있다. 따라서, 비디오 프레임들의 콘텐츠에 따라 파티셔닝 메커니즘들 변화한다.

단계(105)에서, 단계(103)에서 파티셔닝된 이미지 블록들을 압축하기 위해 다양한 압축 메커니즘들이 이용된다. 예를 들어, 인터-예측 및/또는 인트라-예측이 이용될 수 있다. 인터-예측은 공통 장면의 객체들이 연속 프레임들에 나타나는 경향이 있다는 사실을 이용하도록 설계된다. 따라서, 참조 프레임에서 객체를 묘사하는 블록은 인접 프레임들에서 반복적으로 설명될 필요가 없다. 특히, 테이블과 같은 객체는 다수의 프레임들에 걸쳐 일정한 포지션에 남아 있을 수 있다. 따라서, 테이블은 한 번 설명되고 인접 프레임들은 참조 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘들은 다수의 프레임들에 걸쳐 객체들을 매칭하는 데 이용될 수 있다. 또한, 움직이는 객체들은 예를 들어 객체의 움직임이나 카메라의 움직임으로 인해 다수의 프레임들에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 다수의 프레임들에 걸쳐 스크린을 가로질러 이동하는 자동차를 도시할 수 있다. 모션 벡터들은 이러한 움직임을 설명하는 데 이용될 수 있다. 모션 벡터는 프레임의 객체 좌표들에서 참조 프레임의 객체 좌표들까지 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터-예측은 현재 프레임의 이미지 블록을 참조 프레임의 대응 블록으로부터의 오프셋을 나타내는 모션 벡터들의 세트로 인코딩할 수 있다.

인트라-예측은 공통 프레임의 블록들을 인코딩한다. 인트라-예측은 루마와 크로마 성분들이 한 프레임에 모여 있는 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 일부에서 녹색 패치는 유사한 녹색 패치들에 인접하게 배치되는 경향이 있다. 인트라-예측은 다중 방향 예측 모드들(예를 들어, HEVC에서 33개), 평면 모드 및 직류(DC) 모드를 이용한다. 지향 모드들은 현재 블록이 대응 방향에서 이웃 블록의 샘플들과 유사/동일함을 나타낸다. 평면 모드는 행/열(예를 들어, 평면)을 따라 일련의 블록들이 행의 에지들에 있는 이웃 블록에 기반하여 보간될 수 있음을 나타낸다. 실제로, 평면 모드는 값들을 변경할 때 비교적 일정한 기울기를 이용하여 행/열에 걸쳐 광/컬러의 매끄러운 전이를 나타낸다. DC 모드는 경계 평활화를 위해 이용되고 블록이 방향 예측 모드의 각도 방향들과 연관된 모든 이웃 블록들의 샘플들과 연관된 평균 값과 유사/동일함을 나타낸다. 따라서, 인트라-예측 블록들은 실제 값들 대신 다양한 관계형 예측 모드 값들로 이미지 블록들을 표현할 수 있다. 또한, 인터-예측 블록들은 실제 값들 대신 모션 벡터 값들로 이미지 블록들을 표현할 수 있다. 어느 경우든, 예측 블록들은 일부 경우들에서 이미지 블록들을 정확히 나타내지 않을 수 있다. 모든 차이들은 잔차 블록들에 저장된다. 변환들은 파일을 추가로 압축하기 위해 잔차 블록들에 적용될 수 있다.

단계(107)에서, 다양한 필터링 기법들이 적용될 수 있다. HEVC에서, 필터들은 인-루프 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 블록 이미지들의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩하고 이어서 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 인-루프 필터링 방식은 잡음 억제 필터들, 디-블로킹 필터들, 적응형 루프 필터들, 샘플 적응 오프셋(SAO) 필터들을 블록들/프레임들에 반복적으로 적용한다. 이러한 필터들은 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 차단 아티팩트들을 완화한다. 또한, 이러한 필터들은 재구성된 참조 블록들의 아티팩트들을 완화하여 아티팩트들은 재구성된 참조 블록들에 기반하여 인코딩된 후속 블록들에서 추가 아티팩트들을 생성할 가능성이 적다.

비디오 신호가 파티셔닝, 압축 및 필터링되면, 결과 데이터는 단계(109)에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터 및 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 원하는 임의의 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 파티션 데이터, 예측 데이터, 잔차 블록들, 및 디코더에 코딩 명령들을 제공하는 다양한 플래그들을 포함할 수 있다. 비트스트림은 요청 시 디코더를 향한 송신을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더들을 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림의 생성은 반복적인 프로세스이다. 따라서, 단계들(101, 103, 105, 107 및 109)은 많은 프레임들 및 블록들에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명확성과 용이함을 위해 제시되고, 비디오 코딩 프로세스를 특정 순서로 제한하기 위한 것이 아니다.

디코더는 비트스트림을 수신하고 단계(111)에서 디코딩 프로세스를 시작한다. 특히, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 방식을 이용한다. 디코더는 단계(111)에서 프레임들에 대한 파티션을 결정하기 위해 비트스트림으로부터의 신택스 데이터를 이용한다. 파티셔닝은 단계(103)의 블록 파티셔닝 결과들과 매칭해야 한다. 이제 단계(111)에서 이용된 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지(들)에서 값들의 공간적 배치에 기반하여 여러 가능한 선택들 중에서 블록 파티셔닝 방식들을 선택하는 것과 같이 압축 프로세스 동안 많은 선택들을 한다. 정확한 선택들을 시그널링하는 것은 많은 수의 빈(bin)들을 이용할 수 있다. 본원에서 사용되는 바와 같이, 빈은 변수로 처리되는 이진 값(예를 들어, 컨텍스트에 따라 변할 수 있는 비트 값)이다. 엔트로피 코딩은 인코더가 특정 경우에 명확히 실행가능하지 않은 임의의 옵션들을 버리고, 허용가능한 옵션들의 세트를 남기게 한다. 이어서, 각각의 허용가능 옵션은 코드 워드가 할당된다. 코드 워드들의 길이는 허용가능한 옵션들의 수에 기반한다(예를 들어, 2개의 옵션들에 대한 1개의 빈, 3개 내지 4개의 옵션들에 대한 2개의 빈들 등). 이어서, 인코더는 선택된 옵션에 대한 코드 워드를 인코딩한다. 이 방식은 코드 워드가 가능한 모든 옵션들의 잠재적으로 큰 세트에서 선택을 고유하게 나타내는 것과 대조적으로 허용가능한 옵션들의 작은 서브세트에서 선택을 고유하게 나타내기 위해 원하는 만큼 크므로 코드 워드들의 크기를 감소시킨다. 이어서, 디코더는 인코더와 유사한 방식으로 허용가능한 옵션들의 세트를 결정하여 선택을 디코딩한다. 허용가능한 옵션들의 세트를 결정함으로써, 디코더는 코드 워드를 읽고 인코더에 의해 만들어진 선택을 결정할 수 있다.

단계(113)에서, 디코더는 블록 디코딩을 수행한다. 특히, 디코더는 역변환들을 이용하여 잔차 블록들을 생성한다. 이어서, 디코더는 잔차 블록들 및 대응하는 예측 블록을 이용하여 파티셔닝에 따라 이미지 블록들을 재구성한다. 예측 블록들은 단계(105)에서 인코더에서 생성된 바와 같은 인트라-예측 블록 및 인터-예측 블록 둘 모두를 포함할 수 있다. 이어서, 재구성된 이미지 블록들은 단계(111)에서 결정된 파티셔닝 데이터에 따라 재구성된 비디오 신호의 프레임들에 배치된다. 단계(113)에 대한 신택스는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.

단계(115)에서, 필터링은 인코더에서 단계(107)와 유사한 방식으로 재구성된 비디오 신호의 프레임들에 대해 수행된다. 예를 들어, 잡음 억제 필터들, 디-블로킹 필터들, 적응형 루프 필터들 및 SAO 필터들은 프레임들에 적용되어 차단 아티팩트들을 제거할 수 있다. 프레임들이 필터링되면, 비디오 신호는 최종 사용자가 보기 위해 단계(117)에서 디스플레이로 출력될 수 있다.

도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 특히, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 둘 모두에 이용되는 구성요소들을 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계들(101 및 103)에 관련하여 논의된 바와 같이 비디오 신호를 수신하고 파티셔닝하고, 이는 파티셔닝된 비디오 신호(201)를 초래한다. 이어서, 코덱 시스템(200)은 방법(100)의 단계들(105, 107, 및 109)에 관하여 논의된 바와 같이 인코더로서 작용할 때 파티셔닝된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 작용할 때, 코덱 시스템(200)은 동작 방법(100)의 단계들(111, 113, 115, 및 117)에 관하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라-픽처 추정 구성요소(215), 인트라-픽처 예측 구성요소(217), 모션 보상 구성요소(219), 모션 추정 구성요소(221), 스케일링 및 역변환 구성요소(229), 필터 제어 분석 구성요소(227), 인-루프 필터 구성요소(225), 디코딩된 픽처 버퍼 구성요소(223), 및 헤더 포맷팅 및 컨텍스트 적응 이진 산술 코딩(CABAC) 구성요소(231)를 포함한다. 이러한 구성요소들은 도시된 바와 같이 결합된다. 도 2에서, 흑색 라인들은 인코딩/디코딩될 데이터의 움직임을 나타내고, 파선들은 다른 구성요소들의 동작을 제어하는 제어 데이터의 움직임을 나타낸다. 코덱 시스템(200)의 구성요소들은 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 구성요소들의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라-픽처 예측 구성요소(217), 모션 보상 구성요소(219), 스케일링 및 역변환 구성요소(229), 인-루프 필터 구성요소(225), 및 디코딩된 픽처 버퍼 구성요소(223)를 포함할 수 있다. 이제 이러한 구성요소들이 설명된다.

파티셔닝된 비디오 신호(201)는 코딩 트리에 의해 픽셀들의 블록으로 파티셔닝된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀들의 블록을 더 작은 픽셀들의 블록으로 세분화하기 위해 다양한 분할 모드들을 이용한다. 이어서, 이러한 블록들은 더 작은 블록들로 추가로 세분화될 수 있다. 블록들은 코딩 트리 상의 노드들로 지칭될 수 있다. 더 큰 부모 노드들은 더 작은 자식 노드들로 분할된다. 노드가 세분화되는 횟수들은 노드/코딩 트리의 깊이라고 지칭된다. 나뉘어진 블록들은 일부 경우들에서 코딩 유닛(CU)들에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령들과 함께 루마 블록, 적색 차이 크로마(Cr) 블록(들), 및 청색 차이 크로마(Cb) 블록(들)을 포함하는 CTU의 서브-부분일 수 있다. 분할 모드들은 이용된 분할 모드들에 따라 다양한 모양들의 노드를 각각 2개, 3개 또는 4개의 자식 노드들로 파티셔닝하는 데 이용되는 이진 트리(BT), 삼중 트리(TT) 및 쿼드 트리(QT)를 포함할 수 있다. 파티셔닝된 비디오 신호(201)는 압축을 위해 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라-픽처 추정 구성요소(215), 필터 제어 분석 구성요소(227) 및 모션 추정 구성요소(221)로 포워딩된다.

일반 코더 제어 구성요소(211)는 애플리케이션 제약들에 따라 비디오 시퀀스의 이미지들을 비트스트림으로 코딩하는 것과 관련된 판정들을 내리도록 구성된다. 예를 들어, 일반 코더 제어 구성요소(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 판정들은 저장 공간/대역폭 가용성 및 이미지 해상도 요청들에 기반하여 이루어질 수 있다. 일반 코더 제어 구성요소(211)는 또한 버퍼 언더런(underrun) 및 오버런(overrun) 문제들을 완화하기 위해 송신 속도에 비추어 버퍼 활용을 관리한다. 이러한 문제들을 관리하기 위해, 일반 코더 제어 구성요소(211)는 다른 구성요소들에 의한 파티셔닝, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 구성요소(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 구성요소(211)는 코덱 시스템(200)의 다른 구성요소들을 제어하여 비디오 신호 재구성 품질과 비트 레이트 문제를 밸런싱한다. 일반 코더 제어 구성요소(211)는 다른 구성요소들의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩을 위해 파라미터들을 시그널링할 비트스트림에서 인코딩되도록 헤더 포맷팅 및 CABAC 구성요소(231)로 포워딩된다.

파티셔닝된 비디오 신호(201)는 또한 인터-예측을 위해 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)로 전송된다. 파티셔닝된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록들로 나뉘어질 수 있다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임들의 하나 이상의 블록들에 관련하여 수신된 비디오 블록의 인터-예측 코딩을 수행한다. 코덱 시스템(200)은 예를 들어 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스들을 수행할 수 있다.

모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 고도로 통합될 수 있지만, 개념적 목적들을 위해 별도로 예시된다. 모션 추정 구성요소(221)에 의해 수행되는 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 관련한 코딩된 객체의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이 측면에서 코딩될 블록과 밀접하게 매칭하는 것으로 발견된 블록이다. 예측 블록은 또한 참조 블록이라고 지칭될 수 있다. 이러한 픽셀 차이는 SAD(Sum of Absolute Difference), SSD(Sum of Square Difference), 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB)들 및 CU들을 비롯한 여러 코딩된 객체들을 이용한다. 예를 들어, CTU는 CTB들로 나뉘어질 수 있고, 이어서 CU들에 포함하기 위해 CB들로 나뉘어질 수 있다. CU는 예측 데이터를 포함하는 예측 유닛(PU) 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 변환 유닛(TU)으로서 인코딩될 수 있다. 모션 추정 구성요소(221)는 레이트-왜곡 최적화 프로세스의 일부로서 레이트-왜곡 분석을 사용함으로써 모션 벡터들, PU들, 및 TU들을 생성한다. 예를 들어, 모션 추정 구성요소(221)는 현재 블록/프레임에 대한 다중 참조 블록들, 다중 모션 벡터들 등을 결정할 수 있고, 최상의 레이트-왜곡 특성을 갖는 참조 블록들, 모션 벡터들 등을 선택할 수 있다. 최상의 레이트-왜곡 특성은 비디오 재구성의 품질(예를 들어, 압축에 의한 데이터 손실의 양)과 코딩 효율성(예를 들어, 최종 인코딩의 크기) 둘 모두를 밸런싱한다.

일부 예들에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 구성요소(223)에 저장된 참조 픽처들의 정수-이하 픽셀 포지션들에 대한 값들을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수 픽셀 포지션들의 값들을 보간할 수 있다. 그러므로, 모션 추정 구성요소(221)는 전체 픽셀 포지션들 및 분수 픽셀 포지션들에 관련한 모션 검색을 수행하고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 구성요소(221)는 PU의 포지션을 참조 픽처의 예측 블록의 포지션과 비교함으로써 인터-코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 구성요소(221)는 인코딩을 위해 계산된 모션 벡터를 모션 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)에 출력하고 모션을 모션 보상 구성요소(219)에 출력한다.

모션 보상 구성요소(219)에 의해 수행되는 모션 보상은 모션 추정 구성요소(221)에 의해 결정된 모션 벡터에 기반하여 예측 블록을 페치하거나 생성하는 것을 수반할 수 있다. 다시, 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 일부 예들에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 구성요소(219)는 모션 벡터가 가리키는 예측 블록을 찾을 수 있다. 이어서, 잔차 비디오 블록은 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여, 픽셀 차이 값들을 형성함으로써 형성된다. 일반적으로, 모션 추정 구성요소(221)는 루마 성분들에 관련한 모션 추정을 수행하고, 모션 보상 구성요소(219)는 크로마 성분들 및 루마 성분들 둘 모두에 대한 루마 성분들에 기반하여 계산된 모션 벡터들을 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 구성요소(213)로 포워딩된다.

파티셔닝된 비디오 신호(201)는 또한 인트라-픽처 추정 구성요소(215) 및 인터-픽처 예측 구성요소(217)로 전송된다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)와 같이, 인트라-픽처 추정 구성요소(215) 및 인트라-픽처 예측 구성요소(217)는 고도로 통합될 수 있지만, 개념적 목적들을 위해 별도로 예시된다. 인트라-픽처 추정 구성요소(215) 및 인트라-픽처 예측 구성요소(217)는 위에서 설명된 바와 같이, 프레임들 간의 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)에 의해 수행되는 인터-예측에 대한 대안으로서, 현재 프레임의 블록들에 관련하여 현재 블록을 인트라-예측한다. 특히, 인트라-픽처 추정 구성요소(215)는 현재 블록을 인코딩하기 위해 사용할 인트라-예측 모드를 결정한다. 일부 예들에서, 인트라-픽처 추정 구성요소(215)는 다수의 테스트된 인트라-예측 모드들로부터 현재 블록을 인코딩하기 위해 적절한 인트라-예측 모드를 선택한다. 이어서, 선택된 인트라-예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 구성요소(231)로 포워딩된다.

예를 들어, 인트라-픽처 추정 구성요소(215)는 다양한 테스트된 인트라-예측 모드에 대한 레이트-왜곡 분석을 사용하여 레이트-왜곡 값들을 계산하고, 테스트된 모드들 중에서 최상 레이트-왜곡 특성을 갖는 인트라-예측 모드를 선택한다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원본 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양과, 인코딩된 블록을 생성하는 데 사용된 비트 비트레이트(예를 들어, 비트 수)를 결정한다. 인트라-픽처 추정 구성요소(215)는 인트라-예측 모드가 블록에 대한 최상의 레이트-왜곡 값을 나타내는 것을 결정하기 위해 다양한 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들을 계산한다. 또한, 인트라-픽처 추정 구성요소(215)는 레이트-왜곡 최적화(RDO)에 기반하여 깊이 모델링 모드(DMM)를 사용하여 깊이 맵의 깊이 블록들을 코딩하도록 구성될 수 있다.

인트라-픽처 예측 구성요소(217)는 인코더 상에서 구현될 때 인트라-픽처 추정 구성요소(215)에 의해 결정된 선택된 인트라-예측 모드들에 기반하여 예측 블록으로부터 잔차 블록을 생성하거나 디코더 상에서 구현될 때 비트스트림으로부터 잔차 블록을 판독할 수 있다. 잔차 블록은 예측 블록과 원본 블록 간의 값들의 차이를 포함하며, 행렬로 표현된다. 이어서, 잔차 블록은 변환 스케일링 및 양자화 구성요소(213)로 포워딩된다. 인트라-픽처 추정 구성요소(215) 및 인트라-픽처 예측 구성요소(217)는 루마 및 크로마 성분들 둘 모두에 대해 동작할 수 있다.

변환 스케일링 및 양자화 구성요소(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 구성요소(213)는 이산 코사인 변환(DCT), 이산 사인 변환(DST) 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환들, 정수 변환들, 서브-대역 변환들 또는 다른 유형의 변환들이 또한 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 예를 들어 주파수에 기반하여 변환된 잔차 정보를 스케일링하도록 구성된다. 그러한 스케일링은 스케일 팩터를 잔차 정보에 적용하여 상이한 주파수 정보가 상이한 입도들에서 양자화되도록 하는 것을 포함하고, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화하도록 구성된다. 양자화 프로세스는 계수들의 일부 또는 모두와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 이어서, 일부 예들에서, 변환 스케일링 및 양자화 구성요소(213)는 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수들은 헤더 포맷팅 및 CABAC 구성요소(231)로 포워딩되어 비트스트림에서 인코딩된다.

스케일링 및 역변환 구성요소(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 구성요소(213)의 역 연산을 적용한다. 스케일링 및 역변환 구성요소(229)는 예를 들어, 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔차 블록을 재구성하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)는 나중 블록/프레임의 모션 추정에 사용하기 위해 대응하는 예측 블록에 잔차 블록을 다시 추가함으로써 참조 블록을 계산할 수 있다. 스케일링, 양자화 및 변환 중에 생성된 아티팩트들을 완화하기 위해 재구성된 참조 블록들에 필터들이 적용된다. 그렇지 않으면, 후속 블록들이 예측될 때 이러한 아티팩트들은 부정확한 예측을 야기한다(그리고 추가 아티팩트들을 생성함).

필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 잔차 블록들 및/또는 재구성된 이미지 블록들에 필터들을 적용한다. 예를 들어, 스케일링 및 역변환 구성요소(229)로부터의 변환된 잔차 블록은 인트라-픽처 예측 구성요소(217) 및/또는 모션 보상 구성요소(219)로부터 대응하는 예측 블록과 결합되어 원본 이미지 블록을 재구성할 수 있다. 이어서, 필터들은 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서, 필터들은 그 대신에 잔차 블록들에 적용될 수 있다. 도 2의 다른 구성요소들과 마찬가지로, 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 고도로 통합되어 함께 구현될 수 있지만, 개념적 목적들을 위해 별도로 묘사된다. 재구성된 참조 블록에 적용된 필터들은 특정 공간 영역들에 적용되고 이러한 필터들이 적용되는 방식을 조정하기 위해 여러 파라미터를 포함한다. 필터 제어 분석 구성요소(227)는 재구성된 참조 블록을 분석하여 그러한 필터들이 적용되어야 하는 위치를 결정하고 대응하는 파라미터들을 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)로 포워딩된다. 인-루프 필터 구성요소(225)는 필터 제어 데이터에 기반하여 이러한 필터들을 적용한다. 필터들은 디블로킹 필터, 잡음 억제 필터, SAO 필터 및 적응형 루프 필터를 포함할 수 있다. 이러한 필터들은 예에 따라 공간/픽셀 도메인(예를 들어, 재구성된 픽셀 블록) 또는 주파수 도메인에 적용될 수 있다.

인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 구성요소(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 구성요소(223)는 재구성되고 필터링된 블록들을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 포워딩한다. 디코딩된 픽처 버퍼 구성요소(223)는 예측 블록들, 잔차 블록들, 및/또는 재구성된 이미지 블록들을 저장할 수 있는 임의의 메모리 디바이스일 수 있다.

헤더 포맷팅 및 CABAC 구성요소(231)는 코덱 시스템(200)의 다양한 구성요소들로부터 데이터를 수신하고 디코더를 향한 송신을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 특히, 헤더 포맷팅 및 CABAC 구성요소(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위해 다양한 헤더들을 생성한다. 또한, 인트라-예측 및 모션 데이터를 포함하는 예측 데이터와, 양자화된 변환 계수 데이터 형태의 잔차 데이터가 모두 비트스트림에서 인코딩된다. 최종 비트스트림은 원본 파티셔닝된 비디오 신호(201)를 재구성하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라-예측 모드 인덱스 테이블(또한 코드워드 매핑 테이블이라고 지칭됨), 다양한 블록들에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라-예측 모드들의 표시들, 파티션 정보의 표시 등을 포함할 수 있다. 엔트로피 코딩을 이용하여 이러한 데이터가 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응형 가변 길이 코딩(CAVLC), CABAC, 신택스-기반 컨텍스트-적응 이진 산술 코딩(SBAC), 확률 간격 파티셔닝 엔트로피(PIPE) 코딩 또는 다른 엔트로피 코딩 기법을 이용하여 인코딩될 수 있다. 엔트로피 코딩 다음, 코딩된 비트스트림은 다른 디바이스(예를 들어, 비디오 디코더)로 송신되거나 나중의 송신 또는 검색을 위해 보관될 수 있다.

도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능들을 구현하고/하거나 동작 방법(100)의 단계들(101, 103, 105, 107, 및/또는 109)을 구현하기 위해 이용될 수 있다. 인코더(300)는 입력 비디오 신호를 파티셔닝하여, 파티셔닝된 비디오 신호(201)와 실질적으로 유사한 파티셔닝된 비디오 신호(301)를 생성한다. 이어서, 파티셔닝된 비디오 신호(301)는 인코더(300)의 구성요소들에 의해 압축되고 비트스트림으로 인코딩된다.

특히, 파티셔닝된 비디오 신호(301)는 인트라-예측을 위해 인트라-픽처 예측 구성요소(317)로 포워딩된다. 인트라-픽처 예측 구성요소(317)는 인트라-픽처 추정 구성요소(215) 및 인트라-픽처 예측 구성요소(217)와 실질적으로 유사할 수 있다. 파티셔닝된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 구성요소(323)의 참조 블록들에 기반한 인터-예측을 위해 모션 보상 구성요소(321)로 포워딩된다. 모션 보상 구성요소(321)는 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 인트라-픽처 예측 구성요소(317) 및 모션 보상 구성요소(321)로부터의 예측 블록들 및 잔차 블록들은 잔차 블록들의 변환 및 양자화를 위해 변환 및 양자화 구성요소(313)로 포워딩된다. 변환 및 양자화 구성요소(313)는 변환 스케일링 및 양자화 구성요소(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔차 블록들 및 대응하는 예측 블록들(연관된 제어 데이터와 함께)은 비트스트림으로의 코딩을 위해 엔트로피 코딩 구성요소(331)로 포워딩된다. 엔트로피 코딩 구성요소(331)는 헤더 포맷팅 및 CABAC 구성요소(231)와 실질적으로 유사할 수 있다.

변환 및 양자화된 잔여 블록들 및/또는 대응하는 예측 블록들은 또한 모션 보상 구성요소(321)에 의해 사용하기 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 구성요소(313)로부터 역변환 및 양자화 구성요소(329)로 포워딩된다. 역변환 및 양자화 구성요소(329)는 스케일링 및 역변환 구성요소(229)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)의 인-루프 필터들은 또한 예에 따라 잔차 블록들 및/또는 재구성된 참조 블록들에 적용된다. 인-루프 필터 구성요소(325)는 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)는 인-루프 필터 구성요소(225)에 관하여 논의된 바와 같이 다중 필터들을 포함할 수 있다. 이어서, 필터링된 블록들은 모션 보상 구성요소(321)에 의해 참조 블록들로 사용하기 위해 디코딩된 픽처 버퍼 구성요소(323)에 저장된다. 디코딩된 픽처 버퍼 구성요소(323)는 디코딩된 픽처 버퍼 구성요소(223)와 실질적으로 유사할 수 있다.

도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 인코더(400)는 코덱 시스템(200)의 인코딩 기능들을 구현하고/하거나 동작 방법(100)의 단계들(111, 113, 115, 및/또는 117)을 구현하기 위해 이용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기반하여 재구성된 출력 비디오 신호를 생성한다.

비트스트림은 엔트로피 디코딩 구성요소(433)에 의해 수신된다. 엔트로피 디코딩 구성요소(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기법들과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 구성요소(433)는 헤더 정보를 이용하여 비트스트림에서 코드워드들로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔차 블록들로부터의 양자화된 변환 계수들과 같은 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수들은 잔차 블록으로의 재구성을 위해 역변환 및 양자화 구성요소(429)로 포워딩된다. 역변환 및 양자화 구성요소(429)는 역변환 및 양자화 구성요소(329)와 유사할 수 있다.

재구성된 잔차 블록들 및/또는 예측 블록은 인트라-예측 동작들에 기반한 이미지 블록들로의 재구성을 위해 인트라-픽처 예측 구성요소(417)로 포워딩된다. 인트라-픽처 예측 구성요소(417)는 인트라-픽처 추정 구성요소(215) 및 인트라-픽처 예측 구성요소(217)와 유사할 수 있다. 특히, 인트라-픽처 예측 구성요소(417)는 프레임에서 참조 블록을 찾기 위해 예측 모드들을 이용하고 인트라-예측 이미지 블록들을 재구성하기 위해 결과에 잔차 블록을 적용한다. 재구성된 인트라-예측 이미지 블록들 및/또는 잔차 블록들 및 대응하는 인터-예측 데이터는 각각 디코딩된 픽처 버퍼 구성요소(223) 및 인-루프 필터 구성요소(225)와 실질적으로 유사할 수 있는 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 포워딩된다. 인-루프 필터 구성요소(425)는 재구성된 이미지 블록들, 잔차 블록들 및/또는 예측 블록들을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 구성요소(423)에 저장된다. 디코딩된 픽처 버퍼 구성요소(423)로부터의 재구성된 이미지 블록들은 인터-예측을 위해 모션 보상 구성요소(421)로 포워딩된다. 모션 보상 구성요소(421)는 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 특히, 움직임 보상 구성요소(421)는 참조 블록으로부터 모션 벡터들을 이용하여 예측 블록을 생성하고 잔차 블록을 결과에 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록들은 또한 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 포워딩될 수 있다. 디코딩된 픽처 버퍼 구성요소(423)는 파티션 정보를 통해 프레임들로 재구성될 수 있는 추가적인 재구성된 이미지 블록들을 계속해서 저장한다. 이러한 프레임들은 또한 시퀀스에 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로 디스플레이를 향해 출력된다.

도 5는 선행 픽처를 갖는 예시적인 CVS(500)를 예시하는 개략도이다. 예를 들어, CVS(500)는 방법(100)에 따라 코덱 시스템(200) 및/또는 인코더(300)와 같은 인코더에 의해 인코딩될 수 있다. 또한, CVS(500)는 코덱 시스템(200) 및/또는 디코더(400)와 같은 디코더에 의해 디코딩될 수 있다. CVS(500)는 디코딩 순서(508)로 코딩된 픽처들을 포함한다. 디코딩 순서(508)는 픽처들이 비트스트림에서 배치되는 순서이다. 이어서, CVS(500)의 픽처들은 제시 순서(510)로 출력된다. 제시 순서(510)는 결과 비디오가 적절하게 디스플레이되게 하기 위해 디코더에 의해 픽처들이 디스플레이되어야 하는 순서이다. 예를 들어, CVS(500)의 픽처는 일반적으로 제시 순서(510)로 배치될 수 있다. 그러나, 예를 들어 인터-예측을 지원하기 위해 유사한 픽처들을 더 근접하게 배치함으로써 코딩 효율을 증가시키기 위해 소정 픽처들이 상이한 위치들로 이동될 수 있다. 이러한 방식으로 이러한 픽처들을 이동하는 것은 디코딩 순서(508)를 초래한다. 도시된 예에서, 픽처들은 0에서 4까지 디코딩 순서(508)로 인덱싱된다. 제시 순서(510)에서, 인덱스 2 및 인덱스 3의 픽처들은 인덱스 0의 픽처 앞으로 이동되었다.

CVS(500)는 IRAP 픽처(502)를 포함한다. IRAP 픽처(502)는 CVS(500)에 대한 랜덤 액세스 포인트의 역할을 하는 인트라-예측에 따라 코딩된 픽처이다. 특히, IRAP 픽처(502)의 블록들은 IRAP 픽처(502)의 다른 블록들을 참조하여 코딩된다. IRAP 픽처(502)가 다른 픽처들을 참조하지 않고 코딩되기 때문에, IRAP 픽처(502)는 임의의 다른 픽처들을 먼저 디코딩하지 않고 디코딩될 수 있다. 따라서, 디코더는 IRAP 픽처(502)에서 CVS(500)의 디코딩을 시작할 수 있다. 또한, IRAP 픽처(502)는 DPB가 리프레시되게 할 수 있다. 예를 들어, IRAP 픽처(502) 이후에 제시된 대부분의 픽처들은 인터-예측을 위해 IRAP 픽처(502) 이전의 픽처들(예를 들어, 픽처 인덱스 0)에 의존하지 않을 수 있다. 이와 같이, 픽처 버퍼는 IRAP 픽처(502)가 디코딩되면 리프레시될 수 있다. 이것은 이러한 오류들이 IRAP 픽처(502)를 통해 전파될 수 없기 때문에 임의의 인터-예측 관련 코딩 오류들을 중지시키는 효과를 갖는다. IRAP 픽처(502)는 다양한 유형들의 픽처들을 포함할 수 있다. 예를 들어, IRAP 픽처는 IDR(Instantaneous Decoder Refresh) 또는 CRA(Clean Random Access)로서 코딩될 수 있다. IDR은 새로운 CVS(500)를 시작하고 픽처 버퍼를 리프레시하는 인트라-코딩된 픽처이다. CRA는 새로운 CVS(500)를 시작하거나 픽처 버퍼를 리프레시하지 않고 랜덤 액세스 포인트 역할을 하는 인트라-코딩된 픽처이다. 이러한 방식으로, CRA와 연관된 선행 픽처들(504)은 CRA 이전의 픽처들을 참조할 수 있는 반면, IDR과 연관된 선행 픽처들(504)은 IDR 이전의 픽처들을 참조하지 않을 수 있다.

CVS(500)는 또한 다양한 비-IRAP 픽처들을 포함한다. 이들은 선행 픽처들(504) 및 후행 픽처들(506)을 포함한다. 선행 픽처(504)는 디코딩 순서(508)에서 IRAP 픽처(502) 이후에 위치되지만 제시 순서(510)에서 IRAP 픽처(502) 이전에 위치된 픽처이다. 후행 픽처들(506)은 디코딩 순서(508) 및 제시 순서(510) 둘 모두에서 IRAP 픽처(502) 이후에 배치된다. 선행 픽처(504) 및 후행 픽처(506)는 둘 모두 대부분의 경우 인터-예측에 따라 코딩된다. 후행 픽처들(506)은 IRAP 픽처(502) 또는 IRAP 픽처(502) 이후에 배치된 픽처들을 참조하여 코딩된다. 따라서, 일단 IRAP 픽처(502)가 디코딩되면 후행 픽처들(506)은 항상 디코딩될 수 있다. 선행 픽처들(504)은 RASL(Random Access Skipped Leading) 및 RADL(Random Access Decodeable Leading) 픽처들을 포함할 수 있다. RASL 픽처는 IRAP 픽처(502) 이전의 픽처들을 참조하여 코딩되지만, IRAP 픽처(502) 이후의 포지션에서 코딩된다. RASL 픽처들은 이전 픽처들에 의존하기 때문에, 디코더가 IRAP 픽처(502)에서 디코딩을 시작할 때 RASL 픽처는 디코딩될 수 없다. 따라서, IRAP 픽처(502)가 랜덤 액세스 포인트로 사용될 때 RASL 픽처들은 스킵되고 디코딩되지 않는다. 그러나, RASL 픽처들은 디코더가 이전 IRAP 픽처(인덱스 0 이전이고 도시되지 않음)를 랜덤 액세스 포인트로 사용할 때 디코딩되어 디스플레이된다. RADL 픽처들은 IRAP 픽처(502) 및/또는 IRAP 픽처(502) 다음의 픽처들을 참조하여 코딩되지만, 제시 순서에서 IRAP 픽처(502) 이전에 배치된다. RADL 픽처들은 IRAP 픽처(502) 이전의 픽처들에 의존하지 않기 때문에, RADL 픽처들은 IRAP 픽처(502)가 랜덤 액세스 포인트일 때 디코딩되어 디스플레이될 수 있다.

도 6a 내지 도 6c는 인터레이스된 비디오 코딩의 예를 집합적으로 예시하는 개략도이다. 인터레이스된 비디오 코딩은 도 6a 및 도 6b에 도시된 바와 같이 제1 픽처(601) 및 제2 픽처(602)로부터 도 6c에 도시된 바와 같이 인터레이스된 비디오 프레임(600)을 생성한다. 예를 들어, 인터레이스된 비디오 코딩은 방법(100)의 일부로서 인터레이스된 비디오 프레임(600)을 포함하는 비디오를 인코딩할 때 코덱 시스템(200) 및/또는 인코더(300)와 같은 인코더에 의해 이용될 수 있다. 또한, 코덱 시스템(200) 및/또는 디코더(400)와 같은 디코더는 인터레이스된 비디오 프레임(600)을 포함하는 비디오를 디코딩할 수 있다. 또한, 인터레이스된 비디오 프레임(600)은 아래 도 7에 관련하여 더 상세히 논의되는 바와 같이 CVS(500)와 같은 CVS로 인코딩될 수 있다.

인터레이스된 비디오 코딩을 수행할 때, 도 6a에 도시된 바와 같이 제1 필드(610)는 제1 시간에 캡처되어 제1 픽처(601)로 인코딩된다. 제1 필드(610)는 비디오 데이터의 수평 라인들을 포함한다. 특히, 제1 필드(610)의 비디오 데이터의 수평 라인들은 제1 픽처(601)의 좌측 경계로부터 제1 픽처(601)의 우측 경계까지 연장된다. 그러나, 제1 필드(610)는 비디오 데이터의 교번 행들을 생략한다. 예시적인 구현에서, 제1 필드(610)는 제1 시간에 비디오 캡처링 디바이스에 의해 캡처된 비디오 데이터의 절반을 포함한다.

도 6b에 도시된 바와 같이, 제2 필드(612)는 제2 시간에 캡처되고 제2 픽처(602)로 인코딩된다. 예를 들어, 제2 시간은 비디오에 대한 프레임 세트에 기반하여 설정된 값만큼 제1 시간을 바로 뒤따를 수 있다. 예를 들어, 초당 15프레임들(FPS)의 프레임 레이트로 디스플레이하도록 설정된 비디오에서, 제2 시간은 제1 시간 이후 1/15초에 발생할 수 있다. 도시된 바와 같이, 제2 필드(612)는 제1 픽처(601)의 제1 필드(610)의 수평 라인들에 상보적인 비디오 데이터의 수평 라인들을 포함한다. 특히, 제2 필드(612)의 비디오 데이터의 수평 라인들은 제2 픽처(602)의 좌측 경계로부터 제2 픽처(602)의 우측 경계까지 연장된다. 제2 필드(612)는 제1 필드(610)에 의해 생략된 수평 라인들을 포함한다. 또한, 제2 필드(612)는 제1 필드(610)에 포함된 수평 라인들을 생략한다.

제1 픽처(601)의 제1 필드(610) 및 제2 픽처(602)의 제2 필드(612)는 도 6c에 도시된 바와 같이 인터레이스된 비디오 프레임(600)으로서 디코더에서의 디스플레이를 위해 결합될 수 있다. 특히, 인터레이스된 비디오 프레임(600)은 제1 시간에 캡처된 제1 픽처(601)의 제1 필드(610)와 제2 시간에 캡처된 제2 픽처(602)의 제2 필드(612)를 포함한다. 이러한 결합은 모션을 강조 및/또는 과장하는 시각적 효과가 있다. 비디오의 일부로 디스플레이될 때, 일련의 인터레이스된 비디오 프레임들(600)은 실제로 추가 프레임들을 인코딩할 필요 없이 비디오가 증가된 프레임 레이트로 인코딩된다는 인상을 생성한다. 이러한 방식으로, 인터레이스된 비디오 프레임(600)을 이용하는 인터레이스된 비디오 코딩은 비디오 데이터 크기의 부수적인 증가 없이 비디오의 유효 프레임 레이트를 증가시킬 수 있다. 이와 같이, 인터레이스된 비디오 코딩은 인코딩된 비디오 시퀀스의 코딩 효율을 증가시킬 수 있다.

도 7은 예를 들어 인터레이스된 비디오 프레임(600)을 생성하기 위해 인터레이스된 비디오 코딩 및 선행 픽처 둘 모두를 이용하는 예시적인 CVS(700)를 예시하는 개략도이다. CVS(700)는 CVS(500)와 실질적으로 유사하지만, 선행 픽처들을 유지하면서 제1 픽처(601) 및 제2 픽처(602)와 같은 필드들을 갖는 픽처들을 인코딩하도록 수정된다. 예를 들어, CVS(700)는 방법(100)에 따라 코덱 시스템(200) 및/또는 인코더(300)와 같은 인코더에 의해 인코딩될 수 있다. 또한, CVS(700)는 코덱 시스템(200) 및/또는 디코더(400)와 같은 디코더에 의해 디코딩될 수 있다.

CVS(700)는 각각 디코딩 순서(508) 및 제시 순서(510)와 실질적으로 유사한 방식으로 동작하는 디코딩 순서(708) 및 제시 순서(710)를 갖는다. CVS(700)는 또한 IRAP 픽처(502), 선행 픽처들(504), 및 후행 픽처들(506)과 유사한 IRAP 픽처(702), 선행 픽처들(704), 및 후행 픽처들(706)을 포함한다. 차이는 IRAP 픽처(702), 선행 픽처들(704), 및 후행 픽처들(706)이 모두 도 6a-도 6c에 관련하여 설명된 제1 필드(610) 및 제2 필드(612)와 실질적으로 유사한 방식으로 필드들을 이용함으로써 코딩된다는 것이다. 이와 같이, 각각의 프레임은 2개의 픽처들을 포함한다. 따라서, CVS 700은 CVS(500)보다 2배 많은 픽처들을 포함한다. 그러나, CVS(700)의 픽처들이 각각 프레임의 절반을 생략하기 때문에 CVS(700)는 CVS(500)와 거의 동일한 양의 데이터를 포함한다.

CVS(700)의 문제는 IRAP 픽처(702)가 인트라-예측 코딩된 데이터의 제1 필드를 포함함으로써 인코딩된다는 것이다. 이어서, 인트라-예측 코딩된 데이터의 제2 필드는 비-선행 픽처(703)에 포함된다. 비-선행 픽처(703)는 디코더가 비-선행 픽처(703)에서 CVS(700)의 디코딩을 시작할 수 없기 때문에 IRAP 픽처(702)가 아니다. 이는 IRAP 픽처(702)와 관련된 프레임의 절반이 생략될 것이기 때문이다. 이것은 VVC를 이용하는 비디오 코딩 시스템들이 디코딩 순서(708)에서 IRAP 픽처(702)를 바로 뒤따르는 선행 픽처들(704)을 배치시키도록 제한될 수 있기 때문에 문제를 생성한다.

본 개시내용은 CVS(700)가 VVC 시스템에 의해 이용되게 한다. 특히, 단일 비-선행 픽처(703)가 IRAP 픽처(702)와 선행 픽처(704) 사이에 배치되게 허용될 때를 나타내기 위해 플래그가 시그널링될 수 있다. 비디오 시스템은 비-선행 픽처들(703) 및/또는 후행 픽처들(706)이 선행 픽처들(704) 사이에 배치되는 것을 방지하도록 여전히 제약될 수 있다. 따라서, 플래그는 디코딩 순서(708)가 IRAP 픽처(702), 단일 비-선행 픽처(703), 임의의 선행 픽처들(704)(예를 들어, 선행 픽처들(704)이 선택적이고 일부 예들에서 생략될 수 있음), 및 이어서 하나 이상의 후행 픽처들(706)을 포함하는 것을 나타낼 수 있다. 이와 같이, 플래그는 CVS(500)를 예상할지 CVS(700)를 예상할지 여부를 디코더에 나타낼 수 있다. 일부 예들에서, SPS의 field_seq_flag는 아래에서 논의되는 바와 같은 목적을 위해 이용될 수 있다.

도 8은 인터레이스된 비디오 코딩 및 선행 픽처들 둘 모두를 포함하도록 구성된 예시적인 비트스트림(800)을 예시하는 개략도이다. 예를 들어, 비트스트림(800)은 코덱 시스템(200) 및/또는 방법(100)에 따라 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 또한, 비트스트림(800)은 CVS(500 및/또는 700)를 포함할 수 있다. 이와 같이, 비트스트림(800)은 인터레이스된 비디오 프레임(600)을 생성하기 위해 결합될 수 있는 제1 픽처(601) 및 제2 픽처(602)를 포함할 수 있다. 또한, 비트스트림(800)은 선행 픽처들(504 및/또는 704)을 포함할 수 있다.

비트스트림(800)은 SPS(810), 복수의 PPS(picture parameter set)들(811), 복수의 슬라이스 헤더들(815), 및 이미지 데이터(820)를 포함한다. SPS(810)는 비트스트림(800)에 포함된 코딩된 비디오 시퀀스의 모든 픽처들에 공통인 시퀀스 데이터를 포함한다. 그러한 데이터는 픽처 사이징, 비트 심도, 코딩 툴 파라미터들, 비트 레이트 제한들 등을 포함할 수 있다. PPS(811)는 전체 픽처에 적용되는 파라미터들을 포함한다. 따라서, 비디오 시퀀스의 각각의 픽처는 PPS(811)를 참조할 수 있다. 각각의 픽처가 PPS(811)를 참조하는 반면, 단일 PPS(811)가 일부 예들에서 다수의 픽처들에 대한 데이터를 포함할 수 있다는 것이 유의되어야 한다. 예를 들어, 다수의 유사한 픽처들은 유사한 파라미터들에 따라 코딩될 수 있다. 이러한 경우, 단일 PPS(811)는 이런 유사한 픽처들에 대한 데이터를 포함할 수 있다. PPS(811)는 대응하는 픽처들의 슬라이스들, 양자화 파라미터들, 오프셋들 등을 위해 이용가능한 코딩 툴들을 나타낼 수 있다. 슬라이스 헤더(815)는 픽처의 각각의 슬라이스에 특정한 파라미터들을 포함한다. 따라서, 비디오 시퀀스의 슬라이스당 하나의 슬라이스 헤더(815)가 있을 수 있다. 슬라이스 헤더(815)는 슬라이스 유형 정보, 픽처 순서 카운트(POC)들, 참조 픽처 리스트들, 예측 가중치들, 타일 진입점들, 디블로킹 파라미터들 등을 포함할 수 있다. 슬라이스 헤더(815)가 또한 일부 컨텍스트들에서 타일 그룹으로 지칭될 수 있음이 유의되어야 한다.

이미지 데이터(820)는 인터-예측 및/또는 인트라-예측에 따라 인코딩된 비디오 데이터와 대응하는 변환 및 양자화된 잔차 데이터를 포함한다. 예를 들어, 비디오 시퀀스는 복수의 프레임들(821)을 포함한다. 프레임(821)은 비디오 시퀀스의 대응하는 순간에 사용자에게 완전히 또는 부분적으로 디스플레이하도록 의도된 완전한 이미지이다. 프레임(821)은 하나 이상의 픽처들(823)을 포함할 수 있다. 대부분의 컨텍스트들에서, 프레임(821)은 단일 픽처(823)를 포함한다. 이러한 경우, 단일 액세스 유닛(AU)에 포함된 픽처(823), 이미지/프레임(821). 그러나, 인터레이스된 비디오 컨텍스트에서, 픽처(823)는 AU에 포함된 제1 필드(610) 또는 제2 필드(612)와 같은 수평 라인들의 필드이다. 이와 같이, 프레임(821)은 인터레이스된 비디오 코딩을 이용할 때 2개의 픽처들(823)로부터 생성될 수 있다. 픽처(823)는 하나 이상의 슬라이스들(825)을 포함한다. 슬라이스(825)는 단일 네트워크 추상화 계층(NAL)에 배타적으로 포함되는 픽처(823)의 정수의 완전한 타일들 또는 연속적인 완전한 코딩 트리 유닛(CTU) 행들(예를 들어, 타일 내)로 정의될 수 있다. 따라서, 슬라이스들(725)은 CTU들 및/또는 코딩 트리 블록(CTB)들로 더 나뉘어진다. CTU/CTB들은 코딩 트리들에 기반하여 코딩 블록들로 더 나뉘어진다. 이어서, 코딩 블록들은 예측 메커니즘들에 따라 인코딩/디코딩될 수 있다.

비트스트림(800)은 field_seq_flag(827)를 포함할 수 있다. field_seq_flag(827)는 CVS(500)에 도시된 바와 같이 IRAP 픽처와 연관된 임의의 선행 픽처가 코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 제1 값으로 설정될 수 있다. 플래그는 CVS(700)에서 도시된 바와 같이 비-행 픽처가 코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행하고 디코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 선행 픽처들이 배치되지 않는 경우 제2 값으로 설정될 수 있다. 이 경우, IRAP 픽처는 프레임의 제1 필드를 포함하고, 초기 선행 픽처에 선행하는 비-선행 픽처는 프레임의 제2 필드를 포함한다. 도시된 예에서, field_seq_flag(827)는 SPS(810)에 포함될 수 있다. 특정 예로서, field_seq_flag(827)는 코딩된 비디오 시퀀스가 프레임(821)의 필드들을 나타내는 픽처들(823)을 포함한다는 것을 나타낼 때 1로 설정되거나 코딩된 비디오 시퀀스가 각각 완전한 프레임(821)을 나타내는 픽처들(823)을 포함한다는 것을 나타낼 때 0으로 설정될 수 있다. 따라서, 디코더는 IRAP 픽처를 디코딩할 때를 결정하기 위해 field_seq_flag(827)를 읽을 수 있고, 하나 이상의 비-선행 픽처들은 단일 프레임을 생성하기 위해 IRAP 픽처로부터의 제1 필드와 초기 선행 픽처에 선행하는 비-선행 픽처로부터의 제2 필드를 인터레이싱하는 것을 포함하여야 한다. 이와 같이, field_seq_flag(827)는 인터레이스된 비디오 코딩이 선행 픽처들과 함께 이용되게 한다. 이와 같이, field_seq_flag(827)를 이용하는 것은 인코더 및/또는 디코더의 기능을 증가시킨다. 또한, field_seq_flag(827)를 이용하는 것은 비디오 시퀀스를 코딩하는 데 필요한 데이터의 양을 상당히 증가시키지 않으면서 유효 프레임 레이트가 증가되도록 함으로써 비트스트림(800)의 코딩 효율을 증가시킬 수 있다. 이와 같이, field_seq_flag(827)를 이용하는 것은 인코더 및/또는 디코더에서 프로세서, 메모리, 및/또는 네트워크 송신 리소스들의 사용을 감소시킬 수 있다.

앞의 정보는 이제 아래에서 더 상세히 설명된다. IRAP 픽처들은 다양한 유익한 기능들을 제공하지만, 압축 효율성에 대한 페널티를 생성한다. IRAP 픽처의 존재는 비트-레이트의 급증을 야기할 수 있다. 압축 효율성에 대한 이러한 페널티는 여러 가지 이유들로 인해 야기될 수 있다. 예를 들어, IRAP 픽처는 인트라-예측된 픽처이고, 따라서 IRAP 픽처는 인터-예측된 픽처와 비교할 때 표현하기 위해 더 많은 비트들을 요구한다. 또한, IRAP 픽처의 존재는 시간적 예측을 깨뜨릴 수 있다. 이는 디코더가 IRAP 픽처를 수신하면 디코딩 프로세스를 리프레시할 있기 때문이고, 이는 DPB에서 이전 참조 픽처들의 제거를 초래한다. 이것은 인터-예측 코딩을 수행할 때 더 적은 참조 픽처들에 액세스하기 때문에 디코딩 순서에서 IRAP 픽처를 뒤따르는 픽처들의 코딩이 덜 효율적이게 할 수 있다.

IRAP 픽처들로 사용되는 픽처 유형들 중, IDR 픽처들은 다른 픽처 유형들 비교할 때 상이한 시그널링 및 도출을 이용할 수 있다. 일부 차이들은 다음과 같다. IDR 픽처의 POC 값을 시그널링 및/또는 도출할 때, POC의 최상위 비트(MSB: Most Significant Bit) 부분은 이전 키 픽처로부터 도출되지 않을 수 있다. 대신, POC의 MSB는 0과 같도록 설정될 수 있다. 또한, IDR 픽처의 슬라이스 헤더는 디코더가 참조 픽처 관리를 수행하는 것을 돕기 위한 정보를 포함하지 않을 수 있다. CRA, 후행, TSA(temporal sub-layer access)와 같은 다른 픽처 유형들의 경우, 참조 픽처 세트(RPS) 또는 참조 픽처 리스트들과 같은 정보는 슬라이스 헤더에 포함되고 참조 픽처 마킹 프로세스에 이용될 수 있다. 픽처 마킹 프로세스는 참조용으로 사용되거나 참조용으로 사용되지 않는 DPB의 참조 픽처들의 상태를 결정하는 데 이용된다. 그러나, IDR 픽처들의 경우, IDR의 존재는 디코딩 프로세스가 DPB의 모든 참조 픽처들을 참조용으로 사용하지 않은 것으로 간단히 표시해야 함을 나타내기 때문에 이러한 정보는 시그널링되지 않을 수 있다.

또한, 선행 픽처들은 IRAP와 연관될 수 있다. 선행 픽처들은 디코딩 순서에서 연관된 IRAP 픽처를 뒤따르지만 출력 순서에서 IRAP 픽처에 선행하는 픽처들이다. 코딩 구성 및 픽처 참조 구조에 따라, 선행 픽처들은 2개의 유형들로 더 식별될 수 있다. RASL 픽처들로 알려진 제1 유형의 픽처들은 연관된 IRAP 픽처에서 디코딩 프로세스가 시작될 때 올바르게 디코딩되지 않을 수 있는 선행 픽처들이다. 이는 이러한 선행 픽처들이 디코딩 순서에서 IRAP 픽처에 선행하는 픽처들을 참조하여 코딩되기 때문에 발생할 수 있다. RADL 픽처들로 알려진 제2 유형들의 픽처들은 연관된 IRAP 픽처에서 디코딩 프로세스가 시작되는 경우에도 올바르게 디코딩되어야 하는 선행 픽처들이다. 이는 이러한 선행 픽처들이 디코딩 순서에서 IRAP 픽처에 선행하는 임의의 픽처들을 직간접적으로 참조하지 않고 코딩되기 때문에 가능하다. 일부 비디오 코딩 시스템들에서, IRAP 픽처들과 연관된 RASL 픽처들은 출력 순서에서 동일한 IRAP 픽처와 연관된 RADL 픽처들에 선행하도록 제약된다.

IRAP 픽처들과 선행 픽처들은 시스템 레벨 애플리케이션에 의해 쉽게 식별될 수 있도록 상이한 NAL 유닛 유형들이 주어질 수 있다. 예를 들어, 비디오 스플라이서(splicer)는 코딩된 비트스트림의 상세한 신택스 요소들을 고려할 필요 없이 코딩된 픽처 유형들을 이해할 수 있다. 예를 들어, 스플라이스는 비-IRAP 픽처들로부터 IRAP 픽처들을 식별하고 후행 픽처들로부터 RASL 및 RADL 픽처들을 결정하는 것을 포함하여 선행 픽처들을 식별할 필요가 있을 수 있다. 후행 픽처들은 IRAP 픽처와 연관되고 출력 순서에서 IRAP 픽처를 뒤따르는 그 픽처들이다. 현재 픽처가 디코딩 순서에서 IRAP 픽처를 뒤따르고 디코딩 순서에서 임의의 다른 IRAP 픽처에 선행하는 경우 현재 픽처는 IRAP 픽처와 연관된다. 이와 같이, IRAP 및 대응 NAL 유닛 유형의 선행 픽처들을 제공하는 것은 이러한 애플리케이션들의 기능을 지원한다.

일부 비디오 코딩 시스템들에서, IRAP 및 선행 픽처들에 대한 NAL 유닛 유형들은 다음을 포함할 수 있다. 선행 픽처(BLA_W_LP)를 갖는 BLA(broken link access)는 디코딩 순서에서 하나 이상의 선행 픽처들이 뒤따를 수 있는 BLA 픽처에 대한 NAL 유닛이다. RADL을 갖는 BLA(BLA_W_RADL)는 디코딩 순서에서 하나 이상의 RADL 픽처들이 뒤따를 수 있지만 RASL 픽처가 없을 수 있는 BLA 픽처에 대한 NAL 유닛이다. 선행 픽처를 갖지 않는 BLA(BLA_N_LP)는 디코딩 순서에서 선행 픽처가 뒤따르지 않는 BLA 픽처의 NAL 유닛이다. RADL을 갖는 IDR(IDR_W_RADL)는 디코딩 순서에서 하나 이상의 RADL 픽처들이 뒤따를 수 있지만 RASL 픽처가 없을 수 있는 IDR 픽처의 NAL 유닛이다. 선행 픽처를 갖지 않는 IDR(IDR_N_LP)는 디코딩 순서에서 IDR 픽처의 NAL 유닛 다음 선행 픽처가 뒤따르지 않는다. CRA는 RASL 및/또는 RADL 픽처들을 포함하는 선행 픽처가 뒤따를 수 있는 CRA 픽처의 NAL 유닛이다. RADL은 RADL 픽처의 NAL 유닛이다. RASL은 RASL 픽처의 NAL 유닛이다.

다른 비디오 코딩 시스템들은 IRAP 및 선행 픽처들에 대해 다음과 NAL 유닛 유형들을 이용할 수 있다. IDR_W_RADL는 디코딩 순서에서 하나 이상의 RADL 픽처들이 뒤따를 수 있지만 RASL 픽처가 없을 수 있는 IDR 픽처의 NAL 유닛이다. IDR_N_LP는 디코딩 순서에서 선행 픽처가 뒤따르지 않는 IDR 픽처의 NAL 유닛이다. CRA는 RASL 및/또는 RADL 픽처들 같은 선행 픽처가 뒤따를 수 있는 CRA 픽처의 NAL 유닛이다. RADL은 RADL 픽처의 NAL 유닛이다. RASL은 RASL 픽처의 NAL 유닛이다.

비트스트림 적합성을 위해, 예를 들어 HEVC 및/또는 VVC 시스템들에서 선행 픽처들에 일부 제약들이 적용될 수 있다. 그러한 제약들은 다음과 같다. 디코딩 순서에서 비트스트림의 제1 픽처를 이외의 각각의 픽처는 디코딩 순서에서 이전 IRAP 픽처와 연관되는 것으로 간주될 수 있다. 픽처가 IRAP 픽처의 선행 픽처일 때, 픽처는 RADL 또는 RASL 픽처이어야 한다. 픽처가 IRAP 픽처의 후행 픽처일 때, 픽처는 RADL 또는 RASL 픽처가 아닐 것이다. 픽처가 IRAP 픽처의 선행 픽처일 때, 픽처는 디코딩 순서에서 동일한 IRAP 픽처와 연관된 모든 후행 픽처들에 선행해야 한다. 어떤 RASL 픽처들도 IDR 픽처와 연관되어서는 안 된다. 어떤 RADL 픽처들도 IDR_N_LP와 동일한 nal_unit_type을 갖는 IDR 픽처와 연관되어서는 안 된다. IRAP 액세스 유닛 이전의 모든 액세스 유닛을 버림으로써 IRAP 액세스 유닛의 포지션에서 랜덤 액세스가 수행될 수 있음이 유의되어야 한다. 이러한 랜덤 액세스는 IRAP 픽처 및 모든 후속 비-RASL 픽처들을 디코딩 순서로 정확하게 디코딩하게 할 수 있다. 이러한 랜덤 액세스는 비트스트림에서 또는 이러한 파라미터 세트가 활성화될 때 사용자 입력과 같은 외부 수단에 의해 각각의 파라미터 세트가 이용가능하다면 수행될 수 있다. 또한, 디코딩 순서에서 IRAP 픽처에 선행하는 임의의 픽처는 출력 순서에서 IRAP 픽처에 선행하고 출력 순서에서 IRAP 픽처와 연관된 임의의 RADL 픽처에 선행해야 한다. CRA 픽처와 연관된 임의의 RASL 픽처는 출력 순서에서 CRA 픽처와 연관된 임의의 RADL 픽처에 선행해야 한다. CRA 픽처와 연관된 임의의 RASL 픽처는 출력 순서에서, 디코딩 순서에서 CRA 픽처에 선행하는 IRAP 픽처를 뒤따라야 한다.

따라서, 전술한 바와 같은 선행 픽처들과 관련된 비트스트림 적합성 제약들은 인터레이스된 비디오 코딩 메커니즘들과 충돌할 수 있다. 충돌은 다음과 같다. 인터레이스된 코딩이 사용되는 경우, IRAP 픽처의 2개의 필드들은 둘 모두 IRAP 픽처들로 마킹되지 않는다. 대신 제1 필드만 IRAP 픽처로 마킹되고 제2 필드는 후행 픽처로 마킹된다. 픽처의 제2 필드를 포함하는 인터레이스된 후행 픽처는 디코딩 순서에서 인터레이스된 IRAP 픽처를 바로 뒤따라야 한다. 이는 인터레이스된 IRAP 픽처와 인터레이스된 후행 픽처가 완전한 프레임을 만들기 때문이다. 선행 픽처(들)가 디코딩 순서에서 IRAP 픽처를 뒤따른다면, 픽처가 IRAP 픽처의 선행 픽처일 때, 그 픽처가 디코딩 순서에서 동일한 IRAP와 연관된 모든 후행 픽처에 선행해야 한다는 것을 언급하는 제약이 위반된다. 앞의 제약은 IRAP와 관련된 선행 픽처가 있는지 여부와 모든 선행 픽처들 고려되었는지 여부를 비디오 스플라이서와 같은 외부 엔티티가 효율적으로 결정하는 데 도움이 될 수 있기 때문에 단순히 제거될 수 없다. 이러한 외부 엔티티는 다음과 같이 동작될 수 있다. IRAP 픽처로부터 시작하여, IRAP 픽처를 바로 뒤따르는 픽처가 후행 픽처라면, 외부 엔티티는 IRAP 픽처와 연관된 선행 픽처가 없다고 결정할 수 있다. 따라서, IRAP 픽처와 연관된 모든 선행 픽처들을 검색하기 위해, 외부 엔티티는 이 제약에 기반하여 디코딩 순서에서 IRAP 픽처를 뒤따르는 제1 후행 픽처를 찾을 수 있다. 위의 제약 없이, 외부 엔티티는 IRAP 픽처와 연관된 모든 선행 픽처들을 찾기 위해 다음 IRAP 픽처까지 검색하도록 요구받을 수 있다.

일반적으로, 본 개시내용은 IRAP 픽처들과 연관된 선행 픽처들을 처리하기 위한 방법들을 설명한다. 더 구체적으로, 본 개시내용은 인터레이스된 비디오 콘텐츠의 효율적인 코딩을 지원하면서 IRAP 픽처와 연관된 선행 픽처들을 효율적으로 검색 및 식별하기 위한 방법들을 설명한다. 기법들의 설명은 ITU-T 및 ISO/IEC의 JVET에 의한 VVC 표준에 기반하여 설명된다. 그러나, 이 기법들은 또한 다른 비디오 코덱 사양들에 적용될 수 있다.

상술한 문제들을 해결하기 위하여, 본 개시내용은 개별적으로 또는 조합하여 적용될 수 있는 다음 양태들을 포함한다. 예를 들어, IRAP 픽처와 연관된 선행 픽처들은 그 사이에 비-선행 픽처(들) 없이 디코딩 순서로 연속적으로 배치될 수 있다. 또한, IRAP 및 선행 픽처들의 비트스트림 적합성을 위해 다음과 같은 제약이 적용된다. picA 및 picB를 각각 IRAP 픽처와 연관된 제1 및 마지막 선행 픽처들이라고 하자. 이러한 경우, 디코딩 순서에서 각각 picA 다음에 picB에 선행하는 선행 픽처가 아닌 픽처가 없어야 한다.

다음 제약들은 또한 적용될 수 있다. field_seq_flag가 0과 같게 설정되고 현재 픽처가 IRAP 픽처와 연관된 선행 픽처이면, 현재 픽처는 디코딩 순서에서 동일한 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행해야 한다. 그렇지 않고, field_seq_flag가 1과 같게 설정되면, picA 및 picB를 디코딩 순서에서 각각 IRAP 픽처와 연관된 제1 및 마지막 선행 픽처라고 하자. 이러한 경우, 디코딩 순서에서 picA에 선행하는 비-선행 픽처가 최대 하나 있어야 하고, 디코딩 순서에서 picA를 뒤따르고 디코딩 순서에서 picB에 선행하는 비-선행 픽처가 없어야 한다.

다음 제약들은 또한 적용될 수 있다. general_frame_only_constraint_flag가 1과 같고 현재 픽처가 IRAP 픽처와 연관된 선행 픽처이면, 현재 픽처는 디코딩 순서에서 동일한 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행해야 한다. 그렇지 않고, general_frame_only_constraint_flag가 0과 같으면, picA 및 picB를 디코딩 순서에서 각각 IRAP 픽처와 연관된 제1 및 마지막 선행 픽처들이라고 하자. 이러한 경우, 디코딩 순서에서 picA에 선행하는 비-선행 픽처가 최대 하나 있어야 하고, 디코딩 순서에서 picA를 뒤따르고 디코딩 순서에서 picB에 선행하는 비-선행 픽처가 없어야 한다.

예에서, IRAP 픽처의 NAL 유닛 유형은 IRAP 픽처와 연관된 선행 픽처(들)가 존재하는지 여부를 결정하기에 충분한 정보를 제공한다. 이를 위해 다음 방법이 사용될 수 있다. NAL 유닛 유형 CRA_NUT는 선행 픽처(들)가 CRA 픽처와 연관되어 있음을 나타내기 위해 CRA_W_LP로 대체될 수 있고/있거나 선행 픽처들이 CRA 픽처와 연관되어 있지 않음을 나타내기 위해 CRA_N_LP로 대체될 수 있다. 다른 예에서, NAL 유닛 유형 IDR_W_RADL, IDR_N_LP, 및 CRA_NUT는 선행 픽처들이 IRAP 픽처와 연관됨을 나타내기 위해 IRAP_W_LP로 대체될 수 있고, 선행 픽처들이 IRAP 픽처와 연관되지 않음을 나타내기 위해 IRAP_N_LP로 대체될 수 있다.

예에서, 다음은 CRA_W_LP, CRA_N_LP, IDR_W_RADL, IDR_N_LP에 적용될 수 있다. IDR_N_LP와 같은 NalUnitType을 갖는 IDR 픽처는 비트스트림에 존재하는 어떠한 선행 픽처들과도 연관되지 않는다. IDR_W_RADL과 같은 NalUnitType을 갖는 IDR 픽처는 비트스트림에 존재하는 RASL 픽처들과 연관되지 않지만, 비트스트림에서 RADL 픽처들과 연관될 수 있다. CRA_N_LP와 같은 NalUnitType을 갖는 CRA 픽처는 비트스트림에 존재하는 선행 픽처들과 연관되지 않는다. CRA_W_LP와 같은 NalUnitType을 갖는 CRA 픽처는 비트스트림의 선행 픽처들과 연관될 수 있다.

예에서, SAP(Stream Access Point) 유형들에 대한 위의 NAL 유닛 유형들의 매핑은 다음과 같다. IDR_N_LP 및 CRA_N_LP는 SAP 유형 1과 연관되고, IDR_W_RADL은 SAP 유형 2와 연관되고, CRA_W_LP는 SAP 유형 3과 연관된다.

예에서, 다음은 IRAP_W_LP 및 IRAP_N_LP에 적용될 수 있다. IRAP_N_LP와 같은 NalUnitType을 갖는 IRAP 픽처는 비트스트림에 존재하는 선행 픽처들과 연관되지 않는다. IRAP_W_LP와 같은 NalUnitType을 갖는 IRAP 픽처는 비트스트림의 선행 픽처들과 연관될 수 있다.

예에서, SAP 유형들에 대한 위의 NAL 유닛 유형들의 매핑은 다음과 같다. IRAP_N_LP는 SAP 유형 1과 연관되고 IRAP_W_LP는 SAP 유형 3과 연관된다.

예에서, IRAP와 연관된 선행 픽처가 존재하는지 여부를 결정하기 위해, 디바이스는 IRAP 픽처의 NAL 유닛 유형을 검사할 수 있다. IRAP 픽처가 연관된 하나 이상의 선행 픽처들과 연관될 수 있을 때, IRAP 픽처와 연관된 모든 선행 픽처들을 찾기 위해 다음 단계가 사용될 수 있다. 디바이스는 IRAP 픽처에서 시작될 수 있다. 디코딩 순서에서 IRAP 픽처를 바로 뒤따르는 픽처가 비-선행 픽처인 경우, 픽처는 무시될 수 있다. IRAP 픽처 직후에 이러한 비-선행 픽처의 존재는 비트스트림이 인터레이스된 비디오 코딩 비트스트림임을 나타낼 수 있다는 것이 유의된다. 다음 픽처는 선행 픽처여야 한다. 프로세스는 제1 비-선행 픽처가 나타날 때까지 다음 픽처를 계속 검사할 수 있다.

도 9는 예시적인 비디오 코딩 디바이스(900)의 개략도이다. 비디오 코딩 디바이스(900)는 본원에 설명된 바와 같이 개시된 예들/실시예들을 구현하기에 적합하다. 비디오 코딩 디바이스(900)는 네트워크를 통해 데이터 업스트림 및/또는 다운스트림을 통신하기 위한 송신기들 및/또는 수신기들을 포함하는 다운스트림 포트들(920), 업스트림 포트들(950), 및/또는 트랜스시버 유닛들(Tx/Rx)(910)을 포함한다. 비디오 코딩 디바이스(900)는 또한 데이터를 프로세싱하기 위한 논리 유닛 및/또는 중앙 처리 유닛(CPU) 및 데이터를 저장하기 위한 메모리(932)를 포함하는 프로세서(930)를 포함한다. 비디오 코딩 디바이스(900)는 또한 전기, 광학 또는 무선 통신 네트워크들을 통한 데이터의 통신을 위해 업스트림 포트들(950) 및/또는 다운스트림 포트들(920)에 결합된 전기, 광-전기(OE) 구성요소들, 전기-광(EO) 구성요소들, 및/또는 무선 통신 구성요소들을 포함할 수 있다. 비디오 코딩 디바이스(900)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 디바이스들(960)을 포함할 수 있다. I/O 디바이스들(960)은 비디오 데이터를 디스플레이하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커들 등과 같은 출력 디바이스들을 포함할 수 있다. I/O 디바이스들(960)은 또한 키보드, 마우스, 트랙볼 등과 같은 입력 디바이스들, 및/또는 그러한 출력 디바이스들과 상호작용하기 위한 대응하는 인터페이스들을 포함할 수 있다.

프로세서(930)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(930)는 하나 이상의 CPU 칩들, 코어들(예를 들어, 멀티-코어 프로세서로서), FPGA(field-programmable gate arrays)들, ASIC(application specific integrated circuit)들, 및 DSP(digital signal processor)들로서 구현될 수 있다. 프로세서(930)는 다운스트림 포트들(920), Tx/Rx(910), 업스트림 포트들(950), 및 메모리(932)와 통신한다. 프로세서(930)는 코딩 모듈(914)을 포함한다. 코딩 모듈(914)은 CVS(500), 인터레이스된 비디오 프레임(600), CVS(700), 및/또는 비트스트림(800)을 이용할 수 있는 방법들(100, 1000, 1100)과 같은 본원에 설명된 개시된 실시예들을 구현한다. 코딩 모듈(914)은 또한 본원에 설명된 임의의 다른 방법/메커니즘을 구현할 수 있다. 또한, 코딩 모듈(914)은 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)를 구현할 수 있다. 예를 들어, 코딩 모듈(914)은 비-선행 픽처가 IRAP 픽처와 선행 픽처들의 세트 사이에 배치될 때를 나타내기 위해 SPS에 플래그를 설정할 수 있다. 따라서, 코딩 모듈(914)은 비디오 코딩 디바이스(900)가 비디오 데이터를 코딩할 때 추가적인 기능 및/또는 코딩 효율성을 제공하게 한다. 이와 같이, 코딩 모듈(914)은 비디오 코딩 디바이스(900)의 기능을 개선할 뿐만 아니라 비디오 코딩 기술들에 특정한 문제들을 해결한다. 또한, 코딩 모듈(914)은 상이한 상태로의 비디오 코딩 디바이스(900)의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(914)은 메모리(932)에 저장된 명령들로서 구현될 수 있고 프로세서(930)에 의해 실행될 수 있다(예를 들어, 비-일시적 매체에 저장된 컴퓨터 프로그램 제품으로서).

메모리(932)는 디스크, 테이프 드라이브들, 솔리드-스테이트 드라이브들, 읽기 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 플래시 메모리, 삼진 콘텐츠-어드레스가능 메모리(TCAM), 정적 랜덤-액세스 메모리(SRAM) 등과 같은 하나 이상의 메모리 유형들을 포함한다. 메모리(932)는 오버-플로우 데이터 저장 디바이스로 사용될 수 있어서, 그러한 프로그램들이 실행을 위해 선택될 때 프로그램들을 저장하고, 프로그램 실행 중에 판독되는 명령들 및 데이터를 저장한다.

도 10은 인터레이스된 비디오 프레임(600)과 같은 인터레이스된 비디오 코딩을 사용하여 CVS(500 및/또는 700)와 같은 비디오 시퀀스를 인코딩하고, 비트스트림(800)과 같은 비트스트림으로 픽처들을 유도하는 예시적인 방법(1000)의 흐름도이다. 방법(1000)은 방법(100)을 수행할 때 코덱 시스템(200), 인코더(300), 및/또는 비디오 코딩 디바이스(900)와 같은 인코더에 의해 이용될 수 있다.

방법(1000)은 인코더가 복수의 픽처들을 포함하는 비디오 시퀀스를 수신하고, 예를 들어 사용자 입력에 기반하여 그 비디오 시퀀스를 비트스트림으로 인코딩하기로 결정할 때 시작될 수 있다. 단계(1001)에서, 인코더는 비디오 시퀀스에 대한 코딩 순서를 결정한다. 비디오 시퀀스는 IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함한다. 비디오 시퀀스는 또한 선택적으로 하나 이상의(예를 들어, 그룹) 선행 픽처들을 포함할 수 있다.

단계(1003)에서, 인코더는 플래그를 비트스트림으로 인코딩할 수 있다. 플래그는 IRAP 픽처와 연관된 임의의 선행 픽처가 코딩 순서에서 CVS(500)에서와 같이 IRAP 픽처와 연관된 모든 비-선행 픽처에 선행할 때 제1 값으로 설정될 수 있다. 이는 비디오 시퀀스가 인터레이스된 비디오를 포함하지 않음을 나타낸다. 플래그는 또한 비-선행 픽처가 코딩 순서에서 CVS(700)에서와 같이 IRAP 픽처와 연관된 초기 선행 픽처에 선행하는 경우 제2 값으로 설정될 수 있다. 플래그가 제2 값으로 설정될 때, 비트스트림은 또한 코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 선행 픽처가 배치하지 않도록 제약될 수 있다. 이것은 비디오 시퀀스가 인터레이스된 비디오를 포함하지 않음을 나타낼 수 있다. 특정 예로서, 인코더는 SPS를 비트스트림으로 인코딩할 수 있고, 플래그는 SPS로 인코딩될 수 있다. 일부 예들에서, 플래그는 field_seq_flag이다. 예를 들어, field_seq_flag는 코딩된 비디오 시퀀스가 필드들을 나타내는 픽처들을 포함한다는 것을 나타낼 때 1로 설정될 수 있다. 또한, field_seq_flag는 코딩된 비디오 시퀀스가 프레임들을 나타내는 픽처들을 포함한다는 것을 나타낼 때 0으로 설정될 수 있다. 따라서, 플래그는 인터레이스된 비디오 코딩이 비트스트림에서 이용됨을 나타내기 위해 설정될 수 있다. 이와 같이, 플래그는 IRAP 픽처가 프레임의 제1 필드를 포함하고, 초기 선행 픽처에 선행하는 비-선행 픽처가 프레임의 제2 필드를 포함할 때 설정될 수 있다. 예를 들어, IRAP 픽처로부터의 제1 필드 및 초기 선행 픽처에 선행하는 비-선행 픽처로부터의 제2 필드는 도 6a-도 6c와 관련하여 도시된 바와 같이 단일 인터레이스된 비디오 프레임을 나타내는 비디오 데이터의 교번 라인들을 포함할 수 있다.

단계(1005)에서, 인코더는 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 코딩 순서로 비트스트림으로 인코딩할 수 있다. 이어서, 인코더는 단계(1007)에서 디코더를 향한 통신을 위해 비트스트림을 저장할 수 있다.

도 11은 인터레이스된 비디오 프레임(600)과 같은 인터레이스된 비디오 코딩, 및 비트스트림(800)과 같은 비트스트림으로부터의 선행 픽처들을 사용하여 CVS(500 및/또는 700)와 같은 비디오 시퀀스를 디코딩하는 예시적인 방법(1100)의 흐름도이다. 방법(1100)은 방법(100)을 수행할 때 코덱 시스템(200), 디코더(400), 및/또는 비디오 코딩 디바이스(900)와 같은 디코더에 의해 이용될 수 있다.

방법(1100)은 디코더가 예를 들어 방법(1000)의 결과로서 비디오 시퀀스를 나타내는 코딩된 데이터의 비트스트림을 수신하기 시작할 때 시작될 수 있다. 단계(1101)에서, 디코더는 플래그 및 IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신한다. 비디오 시퀀스는 또한 선택적으로 하나 이상의(예를 들어, 그룹) 선행 픽처들을 포함할 수 있다.

단계(1103)에서, 디코더는 플래그가 CVS(500)에 CVS(500)에서 도시된 바와 같이 제1 값으로 설정될 때 IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행한다는 것을 결정할 수 있다. 이는 비디오 시퀀스가 인터레이스된 비디오를 포함하지 않음을 나타낸다. 단계(1105)에서, 디코더는 플래그가 CVS(700)에 도시된 바와 같이 제2 값으로 설정될 때 비-선행 픽처가 디코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행한다고 결정할 수 있다. 플래그가 제2 값으로 설정될 때, 디코더는 또한 코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 선행 픽처들이 배치하지 않는 것을 추가로 결정할 수 있다. 이것은 비디오 시퀀스가 인터레이스된 비디오를 포함하지 않음을 나타낼 수 있다. 특정 예로서, 비트스트림은 SPS를 포함하고, 플래그는 SPS로부터 획득될 수 있다. 일부 예들에서, 플래그는 field_seq_flag이다. 예를 들어, field_seq_flag는 코딩된 비디오 시퀀스가 필드들을 나타내는 픽처들을 포함한다는 것을 나타낼 때 1로 설정될 수 있다. 또한, field_seq_flag는 코딩된 비디오 시퀀스가 프레임들을 나타내는 픽처들을 포함한다는 것을 나타낼 때 0으로 설정될 수 있다. 따라서, 플래그는 인터레이스된 비디오 코딩이 비트스트림에서 이용됨을 나타내기 위해 설정될 수 있다. 이와 같이, 플래그는 IRAP 픽처가 프레임의 제1 필드를 포함하고, 초기 선행 픽처에 선행하는 비-선행 픽처가 프레임의 제2 필드를 포함할 때 설정될 수 있다.

단계(1107)에서, 디코더는 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 플래그에 기반하여 코딩 순서로 디코딩한다. 예를 들어, IRAP 픽처, 선행 픽처들(존재한다면), 및 하나 이상의 비-선행 픽처들을 디코딩하는 것은 IRAP 픽처로부터의 제1 필드 및 초기 선행 픽처에 선행하는 비-선행 픽처로부터의 제2 필드를 인터레이싱하여, 도 6a-6c와 관련하여 도시된 바와 같이 단일 프레임을 생성할 수 있다. 단계(1109)에서, 디코더는 디코딩된 비디오 시퀀스의 일부로서 디스플레이를 위해 단계(1107)의 결과로서 하나 이상의 디코딩된 픽처들을 포워딩할 수 있다.

도 12는 인터레이스된 비디오 프레임(600)과 같은 인터레이스된 비디오 코딩을 사용하여 CVS(500) 및/또는 CVS(700)와 같은 비디오 시퀀스를 코딩하고, 선행 ??처들을 비트스트림(800)과 같은 비트스트림으로 유도하기 위한 예시적인 시스템(1200)의 개략도이다. 시스템(1200)은 코덱 시스템(200), 인코더(300), 디코더(400), 및/또는 비디오 코딩 디바이스(900)와 같은 인코더 및 디코더에 의해 구현될 수 있다. 또한, 시스템(1200)은 방법(100, 1000, 및/또는 1100)을 구현할 때 이용될 수 있다.

시스템(1200)은 비디오 인코더(1202)를 포함한다. 비디오 인코더(1202)는 IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함하는 비디오 시퀀스에 대한 코딩 순서를 결정하기 위한 결정 모듈(1201)을 포함한다. 비디오 인코더(1202)는 플래그를 비트스트림으로 인코딩하기 위한 인코딩 모듈(1203)을 더 포함하고, 플래그는 IRAP 픽처와 연관된 임의의 선행 픽처들이 코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 제1 값으로 설정되고, 플래그는 비-선행 픽처가 코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행하는 경우 제2 값으로 설정된다. 인코딩 모듈(1203)은 또한 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 코딩 순서로 비트스트림으로 인코딩하기 위한 것이다. 비디오 인코더(1202)는 디코더를 향한 통신을 위한 비트스트림을 저장하기 위한 저장 모듈(1205)을 더 포함한다. 비디오 인코더(1202)는 비디오 디코더(1210)를 향해 비트스트림을 송신하기 위한 송신 모듈(1207)을 더 포함한다. 비디오 인코더(1202)는 방법(1000)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.

시스템(1200)은 또한 비디오 디코더(1210)를 포함한다. 비디오 디코더(1210)는 플래그를 포함하는 비트스트림 및 IRAP 픽처 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 수신하기 위한 수신 모듈(1211)을 포함한다. 비디오 디코더(1210)는 플래그가 제1 값으로 설정될 때 IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행한다고 결정하기 위한 결정 모듈(1213)을 더 포함한다. 결정 모듈(1213)은 또한 플래그가 제2 값으로 설정될 때 비-선행 픽처가 디코딩 순서에서 IRAP 픽처와 연관된 초기 선행 픽처에 선행한다고 결정하기 위한 것이다. 비디오 디코더(1210)는 플래그에 기초하여 디코딩 순서로 IRAP 픽처, IRAP 픽처와 연관된 임의의 선행 픽처들, 및 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 디코딩하기 위한 디코딩 모듈(1215)을 더 포함한다. 비디오 디코더(1210)는 디코딩된 비디오 시퀀스의 일부로서 디스플레이를 위해 하나 이상의 디코딩된 픽처들을 포워딩하기 위한 포워딩 모듈(1217)을 더 포함한다. 비디오 디코더(1210)는 방법(1100)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.

제1 구성요소는 제1 구성요소와 제2 구성요소 사이에 라인, 트레이스 또는 다른 매체 이외의 개재 구성요소들이 없을 때 제2 구성요소에 직접 결합된다. 제1 구성요소는 제1 구성요소와 제2 구성요소 사이에 라인, 트레이스, 또는 다른 매체 이외의 개지 구성요소들이 있을 때 제2 구성요소에 간접적으로 결합된다. "결합된"이라는 용어와 그 변형들은 직접 결합된 것과 간접적으로 결합된 것 둘 모두를 포함한다. "약"이라는 용어의 사용은 달리 언급되지 않는 한 후속 숫자의 ±10%를 포함하는 범위를 의미한다.

또한 본원에 설명된 예시적인 방법들의 단계들이 설명된 순서대로 수행될 필요가 없고, 이러한 방법들의 단계들의 순서가 단지 예시적인 것으로 이해되어야 한다는 것이 이해되어야 한다.　 마찬가지로, 추가 방법들은 이러한 방법들에 포함될 수 있고, 본 개시내용의 다양한 실시예들에 따른 방법들에서 소정 단계들이 생략되거나 결합될 수 있다.

몇몇 실시예들이 본 개시내용에 제공되었지만, 개시된 시스템들 및 방법들이 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 많은 다른 특정 형태들로 구현될 수 있다는 것이 이해될 수 있다. 본 예들은 예시적인 것으로 간주되어야 하며 제한적이지 않고, 그 의도는 본원에 주어진 세부 사항으로 제한되지 않는다. 예를 들어, 다양한 요소들 또는 구성요소들은 다른 시스템에 결합 또는 통합되거나 소정 특징들은 생략되거나 구현되지 않을 수 있다.

또한, 별개의 또는 분리된 것으로 다양한 실시예들에서 설명되고 예시된 기법들, 시스템들, 서브시스템들 및 방법들은 본 개시내용의 범위를 벗어나지 않고 다른 시스템들, 구성요소들, 기법들, 또는 방법들과 결합되거나 통합될 수 있다. 변화들, 대체들 및 변경들의 다른 예들은 통상의 기술자에 의해 확인 가능하고 본원에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims

디코더에서 구현되는 방법에 있어서,
상기 디코더의 수신기에 의해, 플래그(flag)와, IRAP(intra random access point) 픽처 및 상기 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신하는 단계;
상기 디코더의 프로세서에 의해, 상기 플래그가 제1 값으로 설정될 때 상기 IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 상기 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행한다고 결정하는 단계;
상기 프로세서에 의해, 상기 플래그가 제2 값으로 설정될 때 비-선행 픽처가 디코딩 순서에서 상기 IRAP 픽처와 연관된 초기 선행 픽처에 선행한다고 결정하는 단계; 및
상기 프로세서에 의해, 상기 플래그가 상기 제1 값으로 설정되는지 제2 값으로 설정되는지에 기반하여 디코딩 순서로 상기 IRAP 픽처, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들, 및 상기 IRAP 픽처와 연관된 상기 하나 이상의 비-선행 픽처들을 디코딩하는 단계를 포함하는, 디코더에서 구현되는 방법.
제1항에 있어서, 상기 플래그가 상기 제2 값으로 설정될 때 어떠한 선행 픽처들도 디코딩 순서에서 초기 선행 픽처와 최종 선행 픽처 사이에 배치되지 않는 것을 상기 프로세서에 의해 결정하는 단계를 더 포함하는, 디코더에서 구현되는 방법.
제1항 또는 제2항에 있어서, 상기 비트스트림은 시퀀스 파라미터 세트(SPS: sequence parameter set)를 포함하고, 상기 플래그는 상기 SPS로부터 획득되는, 디코더에서 구현되는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 플래그는 순차 필드 플래그(field_seq_flag)인, 디코더에서 구현되는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 코딩된 비디오 시퀀스가 필드들을 나타내는 픽처들을 포함할 때 상기 field_seq_flag는 1로 설정되고, 상기 코딩된 비디오가 시퀀스가 프레임들을 나타내는 픽처들을 포함할 때 상기 field_seq_flag는 0으로 설정되는, 디코더에서 구현되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 IRAP 픽처는 프레임의 제1 필드를 포함하고, 상기 초기 선행 픽처에 선행하는 상기 비-선행 픽처는 상기 프레임의 제2 필드를 포함하는, 디코더에서 구현되는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 IRAP 픽처 및 상기 하나 이상의 비-선행 픽처들을 디코딩하는 것은 단일 프레임을 생성하기 위해 상기 IRAP 픽처로부터의 상기 제1 필드 및 상기 초기 선행 픽처에 선행하는 상기 비-선행 픽처로부터의 제2 필드를 인터레이싱(interlacing)하는 것을 포함하는, 디코더에서 구현되는 방법.
인코더에서 구현되는 방법에 있어서,
상기 인코더의 프로세서에 의해, IRAP(intra random access point) 픽처 및 상기 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함하는 비디오 시퀀스에 대해 코딩 순서를 결정하는 단계;
상기 프로세서에 의해, 플래그를 비트스트림으로 인코딩하는 단계로서, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들이 코딩 순서에서 상기 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 상기 플래그가 제1 값으로 설정되고, 비-선행 픽처가 코딩 순서에서 상기 IRAP 픽처와 연관된 초기 선행 픽처에 선행할 때 상기 플래그가 제2 값으로 설정되는, 상기 플래그를 비트스트림으로 인코딩하는 단계;
상기 프로세서에 의해, 상기 IRAP 픽처, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들, 및 상기 IRAP 픽처와 연관된 상기 하나 이상의 비-선행 픽처들을 코딩 순서로 비트스트림으로 인코딩하는 단계; 및
상기 프로세서에 결합된 메모리에 의해, 디코더로의 통신을 위해 상기 비트스트림을 저장하는 단계를 포함하는, 인코더에서 구현되는 방법.
제8항에 있어서, 상기 플래그가 상기 제2 값으로 설정될 때 어떠한 선행 픽처들도 코딩 순서에서 상기 초기 선행 픽처와 최종 선행 픽처 사이에 배치되지 않는, 인코더에서 구현되는 방법.
제8항 또는 제9항에 있어서, 상기 비트스트림은 시퀀스 파라미터 세트(SPS)를 포함하고, 상기 플래그는 상기 SPS로 인코딩되는, 인코더에서 구현되는 방법.
제8항 내지 제10항 중 어느 한 항에 있어서, 상기 플래그는 순차 필드 플래그(field_seq_flag)인, 인코더에서 구현되는 방법.
제8항 내지 제11항 중 어느 한 항에 있어서, 코딩된 비디오 시퀀스가 필드들을 나타내는 픽처들을 포함할 때 상기 field_seq_flag는 1로 설정되고, 상기 코딩된 비디오가 프레임들을 나타내는 픽처들을 포함할 때 상기 field_seq_flag는 0으로 설정되는, 인코더에서 구현되는 방법.
제8항 내지 제12항 중 어느 한 항에 있어서, 상기 IRAP 픽처는 프레임의 제1 필드를 포함하고, 상기 초기 선행 픽처에 선행하는 상기 비-선행 픽처는 상기 프레임의 제2 필드를 포함하는, 인코더에서 구현되는 방법.
제8항 내지 제13항 중 어느 한 항에 있어서, 상기 IRAP 픽처로부터의 상기 제1 필드 및 상기 초기 선행 픽처에 선행하는 상기 비-선행 픽처로부터의 상기 제2 필드는 단일 인터레이스된 비디오 프레임을 나타내는 비디오 데이터의 교번 라인들을 포함하는, 인코더에서 구현되는 방법.
비디오 코딩 디바이스에 있어서,
프로세서, 상기 프로세서에 결합된 수신기, 상기 프로세서에 결합된 메모리, 및 상기 프로세서에 결합된 송신기를 포함하고, 상기 프로세서, 상기 수신기, 상기 메모리, 및 상기 송신기는 제1항 내지 제14항 중 어느 한 방법을 수행하도록 구성되는, 비디오 코딩 디바이스.
비디오 코딩 디바이스에 의해 사용하기 위한 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독가능 매체에 있어서,
프로세서에 의해 실행될 때 상기 비디오 코딩 디바이스로 하여금 제1항 내지 제14항 중 어느 한 방법을 수행하게 하도록 상기 컴퓨터 프로그램 제품은 상기 비-일시적 컴퓨터 판독가능 매체에 저장된 컴퓨터 실행가능 명령들을 포함하는, 비-일시적 컴퓨터 판독가능 매체.
디코더에 있어서,
플래그와, IRAP(intra random access point) 픽처 및 상기 IRAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 코딩된 픽처들을 포함하는 비트스트림을 수신하기 위한 수신 수단;
결정 수단으로서:
상기 플래그가 제1 값으로 설정될 때, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들이 디코딩 순서에서 상기 IRAP 픽처와 연관된 모든 비-선행 픽처들에 선행하는 것을 결정하고,
상기 플래그가 제2 값으로 설정될 때, 비-선행 픽처가 디코딩 순서에서 상기 IRAP 픽처와 연관된 초기 선행 픽처에 선행하는 것을 결정하는, 상기 결정 수단;
상기 플래그가 상기 제1 값으로 설정되는지 상기 제2 값으로 설정되는지에 기반하여 디코딩 순서로 상기 IRAP 픽처, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들 및 상기 IRAP 픽처와 연관된 상기 하나 이상의 비-선행 픽처들을 디코딩하기 위한 디코딩 수단; 및
디코딩된 비디오 시퀀스의 일부로서 디스플레이를 위해 하나 이상의 디코딩된 픽처들을 포워딩하기 위한 포워딩 수단을 포함하는, 디코더.
제17항에 있어서, 상기 디코더는 제1항 내지 제7항 중 어느 한 방법을 수행하도록 추가로 구성되는, 디코더.
인코더에 있어서,
IRAP(intra random access point) 및 상기 RAP 픽처와 연관된 하나 이상의 비-선행 픽처들을 포함하는 복수의 픽처들을 포함하는 비디오 시퀀스에 대해 코딩 순서를 결정하기 위한 결정 수단;
인코딩 수단으로서:
상기 RAP 픽처와 연관된 임의의 선행 픽처들이 코딩 순서에서 상기 RAP 픽처와 연관된 모든 비-선행 픽처들에 선행할 때 플래그가 제1 값으로 설정되고, 비-선행 픽처가 코딩 순서에서 상기 RAP 픽처와 연관된 초기 선행 픽처에 선행할 때 상기 플래그가 제2 값으로 설정되는, 상기 플래그를 비트스트림으로 인코딩하기 위한 것이고, 그리고
상기 IRAP 픽처, 상기 IRAP 픽처와 연관된 임의의 선행 픽처들, 및 상기 IRAP 픽처와 연관된 상기 하나 이상의 비-선행 픽처들을 코딩 순서로 상기 비트스트림으로 인코딩하기 위한, 상기 인코딩 수단; 및
디코더로의 통신을 위해 상기 비트스트림을 저장하기 위한 저장 수단을 포함하는, 인코더.
제19항에 있어서, 상기 인코더는 제8항 내지 제14항 중 어느 한 방법을 수행하도록 추가로 구성되는, 인코더.