KR20220063260A

KR20220063260A - 시간적 스케일러빌러티를 위한 픽처 타이밍 및 디코딩 단위 정보

Info

Publication number: KR20220063260A
Application number: KR1020227013371A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-09-24
Filing date: 2020-09-21
Publication date: 2022-05-17
Also published as: MX2022003552A; JP7436641B2; CN114430906B; EP4026050A4; JP2022551415A; CL2022000711A1; WO2021061571A1; AU2020352918A1; CN117615149A; CN117478898A; CN114430906A; CN117478899A; CN117440165A; US20220217376A1; BR112022005603A2; EP4026050A1; CA3155882A1; JP2024056805A; CN117478900A

Abstract

디코딩의 방법이 제공된다. 방법은, 코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 수신하는 것; 및 디코딩된 픽처를 획득하기 위해 비트스트림으로부터의 코딩된 픽처를 디코딩하는 것을 포함한다. 인코딩의 대응하는 방법이 또한 제공된다.

Description

시간적 스케일러빌러티를 위한 픽처 타이밍 및 디코딩 단위 정보

관련 출원에 대한 교차 참조

본 특허 출원은 Ye-Kui Wang에 의해 2019년 9월 24일자로 출원되고 발명의 명칭이 "Picture Timing and Decoding Unit Information for Temporal Scalability"인 미국 특허 임시출원 번호 제62/905,147호의 이점을 주장하는데, 이 임시출원은 참조에 의해 본원에 편입된다.

본 개시는 일반적으로 비디오 코딩에 관한 것이며, 특히, 다중 레이어 비트스트림의 효율적인 인코딩 및/또는 적합성 테스팅(conformance testing)을 지원하기 위한 가상 참조 디코더(hypothetical reference decoder; HRD) 파라미터 변경에 관한 것이다.

심지어 상대적으로 짧은 비디오를 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있는데, 이것은 데이터가 스트리밍되어야 하거나 또는 다르게는 제한된 대역폭 용량을 가지고 통신 네트워크를 통해 통신될 때 어려움을 초래할 수도 있다. 따라서, 비디오 데이터는 현대의 원격 통신 네트워크를 통해 통신되기 이전에 일반적으로 압축된다. 메모리 리소스가 제한될 수도 있기 때문에, 비디오가 스토리지 디바이스 상에 저장될 때 비디오의 사이즈도 또한 문제가 될 수 있다. 비디오 압축 디바이스는 송신 또는 저장 이전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 종종 사용하고, 그에 의해, 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 양을 감소시킨다. 그 다음, 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 리소스 및 더 높은 비디오 품질에 대한 계속 증가하는 요구로 인해, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 향상시키는 향상된 압축 및 압축 해제 기술이 바람직하다.

제1 양태는, 비디오 디코더에 의해, 코딩된 픽처 및 보충 향상 정보(supplemental enhancement information; SEI) 메시지 - SEI 메시지는 서브레이어(sublayer)에 대한 디코딩 단위(decoding unit; DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(coded picture buffer; CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 수신하는 것; 및 비디오 디코더에 의해, 디코딩된 픽처를 획득하기 위해 비트스트림으로부터의 코딩된 픽처를 디코딩하는 것을 포함하는, 비디오 디코더에 의해 구현되는 방법에 관한 것이다.

방법은, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성(bitstream conformance)에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

옵션 사항으로(optionally), 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, 두 개의 디코딩 단위의 CPB 제거 시간 사이에서 CPB 파라미터가 지속 기간을 명시한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가 픽처 타이밍(PT) SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 파라미터가 PT SEI 메시지와 관련되는 액세스 단위(access unit; AU)에 대한 CPB 제거 지연 증분(CPB removal delay increment) 및 공통 CPB 제거 지연 증분(common CPB removal delay increment)을 포함한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, PT SEI 메시지와 관련되는 AU에서의 디코딩 단위의 개수를 명시하는 PT SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, PT SEI 메시지와 관련되는 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(network abstraction layer; NAL) 단위의 개수를 명시하는 PT SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, 디코딩 단위 정보(decoding unit information; DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(temporal identifier; ID)를 제공하는 DUI SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 제거 지연 정보가 DUI SEI 메시지에 포함되는 최상위 서브레이어(highest sublayer)를 시간 ID가 명시한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, 전자 디바이스의 디스플레이 상에 디코딩된 픽처를 디스플레이하는 것을 제공한다.

제2 양태는, 비디오 인코더에 의해, 코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 생성하는 것; 비디오 인코더에 의해, 비트스트림이 적합한지의 여부를 결정하기 위해 CPB 파라미터를 사용하여 서브레이어에 대한 DU 기반의 HRD 동작을 수행하는 것; 및 비디오 인코더에 의해, DU 기반의 HRD 동작의 수행에 기초하여 비트스트림이 적합한 경우 비디오 디코더를 향한 통신을 위해 비트스트림을 저장하는 것을 포함하는, 비디오 인코더에 의해 구현되는 방법에 관한 것이다.

방법은, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 파라미터가 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시한다는 것, 및 CPB 제거 시간 사이의 지속 기간이 초과되지 않는 경우 비트스트림이 적합하다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 파라미터가 PT SEI 메시지와 관련되는 액세스 단위(AU)에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, PT SEI 메시지가 PT SEI 메시지와 관련되는 AU에서의 디코딩 단위의 개수 및 PT SEI 메시지와 관련되는 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(NAL) 단위의 개수를 명시한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(ID)를 제공하는 DUI SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 제거 지연 정보가 DUI SEI 메시지에 포함되는 최상위 서브레이어의 시간 ID를 DUI SEI 메시지가 명시한다는 것을 규정한다.

제3 양태는, 코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 수신하도록 구성되는 수신기; 수신기에 커플링되는 메모리 - 메모리는 명령어를 저장함 - ; 및 메모리에 커플링되는 프로세서 - 프로세서는, 디코딩된 픽처를 획득하기 위해 명령어를 실행하여 디코딩 디바이스로 하여금 비트스트림으로부터의 코딩된 픽처를 디코딩하게 하도록 구성됨 - 를 포함하는 디코딩 디바이스에 관한 것이다.

디코딩 디바이스는, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, 두 개의 디코딩 단위의 CPB 제거 시간 사이에서 CPB 파라미터가 지속 기간을 명시한다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, PT SEI 메시지와 관련되는 액세스 단위(AU)에서의 디코딩 단위의 개수를 명시하는 PT SEI 메시지이다는 것, 및 CPB 파라미터가 PT SEI 메시지와 관련되는 AU에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함한다는 것을 규정한다.

제4 양태는, 명령어를 포함하는 메모리; 메모리에 커플링되는 프로세서 - 프로세서는 명령어를 구현하여, 인코딩 디바이스로 하여금: 코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 생성하게 하도록; 비트스트림이 적합한지의 여부를 결정하기 위해 CPB 파라미터를 사용하여 서브레이어에 대한 DU 기반의 HRD 동작을 수행하게 하도록 구성됨 - ; 및 프로세서에 커플링되는 송신기 - 송신기는, DU 기반의 HRD 동작의 수행에 기초하여 비트스트림이 적합한 경우 비디오 디코더를 향해 비디오 비트스트림을 송신하도록 구성됨 - 를 포함하는 인코딩 디바이스에 관한 것이다.

인코딩 디바이스는 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, SEI 메시지가, 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI 네트워크 추상화 레이어(NAL) 단위의 시간 식별자(temporal identifier; ID)를 제공하는 DUI SEI 메시지이다는 것을 규정한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, CPB 제거 지연 정보가 DUI SEI 메시지에 포함되는 최상위 서브레이어의 시간 식별자(ID)를 DUI SEI 메시지가 명시한다는 것을 규정한다.

제5 양태는 코딩 장치에 관한 것이다. 코딩 장치는, 인코딩할 픽처를 수신하도록 또는 디코딩할 비트스트림을 수신하도록 구성되는 수신기; 수신기에 커플링되는 송신기 - 송신기는 비트스트림을 디코더로 송신하도록 또는 디코딩된 이미지를 디스플레이로 송신하도록 구성됨 - ; 수신기 또는 송신기 중 적어도 하나에 커플링되는 메모리 - 메모리는 명령어를 저장하도록 구성됨 - ; 및 메모리에 커플링되는 프로세서 - 프로세서는 본원에서 개시되는 방법 중 임의의 것을 수행하기 위해 메모리에 저장되는 명령어를 실행하도록 구성됨 - 를 포함한다.

코딩 장치는, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

옵션 사항으로, 전술한 양태 중 임의의 것에서, 양태의 다른 구현예는, 디코딩된 픽처를 디스플레이하도록 구성되는 디스플레이를 제공한다.

제6 양태는 시스템에 관한 것이다. 시스템은 인코더; 및 인코더와 통신하는 디코더를 포함하되, 인코더 또는 디코더는 본원에서 개시되는 디코딩 디바이스, 인코딩 디바이스, 또는 코딩 장치를 포함한다.

시스템은, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

제7 양태는 코딩하기 위한 수단에 관한 것이다. 코딩하기 위한 수단은, 인코딩할 픽처를 수신하도록 또는 디코딩할 비트스트림을 수신하도록 구성되는 수신 수단; 수신 수단에 커플링되는 송신 수단 - 송신 수단은 비트스트림을 디코딩 수단으로 송신하도록 또는 디코딩된 이미지를 디스플레이 수단으로 송신하도록 구성됨 - ; 수신 수단 또는 송신 수단 중 적어도 하나에 커플링되는 저장 수단 - 저장 수단은 명령어를 저장하도록 구성됨 - ; 및 저장 수단에 커플링되는 프로세싱 수단 - 프로세싱 수단은 저장 수단에 저장되는 명령어를 실행하여 본원에서 개시되는 방법 중 임의의 것을 수행하도록 구성됨 - 를 포함한다.

코딩하기 위한 수단은, 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 기술을 제공한다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

명확화의 목적을 위해, 전술한 실시예 중 임의의 하나는 다른 전술한 실시예 중 임의의 하나 이상과 조합되어 본 개시의 범위 내에 있는 새로운 실시예를 생성할 수도 있다.

이들 및 다른 구성들은 첨부의 도면 및 청구범위와 연계하여 취해지는 다음의 상세한 설명으로부터 더욱 명확하게 이해될 것이다.

본 개시의 더욱 완전한 이해를 위해, 이제, 첨부의 도면 및 상세한 설명과 관련하여 취해지는 다음의 간략한 설명에 대한 참조가 이루어지는데, 첨부의 도면 및 상세한 설명에서 같은 참조 번호는 같은 부분을 나타낸다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 플로우차트이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 예시적인 가상 참조 디코더(HRD)를 예시하는 개략도이다.
도 6은 인터 레이어 예측을 위해 구성되는 예시적인 다중 레이어 비디오 시퀀스를 예시하는 개략도이다.
도 7은 시간적 스케일러빌러티를 위해 구성되는 예시적인 다중 레이어 비디오 시퀀스를 예시하는 개략도이다.
도 8은 예시적인 비트스트림을 예시하는 개략도이다.
도 9는 코딩된 비디오 비트스트림을 디코딩하는 방법의 실시예이다.
도 10은 비디오 비트스트림을 인코딩하는 방법의 실시예이다.
도 11은 비디오 코딩 디바이스의 개략도이다.
도 12는 코딩하기 위한 수단의 실시예의 개략도이다.

하나 이상의 실시예의 예시적인 구현예가 하기에서 제공되지만, 개시되는 시스템 및/또는 방법은, 현재 공지되어 있든 또는 존재하고 있든 간에, 임의의 개수의 기술을 사용하여 구현될 수도 있다는 것이 최초부터 이해되어야 한다. 본 개시는, 본원에서 예시되고 설명되는 예시적인 설계 및 구현예를 비롯한, 하기에서 예시되는 예시적인 구현예, 도면, 및 기술로 어떤 식으로든 제한되어서는 안되며, 첨부된 청구범위의 범위 내에서, 덧붙여, 그들의 등가물의 전체 범위 내에서 수정될 수도 있다.

다음의 용어는 본원에서 반대되는 맥락에서 사용되지 않는 한 다음과 같이 정의된다. 구체적으로, 다음의 정의는 본 개시에 추가적인 명확성을 제공하도록 의도된다. 그러나, 용어는 상이한 맥락에서 상이하게 설명될 수도 있다. 따라서, 다음의 정의는 보충으로서 간주되어야 하며 본원에서 그러한 용어에 대해 제공되는 설명의 임의의 다른 정의를 제한하는 것으로서 간주되어서는 안된다.

비트스트림은 인코더와 디코더 사이의 송신을 위해 압축되는 비디오 데이터를 포함하는 비트의 시퀀스이다. 인코더는 비디오 데이터를 비트스트림으로 압축하기 위해 인코딩 프로세스를 활용하도록 구성되는 디바이스이다. 디코더는 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하기 위해 디코딩 프로세스를 활용하도록 구성되는 디바이스이다. 픽처는, 프레임 또는 그 필드를 생성하는 루마(luma) 샘플의 어레이 및/또는 크로마(chroma) 샘플의 어레이이다. 인코딩 또는 디코딩되고 있는 픽처는 논의의 명확화를 위해 현재 픽처로서 지칭될 수 있다. 네트워크 추상화 레이어(NAL) 단위는, 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload; RBSP)의 형태의 데이터, 데이터의 타입의 지시(indication), 및 소망에 따라 산재되는 에뮬레이션 방지 바이트를 포함하는 신택스 구조이다. 비디오 코딩 레이어(video coding layer; VCL) NAL 단위는, 픽처의 코딩된 슬라이스와 같은 비디오 데이터를 포함하도록 코딩되는 NAL 단위이다. 비 VCL NAL 단위(non-VCL NAL unit)는, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 다른 동작을 지원하는 신택스 및/또는 파라미터와 같은 비 비디오 데이터(non-video data)를 포함하는 NAL 단위이다. 액세스 단위(AU)는 명시된 분류 규칙에 따라 서로 관련되며 하나의 특정한 출력 시간에 속하는 NAL 단위의 세트이다. 디코딩 단위(DU)는 AU 또는 AU 및 관련된 비 VCL NAL 단위의 서브세트이다. 레이어는, 명시된 특성(예를 들면, 공통 해상도, 프레임 레이트, 이미지 사이즈, 등등) 및 관련된 비 VCL NAL 단위를 공유하는 VCL NAL 단위의 세트이다. 디코딩 순서는, 신택스 엘리먼트가 디코딩 프로세스에 의해 프로세싱되는 순서이다. 비디오 파라미터 세트(VPS)는 전체 비디오에 관련되는 파라미터를 포함하는 데이터 단위이다.

시간적 스케일러블 비트스트림(temporal scalable bitstream)은 다양한 시간 해상도/프레임 레이트를 제공하는 다수의 레이어에서 코딩되는 비트스트림이다(예를 들면, 각각의 레이어는 상이한 프레임 레이트를 지원하도록 코딩된다). 서브레이어는, 특정한 시간 식별자 값을 갖는 VCL NAL 단위 및 관련된 비 VCL NAL 단위를 포함하는 시간적 스케일러블 비트스트림의 시간적 스케일러블 레이어이다. 예를 들면, 시간적 서브레이어는 명시된 프레임 레이트와 관련되는 비디오 데이터를 포함하는 레이어이다. 서브레이어 표현은 특정한 서브레이어 및 하위 서브레이어(lower sublayer)의 NAL 단위를 포함하는 비트스트림의 서브세트이다. 그러므로, 명시된 프레임 레이트를 갖는 비디오 시퀀스로 나타나도록 디코딩될 수 있는 서브레이어 표현을 달성하기 위해, 하나 이상의 시간적 서브레이어가 결합될 수도 있다. 출력 레이어의 세트(OLS)는, 하나 이상의 레이어가 출력 레이어(들)로서 명시되는 레이어의 세트이다. 출력 레이어는 (예를 들면, 디스플레이로의) 출력을 위해 지정되는 레이어이다. OLS 인덱스는 대응하는 OLS를 고유하게 식별하는 인덱스이다. 제로 번째(0 번째) OLS는 최하위 레이어(lowest layer)(최하위 레이어 식별자를 갖는 레이어)만을 포함하고 그러므로 출력 레이어만을 포함하는 OLS이다. 시간 식별자(ID)는 데이터가 비디오 시퀀스의 시간 위치에 대응한다는 것을 나타내는 데이터 엘리먼트이다. 서브 비트스트림(sub-bitstream) 추출 프로세스는, 타깃 OLS 인덱스 및 타깃 최상위 시간 ID에 의해 결정되는 바와 같은 타깃 세트에 속하지 않는 비트스트림으로부터 NAL 단위를 제거하는 프로세스이다. 서브 비트스트림 추출 프로세스는, 타깃 세트의 일부인 비트스트림으로부터 NAL 단위를 포함하는 출력 서브 비트스트림으로 귀결된다.

HRD는 인코더에 대해 동작하는 디코더 모델이다. HRD는, 명시된 제약을 가지고 적합성을 검증하기 위해, 인코딩 프로세스에 의해 생성되는 비트스트림의 가변성을 검사한다. 비트스트림 적합성 테스트는, 인코딩된 비트스트림이 다기능 비디오 코딩(Versatile Video Coding; VVC)과 같은 표준을 준수하는지의 여부를 결정하기 위한 테스트이다. HRD 파라미터는 HRD의 동작 조건을 초기화 및/또는 정의하는 신택스 엘리먼트이다. 시퀀스 레벨 HRD 파라미터는 전체 코딩된 비디오 시퀀스에 적용되는 HRD 파라미터이고, 한편 픽처 레벨 HRD 파라미터는 코딩된 비디오 시퀀스의 픽처에 적용되는 HRD 파라미터이다. 최대 HRD 시간 ID(Htid)는, HRD 파라미터가 OLS HRD 파라미터의 i 번째 세트에 포함되는 최상위 서브레이어 표현의 시간 ID를 명시한다. 동작 포인트(operation point; OP)는 OLS 인덱스와 최상위 시간 ID에 의해 식별되는 OLS의 시간적 서브세트이다. 코딩된 픽처 버퍼(CPB)는, 비트스트림 적합성 검증 동안의 사용을 위해 코딩된 픽처를 디코딩 순서대로 포함하는 HRD의 선입선출(first-in first-out) 버퍼이다. 디코딩된 픽처 버퍼(decoded picture buffer; DPB)는 참조, 출력 재정렬, 및/또는 출력 지연을 위해 디코딩된 픽처를 유지하기 위한 버퍼이다.

보충 향상 정보(SEI) 메시지는, 디코딩된 픽처의 샘플의 값을 결정하기 위해 디코딩 프로세스에 의해 필요로 되지 않는 정보를 전달하는 명시된 의미론을 갖는 신택스 구조이다. 버퍼링 기간(buffering period; BP) SEI 메시지는, CPB를 관리하기 위해 HRD를 초기화하기 위한 HRD 파라미터를 포함하는 SEI 메시지이다. 픽처 타이밍(picture timing; PT) SEI 메시지는, CPB 및/또는 DPB에서 AU에 대한 전달 정보를 관리하기 위한 HRD 파라미터를 포함하는 SEI 메시지이다. 디코딩 단위 정보(DUI) SEI 메시지는, CPB 및/또는 DPB에서 DU에 대한 전달 정보를 관리하기 위한 HRD 파라미터를 포함하는 SEI 메시지이다.

CPB 제거 지연은, 대응하는 현재 AU가, 제거 및 DPB로의 출력 이전에 CPB에 남아 있을 수 있는 시간의 기간이다. 초기 CPB 제거 지연은 비트스트림, OLS, 및/또는 레이어에서의 각각의 픽처, AU, 및/또는 DU에 대한 디폴트 CPB 제거 지연이다. CPB 제거 오프셋은 CPB에서 대응하는 AU의 경계를 결정하기 위해 사용되는 CPB 내의 위치이다. 초기 CPB 제거 오프셋은 비트스트림, OLS, 및/또는 레이어에서의 각각의 픽처, AU, 및/또는 DU와 관련되는 디폴트 CPB 제거 오프셋이다. 디코딩된 픽처 버퍼(DPB) 출력 지연 정보는, 대응하는 AU가 출력 이전에 DPB에 남아 있을 수 있는 시간의 기간이다. CPB 제거 지연 정보는 CPB로부터 대응하는 DU의 제거에 관련되는 정보이다. 전달 스케줄은, CPB 및/또는 DPB와 같은 기억 장소로의 및/또는 기억 장소로부터의 비디오 데이터의 전달을 위한 타이밍을 명시한다.

시간적 서브레이어의 최대 개수는, 초기 CPB 제거 지연 및 초기 CPB 제거 오프셋이 BP SEI 메시지에서 나타내어지는 서브레이어의 최대 개수이다. 공통 CPB 제거 지연 증분은, 픽처 타이밍 SEI 메시지와 관련되는 AU의 디코딩 순서에서의 임의의 두 개의 연속적의 DU의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱(clock sub-tick) 단위로 명시한다. 공통 CPB 제거 지연 증분은, 가상 스트림 스케줄러(hypothetical stream scheduler; HSS)에 대한 CPB로의 디코딩 단위 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다.

디코딩 단위의 개수는, 픽처 타이밍 SEI 메시지가 관련되는 AU에서의 DU의 개수를 명시한다. NAL 단위의 개수는 PT SEI 메시지가 관련되는 AU의 i 번째 DU에서의 NAL 단위의 개수를 명시한다. 공통 CPB 제거 지연 플래그는, 공통 CPB 제거 지연 증분의 신택스 엘리먼트가 PT SEI 메시지에서 존재하는지의 여부를 명시한다.

CPB 제거 지연 증분은, PT SEI 메시지와 관련되는 AU에서, 디코딩 순서에서, (i+1) 번째 DU와 i 번째 DU의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱의 단위로 명시한다.

VPS 최대 서브레이어 마이너스 1(vps_max_sublayers_minus1) 신택스 엘리먼트는, VPS에 의해 명시되는 레이어에서 존재할 수도 있는 시간적 서브레이어의 최대 개수를 명시하는 신택스 엘리먼트이다.

다음의 두문자어(acronym), 액세스 단위(Access Unit; AU), 코딩 트리 블록(Coding Tree Block; CTB), 코딩 트리 단위(Coding Tree Unit; CTU), 코딩 단위(Coding Unit; CU), 코딩된 레이어 비디오 시퀀스(Coded Layer Video Sequence; CLVS), 코딩된 레이어 비디오 시퀀스 시작(Coded Layer Video Sequence Start; CLVSS), 코딩된 비디오 시퀀스(Coded Video Sequence; CVS), 코딩된 비디오 시퀀스 시작(Coded Video Sequence Start; CVSS), 공동 비디오 전문가 팀(Joint Video Expert Team; JVET), 가상 참조 디코더(Hypothetical Reference Decoder; HRD), 모션 제한 타일 세트(Motion Constrained Tile Set; MCTS), 최대 전송 단위(Maximum Transfer Unit; MTU), 네트워크 추상화 레이어(Network Abstraction Layer; NAL), 출력 레이어 세트(Output Layer Set; OLS), 픽처 순서 카운트(Picture Order Count; POC), 랜덤 액세스 포인트(Random Access Point; RAP), 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload; RBSP), 시퀀스 파라미터 세트(Sequence Parameter Set; SPS), 비디오 파라미터 세트(Video Parameter Set; VPS), 다기능 비디오 코딩(Versatile Video Coding; VVC)이 본원에서 사용된다.

데이터의 손실을 최소화하면서 비디오 파일의 사이즈를 감소시키기 위해, 많은 비디오 압축 기술이 활용될 수 있다. 예를 들면, 비디오 압축 기술은, 비디오 시퀀스에서 데이터 중복성을 감소 또는 제거하기 위해, 공간적(예를 들면, 인트라 픽처(intra-picture)) 예측 및/또는 시간적(예를 들면, 인터 픽처(inter-picture)) 예측을 수행하는 것을 포함할 수 있다. 블록 기반의 비디오 코딩의 경우, 비디오 슬라이스(예를 들면, 비디오 픽처 또는 비디오 픽처의 일부)는, 트리블록, 코딩 트리 블록(coding tree block; CTB), 코딩 트리 단위(CTU), 코딩 단위(CU), 및/또는 코딩 노드로도 또한 지칭될 수도 있는 비디오 블록으로 구획될 수도 있다. 픽처의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간적 예측을 사용하여 코딩된다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간적 예측 또는 다른 참조 픽처의 참조 샘플에 대한 시간적 예측을 활용하는 것에 의해 코딩될 수도 있다. 픽처는 프레임 및/또는 이미지로서 지칭될 수도 있고, 참조 픽처는 참조 프레임 및/또는 참조 이미지로서 지칭될 수도 있다. 공간적 또는 시간적 예측은 이미지 블록을 나타내는 예측 블록으로 귀결된다. 잔차 데이터는 원래의 이미지 블록과 예측 블록 사이의 픽셀 차이를 나타낸다. 따라서, 인터 코딩된 블록은, 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 모션 벡터 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가적인 압축을 위해, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환될 수도 있다. 이들은, 양자화될 수도 있는 잔차 변환 계수로 귀결된다. 양자화된 변환 계수는 초기에 이차원 어레이로 배열될 수도 있다. 양자화된 변환 계수는 변환 계수의 일차원 벡터를 생성하기 위해 스캐닝될 수도 있다. 더욱더 많은 압축을 달성하기 위해 엔트로피 코딩이 적용될 수도 있다. 그러한 비디오 압축 기술은 하기에서 더욱 상세하게 논의된다.

인코딩된 비디오가 정확하게 디코딩될 수 있는 것을 보장하기 위해, 비디오는 대응하는 비디오 코딩 표준에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준은, 국제전기통신연합(International Telecommunication Union; ITU) 표준화 부문(ITU-T) H.261, 국제 표준화 기구/국제 전기 기술 위원회(International Organization for Standardization/International Electrotechnical Commission; ISO/IEC) 동영상 전문가 그룹(Motion Picture Experts Group; MPEG)-1 파트 2, ITU-T H.262 또는 ISO/IEC MPEG-2 파트 2, ITU-T H.263, ISO/IEC MPEG-4 파트 2, 고급 비디오 코딩(Advanced Video Coding; AVC) - ITU-T H.264 또는 ISO/IEC MPEG-4 파트 10으로서 또한 알려져 있음 - , 및 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) - ITU-T H.265 또는 MPEG-H 파트 2로서 또한 알려져 있음 - 을 포함한다. AVC는, 스케일러블 비디오 코딩(Scalable Video Coding; SVC), 멀티뷰 비디오 코딩(Multiview Video Coding; MVC) 및 멀티뷰 비디오 코딩 플러스 깊이(Multiview Video Coding plus Depth; MVC+D), 및 삼차원(3D) AVC(3D-AVC)와 같은 확장안을 포함한다. HEVC는, 스케일러블 HEVC(Scalable HEVC; SHVC), 멀티뷰 HEVC(Multiview HEVC; MV-HEVC), 및 3D HEVC(3D-HEVC)와 같은 확장안을 포함한다. ITU-T 및 ISO/IEC의 공동 비디오 전문가 팀(JVET)은 다기능 비디오 코딩(VVC)으로서 또한 지칭되는 비디오 코딩 표준을 개발하기 시작하였다. VVC는 JVET-O2001-v14를 포함하는 작업 초안(Working Draft; WD)에 포함된다.

최신 VVC 초안은 픽처 타이밍(PT) SEI 메시지, 디코딩 단위 정보(DUI) SEI 메시지, AU 기반의 HRD 동작(예를 들면, 전체 AU에 적용되는 HRD 동작), 및 디코딩 단위(DU) 기반의 HRD 동작(예를 들면, AU에서 하나의 디코딩 단위 또는 픽처에 적용되는 HRD 동작)에 대한 세부 사항을 제공한다.

레이어 및 서브레이어 둘 모두에 대한 AU 기반의 HRD 동작에 필요한 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터는 PT SEI 메시지에서 시그널링된다. 레이어에 대한 DU 기반의 HRD 동작에 필요한 픽처 레벨 CPB 파라미터는, PT SEI 메시지 또는 DUI SEI 메시지 중 어느 하나에서 시그널링된다. 그러나, 서브레이어에 대한 DU 기반의 HRD 동작에 필요한 픽처 레벨 CPB 파라미터가 PT SEI 메시지 및 DUI SEI 메시지에는 누락되어 있다.

서브레이어에 대한 DU 기반의 HRD 동작에 대응하는 픽처 레벨 CPB 파라미터가 SEI 메시지에서 포함되는 것을 보장하는 기술이 본원에서 개시된다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 플로우차트이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 사이즈를 감소시키기 위해 다양한 메커니즘을 활용하는 것에 의해 비디오 신호를 압축한다. 더 작은 파일 사이즈는, 관련된 대역폭 오버헤드를 감소시키면서, 압축된 비디오 파일이 유저를 향해 송신되는 것을 허용한다. 그 다음, 디코더는, 엔드 유저에 대한 디스플레이를 위해 원래의 비디오 신호를 재구성하기 위해, 압축된 비디오 파일을 디코딩한다. 디코딩 프로세스는 디코더가 비디오 신호를 일치하게 재구성하는 것을 허용하기 위해 인코딩 프로세스를 일반적으로 미러링한다.

단계(101)에서, 비디오 신호는 인코더에 입력된다. 예를 들면, 비디오 신호는 메모리에 저장되는 비압축 비디오 파일일 수도 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡쳐 디바이스에 의해 캡쳐될 수도 있고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수도 있다. 비디오 파일은 오디오 컴포넌트와 비디오 컴포넌트 둘 모두를 포함할 수도 있다. 비디오 컴포넌트는, 시퀀스에서 봤을 때, 모션의 시각적 인상을 제공하는 일련의 이미지 프레임을 포함한다. 프레임은 본원에서 루마 성분(또는 루마 샘플)로서 지칭되는 광, 및 크로마 성분(또는 컬러 샘플)으로서 지칭되는 컬러의 관점에서 표현되는 픽셀을 포함한다. 몇몇 예에서, 프레임은 삼차원 뷰잉(three dimensional viewing)을 지원하기 위해 깊이 값을 또한 포함할 수도 있다.

단계(103)에서, 비디오는 블록으로 구획된다. 구획화(partitioning)는 압축을 위해 각각의 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 것을 포함한다. 예를 들면, 고효율 비디오 코딩(HEVC)(H.265 및 MPEG-H 파트 2로서 또한 알려져 있음)에서, 프레임은, 먼저, 사전 정의된 사이즈(예를 들면, 64 픽셀×64 픽셀)의 블록인 코딩 트리 단위(CTU)로 분할될 수 있다. CTU는 루마 및 크로마 샘플 둘 모두를 포함한다. CTU를 블록으로 분할하기 위해, 그 다음, 추가적인 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화하기 위해, 코딩 트리가 활용될 수도 있다. 예를 들면, 프레임의 루마 성분은, 개개의 블록이 상대적으로 균질한 조명 값을 포함할 때까지, 세분화될 수도 있다. 게다가, 프레임의 크로마 성분은, 개개의 블록이 상대적으로 균질한 컬러 값을 포함할 때까지, 세분화될 수도 있다. 따라서, 구획화 메커니즘은 비디오 프레임의 콘텐츠에 따라 변한다.

단계(105)에서, 단계(103)에서 구획되는 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 활용된다. 예를 들면, 인터 예측 및/또는 인트라 예측이 활용될 수도 있다. 인터 예측은, 공통 장면의 오브젝트가 연속 프레임에서 나타나는 경향이 있다는 사실을 이용하도록 설계된다. 따라서, 참조 프레임의 오브젝트를 묘사하는 블록은 인접 프레임에서 반복적으로 설명될 필요가 없다. 구체적으로, 테이블과 같은 오브젝트는 다수의 프레임에 걸쳐 일정한 포지션에 남아 있을 수도 있다. 그러므로 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 다수의 프레임에 걸쳐 오브젝트를 매치시키기 위해 패턴 매칭 메커니즘이 활용될 수도 있다. 게다가, 움직이는 오브젝트는, 예를 들면, 오브젝트 움직임 또는 카메라 움직임에 기인하여, 다수의 프레임에 걸쳐 표현될 수도 있다. 특정한 예로서, 비디오는 다수의 프레임에 걸쳐 스크린을 가로질러 움직이는 자동차를 보여줄 수도 있다. 모션 벡터는 그러한 움직임을 설명하기 위해 활용될 수 있다. 모션 벡터는, 한 프레임에서의 오브젝트의 좌표로부터 참조 프레임에서의 오브젝트의 좌표로의 오프셋을 제공하는 이차원 벡터이다. 그러한 만큼, 인터 예측은 현재 프레임의 이미지 블록을, 참조 프레임의 대응하는 블록으로부터의 오프셋을 나타내는 모션 벡터의 세트로서 인코딩할 수 있다.

인트라 예측은 공통 프레임의 블록을 인코딩한다. 인트라 예측은 루마 및 크로마 성분이 프레임에서 클러스터화되는 경향이 있다는 사실을 이용한다. 예를 들면, 트리의 한 부분에 있는 녹색의 패치는 녹색의 유사한 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다수의 방향성 예측 모드(예를 들면, HEVC에서 33 개), 평면 모드, 및 직류(direct current; DC) 모드를 활용한다. 방향성 모드는, 현재 블록이 대응하는 방향에서 이웃 블록의 샘플과 유사/동일하다는 것을 나타낸다. 평면 모드는, 행/열(예를 들면, 평면)을 따르는 일련의 블록이 행의 가장자리에 있는 이웃 블록에 기초하여 보간될 수 있다는 것을 나타낸다. 평면 모드는, 사실상, 값을 변경함에 있어서 상대적으로 일정한 기울기를 활용하는 것에 의해 행/열에 걸친 광/컬러의 부드러운 전이를 나타낸다. DC 모드는 경계 평활화를 위해 활용되며, 블록이, 방향성 예측 모드의 각도 방향과 관련되는 모든 이웃 블록의 샘플과 관련되는 평균 값과 유사/동일하다는 것을 나타낸다. 따라서, 인트라 예측 블록은 이미지 블록을, 실제 값 대신, 다양한 관계형 예측 모드 값으로서 표현할 수 있다. 게다가, 인터 예측 블록은 이미지 블록을, 실제 값 대신, 모션 벡터 값으로서 나타낼 수 있다. 어느 경우든, 예측 블록은, 몇몇 경우에, 이미지 블록을 정확하게 나타내지 않을 수도 있다. 임의의 차이는 잔차 블록에 저장된다. 파일을 추가로 압축하기 위해, 잔차 블록에 변환이 적용될 수도 있다.

단계(107)에서, 다양한 필터링 기술이 적용될 수도 있다. HEVC에서, 필터는 루프내 필터링 스킴(in-loop filtering scheme)에 따라 적용된다. 상기에서 논의되는 블록 기반의 예측은 디코더에서 농담이 고르지 않은(blocky) 이미지의 생성을 초래할 수도 있다. 게다가, 블록 기반의 예측 스킴은 블록을 인코딩할 수도 있고, 그 다음, 참조 블록으로서의 나중의 사용을 위해 인코딩된 블록을 재구성할 수도 있다. 루프내 필터링 스킴은 노이즈 억제 필터, 블록화 제거 필터(de-blocking filter), 적응적 루프 필터, 및 샘플 적응적 오프셋(sample adaptive offset; SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이들 필터는, 인코딩된 파일이 정확하게 재구성될 수 있도록 그러한 차단 아티팩트(artifact)를 완화한다. 게다가, 재구성된 참조 블록에 기초하여 인코딩되는 후속하는 블록에서 아티팩트가 추가적인 아티팩트를 생성할 가능성이 적도록, 이들 필터는 재구성된 참조 블록에서 아티팩트를 완화한다.

일단 비디오 신호가 구획, 압축, 및 필터링되면, 결과적으로 나타나는 데이터는, 단계(109)에서, 비트스트림에서 인코딩된다. 비트스트림은 상기에서 논의되는 데이터뿐만 아니라 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 소망되는 임의의 시그널링 데이터를 포함한다. 예를 들면, 그러한 데이터는 구획 데이터, 예측 데이터, 잔차 블록, 및 디코더에 코딩 명령어를 제공하는 다양한 플래그를 포함할 수도 있다. 비트스트림은 요청시 디코더를 향한 송신을 위해 메모리에 저장될 수도 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수도 있다. 비트스트림 생성은 반복적인 프로세스이다. 따라서, 단계(101, 103, 105, 107, 및 109)는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시적으로 발생할 수도 있다. 도 1에서 도시되는 순서는 논의의 명확성 및 용이성을 위해 제시되며, 비디오 코딩 프로세스를 특정한 순서로 제한하도록 의도되지는 않는다.

디코더는 비트스트림을 수신하고 단계(111)에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 스킴을 활용한다. 디코더는 단계(111)에서 프레임에 대한 구획을 결정하기 위해 비트스트림으로부터의 신택스 데이터를 활용한다. 구획화는 단계(103)의 블록 구획화의 결과와 매치해야 한다. 이제, 단계(111)에서 활용되는 바와 같은 엔트로피 인코딩/디코딩이 설명된다. 인코더는, 입력 이미지(들)에서의 값의 공간적 위치 결정에 기초하여 여러 가지 가능한 선택지로부터 블록 구획화 스킴을 선택하는 것과 같은, 압축 프로세스 동안 많은 선택을 행한다. 정확한 선택을 시그널링하는 것은 많은 개수의 빈(bin)을 활용할 수도 있다. 본원에서 사용되는 바와 같이, 빈은 변수로서 취급되는 이진 값(예를 들면, 컨텍스트에 따라 변할 수도 있는 비트 값)이다. 엔트로피 코딩은, 허용 가능한 옵션의 세트를 남기면서, 특정한 경우에 대해 명확하게 실행 가능하지 않은 임의의 옵션을 인코더가 폐기하는 것을 허용한다. 그 다음, 각각의 허용 가능한 옵션은 코드 워드를 할당받는다. 코드 워드의 길이는 허용 가능한 옵션의 개수에 기초한다(예를 들면, 두 개의 옵션의 경우 하나의 빈, 세 개 내지 네 개의 옵션의 경우 두 개의 빈, 등등). 그 다음, 인코더는 선택된 옵션에 대한 코드 워드를 인코딩한다. 이 스킴은, 모든 가능한 옵션의 잠재적으로 큰 세트로부터 선택하는 것을 고유하게 나타내는 것과는 대조적으로, 허용 가능한 옵션의 작은 서브세트로부터의 선택을 고유하게 나타내기 위해 소망되는 만큼 코드 워드가 크기 때문에, 코드 워드의 사이즈를 감소시킨다. 그 다음, 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션의 세트를 결정하는 것에 의해 선택을 디코딩한다. 허용 가능한 옵션의 세트를 결정하는 것에 의해, 디코더는 코드 워드를 판독할 수 있고 인코더에 의해 만들어지는 선택을 결정할 수 있다.

단계(113)에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 잔차 블록을 생성하기 위해 역변환을 활용한다. 그 다음, 디코더는, 구획화에 따라 이미지 블록을 재구성하기 위해, 잔차 블록 및 대응하는 예측 블록을 활용한다. 예측 블록은, 단계(105)에서, 인코더에서 생성되는 바와 같은 인트라 예측 블록 및 인터 예측 블록 둘 모두를 포함할 수도 있다. 그 다음, 재구성된 이미지 블록은, 단계(111)에서 결정되는 구획화 데이터에 따라 재구성된 비디오 신호의 프레임에 배치된다. 단계(113)에 대한 신택스는 상기에서 논의되는 바와 같이 엔트로피 코딩을 통해 비트스트림에서 또한 시그널링될 수도 있다.

단계(115)에서, 재구성된 비디오 신호의 프레임에 대해, 인코더에서의 단계(107)와 유사한 방식으로, 필터링이 수행된다. 예를 들면, 블록화 아티팩트(blocking artifact)를 제거하기 위해, 노이즈 억제 필터, 블록화 제거 필터, 적응적 루프 필터, 및 SAO 필터가 프레임에 적용될 수도 있다. 일단 프레임이 필터링되면, 비디오 신호는 엔드 유저에 의한 뷰잉을 위해 단계(117)에서 디스플레이로 출력될 수 있다.

도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하기 위한 기능성을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 둘 모두에서 활용되는 컴포넌트를 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계(101 및 103)와 관련하여 논의되는 바와 같이 비디오 신호를 수신 및 구획하는데, 이것은 구획된 비디오 신호(201)를 초래한다. 코덱 시스템(200)은, 그 다음, 방법(100)의 단계(105, 107, 및 109)와 관련하여 논의되는 바와 같이 인코더로서 작용할 때 구획된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 작용할 때, 코덱 시스템(200)은 동작 방법(100)의 단계(111, 113, 115, 및 117)와 관련하여 논의되는 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 루프내 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223), 및 헤더 포맷팅(header formatting) 및 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding; CABAC) 컴포넌트(231)를 포함한다. 그러한 컴포넌트는 도시되는 바와 같이 커플링된다. 도 2에서, 검은색 라인은 인코딩/디코딩될 데이터의 이동을 나타내고, 한편, 파선(dashed line)은 다른 컴포넌트의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 컴포넌트 모두는 인코더에서 존재할 수도 있다. 디코더는 코덱 시스템(200)의 컴포넌트의 서브세트를 포함할 수도 있다. 예를 들면, 디코더는 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역변환 컴포넌트(229), 루프내 필터 컴포넌트(225), 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함할 수도 있다. 이들 컴포넌트가 이제 설명된다.

구획된 비디오 신호(201)는 코딩 트리에 의해 픽셀 블록으로 구획된 캡쳐된 비디오 시퀀스이다. 코딩 트리는 픽셀의 블록을 픽셀의 더 작은 블록으로 세분화하기 위해 다양한 분할 모드를 활용한다. 그 다음, 이들 블록은 더 작은 블록으로 추가로 세분화될 수 있다. 블록은 코딩 트리 상의 노드로서 지칭될 수도 있다. 더 큰 부모 노드(parent node)는 더 작은 자식 노드(child node)로 분할된다. 노드가 세분되는 횟수는 노드/코딩 트리의 깊이로서 지칭된다. 분할된 블록은, 몇몇 경우에, 코딩 단위(CU)에 포함될 수 있다. 예를 들면, CU는, CU에 대한 대응하는 신택스 명령어와 함께, 루마 블록, 적색 차이 크로마(Cr) 블록(들), 및 청색 차이 크로마(Cb) 블록(들)을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드는, 노드를, 활용되는 분할 모드에 따라 다양한 형상의 두 개, 세 개, 또는 네 개의 자식 노드로, 각각, 구획하기 위해 활용되는 이진 트리(binary tree; BT), 트리플 트리(triple tree; TT) 및 쿼드트리(quad tree; QT)를 포함할 수도 있다. 구획된 비디오 신호(201)는 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227), 및 압축을 위한 모션 추정 컴포넌트(221)로 포워딩된다.

일반 코더 제어 컴포넌트(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것에 관련되는 결정을 내리도록 구성된다. 예를 들면, 일반 코더 제어 컴포넌트(211)는 비트레이트/비트스트림 사이즈 대 재구성 품질의 최적화를 관리한다. 그러한 결정은 저장 공간/대역폭 이용 가능성 및 이미지 해상도 요청에 기초하여 이루어질 수도 있다. 일반 코더 제어 컴포넌트(211)는 버퍼 언더런 및 오버런 문제를 완화하기 위해 송신 속도를 고려하여 버퍼 활용을 또한 관리한다. 이들 문제를 관리하기 위해, 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트에 의한 구획화, 예측, 및 필터링을 관리한다. 예를 들면, 일반 코더 제어 컴포넌트(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시킬 수도 있거나 또는 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수도 있다. 그러므로, 비디오 신호 재구성 품질을 비트 레이트 문제와 균형을 맞추기 위해, 일반 코더 제어 컴포넌트(211)는 코덱 시스템(200)의 다른 컴포넌트를 제어한다. 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는, 디코더에서의 디코딩을 위한 신호 파라미터로 비트스트림에서 인코딩되도록, 헤더 포맷팅 및 CABAC 컴포넌트(231)로 또한 포워딩된다.

구획된 비디오 신호(201)는 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)로 또한 전송된다. 구획된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수도 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는, 시간적 예측을 제공하기 위해, 하나 이상의 참조 프레임의 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩을 수행한다. 코덱 시스템(200)은, 예를 들면, 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해, 다수의 코딩 패스(coding pass)를 수행할 수도 있다.

모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수도 있지만, 그러나 개념적 목적을 위해 개별적으로 예시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은, 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 모션 벡터는, 예를 들면, 예측 블록에 대한 코딩된 오브젝트의 변위를 나타낼 수도 있다. 예측 블록은, 픽셀 차이의 관점에서, 코딩될 블록과 밀접하게 매치하는 것으로 밝혀지는 블록이다. 예측 블록은 참조 블록으로서 또한 지칭될 수도 있다. 그러한 픽셀 차이는 절대 차이의 합(sum of absolute difference; SAD), 제곱 차이의 합(sum of square difference; SSD), 또는 다른 차이 메트릭에 의해 결정될 수도 있다. HEVC는 CTU, 코딩 트리 블록(CTB), 및 CU를 포함하는 여러 가지 코딩된 오브젝트를 활용한다. 예를 들면, CTU는 CTB로 분할될 수 있는데, CTB는, 그 다음, CU에서의 포함을 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 단위(prediction unit; PU) 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 변환 단위(transform unit; TU)로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는, 레이트 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용하는 것에 의해 모션 벡터, PU, 및 TU를 생성한다. 예를 들면, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다수의 참조 블록, 다수의 모션 벡터, 등등을 결정할 수도 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터, 등등을 선택할 수도 있다. 최상의 레이트 왜곡 특성은, 비디오 재구성의 품질(예를 들면, 압축에 의한 데이터 손실의 양) 및 코딩 효율성(예를 들면, 최종 인코딩의 사이즈) 둘 모두의 균형을 유지한다.

몇몇 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장되는 참조 픽처의 정수 미만(sub-integer) 픽셀 포지션에 대한 값을 계산할 수도 있다. 예를 들면, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 포지션, 1/8 픽셀 포지션, 또는 다른 분수(fractional) 픽셀 포지션의 값을 보간할 수도 있다. 따라서, 모션 추정 컴포넌트(221)는 전체 픽셀 포지션 및 분수 픽셀 포지션에 대한 모션 검색을 수행할 수도 있고 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수도 있다. 모션 추정 컴포넌트(221)는, PU의 포지션을 참조 픽처의 예측 블록의 포지션에 비교하는 것에 의해, 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 계산된 모션 벡터를 모션 데이터로서, 인코딩을 위해, 헤더 포맷팅 및 CABAC 컴포넌트(231)에 출력하고 모션을 모션 보상 컴포넌트(219)로 출력한다.

모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정되는 모션 벡터에 기초하여 예측 블록을 페치하는 것 또는 생성하는 것을 수반할 수도 있다. 다시, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는, 몇몇 예에서, 기능적으로 통합될 수도 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록의 위치를 알아낼 수도 있다. 그 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 감산하여 픽셀 차이 값을 형성하는 것에 의해 잔차 비디오 블록이 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 성분에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 성분 및 루마 성분 둘 모두에 대해 루마 성분에 기초하여 계산되는 모션 벡터를 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 포워딩된다.

구획된 비디오 신호(201)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)로 또한 전송된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에서와 같이, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 고도로 통합될 수도 있지만, 그러나 개념적 목적을 위해 별개로 예시된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는, 상기에서 설명되는 바와 같이, 프레임 사이에서 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 프레임의 블록에 대해 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 몇몇 예에서, 인트라 픽처 추정 컴포넌트(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 그 다음, 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다.

예를 들면, 인트라 픽처 추정 컴포넌트(215)는 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은, 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩되었던 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 에러)의 양뿐만 아니라, 인코딩된 블록을 생성하기 위해 사용되는 비트레이트(예를 들면, 비트의 수)를 일반적으로 결정한다. 어떤 인트라 예측 모드가 인트라 픽처 추정 컴포넌트(215)는 블록에 대해 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 인트라 픽처 추정 컴포넌트(215)는 레이트 왜곡 최적화(rate-distortion optimization; RDO)에 기초한 깊이 모델링 모드(depth modeling mode; DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수도 있다.

인트라 픽처 예측 컴포넌트(217)는, 인코더 상에서 구현될 때 인트라 픽처 추정 컴포넌트(215)에 의해 결정되는 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔차 블록을 생성할 수도 있거나 또는 디코더 상에서 구현될 때 비트스트림으로부터 잔차 블록을 판독할 수도 있다. 잔차 블록은, 매트릭스로서 표현되는, 예측 블록과 원래의 블록 사이의 값에서의 차이를 포함한다. 그 다음, 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 포워딩된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 루마 및 크로마 성분 둘 모두에 대해 동작할 수도 있다.

변환 스케일링 및 양자화 컴포넌트(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 이산 코사인 변환(discrete cosine transform; DCT), 이산 사인 변환(discrete sine transform; DST), 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환(wavelet transform), 정수 변환(integer transform), 하위 대역 변환(sub-band transform) 또는 다른 타입의 변환이 또한 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다. 변환 스케일링 및 양자화 컴포넌트(213)는, 예를 들면, 주파수에 기초하여, 변환된 잔차 정보를 스케일링하도록 또한 구성된다. 그러한 스케일링은, 상이한 주파수 정보가 상이한 세분성(granularity)에서 양자화되도록 잔차 정보에 스케일 팩터(scale factor)를 적용하는 것을 수반하는데, 이것은 재구성된 비디오의 최종 시각적 품질에 영향을 끼칠 수도 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 또한 구성된다. 양자화 프로세스는 계수의 일부 또는 모두와 관련되는 비트 깊이를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정하는 것에 의해 수정될 수도 있다. 몇몇 예에서, 변환 스케일링 및 양자화 컴포넌트(213)는, 그 다음, 양자화된 변환 계수를 포함하는 매트릭스의 스캔을 수행할 수도 있다. 양자화된 변환 계수는 비트스트림에서 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다.

스케일링 및 역변환 컴포넌트(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 컴포넌트(213)의 역 동작을 적용한다. 스케일링 및 역변환 컴포넌트(229)는, 예를 들면, 다른 현재 블록에 대한 예측 블록이 될 수도 있는 참조 블록으로서의 나중의 사용을 위해 잔차 블록을 픽셀 도메인에서 재구성하기 위해, 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는, 나중의 블록/프레임의 모션 추정에서의 사용을 위해 대응하는 예측 블록에 잔차 블록을 다시 추가하는 것에 의해 참조 블록을 계산할 수도 있다. 필터는 스케일링, 양자화, 및 변환 동안 생성되는 아티팩트를 완화하기 위해 재구성된 참조 블록에 적용된다. 그렇지 않으면, 그러한 아티팩트는, 후속하는 블록이 예측될 때, 부정확한 예측을 야기할 수 있다(그리고 추가적인 아티팩트를 생성할 수도 있음).

필터 제어 분석 컴포넌트(227) 및 루프내 필터 컴포넌트(225)는 필터를 잔차 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들면, 스케일링 및 역변환 컴포넌트(229)로부터의 변환된 잔차 블록은 인트라 픽처 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 결합되어 원래의 이미지 블록을 재구성할 수도 있다. 그 다음 필터가 재구성된 이미지 블록에 적용될 수도 있다. 몇몇 예에서, 필터는, 대신, 잔차 블록에 적용될 수도 있다. 도 2의 다른 컴포넌트에서와 같이, 필터 제어 분석 컴포넌트(227) 및 루프내 필터 컴포넌트(225)는 고도로 통합되어 함께 구현될 수도 있지만, 그러나 개념적 목적을 위해 별개로 묘사된다. 재구성된 참조 블록에 적용되는 필터는 특정한 공간 영역에 적용되며 그러한 필터가 적용되는 방법을 조정하기 위해 다수의 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 그러한 필터가 적용되어야 하는 곳을 결정하기 위해 재구성된 참조 블록을 분석하고 대응하는 파라미터를 설정한다. 그러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)로 포워딩된다. 루프내 필터 컴포넌트(225)는 필터 제어 데이터에 기초하여 그러한 필터를 적용한다. 필터는 블록화 제거 필터, 노이즈 억제 필터, SAO 필터, 및 적응적 루프 필터를 포함할 수도 있다. 그러한 필터는, 예에 따라, 공간/픽셀 도메인에서 (예를 들면, 재구성된 픽셀 블록에 대해) 또는 주파수 도메인에서 적용될 수도 있다.

인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록, 및/또는 예측 블록은, 상기에서 논의되는 바와 같이 모션 추정에서의 나중의 사용을 위해, 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 컴포넌트(223)는 재구성되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 포워딩한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록, 잔차 블록, 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 디바이스일 수도 있다.

헤더 포맷팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트로부터 데이터를 수신하고 디코더를 향한 송신을 위해 그러한 데이터를 코딩된 비트스트림에 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 컴포넌트(231)는, 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위해 다양한 헤더를 생성한다. 게다가, 인트라 예측 및 모션 데이터를 비롯한 예측 데이터뿐만 아니라, 양자화된 변환 계수 데이터 형태의 잔차 데이터가 모두 비트스트림에서 인코딩된다. 최종 비트스트림은 원래의 구획된 비디오 신호(201)를 재구성하기 위해 디코더에 의해 소망되는 모든 정보를 포함한다. 그러한 정보는 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블로서 또한 지칭됨), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 지시, 구획 정보의 지시, 등등을 또한 포함할 수도 있다. 그러한 데이터는 엔트로피 코딩을 활용하는 것에 의해 인코딩될 수도 있다. 예를 들면, 정보는, 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding; CAVLC), CABAC, 신택스 기반의 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding; SBAC), 확률 간격 구획화 엔트로피(probability interval partitioning entropy; PIPE) 코딩, 또는 다른 엔트로피 코딩 기술을 활용하는 것에 의해 인코딩될 수도 있다. 엔트로피 코딩에 후속하여, 코딩된 비트스트림은 다른 디바이스(예를 들면, 비디오 디코더)로 송신될 수도 있거나 또는 나중의 송신 또는 검색을 위해 보관될(archived) 수도 있다.

도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하도록 및/또는 동작 방법(100)의 단계(101, 103, 105, 107, 및/또는 109)를 구현하도록 활용될 수도 있다. 인코더(300)는 입력 비디오 신호를 구획하는데, 구획된 비디오 신호(201)와 실질적으로 유사한 구획된 비디오 신호(301)로 나타나게 된다. 그 다음, 구획된 비디오 신호(301)는 인코더(300)의 컴포넌트에 의해 압축되어 비트스트림으로 인코딩된다.

구체적으로, 구획된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 컴포넌트(317)로 포워딩된다. 인트라 픽처 예측 컴포넌트(317)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 실질적으로 유사할 수도 있다. 구획된 비디오 신호(301)는, 디코딩된 픽처 버퍼 컴포넌트(323)의 참조 블록에 기초한 인터 예측을 위해 모션 보상 컴포넌트(321)로 또한 포워딩된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수도 있다. 인트라 픽처 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록 및 잔차 블록은 잔차 블록의 변환 및 양자화를 위해 변환 및 양자화 컴포넌트(313)로 포워딩된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수도 있다. 변환되고 양자화된 잔차 블록 및 대응하는 예측 블록은 (관련된 제어 데이터와 함께) 비트스트림으로의 코딩을 위해 엔트로피 코딩 컴포넌트(331)로 포워딩된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포맷팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수도 있다.

변환되고 양자화된 잔차 블록 및/또는 대응하는 예측 블록은, 모션 보상 컴포넌트(321)에 의한 사용을 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 컴포넌트(313)로부터 역변환 및 양자화 컴포넌트(329)로 또한 포워딩된다. 역변환 및 양자화 컴포넌트(329)는 스케일링 및 역변환 컴포넌트(229)와 실질적으로 유사할 수도 있다. 루프내 필터 컴포넌트(325)의 루프내 필터는, 예에 따라, 잔차 블록 및/또는 재구성된 참조 블록에도 또한 적용된다. 루프내 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 루프내 필터 컴포넌트(225)와 실질적으로 유사할 수도 있다. 루프내 필터 컴포넌트(325)는 루프내 필터 컴포넌트(225)와 관련하여 논의되는 바와 같이 다수의 필터를 포함할 수도 있다. 필터링된 블록은, 그 다음, 모션 보상 컴포넌트(321)에 의한 참조 블록으로서의 사용을 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수도 있다.

도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하도록 및/또는 동작 방법(100)의 단계(111, 113, 115, 및/또는 117)를 구현하도록 활용될 수도 있다. 디코더(400)는, 예를 들면 인코더(300)로부터, 비트스트림을 수신하고, 엔드 유저에 대한 디스플레이를 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.

비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는, CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 스킴을 구현하도록 구성된다. 예를 들면, 엔트로피 디코딩 컴포넌트(433)는, 비트스트림에서 코드워드로서 인코딩되는 추가적인 데이터를 해석하기 위한 컨텍스트를 제공하기 위해, 헤더 정보를 활용할 수도 있다. 디코딩된 정보는 비디오 신호를 디코딩하기 위해 임의의 소망되는 정보, 예컨대 일반 제어 데이터, 필터 제어 데이터, 구획 정보, 모션 데이터, 예측 데이터, 및 잔차 블록으로부터의 양자화된 변환 계수를 포함한다. 양자화된 변환 계수는 잔차 블록으로의 재구성을 위해 역변환 및 양자화 컴포넌트(429)로 포워딩된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수도 있다.

재구성된 잔차 블록 및/또는 예측 블록은 인트라 예측 동작에 기초한 이미지 블록으로의 재구성을 위해 인트라 픽처 예측 컴포넌트(417)로 포워딩된다. 인트라 픽처 예측 컴포넌트(417)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 유사할 수도 있다. 구체적으로, 인트라 픽처 예측 컴포넌트(417)는 프레임에서 참조 블록을 찾기 위해 예측 모드를 활용하고 인트라 예측된 이미지 블록을 재구성하기 위해 결과에 잔차 블록을 적용한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔차 블록 및 대응하는 인터 예측 데이터는 루프 내 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 포워딩되는데, 이들은 루프내 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)와, 각각, 실질적으로 유사할 수도 있다. 루프내 필터 컴포넌트(425)는 재구성된 이미지 블록, 잔차 블록 및/또는 예측 블록을 필터링하고, 그러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 컴포넌트(421)로 포워딩된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수도 있다. 구체적으로, 모션 보상 컴포넌트(421)는 참조 블록으로부터의 모션 벡터를 활용하여 예측 블록을 생성하고 잔차 블록을 결과에 적용하여 이미지 블록을 재구성한다. 결과적으로 나타나는 재구성된 블록은 루프내 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 또한 포워딩될 수도 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는, 구획 정보를 통해 프레임으로 재구성될 수 있는 추가적인 재구성된 이미지 블록을 계속 저장한다. 그러한 프레임은 시퀀스에 또한 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.

도 5는 예시적인 HRD(500)를 예시하는 개략도이다. HRD(500)는 코덱 시스템(200) 및/또는 인코더(300)와 같은 인코더에서 활용될 수도 있다. HRD(500)는 비트스트림이 디코더(400)와 같은 디코더로 포워딩되기 이전에 방법(100)의 단계(109)에서 생성되는 비트스트림을 검사할 수도 있다. 몇몇 예에서, 비트스트림은 비트스트림이 인코딩됨에 따라 HRD(500)를 통해 연속적으로 포워딩될 수도 있다. 비트스트림의 일부가 관련된 제약을 준수하는 데 실패하는 경우, HRD(500)는, 인코더로 하여금 상이한 메커니즘을 사용하여 비트스트림의 대응하는 섹션을 재인코딩하게 하기 위해 그러한 실패를 인코더에게 나타낼 수 있다.

HRD(500)는 가상 스트림 스케줄러(HSS)(541)를 포함한다. HSS(541)는 가상 전달 메커니즘을 수행하도록 구성되는 컴포넌트이다. 가상 전달 메커니즘은 HRD(500)에 입력되는 비트스트림(551)의 타이밍 및 데이터 흐름과 관련하여 비트스트림 또는 디코더의 적합성을 검사하기 위해 사용된다. 예를 들면, HSS(541)는 인코더로부터 출력되는 비트스트림(551)을 수신할 수도 있고, 비트스트림(551)에 대한 적합성 테스팅 프로세스를 관리할 수도 있다. 특정한 예에서, HSS(541)는 코딩된 픽처가 HRD(500)를 통해 이동하는 레이트를 제어할 수 있고 비트스트림(551)이 비적합 데이터를 포함하지 않는다는 것을 검증할 수 있다.

HSS(541)는 비트스트림(551)을 사전 정의된 레이트에서 CPB(543)에 포워딩할 수도 있다. HRD(500)는 데이터를 디코딩 단위(DU)(553)로 관리할 수도 있다. DU(553)는 AU 또는 AU 및 관련된 비 비디오 코딩 레이어(VCL) 네트워크 추상화 레이어(NAL) 단위의 서브세트이다. 구체적으로, AU는 출력 시간과 관련되는 하나 이상의 픽처를 포함한다. 예를 들면, AU는 단일 레이어 비트스트림에 단일의 픽처를 포함할 수도 있고, 다중 레이어 비트스트림에 각각의 레이어에 대한 픽처를 포함할 수도 있다. AU의 각각의 픽처는 대응하는 VCL NAL 단위에 각각 포함되는 슬라이스로 분할될 수도 있다. 그러므로, DU(553)는 하나 이상의 픽처, 픽처의 하나 이상의 슬라이스, 또는 이들의 조합을 포함할 수도 있다. 또한, AU, 픽처, 및/또는 슬라이스를 디코딩하기 위해 사용되는 파라미터가 비 VCL NAL 단위에 포함될 수 있다. 그러한 만큼, DU(553)는, DU(553)에서 VCL NAL 단위의 디코딩을 지원하는 데 필요한 데이터를 포함하는 비 VCL NAL 단위를 포함한다. CPB(543)는 HRD(500)의 선입선출 버퍼이다. CPB(543)는 디코딩 순서대로 비디오 데이터를 포함하는 DU(553)를 포함한다. CPB(543)는 비트스트림 적합성 검증 동안의 사용을 위해 비디오 데이터를 저장한다.

CPB(543)는 DU(553)를 디코딩 프로세스 컴포넌트(545)로 포워딩한다. 디코딩 프로세스 컴포넌트(545)는 VVC 표준을 준수하는 컴포넌트이다. 예를 들면, 디코딩 프로세스 컴포넌트(545)는 엔드 유저에 의해 활용되는 디코더(400)를 에뮬레이팅할 수도 있다. 디코딩 프로세스 컴포넌트(545)는, 예시적인 엔드 유저 디코더에 의해 달성될 수 있는 레이트에서 DU(553)를 디코딩한다. 디코딩 프로세스 컴포넌트(545)가 CPB(543)의 오버플로우를 방지할 만큼 충분히 빠르게 DU(553)를 디코딩할 수 없는 경우, 그러면, 비트스트림(551)은 표준을 준수하지 않으며 재인코딩되어야 한다.

디코딩 프로세스 컴포넌트(545)는 DU(553)를 디코딩하는데, 이것은 디코딩된 DU(555)를 생성한다. 디코딩된 DU(555)는 디코딩된 픽처를 포함한다. 디코딩된 DU(555)는 DPB(547)로 포워딩된다. DPB(547)는 디코딩된 픽처 버퍼 컴포넌트(223, 323, 및/또는 423)와 실질적으로 유사할 수도 있다. 인터 예측을 지원하기 위해, 디코딩된 DU(555)로부터 획득되는 참조 픽처(556)로서의 사용을 위해 마킹되는 픽처는 추가적인 디코딩을 지원하기 위해 디코딩 프로세스 컴포넌트(545)로 리턴된다. DPB(547)는 디코딩된 비디오 시퀀스를 일련의 픽처(557)로서 출력한다. 픽처(557)는, 인코더에 의해 비트스트림(551)으로 인코딩된 픽처를 일반적으로 미러링하는 재구성된 픽처이다.

픽처(557)는 출력 크롭핑 컴포넌트(output cropping component; 549)로 포워딩된다. 출력 크롭핑 컴포넌트(549)는 픽처(557)에 적합성 크롭핑 윈도우를 적용하도록 구성된다. 이것은 출력 크롭 픽처(output cropped picture; 559)로 귀결된다. 출력 크롭 픽처(559)는 완전히 재구성된 픽처이다. 따라서, 출력 크롭 픽처(559)는, 비트스트림(551)을 디코딩할 때 엔드 유저가 보게 될 것을 모방한다. 그러한 만큼, 인코더는 인코딩이 만족되는 것을 보장하기 위해 출력 크롭 픽처(559)를 재검토할(review) 수 있다.

HRD(500)는 비트스트림(551)의 HRD 파라미터에 기초하여 초기화된다. 예를 들면, HRD(500)는 VPS, SPS, 및/또는 SEI 메시지로부터 HRD 파라미터를 판독할 수도 있다. 그 다음, HRD(500)는 그러한 HRD 파라미터의 정보에 기초하여 비트스트림(551)에 대해 적합성 테스팅 동작을 수행할 수도 있다. 특정한 예로서, HRD(500)는 HRD 파라미터로부터 하나 이상의 CPB 전달 스케줄(561)을 결정할 수도 있다. 전달 스케줄은, CPB 및/또는 DPB와 같은 기억 장소로의 및/또는 기억 장소로부터의 비디오 데이터의 전달을 위한 타이밍을 명시한다. 그러므로, CPB 전달 스케줄(561)은 CPB(543)로의/로부터의, AU, DU(553), 및/또는 픽처의 전달을 위한 타이밍을 명시한다. HRD(500)는, CPB 전달 스케줄(561)과 유사한 DPB 전달 스케줄을 DPB(547)에 대해 활용할 수도 있다는 것을 유의해야 한다.

비디오는 다양한 네트워크 조건에 대해 역시 다양한 레벨의 하드웨어 성능을 갖는 디코더에 의한 사용을 위해 상이한 레이어 및/또는 OLS로 코딩될 수도 있다. CPB 전달 스케줄(561)은 이들 문제를 반영하도록 선택된다. 따라서, 최적의 하드웨어 및 네트워크 조건을 위해 상위 레이어(higher layer) 서브 비트스트림이 지정되고, 그러므로, 상위 레이어는 DPB(547)를 향한 DU(553)의 전달을 위한 짧은 지연 및 CPB(543)의 많은 양의 메모리를 활용하는 하나 이상의 CPB 전달 스케줄(561)을 수신할 수도 있다. 마찬가지로, 하위 레이어(lower layer) 서브 비트스트림은 제한된 디코더 하드웨어 성능 및/또는 불량한 네트워크 조건에 대해 지정된다. 그러므로, 하위 레이어는 DPB(547)를 향한 DU(553)의 전달을 위한 긴 지연 및 CPB(543)의 적은 양의 메모리를 활용하는 하나 이상의 CPB 전달 스케줄(561)을 수신할 수도 있다. 그 다음, OLS, 레이어, 서브레이어, 또는 이들의 조합은, 서브 비트스트림에 대해 예상되는 조건 하에서 결과적으로 나타나는 서브 비트스트림이 올바르게 디코딩될 수 있는 것을 보장하기 위해, 대응하는 전달 스케줄(561)에 따라 테스트될 수 있다. CPB 전달 스케줄(561) 각각은 스케줄 인덱스(ScIdx)(563)와 관련된다. ScIdx(563)는 전달 스케줄을 식별하는 인덱스이다. 따라서, 비트스트림(551)의 HRD 파라미터는 ScIdx(563)에 의해 CPB 전달 스케줄(561)을 나타낼 수 있고, 뿐만 아니라, HRD(500)가 CPB 전달 스케줄(561)을 결정하는 것 및 CPB 전달 스케줄(561)을 대응하는 OLS, 레이어, 및/또는 서브레이어에 상관시키는 것을 허용하기에 충분한 데이터를 포함할 수 있다.

도 6은 인터 레이어 예측(621)을 위해 구성되는 예시적인 다중 레이어 비디오 시퀀스(600)를 예시하는 개략도이다. 다중 레이어 비디오 시퀀스(600)는, 예를 들면, 방법(100)에 따라, 인코더, 예컨대 코덱 시스템(200) 및/또는 인코더(300)에 의해 인코딩될 수도 있고 디코더, 예컨대 코덱 시스템(200) 및/또는 디코더(400)에 의해 디코딩될 수도 있다. 게다가, 다중 레이어 비디오 시퀀스(600)는 HRD(500)와 같은 HRD에 의해 표준 적합성에 대해 검사될 수 있다. 다중 레이어 비디오 시퀀스(600)는 코딩된 비디오 시퀀스의 레이어에 대한 예시적인 적용을 묘사하기 위해 포함된다. 다중 레이어 비디오 시퀀스(600)는 레이어 N(631) 및 레이어 N+1(632)과 같은 복수의 레이어를 활용하는 임의의 비디오 시퀀스이다.

한 예에서, 다중 레이어 비디오 시퀀스(600)는 인터 레이어 예측(621)을 활용할 수도 있다. 인터 레이어 예측(621)은 상이한 레이어의 픽처(611, 612, 613, 및 614)와 픽처(615, 616, 617, 및 618) 사이에서 적용된다. 도시되는 예에서, 픽처(611, 612, 613, 및 614)는 레이어 N+1(632)의 일부이고 픽처(615, 616, 617, 및 618)는 레이어 N(631)의 일부이다. 레이어 N(631) 및/또는 레이어 N+1(632)과 같은 레이어는, 유사한 사이즈, 품질, 해상도, 신호 대 노이즈 비율, 성능, 등등과 같은 특성의 유사한 값과 모두 관련되는 픽처의 그룹이다. 레이어는 VCL NAL 단위 및 관련된 비 VCL NAL 단위의 세트로서 공식적으로서 정의될 수도 있다. VCL NAL 단위는 픽처의 코딩된 슬라이스와 같은 비디오 데이터를 포함하도록 코딩되는 NAL 단위이다. 비 VCL NAL 단위는, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 다른 동작을 지원하는 신택스 및/또는 파라미터와 같은 비 비디오 데이터를 포함하는 NAL 단위이다.

도시되는 예에서, 레이어 N+1(632)은 레이어 N(631)보다 더 큰 이미지 사이즈와 관련된다. 따라서, 레이어 N+1(632)의 픽처(611, 612, 613, 및 614)는, 이 예에서, 레이어 N(631)의 픽처(615, 616, 617, 및 618)보다 더 큰 픽처 사이즈(예를 들면, 더 큰 높이와 폭 그러므로 더 많은 샘플)를 갖는다. 그러나, 그러한 픽처는 다른 특성에 의해 N+1 레이어(632)와 N 레이어(631) 사이에서 분리될 수 있다. 단지 두 개의 레이어인 레이어 N+1(632) 및 레이어 N(631)만이 도시되지만, 픽처의 세트는 관련된 특성에 기초하여 임의의 개수의 레이어로 분리될 수 있다. 레이어 N+1(632) 및 레이어 N(631)은 레이어 ID에 의해 또한 나타내어질 수도 있다. 레이어 ID는 픽처와 관련되며 픽처가 나타내어진 레이어의 일부이다는 것을 나타내는 데이터의 아이템이다. 따라서, 각각의 픽처(611-618)는, 어떤 레이어 N+1(632) 또는 레이어 N(631)가 대응하는 픽처를 포함하는지를 나타내기 위해 대응하는 레이어 ID와 관련될 수도 있다. 예를 들면, 레이어 ID는, NAL 단위를 포함하는(예를 들면, 레이어의 픽처의 슬라이스 및/또는 파라미터를 포함하는) 레이어의 식별자를 명시하는 신택스 엘리먼트인 NAL 단위 헤더 레이어 식별자(nuh_layer_id)를 포함할 수도 있다. 레이어 N(631)과 같은, 더 낮은 품질/비트스트림 사이즈와 관련되는 레이어는 하위 레이어(lower layer) ID를 일반적으로 할당받고 하위 레이어로서 지칭된다. 게다가, 레이어 N+1(632)과 같은, 더 높은 품질/비트스트림 사이즈와 관련되는 레이어는 상위 레이어(higher layer) ID를 일반적으로 할당받고 상위 레이어로서 지칭된다.

상이한 레이어(631-632)의 픽처(611-618)는 대안예에서 디스플레이되도록 구성된다. 그러한 만큼, 상이한 레이어(631-632)의 픽처는, 픽처가 동일한 AU에 포함되는 한, 시간적 ID(622)를 공유할 수 있다. 시간 ID(622)는 데이터가 비디오 시퀀스의 시간 위치에 대응한다는 것을 나타내는 데이터 엘리먼트이다. AU는 명시된 분류 규칙에 따라 서로 관련되며 하나의 특정한 출력 시간에 속하는 NAL 단위의 세트이다. 예를 들면, AU는 픽처(611) 및 픽처(615)와 같은 하나 이상의 픽처를, 예컨대 그러한 픽처가 동일한 시간 ID(622)와 관련되는 경우, 상이한 레이어에서 포함할 수도 있다. 구체적인 예로서, 디코더는 더 작은 픽처가 소망되는 경우 현재 디스플레이 시간에 픽처(615)를 디코딩하여 디스플레이할 수도 있거나 또는 디코더는 더 큰 픽처가 소망되는 경우 현재 디스플레이 시간에 픽처(611)를 디코딩 및 디스플레이할 수도 있다. 그러한 만큼, 상위 레이어 N+1(632)의 픽처(611-614)는 (픽처 사이즈에서의 차이에도 불구하고) 하위 레이어 N(631)의 대응하는 픽처(615-618)와 실질적으로 동일한 이미지 데이터를 포함한다. 구체적으로, 픽처(611)는 픽처(615)와 실질적으로 동일한 이미지 데이터를 포함하고, 픽처(612)는 픽처(616)와 실질적으로 동일한 이미지 데이터를 포함하고, 등등이다.

픽처(611-618)는 동일한 레이어 N(631) 또는 N+1(632)의 다른 픽처(611-618)에 대한 참조에 의해 코딩될 수 있다. 동일한 레이어의 다른 픽처에 대한 참조에 의해 픽처를 코딩하는 것은 인터 예측(623)으로 귀결된다. 인터 예측(623)은 실선 화살표에 의해 묘사된다. 예를 들면, 픽처(613)는 참조로서 레이어 N+1(632)의 픽처(611, 612, 및/또는 614) 중 한 개 또는 두 개를 사용하여 인터 예측(623)을 활용하는 것에 의해 코딩될 수도 있는데, 여기서 하나의 픽처는 단방향 인터 예측을 위해 참조되고 및/또는 두 개의 픽처는 양방향 인터 예측을 위해 참조된다. 게다가, 픽처(617)는 참조로서 레이어 N(631)의 픽처(615, 616, 및/또는 618) 중 한 개 또는 두 개를 사용하여 인터 예측(623)을 활용하는 것에 의해 코딩될 수도 있는데, 여기서 하나의 픽처는 단방향 인터 예측을 위해 참조되고 및/또는 두 개의 픽처는 양방향 인터 예측을 위해 참조된다. 인터 예측(623)을 수행할 때 픽처가 동일한 레이어의 다른 픽처에 대한 참조로서 사용되는 경우, 픽처는 참조 픽처로서 지칭될 수도 있다. 예를 들면, 픽처(612)는 인터 예측(623)에 따라 픽처(613)를 코딩하기 위해 사용되는 참조 픽처일 수도 있다. 인터 예측(623)은 다중 레이어 컨텍스트에서 인트라 레이어 예측으로 또한 지칭될 수 있다. 그러한 만큼, 인터 예측(623)은 현재 픽처와는 상이한 참조 픽처의 지시된 샘플(indicated sample)에 대한 참조에 의해 현재 픽처의 샘플을 코딩하는 메커니즘인데, 여기서 참조 픽처 및 현재 픽처는 동일한 레이어에 있다.

픽처(611-618)는 상이한 레이어의 다른 픽처(611-618)에 대한 참조에 의해 또한 코딩될 수 있다. 이 프로세스는 인터 레이어 예측(621)으로서 공지되어 있으며, 파선의 화살표에 의해 묘사된다. 인터 레이어 예측(621)은 참조 픽처의 지시된 샘플에 대한 참조에 의해 현재 픽처의 샘플을 코딩하는 메커니즘인데, 여기서 현재 픽처 및 참조 픽처는 상이한 레이어에 있고 그러므로 상이한 레이어 ID를 갖는다. 예를 들면, 하위 레이어 N(631)의 픽처는 상위 레이어 N+1(632)의 대응 픽처를 코딩하기 위한 참조 픽처로서 사용될 수 있다. 구체적인 예로서, 픽처(611)는 인터 레이어 예측(621)에 따른 픽처(615)에 대한 참조에 의해 코딩될 수 있다. 그러한 경우, 픽처(615)는 인터 레이어 참조 픽처로서 사용된다. 인터 레이어 참조 픽처는 인터 레이어 예측(621)을 위해 사용되는 참조 픽처이다. 대부분의 경우, 인터 레이어 예측(621)은, 픽처(611)와 같은 현재 픽처가, 동일한 AU에 포함되는 그리고 하위 레이어에 있는 인터 레이어 참조 픽처(들), 예컨대 픽처(615)만을 사용할 수 있도록 제한된다. 다수의 레이어(예를 들면, 두 개보다 더 많음)가 이용 가능한 경우, 인터 레이어 예측(621)은 현재 픽처보다 더 낮은 레벨에서 다수의 인터 레이어 참조 픽처(들)에 기초하여 현재 픽처를 인코딩/디코딩할 수 있다.

비디오 인코더는 인터 레이어 예측(623) 및 인터 레이어 예측(621)의 많은 상이한 조합 및/또는 순열(permutation)을 통해 픽처(611-618)를 인코딩하기 위해 다중 레이어 비디오 시퀀스(600)를 활용할 수 있다. 예를 들면, 픽처(615)는 인트라 예측에 따라 코딩될 수도 있다. 그 다음, 픽처(616-618)는 참조 픽처로서 픽처(615)를 사용하는 것에 의해 인터 예측(623)에 따라 코딩될 수 있다. 게다가, 픽처(611)는 픽처(615)를 인터 레이어 참조 픽처로서 사용하는 것에 의해 인터 레이어 예측(621)에 따라 코딩될 수도 있다. 그 다음, 픽처(612-614)는 참조 픽처로서 픽처(611)를 사용하는 것에 의해 인터 예측(623)에 따라 코딩될 수 있다. 그러한 만큼, 참조 픽처는 상이한 코딩 메커니즘에 대한 단일의 레이어 참조 픽처 및 인터 레이어 참조 픽처 둘 모두로서 역할을 할 수 있다. 하위 레이어 N(631) 픽처에 기초하여 상위 레이어 N+1(632) 픽처를 코딩하는 것에 의해, 상위 레이어 N+1(632)은, 인터 예측(623) 및 인터 레이어 예측(621)보다 훨씬 더 낮은 코딩 효율성을 갖는 인트라 예측을 활용하는 것을 방지할 수 있다. 그러한 만큼, 인트라 예측의 불량한 코딩 효율성은 가장 작은/가장 낮은 품질 픽처로 제한될 수 있고,그러므로, 가장 적은 양의 비디오 데이터를 코딩하는 것으로 제한될 수 있다. 참조 픽처 및/또는 인터 레이어 참조 픽처로서 사용되는 픽처는 참조 픽처 목록 구조에 포함되는 참조 픽처 목록(들)의 엔트리에서 나타내어질 수 있다.

그러한 동작을 수행하기 위해, 레이어 N(631) 및 레이어 N+1(632)과 같은 레이어가 OLS(625)에 포함될 수도 있다. OLS(625)는 하나 이상의 레이어가 출력 레이어로 명시되는 레이어의 세트이다. 출력 레이어는 (예를 들면, 디스플레이로의) 출력을 위해 지정되는 레이어이다. 예를 들면, 레이어 N(631)은 인터 레이어 예측(621)을 지원하기 위해 단독으로 포함될 수도 있고 결코 출력되지 않을 수도 있다. 그러한 경우, 레이어 N+1(632)은 레이어 N(631)에 기초하여 디코딩되고 출력된다. 그러한 경우, OLS(625)는 출력 레이어로서 레이어 N+1(632)을 포함한다. OLS(625)가 출력 레이어만을 포함하는 경우, OLS(625)를 0 번째 OLS로서 지칭된다. 0 번째 OLS는 최하위 레이어(최하위 레이어 식별자를 갖는 레이어)만을 포함하며 따라서 출력 레이어만을 포함하는 OLS이다. 다른 경우에, OLS(625)는 많은 레이어를 상이한 조합으로 포함할 수도 있다. 예를 들면, OLS(625)의 출력 레이어는, 하나, 둘 또는 많은 하위 레이어에 기초하여 인터 레이어 예측(621)에 따라 코딩될 수 있다. 게다가, OLS(625)는 하나보다 더 많은 출력 레이어를 포함할 수도 있다. 그러므로, OLS(625)는 하나 이상의 출력 레이어 및 출력 레이어를 재구성하는 데 필요한 임의의 지원 레이어를 포함할 수도 있다. 다중 레이어 비디오 시퀀스(600)는, 각각이 레이어의 상이한 조합을 활용하는 많은 상이한 OLS(625)를 활용하는 것에 의해 코딩될 수 있다. OLS(625) 각각은, 대응하는 OLS(625)를 고유하게 식별하는 인덱스인 OLS 인덱스(629)와 관련된다.

HRD(500)에서 표준 적합성에 대해 다중 레이어 비디오 시퀀스(600)를 검사하는 것은 레이어(631-632) 및 OLS(625)의 개수에 따라 복잡하게 될 수 있다. HRD(500)은 테스팅을 위해 다중 레이어 비디오 시퀀스(600)를 동작 포인트(627)의 시퀀스로 분리할 수도 있다. 동작 포인트(627)는, OLS 인덱스(629) 및 최상위 시간 ID(622)에 의해 식별되는 OLS(625)의 시간적 서브세트이다. 특정한 예로서, 제1 동작 포인트(627)는 시간 ID 0부터 시간 ID 200까지의 제1 OLS(625)의 모든 픽처를 포함할 수 있고, 제2 동작 포인트(627)는 시간 ID 201부터 시간 ID 400까지의 제1 OLS(625)의 모든 픽처를 포함할 수 있고, 등등이다. 명시된 순간에 테스팅을 위해 선택되는 동작 포인트(627)는 테스트 중의 OP(targetOp)로서 지칭된다. 그러므로, targetOp는 HRD(500)에서 적합성 테스팅을 위해 선택되는 동작 포인트(627)이다.

도 7은 시간적 스케일러빌러티를 위해 구성되는 예시적인 다중 레이어 비디오 시퀀스(700)를 예시하는 개략도이다. 다중 레이어 비디오 시퀀스(700)는, 예를 들면, 방법(100)에 따라, 인코더, 예컨대 코덱 시스템(200) 및/또는 인코더(300)에 의해 인코딩될 수도 있고 디코더, 예컨대 코덱 시스템(200) 및/또는 디코더(400)에 의해 디코딩될 수도 있다. 게다가, 다중 레이어 비디오 시퀀스(700)는 HRD(500)와 같은 HRD에 의해 표준 적합성에 대해 검사될 수 있다. 다중 레이어 비디오 시퀀스(700)는 코딩된 비디오 시퀀스의 레이어에 대한 다른 예시적인 적용을 묘사하기 위해 포함된다. 예를 들면, 다중 레이어 비디오 시퀀스(700)는 별개의 실시예로서 활용될 수도 있거나 또는 다중 레이어 비디오 시퀀스(600)와 관련하여 설명되는 기술과 결합될 수도 있다.

다중 레이어 비디오 시퀀스(700)는 서브레이어(710, 720, 및 730)를 포함한다. 서브레이어는, 특정한 시간 식별자 값을 갖는 VCL NAL 단위(예를 들면, 픽처)뿐만 아니라 관련된 비 VCL NAL 단위(예를 들면, 지원 파라미터)를 포함하는 시간적 스케일러블 비트스트림의 시간적 스케일러블 레이어이다. 서브레이어(710)는 베이스 레이어로서 지칭될 수도 있고, 서브레이어(720 및 730)는 향상 레이어로서 지칭될 수도 있다. 도시되는 바와 같이, 서브레이어(710)는 초당 30 개의 프레임과 같은 제1 프레임 레이트의 픽처(711)를 포함한다. 서브레이어(710)는, 서브레이어(710)가 베이스/최저 프레임 레이트를 포함하기 때문에 베이스 레이어이다. 서브레이어(720)는, 서브레이어(710)의 픽처(711)로부터 시간적으로 오프셋되는 픽처(721)를 포함한다. 그 결과는, 서브레이어(710) 및 서브레이어(720)가 결합될 수 있다는 것인데, 이것은 서브레이어(710) 단독의 프레임 레이트보다 집합적으로 더 높은 프레임 레이트를 초래한다. 예를 들면, 서브레이어(710 및 720)는 초당 60 프레임의 결합된 프레임 레이트를 가질 수도 있다. 따라서, 서브레이어(720)는 서브레이어(710)의 프레임 레이트를 향상시킨다. 게다가, 서브레이어(730)는 서브레이어(720 및 710)의 픽처(721 및 711)로부터 시간적으로 또한 오프셋되는 픽처(731)를 포함한다. 그러한 만큼, 서브레이어(730)는 서브레이어(710)를 추가로 향상시키기 위해 서브레이어(720 및 710)와 결합될 수 있다. 예를 들면, 서브레이어(710, 720, 및 730)는 초당 90 프레임의 결합된 프레임 레이트를 가질 수도 있다.

서브레이어 표현(740)은 서브레이어(710, 720, 및/또는 730)를 결합하는 것에 의해 동적으로 생성될 수 있다. 서브레이어 표현(740)은 특정한 서브레이어 및 하위 서브레이어의 NAL 단위를 포함하는 비트스트림의 서브세트이다. 도시되는 예에서, 서브레이어 표현(740)은, 서브레이어(710, 720, 및 730)의 결합된 픽처(711, 721, 및 731)인 픽처(741)를 포함한다. 따라서, 다중 레이어 비디오 시퀀스(700)는, 서브레이어(710, 720, 및/또는 730)의 소망되는 세트를 포함하는 서브레이어 표현(740)을 선택하는 것에 의해 소망되는 프레임 레이트로 시간적으로 스케일링될 수 있다. 서브레이어 표현(740)은 서브레이어(710, 720, 및/또는 730)를 레이어로서 포함하는 OLS를 활용하는 것에 의해 생성될 수도 있다. 그러한 경우에, 서브레이어 표현(740)은 출력 레이어로서 선택된다. 그러한 만큼, 시간적 스케일러빌러티는 다중 레이어 메커니즘을 사용하여 달성될 수 있는 여러 메커니즘 중 하나이다.

도 8은 예시적인 비트스트림(800)을 예시하는 개략도이다. 예를 들면, 비트스트림(800)은, 방법(100)에 따라, 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 게다가, 비트스트림(800)은 코딩된 다중 레이어 비디오 시퀀스(600 및/또는 700)를 포함할 수도 있다. 또한, 비트스트림(800)은 HRD(500)와 같은 HRD의 동작을 제어하기 위한 다양한 파라미터를 포함할 수도 있다. 그러한 파라미터에 기초하여, HRD는 디코딩을 위한 디코더를 향한 송신 이전에, 표준과의 적합성에 대해 비트스트림(800)을 검사할 수 있다.

비트스트림(800)은 VPS(811), 하나 이상의 SPS(813), 복수의 픽처 파라미터 세트(PPS)(815), 복수의 슬라이스 헤더(817), 이미지 데이터(820), BP SEI 메시지(819), PT SEI 메시지(818), 및 DUI SEI 메시지(816)를 포함한다. VPS(811)는 전체 비트스트림(800)에 관련되는 데이터를 포함한다. 예를 들면, VPS(811)는 비트스트림(800)에서 사용되는 OLS, 레이어, 및/또는 서브레이어에 관련되는 데이터를 포함할 수도 있다. SPS(813)는 비트스트림(800)에 포함되는 코딩된 비디오 시퀀스의 모든 픽처에 공통적인 시퀀스 데이터를 포함한다. 예를 들면, 각각의 레이어는 하나 이상의 코딩된 비디오 시퀀스를 포함할 수도 있고, 각각의 코딩된 비디오 시퀀스는 대응하는 파라미터에 대해 SPS(813)를 참조할 수도 있다. SPS(813)의 파라미터는 픽처 사이즈 조정, 비트 심도, 코딩 도구 파라미터, 비트 레이트 제한, 등등을 포함할 수 있다. 각각의 시퀀스가 SPS(813)를 참조하지만, 몇몇 예에서, 단일의 SPS(813)가 다수의 시퀀스에 대한 데이터를 포함할 수 있다는 것을 유의해야 한다. PPS(815)는 전체 픽처에 적용되는 파라미터를 포함한다. 그러므로, 비디오 시퀀스의 각각의 픽처는 PPS(815)를 참조할 수도 있다. 각각의 픽처가 PPS(815)를 참조하지만, 단일의 PPS(815)가 몇몇 예에서 다수의 픽처에 대한 데이터를 포함할 수 있다는 것을 유의해야 한다. 예를 들면, 다수의 유사한 픽처가 유사한 파라미터에 따라 코딩될 수도 있다. 그러한 경우에, 단일의 PPS(815)는 그러한 유사한 픽처에 대한 데이터를 포함할 수도 있다. PPS(815)는 대응하는 픽처의 슬라이스, 양자화 파라미터, 오프셋, 등등에 대해 이용 가능한 코딩 도구를 나타낼 수 있다.

슬라이스 헤더(817)는 픽처의 각각의 슬라이스에 고유한 파라미터를 포함한다. 그러므로, 비디오 시퀀스의 슬라이스마다 하나의 슬라이스 헤더(817)가 있을 수도 있다. 슬라이스 헤더(817)는 슬라이스 타입 정보, POC, 참조 픽처 목록, 예측 가중치, 타일 진입 포인트, 블록화 제거 파라미터, 등등을 포함할 수도 있다. 몇몇 예에서, 비트스트림(800)은, 단일의 픽처의 모든 슬라이스에 적용되는 파라미터를 포함하는 신택스 구조인 픽처 헤더를 또한 포함할 수도 있다는 것을 유의해야 한다. 이러한 이유 때문에, 픽처 헤더 및 슬라이스 헤더(817)는 몇몇 상황에서 상호 교환 가능하게 사용될 수도 있다. 예를 들면, 소정의 파라미터는, 그러한 파라미터가 픽처의 모든 슬라이스에 대해 공통인지의 여부에 따라, 슬라이스 헤더(817)와 픽처 헤더 사이에서 이동될 수도 있다.

이미지 데이터(820)는 인터 예측 및/또는 인트라 예측에 따라 인코딩되는 비디오 데이터뿐만 아니라, 대응하는 변환되고 양자화된 잔차 데이터를 포함한다. 예를 들면, 이미지 데이터(820)는 AU(821), DU(822), 및/또는 픽처(823)을 포함할 수도 있다. AU(821)는 명시된 분류 규칙에 따라 서로 관련되며 하나의 특정한 출력 시간에 속하는 NAL 단위의 세트이다. DU(822)는 AU 또는 AU 및 관련된 비 VCL NAL 단위의 서브세트이다. 픽처(823)는 프레임 또는 그 필드를 생성하는 루마 샘플의 어레이 및/또는 크로마 샘플의 어레이이다. 쉽게 말하면, AU(821)는, 비디오 시퀀스에서의 명시된 순간에 디스플레이될 수도 있는 다양한 비디오 데이터뿐만 아니라, 지원 신택스 데이터를 포함한다. 그러므로, AU(821)는, 단일 레이어 비트스트림의 단일의 픽처(823) 또는 다중 레이어 비트스트림의 동일한 순간과 모두 관련되는 다수의 레이어로부터의 다수의 픽처를 포함할 수도 있다. 한편, 픽처(823)는, 디스플레이를 위해 출력될 수도 있는 또는 출력을 위해 다른 픽처(들)(823)의 코딩을 지원하기 위해 사용될 수도 있는 코딩된 이미지이다. DU(822)는 하나 이상의 픽처(823) 및 디코딩에 필요한 임의의 지원 신택스 데이터를 포함할 수도 있다. 예를 들면, DU(822) 및 AU(821)는 단순한 비트스트림에서(예를 들면, AU가 단일의 픽처를 포함하는 경우) 상호 교환 가능하게 사용될 수도 있다. 그러나, 더 복잡한 다중 레이어 비트스트림(예를 들면, 다중 레이어 비디오 시퀀스(600)를 포함하는 비트스트림)에서, DU(822)는 AU(821)로부터의 비디오 데이터의 일부만을 포함할 수도 있다. 예를 들면, AU(821)는 여러 레이어(예를 들면, 레이어(631, 632)) 및/또는 서브레이어(예를 들면, 서브레이어(710, 720, 730))의 픽처(823)를 포함할 수도 있는데, 여기서 픽처(823) 중 일부는 상이한 OLS와 관련된다. 그러한 경우에, DU(822)는 명시된 OLS 및/또는 명시된 레이어/서브레이어로부터의 픽처(들)(823)만을 포함할 수도 있다.

픽처(823)는 하나 이상의 슬라이스(825)를 포함한다. 슬라이스(825)는, 단일의 NAL 단위(829)에서 배타적으로 포함되는 픽처(823)의 정수 개수의 완전한 타일 또는 (예를 들면, 타일 내의) 정수 개수의 연속적인 완전한 코딩 트리 단위(CTU) 행으로서 정의될 수도 있다. 슬라이스(825)는 CTU 및/또는 코딩 트리 블록(CTB)으로 추가로 분할된다. CTU는 코딩 트리에 의해 구획될 수 있는 사전 정의된 사이즈의 샘플의 그룹이다. CTB는 CTU의 서브세트이며 CTU의 루마 성분 또는 크로마 성분을 포함한다. CTU/CTB는 코딩 트리에 기초하여 코딩 블록으로 추가로 분할된다. 그 다음, 코딩 블록은 예측 메커니즘에 따라 인코딩/디코딩될 수 있다.

비트스트림(800)은 NAL 단위(829)의 시퀀스이다. NAL 단위(829)는 비디오 데이터 및/또는 지원 신택스를 위한 컨테이너(container)이다. NAL 단위(829)는 VCL NAL 단위 또는 비 VCL NAL 단위일 수 있다. VCL NAL 단위는 비디오 데이터, 예컨대 코딩된 슬라이스(825) 및 관련된 슬라이스 헤더(817)를 포함하도록 코딩되는 NAL 단위(829)이다. 비 VCL NAL 단위는, 비디오 데이터의 디코딩, 적합성 검사의 수행, 또는 다른 동작을 지원하는 신택스 및/또는 파라미터와 같은 비 비디오 데이터를 포함하는 NAL 단위(829)이다. 예를 들면, 비 VCL NAL 단위는 VPS(811), SPS(813), PPS(815), BP SEI 메시지(819), PT SEI 메시지(818), DUI SEI 메시지(816), 또는 다른 지원 신택스를 포함할 수 있다.

비트스트림(800)은 HRD(500)와 같은 HRD에 의한 적합성 테스팅을 지원하는 하나 이상의 SEI 메시지를 포함할 수 있다. SEI 메시지는, 디코딩된 픽처의 샘플의 값을 결정하기 위해 디코딩 프로세스에 의해 필요로 되지 않는 정보를 전달하는 명시된 의미론을 갖는 신택스 구조이다. 예를 들면, SEI 메시지는 HRD 프로세스를 지원하기 위한 데이터 또는 디코더에서 비트스트림(800)을 디코딩하는 것에 직접적으로 관련이 없는 다른 지원 데이터를 포함할 수도 있다. 예를 들면, 비트스트림(800)은 BP SEI 메시지(819), PT SEI 메시지(818), 및 DUI SEI 메시지(816)를 포함할 수도 있다.

BP SEI 메시지(819)는, CPB를 관리하기 위해 HRD를 초기화하기 위한 HRD 파라미터(870)를 포함하는 SEI 메시지이다. 예를 들면, BP SEI 메시지(819)는, 비트스트림(800)에 대한 적합성 테스트를 수행할 때 활용될 수도 있는, CPB 전달 스케줄(561)과 같은 CPB 전달 스케줄을 설명하는 데이터를 포함할 수도 있다. 전달 스케줄은 전달 스케줄의 타이밍(예를 들면, 데이터를 얼마나 자주 제거할지)을 설명하는 그리고 전송될 데이터의 양(예를 들면, 각각의 발생시 얼마나 많은 데이터를 제거할지)을 설명하는 값 쌍에 의해 설명될 수도 있다. BP SEI 메시지(819)는, 적합성 검사의 시작 포인트이어야 하는 AU 또는 DU(예를 들면, AU(821) 또는 DU(822)) 및 각각의 데이터 단위에 대해 사용할 디폴트 스케줄을 나타내는 데이터 쌍을 나타낸다. 특정한 예에서, BP SEI 메시지(819)는 초기 CPB 제거 지연(837) 및 초기 CPB 제거 오프셋(839)을 포함할 수도 있다. 초기 CPB 제거 지연(837)은 비트스트림, OLS, 및/또는 레이어에서의 각각의 픽처, AU, 및/또는 DU에 대한 디폴트 CPB 제거 지연이다. 초기 CPB 제거 오프셋(839)은 비트스트림, OLS, 및/또는 레이어에서의 각각의 픽처, AU, 및/또는 DU와 관련되는 디폴트 CPB 제거 오프셋이다. 초기 CPB 제거 지연(837) 및 초기 CPB 제거 오프셋(839) 쌍을 활용하는 것에 의해, HRD는, 적합성 테스팅 동안 CPB로부터 데이터 단위(AU 또는 DU)를 제거할 때 사용할 CPB 전달 스케줄을 결정할 수 있다.

한 실시예에서, BP SEI 메시지(819)는, 초기 CPB 제거 지연(837) 및 초기 CPB 제거 오프셋(839)이 BP SEI 메시지(819)에서 나타내어지는 시간적 서브레이어의 최대 개수(841)를 포함한다. 시간적 서브레이어의 이 최대 개수(841)는 bp_max_sublayers_minus1로서 나타내어진다. bp_max_sublayers_minus1의 값은 0 이상 VPS(811)에서 명시되는 서브레이어의 최대 개수(843) - 이것은 vps_max_sublayers_minus1로서 나타내어짐 - 이하의 범위 내에 있을 것이다. vps_max_sublayers_minus1 플러스 1은 VPS(811)에 의해 명시되는 레이어에서 존재할 수도 있는 시간적 서브레이어의 최대 개수를 명시한다. vps_max_sublayers_minus1의 값은 0 이상 6 이하의 범위 내에 있어야 한다.

PT SEI 메시지(818)는, CPB 및/또는 DPB에서 AU에 대한 전달 정보를 관리하기 위한 HRD 파라미터(880)(일명, 픽처 레벨 CPB 파라미터)를 포함하는 SEI 메시지이다. 예를 들면, PT SEI 메시지(818)는 대응하는 AU에 대한 HRD 적합성 테스트를 수행함에 있어서의 사용을 위한 추가적인 파라미터를 포함할 수도 있다. 특정한 예에서, PT SEI 메시지(818)는 CPB 제거 지연(835) 및 DPB 출력 지연(833)을 포함할 수도 있다. CPB 제거 지연(835)은, 대응하는 현재 AU가, 제거 및 DPB로의 출력 이전에, CPB에 남아 있을 수 있는 시간의 기간이다. 예를 들면, CPB 제거 지연(835)은 디코딩 순서에서 현재 AU의 제거와 선행하는 AU 사이의 클록 틱의 개수를 계산하기 위해 사용될 수도 있는데, 여기서 선행하는 AU는 BP SEI 메시지(819)와 관련된다. 따라서, CPB 제거 지연(835)은, 현재 AU에 대한 제거 지연이 BP SEI 메시지(819)에서 초기 CPB 제거 지연(837)에 의해 설명되는 디폴트 제거 지연과는 상이하다는 것을 나타낸다. 게다가, CPB 제거 지연(835)은 디폴트 값으로부터 현재 AU에 대한 제거 지연의 차이의 값을 포함한다. DPB 출력 지연(833)은, 대응하는 AU가, 출력 이전에, DPB에 남아 있을 수 있는 시간의 기간을 설명하는 정보이다. 구체적으로, DPB 출력 지연(833)은 DPB로부터 픽처의 출력 시간, 그러므로 픽처/AU가, CPB로부터의 제거 이후, DPB에 남아 있을 수 있는 시간의 양을 결정하기 위해 활용될 수도 있다. HRD에서의 출력 시간은 디코더에서의 디스플레이를 위한 픽처의 예상 출력과 대응한다.

한 실시예에서, PT SEI 메시지(818)는, pt_du_common_cpb_removal_delay_increment_minus1로서 지정되는 공통 CPB 제거 지연 증분(845)을 포함한다. 공통 CPB 제거 지연 증분(845) 플러스 1은, Htid i가 i와 동일한 경우 픽처 타이밍 SEI 메시지(818)와 관련되는 AU(예를 들면, AU(821))의 디코딩 순서에서의 임의의 두 개의 연속적인 DU(예를 들면, DU(822))의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱의 단위로 명시하는데, 여기서 Htid는 디코딩될 최상위 시간적 서브레이어를 식별한다. 이 값은, 가상 스트림 스케줄러(HSS)에 대한 CPB로의 디코딩 단위 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다. 이 신택스 엘리먼트의 길이는 du_cpb_removal_delay_increment_length_minus1 + 1 비트이다.

한 실시예에서, PT SEI 메시지(818)는, pt_num_decoding_units_minus1로서 지정되는 디코딩 단위의 개수(847)를 포함한다. 디코딩 단위의 개수(847) 플러스 1은, 픽처 타이밍 SEI 메시지(818)가 관련되는 AU(예를 들면, AU(821))에서의 DU(예를 들면, DU(822))의 개수를 명시한다. num_decoding_units_minus1의 값은 0 이상 PicSizeInCtbsY - 1 이하의 범위 내에 있어야 한다. 한 실시예에서, PicSizeInCtbsY 신택스 엘리먼트는 CTB 단위로 측정되는 픽처의 사이즈(예를 들면, CTB 단위로 측정되는 픽처의 폭×CTB 단위로 측정되는 픽처의 높이)를 나타낸다.

한 실시예에서, PT SEI 메시지(818)는, PT SEI 메시지(818)가 관련되는 AU의 i 번째 DU에서의 NAL 단위의 개수(849)를 포함한다. NAL 단위의 개수(849)는 pt_num_nalus_in_du_minus1[i]로서 지정된다. pt_num_nalus_in_du_minus1[i]의 값은 0 이상 PicSizeInCtbsY - 1 이하의 범위 내에 있어야 한다.

한 실시예에서, PT SEI 메시지(818)는, pt_du_common_cpb_removal_delay_flag로서 지정되는 공통 CPB 제거 지연 플래그(851)를 포함한다. 1과 동일한 공통 CPB 제거 지연 플래그(851)는, pt_du_common_cpb_removal_delay_increment_minus1[i]로서 지정되는, 공통 CPB 제거 지연 증분(845)의 신택스 엘리먼트가 PT SEI 메시지(818)에서 존재한다는 것을 명시한다. 0과 동일한 DU 공통 CPB 제거 지연 플래그(851)는, 공통 CPB 제거 지연 증분(845)의 신택스 엘리먼트가 존재하지 않는다는 것을 명시한다. PT SEI 메시지(818)에서 존재하지 않는 경우, 공통 CPB 제거 지연 플래그(851)는 0과 동일한 것으로 추론된다.

한 실시예에서, AU의 제1 DU는 AU의 디코딩 순서에서의 처음 pt_num_nalus_in_du_minus1[0] + 1 개의 연속적인 NAL 단위이다. AU의 i 번째(i는 0보다 더 큼) DU는, 디코딩 순서에서, AU의 이전 DU에서의 마지막 NAL 단위에 바로 후속하는 pt_num_nalus_in_du_minus1[i]+ 1 개의 연속적인 NAL 단위이다. 한 실시예에서, 각각의 DU에는 적어도 하나의 VCL NAL 단위가 있고, VCL NAL 단위와 관련되는 모든 비 VCL NAL 단위는 VCL NAL 단위와 동일한 DU에 포함된다.

한 실시예에서, PT SEI 메시지(818)는, pt_du_cpb_removal_delay_increment_minus1로서 지정되는 CPB 제거 지연 증분(853)을 포함한다. CPB 제거 지연 증분(853) 플러스 1은, Htid가 j와 동일할 때 PT SEI 메시지(818)와 관련되는 AU에서의, 디코딩 순서에서, (i+1) 번째 DU와 i 번째 DU의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱의 단위로 명시한다. 이 값은, HSS에 대한 CPB로의 DU 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다. 이 신택스 엘리먼트의 길이는 bp_du_cpb_removal_delay_increment_length_minus1 + 1 비트이다.

한 실시예에서, PT SEI 메시지(818)는, VPS(811) 대신 또는 그에 더하여, 서브레이어의 최대 개수(843)를 포함한다.

DUI SEI 메시지(816)는, CPB 및/또는 DPB에서 DU에 대한 전달 정보를 관리하기 위한 HRD 파라미터(890)(일명, 픽처 레벨 CPB 파라미터)를 포함하는 SEI 메시지이다. 예를 들면, DUI SEI 메시지(816)는 대응하는 DU에 대한 HRD 적합성 테스트를 수행함에 있어서의 사용을 위한 추가적인 파라미터를 포함할 수도 있다. 상기에서 언급되는 바와 같이, AU는 하나 이상의 DU를 포함할 수도 있다. 그러므로, DU를 검사하기 위한 정보는 AU를 검사하기 위한 정보와는 상이할 수도 있다. 특정한 예로서, DUI SEI 메시지(816)는 CPB 제거 지연 정보(831)를 포함할 수도 있다. CPB 제거 지연 정보(831)는 CPB로부터 대응하는 DU의 제거에 관련되는 정보이다. 예를 들면, CPB 제거 지연 정보(831)는 디코딩 순서에서 현재 DU와 이전 DU의 제거 사이의 클록 틱의 개수를 계산하기 위해 사용될 수도 있다.

한 실시예에서, DUI SEI 메시지(816)는, 초기 CPB 제거 지연(837) 및 초기 CPB 제거 오프셋(839)이 BP SEI 메시지(819)에서 나타내어지는 시간적 서브레이어의 최대 개수(841)를 포함한다. 시간적 서브레이어의 이 최대 개수(841)는 bp_max_sublayers_minus1로서 나타내어진다. bp_max_sublayers_minus1의 값은 0 이상 VPS(811)에서 명시되는 서브레이어의 최대 개수(843) - 이것은 vps_max_sublayers_minus1로서 나타내어짐 - 이하의 범위 내에 있을 것이다. vps_max_sublayers_minus1 플러스 1은 VPS(811)에 의해 명시되는 레이어에서 존재할 수도 있는 시간적 서브레이어의 최대 개수를 명시한다. vps_max_sublayers_minus1의 값은 0 이상 6 이하의 범위 내에 있어야 한다.

한 실시예에서, DUI SEI 메시지(816)는, VPS(811) 대신 또는 그에 추가하여, 서브레이어의 최대 개수(843)를 포함한다.

전술한 설명에 의해 인식될 수 있는 바와 같이, BP SEI 메시지(819), PT SEI 메시지(818), 및 DUI SEI 메시지(816)는 상당한 양의 정보를 포함한다. 한 실시예에서, PT SEI 메시지(818) 및/또는 DUI SEI 메시지(816)에서의 HRD 파라미터(880 및/또는 890)(일명, 픽처 레벨 CPB 파라미터)는 비트스트림 적합성을 테스트하기 위해 서브레이어에 대한 DU 기반의 HRD 동작을 수행하기 위해 사용된다.

예로서, HRD는, 각각의 레이어에 대해, 픽처 타이밍 SEI 메시지와 관련되는 액세스 단위의 디코딩 순서에서의 임의의 두 개의 연속적인 디코딩 단위의 공칭 CPB 제거 시간 사이의, PT SEI 메시지(818) 및/또는 DUI SEI 메시지(816)에서 명시되는 바와 같은 지속 기간이 초과되는지의 여부를 결정한다. 지속 기간이 초과되는 경우, 비트스트림이 적합하지 않고 수정된 CPB 파라미터를 갖는 새로운 비트스트림이 생성되어 인코더에 의해 테스트된다. 그 프로세스는, 지속 기간이 초과되지 않을 때까지 반복될 수도 있는데, 이것은, 비트스트림이 표준(예를 들면, VVC 표준)을 준수한다는 것을 의미한다.

HRD는, 각각의 레이어에 대해, 픽처 타이밍 SEI 메시지와 관련되는 액세스 단위의, 디코딩 순서에서의 (i+1) 번째 디코딩 단위와 i 번째 디코딩 단위의 CPB 제거 시간 사이의, PT SEI 메시지(818) 및/또는 DUI SEI 메시지(816)에서 명시되는 바와 같은 지속 기간이 초과되는지의 여부를 또한 결정할 수도 있다. 지속 기간이 초과되는 경우, 비트스트림이 적합하지 않고 수정된 CPB 파라미터를 갖는 새로운 비트스트림이 생성되어 인코더에 의해 테스트된다. 그 프로세스는, 지속 기간이 초과되지 않을 때까지 반복될 수도 있는데, 이것은, 비트스트림이 표준(예를 들면, VVC 표준)을 준수한다는 것을 의미한다.

일단 적합한 비트스트림이 획득되면, 그 비트스트림은 저장될 수도 있고 디코더를 향해 전달될 수도 있다. 한 실시예에서, BP SEI 메시지(819), PT SEI 메시지(818), 및 DUI SEI 메시지(816)는, 비트스트림에 포함되는 픽처 중 임의의 것을 디코딩함에 있어서 디코더가 이 정보를 사용하지 않을 수도 있음에도 불구하고, 비트스트림에 포함되는 채로 유지된다.

비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위한 DU 기반의 HRD 동작을 사용하는 HRD의 예시적인 구현예가 다음의 신택스 및 의미론에서 제공된다.

픽처 타이밍 SEI 메시지 신택스는 다음과 같다.

픽처 타이밍 SEI 메시지 의미론의 예는 다음과 같다.

픽처 타이밍 SEI 메시지는 SEI 메시지와 관련되는 액세스 단위에 대한 CPB 제거 지연 및 DPB 출력 지연 정보를 제공한다.

num_decoding_units_minus1 플러스 1은, 픽처 타이밍 SEI 메시지가 관련되는 액세스 단위에서의 디코딩 단위의 개수를 명시한다. num_decoding_units_minus1의 값은 0 이상 PicSizeInCtbsY - 1 이하의 범위 내에 있어야 한다.

1과 동일한 du_common_cpb_removal_delay_flag는 신택스 엘리먼트 du_common_cpb_removal_delay_increment_minus1[i]가 존재한다는 것을 명시한다. 0과 동일한 du_common_cpb_removal_delay_flag는 신택스 엘리먼트 du_common_cpb_removal_delay_increment_minus1[i] 존재하지 않는다는 것을 명시한다.

du_common_cpb_removal_delay_increment_minus1[i] 플러스 1은, Htid가 i와 동일할 때 픽처 타이밍 SEI 메시지와 관련되는 액세스 단위의 디코딩 순서에서의 임의의 두 개의 연속적인 디코딩 단위의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱(조항 C.1 참조)의 단위로 명시한다. 이 값은, VVC 표준의 부록 C에서 명시되는 바와 같이, HSS에 대한 CPB로의 디코딩 단위 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다. 이 신택스 엘리먼트의 길이는 du_cpb_removal_delay_increment_length_minus1 + 1 비트이다.

num_nalus_in_du_minus1[i]플러스 1은, 픽처 타이밍 SEI 메시지가 관련되는 액세스 단위의 i 번째 디코딩 단위에서의 NAL 단위의 개수를 명시한다. num_nalus_in_du_minus1[i]의 값은 0 이상 PicSizeInCtbsY - 1 이하의 범위 내에 있어야 한다.

액세스 단위의 제1 디코딩 단위는, 액세스 단위의 디코딩 순서에서 처음 num_nalus_in_du_minus1[0] + 1 개의 연속적인 NAL 단위로 구성된다. 액세스 단위의 i 번째(i는 0보다 더 큼) 디코딩 단위는, 디코딩 순서에서, 액세스 단위의 이전 디코딩 단위에서의 마지막 NAL 단위에 바로 후속하는 num_nalus_in_du_minus1[i] + 1 개의 연속적인 NAL 단위로 구성된다. 각각의 디코딩 단위에는 적어도 하나의 VCL NAL 단위가 있어야 한다. VCL NAL 단위와 관련되는 모든 비 VCL NAL 단위는 VCL NAL 단위와 동일한 디코딩 단위에 포함되어야 한다.

du_cpb_removal_delay_increment_minus1[i][j] 플러스 1은, Htid가 j와 동일할 때 픽처 타이밍 SEI 메시지와 관련되는 액세스 단위의, 디코딩 순서에서의, (i+1) 번째 디코딩 단위와 i 번째 디코딩 단위의 공칭 CPB 제거 시간 사이의 지속 기간을 클록 서브 틱 단위로 명시한다. 이 값은, VVC 표준의 부록 C에서 명시되는 바와 같이, HSS에 대한 CPB로의 디코딩 단위 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다. 이 신택스 엘리먼트의 길이는 du_cpb_removal_delay_increment_length_minus1 + 1 비트이다.

예시적인 디코딩 단위 정보 SEI 메시지 신택스는 다음과 같다.

픽처 타이밍 SEI 메시지 의미론의 예는 다음과 같다.

디코딩 단위 정보 SEI 메시지는 SEI 메시지와 관련되는 디코딩 단위에 대한 CPB 제거 지연 정보를 제공한다.

다음의 것이 디코딩 단위 정보 SEI 메시지 신택스 및 의미론에 적용된다.

- 신택스 엘리먼트 decoding_unit_hrd_params_present_flag, decoding_unit_cpb_params_in_pic_timing_sei_flag 및 dpb_output_delay_du_length_minus1, 및 변수 CpbDpbDelaysPresentFlag는, 디코딩 단위 정보 SEI 메시지가 적용되는 동작 포인트 중 적어도 하나에 적용 가능한 general_hrd_parameters() 신택스 구조의 신택스 엘리먼트에서 발견되거나 또는 그로부터 유도된다.

- 비트스트림(또는 그 일부)은, 디코딩 단위 정보 SEI 메시지가 적용되는 동작 포인트 중 임의의 것과 관련되는 비트스트림 서브세트(또는 그 일부)를 가리킨다.

동작 포인트에 대한 디코딩 단위 정보 SEI 메시지의 존재는 다음과 같이 명시된다.

- CpbDpbDelaysPresentFlag가 1과 동일하고, decoding_unit_hrd_params_present_flag가 1과 동일하고 그리고 decoding_unit_cpb_params_in_pic_timing_sei_flag가 0과 동일한 경우, 동작 포인트에 적용 가능한 하나 이상의 디코딩 단위 정보 SEI 메시지는 CVS의 각각의 디코딩 단위와 관련되어야 한다.

- 그렇지 않고, CpbDpbDelaysPresentFlag가 1과 동일하고, decoding_unit_hrd_params_present_flag가 1과 동일하고 그리고 decoding_unit_cpb_params_in_pic_timing_sei_flag가 1과 동일한 경우, 동작 포인트에 적용 가능한 하나 이상의 디코딩 단위 정보 SEI 메시지는 CVS의 각각의 디코딩 단위와 관련될 수도 있거나 또는 관련되지 않을 수도 있다.

- 그렇지 않으면(CpbDpbDelaysPresentFlag가 0과 동일하거나 또는 decoding_unit_hrd_params_present_flag가 0과 동일함), CVS에는, 동작 포인트에 적용 가능한 디코딩 단위 정보 SEI 메시지와 관련되는 디코딩 단위가 없을 것이다.

디코딩 단위 정보 SEI 메시지와 관련되는 NAL 단위의 세트는, 디코딩 순서에서, 디코딩 단위 정보 SEI 메시지를 포함하는 SEI NAL 단위 및 decoding_unit_idx의 상이한 값을 갖는 디코딩 단위 정보 SEI 메시지를 포함하는 임의의 후속하는 SEI NAL 단위까지 그러나 그 임의의 후속하는 SEI NAL 단위를 포함하지 않는 액세스 단위의 모든 후속하는 SEI NAL 단위로 구성된다. 각각의 디코딩 단위는 적어도 하나의 VCL NAL 단위를 포함해야 한다. VCL NAL 단위와 관련되는 모든 비 VCL NAL 단위는 VCL NAL 단위를 포함하는 디코딩 단위에 포함되어야 한다.

디코딩 단위 정보 SEI 메시지 신택스에서의 TemporalId는 디코딩 단위 정보 SEI 메시지를 포함하는 SEI NAL 단위의 TemporalId이다.

decoding_unit_idx는 디코딩 단위 정보 SEI 메시지와 관련되는 디코딩 단위의, 0에서부터 시작하는, 현재 액세스 단위의 디코딩 단위의 목록에 대한 인덱스를 명시한다. decoding_unit_idx의 값은 0 이상 PicSizeInCtbsY - 1 이하의 범위 내에 있어야 한다.

duIdx의 특정한 값에 의해 식별되는 디코딩 단위는 duIdx와 동일한 decoding_unit_idx를 갖는 모든 디코딩 단위 정보 SEI 메시지와 관련되는 모든 NAL 단위를 포함하고 단지 그들만을 포함한다. 그러한 디코딩 단위는 duIdx와 동일한 decoding_unit_idx를 갖는 디코딩 단위 정보 SEI 메시지와 관련되는 것으로 또한 지칭된다.

duIdxA 및 duIdxB - 여기서 duIdxA는 duIdxB보다 더 작음 - 와 동일한 decoding_unit_idx를 각각 갖는 하나의 액세스 단위의 임의의 두 개의 디코딩 단위 duA 및 duB에 대해, duA는 디코딩 순서에서 duB보다 선행해야 한다.

하나의 디코딩 단위의 NAL 단위는, 디코딩 순서에서, 다른 디코딩 단위의 임의의 두 개의 NAL 단위 사이에 존재하지 않아야 한다.

dui_max_sub_layers_minus1 플러스 1은, CPB 제거 지연 정보가 디코딩 단위 정보 SEI 메시지에 포함되는 최상위 서브레이어 표현의 TemporalId를 명시한다. dui_max_sub_layers_minus1의 값은 0 이상 vps_max_sub_layers_minus1 이하의 범위 내에 있어야 한다.

du_spt_cpb_removal_delay_increment[i]는, Htid가 i와 동일할 때 디코딩 단위 정보 SEI 메시지와 관련되는 디코딩 단위 및 현재 액세스 단위의 디코딩 순서에서 마지막 디코딩 단위의 공칭 CPB 시간 사이의 지속 기간을 클록 서브 틱의 단위로 명시한다. 이 값은, 부록 C에서 명시되는 바와 같이, HSS에 대한 CPB로의 디코딩 단위 데이터의 도달의 가장 빠른 가능한 시간을 계산하기 위해 또한 사용된다. 이 신택스 엘리먼트의 길이는 du_cpb_removal_delay_increment_length_minus1 + 1이다. 디코딩 단위 정보 SEI 메시지와 관련되는 디코딩 단위가 현재 액세스 단위의 마지막 디코딩 단위인 경우, du_spt_cpb_removal_delay_increment[i]의 값은 0과 동일해야 한다.

1과 동일한 dpb_output_du_delay_present_flag는 디코딩 단위 정보 SEI 메시지에서의 pic_spt_dpb_output_du_delay 신택스 엘리먼트의 존재를 명시한다. 0과 동일한 dpb_output_du_delay_present_flag는 디코딩 단위 정보 SEI 메시지에서의 pic_spt_dpb_output_du_delay 신택스 엘리먼트의 부재를 명시한다.

pic_spt_dpb_output_du_delay는 DecodingUnitHrdFlag가 1과 동일할 때 픽처의 DPB 출력 시간을 계산하기 위해 사용된다. 디코딩된 픽처가 DPB로부터 출력되기 이전에 CPB로부터의 액세스 단위의 마지막 디코딩 단위의 제거 이후, 얼마나 많은 수의 서브 클록 틱을 대기할지를 명시한다. 존재하지 않는 경우, pic_spt_dpb_output_du_delay의 값은 pic_dpb_output_du_delay와 동일한 것으로 추론된다. 신택스 엘리먼트 pic_spt_dpb_output_du_delay의 길이는 dpb_output_delay_du_length_minus1 + 1에 의해 비트 단위로 주어진다.

동일한 액세스 단위와 관련되고, 동일한 동작 포인트에 적용되며, 1과 동일한 dpb_output_du_delay_present_flag를 갖는 모든 디코딩 단위 정보 SEI 메시지는 pic_spt_dpb_output_du_delay의 동일한 값을 가져야 한다는 것이 비트스트림 적합성의 요건이다.

출력 타이밍 적합 디코더로부터 출력되는 임의의 픽처의 pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간은, 디코딩 순서에서 임의의 후속하는 CVS의 모든 픽처의 pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간보다 선행해야 한다.

이 신택스 엘리먼트의 값에 의해 확립되는 픽처 출력 순서는 PicOrderCntVal의 값에 의해 확립되는 순서와 동일해야 한다.

"범핑" 프로세스에 의해 출력되지 않는 픽처의 경우, 디코딩 순서에서, 1과 동일하거나 또는 1과 동일한 것으로 추론되는 no_output_of_prior_pics_flag를 갖는 CLVSS 픽처보다 그들이 앞서기 때문에, pic_spt_dpb_output_du_delay로부터 유도되는 출력 시간은, 동일한 CVS 내의 모든 픽처에 대해 PicOrderCntVal의 값이 증가함에 따라 증가해야 한다.

CVS의 임의의 두 픽처에 대해, DecodingUnitHrdFlag가 1과 동일할 때 두 픽처의 출력 시간 사이의 차이는, DecodingUnitHrdFlag가 0과 동일할 때의 동일한 차이와 동일해야 한다.

도 9는 비디오 디코더(예를 들면, 비디오 디코더(400))에 의해 구현되는 디코딩의 방법(900)의 실시예이다. 방법(900)은 비트스트림이 비디오 인코더(예를 들면, 비디오 인코더(300))로부터 직접적으로 또는 간접적으로 수신된 이후 수행될 수도 있다. 방법(900)은, 서브레이어에 대한 DU 기반의 HRD 동작을 수행하기 위해 사용되는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 것에 의해 디코딩 프로세스를 향상시킨다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

블록(902)에서, 비디오 디코더는 코딩된 픽처 및 SEI 메시지를 포함하는 비트스트림을 수신한다. SEI 메시지는 서브레이어(예를 들면, 서브레이어(710, 720, 및 730))에 대한 DU 기반의 HRD 동작을 수행하기 위해 사용되는 CPB 파라미터(예를 들면, 픽처 레벨 CPB 파라미터로 지칭되는 HRD 파라미터(880 및/또는 890))를 포함한다. DU(822)와 같은 DU에 대응하는 DU 기반의 HRD 동작은 AU(821)와 같은 AU에 대응하는 AU 기반의 HRD 동작과는 상이하다. 상기에서 언급되는 바와 같이, DU 기반의 HRD 동작은, 비트스트림 적합성에 대해, 다중 레이어 비디오 시퀀스(600) 및/또는 다중 레이어 비디오 시퀀스(700)를 포함하는, 비트스트림(800)과 같은 비트스트림에 대한 테스팅의 목적을 위한 HRD(예를 들면, HRD(500))에 의해 구현된다.

한 실시예에서, CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시한다. 한 실시예에서, SEI 메시지는 픽처 타이밍(PT) SEI 메시지이다. 한 실시예에서, CPB 파라미터는 PT SEI 메시지와 관련되는 AU에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함한다.

한 실시예에서, SEI 메시지는, PT SEI 메시지와 관련되는 AU에서의 디코딩 단위의 개수를 명시하는 PT SEI 메시지이다. 한 실시예에서, SEI 메시지는 PT SEI 메시지와 관련되는 AU의 DU에서의 NAL 단위의 개수를 명시하는 PT SEI 메시지이다. 본원에서 사용되는 바와 같이, 최상위 서브레이어는 베이스 레이어(예를 들면, 서브레이어(710))로부터 가장 멀리 떨어진 향상 레이어(예를 들면, 서브레이어(730))이다.

한 실시예에서, SEI 메시지는 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간적 ID를 제공하는 DUI SEI 메시지이다. 한 실시예에서, 시간 ID는, CPB 제거 지연 정보가 DUI SEI 메시지에 포함되는 최상위 서브레이어를 명시한다.

블록(904)에서, 비디오 디코더는 디코딩된 픽처를 획득하기 위해 비트스트림으로부터의 코딩된 픽처를 디코딩한다. 그 이후, 디코딩된 픽처는 전자 디바이스(예를 들면, 스마트폰, 태블릿, 랩탑, 퍼스널 컴퓨터, 등등)의 디스플레이 또는 스크린 상에서 유저에 대한 디스플레이를 위한 이미지 또는 비디오 시퀀스를 생성하도록 또는 발생시키도록 사용될 수도 있다. 한 실시예에서, PT SEI 메시지(818) 및/또는 DUI SEI 메시지(816)에 포함되는 픽처 레벨 CPB 파라미터는 코딩된 픽처를 디코딩하는 데 사용되지 않는다.

도 10은 비디오 인코더(예를 들면, 비디오 인코더(300))에 의해 구현되는 비디오 비트스트림을 인코딩하는 방법(1000)의 한 실시예이다. 방법(1000)은 (예를 들면, 비디오로부터의) 픽처가 비디오 비트스트림으로 인코딩되어야 하고, 그 다음, 비디오 디코더(예를 들면, 비디오 디코더(400))를 향해 송신되어야 할 때 수행될 수도 있다. 방법(1000)은, 서브레이어에 대한 DU 기반의 HRD 동작을 수행하기 위해 사용되는 픽처 레벨 코딩된 픽처 버퍼(CPB) 파라미터가 보충 향상 정보(SEI) 메시지에 포함되는 것을 보장하는 것에 의해 인코딩 프로세스를 향상시킨다. 픽처 레벨 CPB 파라미터가 SEI 메시지에 포함되기 때문에, 서브레이어가 적절하게 코딩되는 것 및/또는 적절하게 디코딩될 수 있는 것을 보장하는 비트스트림 적합성에 대해 비트스트림의 서브레이어를 테스트하기 위해, HRD는 DU 기반의 HRD 동작을 사용할 수 있다. 따라서, 비디오 코딩에서의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적 문제로서, 향상된 비디오 코딩 프로세스는, 비디오가 전송, 수신 및/또는 시청될 때, 유저에게 더 나은 유저 경험을 제공한다.

블록(1002)에서, 비디오 인코더는 코딩된 픽처 및 SEI 메시지를 포함하는 비트스트림을 생성한다. SEI 메시지는 서브레이어(예를 들면, 서브레이어(710, 720, 및 730))에 대한 DU 기반의 HRD 동작을 수행하기 위해 사용되는 CPB 파라미터(예를 들면, 픽처 레벨 CPB 파라미터로 지칭되는 HRD 파라미터(880 및/또는 890))를 포함한다. DU(822)와 같은 DU에 대응하는 DU 기반의 HRD 동작은 AU(821)와 같은 AU에 대응하는 AU 기반의 HRD 동작과는 상이하다. 상기에서 언급되는 바와 같이, DU 기반의 HRD 동작은, 비트스트림 적합성에 대해, 다중 레이어 비디오 시퀀스(600) 및/또는 다중 레이어 비디오 시퀀스(700)를 포함하는, 비트스트림(800)과 같은 비트스트림에 대한 테스팅의 목적을 위한 HRD(예를 들면, HRD(500))에 의해 구현된다.

한 실시예에서, CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시한다. 한 실시예에서, SEI 메시지는 픽처 타이밍(PT) SEI 메시지이다. 한 실시예에서, CPB 파라미터는 PT SEI 메시지와 관련되는 액세스 단위(AU)에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함한다. 한 실시예에서, PT SEI 메시지가 PT SEI 메시지와 관련되는 AU에서의 디코딩 단위의 개수 및 PT SEI 메시지와 관련되는 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(NAL) 단위의 개수를 명시한다.

한 실시예에서, SEI 메시지는 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(ID)를 제공하는 DUI SEI 메시지이다. 한 실시예에서, DUI SEI 메시지는 CPB 제거 지연 정보가 DUI SEI 메시지에 포함되는 최상위 서브레이어의 시간 식별자(ID)를 명시한다.

블록(1004)에서, 비디오 인코더는 비트스트림이 적합한지의 여부를 결정하기 위해 CPB 파라미터를 사용하여 서브레이어에 대한 DU 기반의 HRD 동작을 수행한다.

한 실시예에서, 비트스트림은 CPB 제거 시간 사이의 지속 기간이 초과되지 않는 경우에 적합하다.

블록(1006)에서, 비디오 인코더는, DU 기반의 HRD 동작의 성능에 기초하여 비트스트림이 적합할 때 비디오 디코더를 향한 통신을 위해 비트스트림을 저장한다. 비트스트림이 비디오 디코더를 향해 송신될 때까지, 비트스트림은 메모리에 저장될 수도 있다. 일단 비디오 디코더에 의해 수신되면, 전자 디바이스(예를 들면, 스마트폰, 태블릿, 랩탑, 퍼스널 컴퓨터, 등등)의 디스플레이 또는 스크린 상에서 유저에 대한 디스플레이를 위한 이미지 또는 비디오 시퀀스를 생성 또는 발생시키기 위해, 인코딩된 비트스트림은 (예를 들면, 상기에서 설명되는 바와 같이) 디코딩될 수도 있다.

도 11은 본 개시의 실시예에 따른 비디오 코딩 디바이스(1100)(예를 들면, 비디오 인코더(300) 또는 비디오 디코더(400))의 개략도이다. 비디오 코딩 디바이스(1100)는 본원에서 설명되는 바와 같이 개시된 실시예를 구현하는 데 적합하다. 비디오 코딩 디바이스(1100)는 데이터를 수신하기 위한 입구 포트(1110) 및 수신기 유닛(Rx)(1120); 데이터를 프로세싱하기 위한 프로세서, 로직 유닛, 또는 중앙 프로세싱 유닛(central processing unit; CPU)(1130); 데이터를 송신하기 위한 송신기 유닛(Tx)(1140) 및 출구 포트(1150); 및 데이터를 저장하기 위한 메모리(1160)를 포함한다. 비디오 코딩 디바이스(1100)는, 입구 포트(1110), 수신기 유닛(1120), 송신기 유닛(1140), 및 광학 또는 전기 신호의 유출 또는 유입을 위한 출구 포트(1150)에 커플링되는 광학 대 전기(optical-to-electrical; OE) 컴포넌트 및 전기 대 광학(electrical-to-optical; EO) 컴포넌트를 또한 포함할 수도 있다.

프로세서(1130)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(1130)는 하나 이상의 CPU 칩으로서, 코어로서(예를 들면, 멀티 코어 프로세서), 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA)로서, 주문형 집적 회로(application specific integrated circuit; ASIC)로서, 그리고 디지털 신호 프로세서(digital signal processor; DSP)로서 구현될 수도 있다. 프로세서(1130)는 입구 포트(1110), 수신기 유닛(1120), 송신기 유닛(1140), 출구 포트(1150), 및 메모리(1160)와 통신한다. 프로세서(1130)는 코딩 모듈(1170)을 포함한다. 코딩 모듈(1170)은 상기에서 설명되는 개시된 실시예를 구현한다. 예를 들면, 코딩 모듈(1170)은 다양한 코덱 기능을 구현, 프로세싱, 준비, 또는 제공한다. 따라서, 코딩 모듈(1170)의 포함은, 비디오 코딩 디바이스(1100)의 기능성에 대한 실질적인 향상을 제공하고 상이한 상태로의 비디오 코딩 디바이스(1100)의 변환을 실행한다. 대안적으로, 코딩 모듈(1170)은 메모리(1160)에 저장되며 프로세서(1130)에 의해 실행되는 명령어로서 구현된다.

비디오 코딩 디바이스(1100)는 유저에게 그리고 유저로부터 데이터를 전달하기 위한 입력 및/또는 출력(I/O) 디바이스(1180)를 또한 포함할 수도 있다. I/O 디바이스(1180)는 비디오 데이터를 디스플레이하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커, 등등과 같은 출력 디바이스를 포함할 수도 있다. I/O 디바이스(1180)는, 키보드, 마우스, 트랙볼, 등등과 같은 입력 디바이스, 및/또는 그러한 출력 디바이스와 상호 작용하기 위한 대응하는 인터페이스를 또한 포함할 수도 있다.

메모리(1160)는 하나 이상의 디스크, 테이프 드라이브, 및 솔리드 스테이트 드라이브를 포함하며, 그러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하기 위해, 그리고 프로그램 실행 동안 판독되는 명령어 및 데이터를 저장하기 위해, 오버플로우 데이터 스토리지 디바이스로서 사용될 수도 있다. 메모리(1160)는 휘발성 및/또는 불휘발성일 수도 있고 리드 온리 메모리(read-only memory; ROM), 랜덤 액세스 메모리(random access memory; RAM), 터너리 콘텐츠 어드레서블 메모리(ternary content-addressable memory; TCAM), 및/또는 정적 랜덤 액세스 메모리(static random-access memory; SRAM)일 수도 있다.

도 12는 코딩하기 위한 수단(1200)의 실시예의 개략도이다. 한 실시예에서, 코딩하기 위한 수단(1200)은 비디오 코딩 디바이스(1202)(예를 들면, 비디오 인코더(300) 또는 비디오 디코더(400))에서 구현된다. 비디오 코딩 디바이스(1202)는 수신 수단(1201)을 포함한다. 수신 수단(1201)은 인코딩할 픽처를 수신하도록 또는 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 디바이스(1202)는 수신 수단(1201)에 커플링되는 송신 수단(1207)을 포함한다. 송신 수단(1207)은 비트스트림을 디코더로 송신하도록 또는 디코딩된 이미지를 디스플레이 수단(예를 들면, I/O 디바이스(1180) 중 하나)으로 송신하도록 구성된다.

비디오 코딩 디바이스(1202)는 저장 수단(1203)을 포함한다. 저장 수단(1203)은 수신 수단(1201) 또는 송신 수단(1207) 중 적어도 하나에 커플링된다. 저장 수단(1203)은 명령어를 저장하도록 구성된다. 비디오 코딩 디바이스(1202)는 프로세싱 수단(1205)을 또한 포함한다. 프로세싱 수단(1205)은 저장 수단(1203)에 커플링된다. 프로세싱 수단(1205)은 본원에서 개시되는 방법을 수행하기 위해 저장 수단(1203)에 저장되는 명령어를 실행하도록 구성된다.

또한, 본원에서 기술되는 예시적인 방법의 단계는 반드시 설명되는 순서대로 수행될 필요는 없다는 것이 이해되어야 하며, 그러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 본 개시의 다양한 실시예와 부합하는 방법에서, 추가적인 단계가 그러한 방법에 포함될 수도 있고, 소정의 단계가 생략 또는 조합될 수도 있다.

본 개시에서 몇몇 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 개시의 취지 또는 범위로부터 벗어나지 않으면서 많은 다른 특정한 형태로 구체화될 수도 있다는 것이 이해되어야 한다. 본 예는 제한적인 것이 아니라 예시적인 것으로서 간주되어야 하며, 의도는 본원에서 주어지는 세부 사항으로 제한되지는 않는다. 예를 들면, 다양한 엘리먼트 또는 컴포넌트가 다른 시스템에서 결합 또는 통합될 수도 있거나 또는 소정의 피쳐가 생략될 수도 있거나, 또는 구현되지 않을 수도 있다.

또한, 다양한 실시예에서 별개인 것으로 또는 분리된 것으로 설명되고 예시되는 기술, 시스템, 서브시스템, 및 방법은, 본 개시의 범위로부터 벗어나지 않으면서, 다른 시스템, 모듈, 기술, 또는 방법과 결합 또는 통합될 수도 있다. 커플링되는 것으로 또는 직접적으로 커플링되는 것으로 또는 서로 통신하는 것으로 도시되는 또는 논의된 다른 아이템은, 전기적으로든, 기계적으로든, 또는 다른 방식으로든 간에, 어떤 인터페이스, 디바이스, 또는 중간 컴포넌트를 통해 간접적으로 커플링될 수도 있거나 또는 통신할 수도 있다. 다른 변경예, 대체예, 및 수정예가 기술 분야에서 통상의 기술을 가진 자에 의해 확인 가능하고, 본원에서 개시되는 취지 및 범위로부터 벗어나지 않으면서 이루어질 수 있다.

Claims

비디오 디코더에 의해 구현되는 방법으로서,
상기 비디오 디코더에 의해, 코딩된 픽처 및 보충 향상 정보(supplemental enhancement information; SEI) 메시지 - 상기 SEI 메시지는 서브레이어(sublayer)에 대한 디코딩 단위(decoding unit; DU) 기반의 가상 참조 디코더(hypothetical reference decoder; HRD) 동작에 대응하는 코딩된 픽처 버퍼(coded picture buffer; CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 수신하는 단계; 및
상기 비디오 디코더에 의해, 디코딩된 픽처를 획득하기 위해 상기 비트스트림으로부터의 상기 코딩된 픽처를 디코딩하는 단계
를 포함하는 비디오 디코더에 의해 구현되는 방법.
제1항에 있어서,
상기 CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시하는, 비디오 디코더에 의해 구현되는 방법.
제1항 또는 제2항에 있어서,
상기 SEI 메시지는 픽처 타이밍(picture timing; PT) SEI 메시지인, 비디오 디코더에 의해 구현되는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 CPB 파라미터는 PT SEI 메시지와 관련되는 액세스 단위(access unit; AU)에 대한 CPB 제거 지연 증분 및 공통 CPB 제거 지연 증분을 포함하는, 비디오 디코더에 의해 구현되는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 SEI 메시지는, 상기 PT SEI 메시지와 관련되는 상기 AU에서의 디코딩 단위의 개수를 명시하는 PT SEI 메시지인, 비디오 디코더에 의해 구현되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 SEI 메시지는, 상기 PT SEI 메시지와 관련되는 상기 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(network abstraction layer; NAL) 단위의 개수를 명시하는 PT SEI 메시지인, 비디오 디코더에 의해 구현되는 방법.
제1항에 있어서,
상기 SEI 메시지는, 디코딩 단위 정보(decoding unit information; DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(ID)를 제공하는 상기 DUI SEI 메시지인, 비디오 디코더에 의해 구현되는 방법.
제7항에 있어서,
상기 시간 ID는, CPB 제거 지연 정보가 상기 DUI SEI 메시지에 포함되는 최상위 서브레이어(highest sublayer)를 명시하는, 비디오 디코더에 의해 구현되는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
전자 디바이스의 디스플레이 상에 상기 디코딩된 픽처를 디스플레이하는 단계를 더 포함하는, 비디오 디코더에 의해 구현되는 방법.
비디오 인코더에 의해 구현되는 방법으로서,
상기 비디오 인코더에 의해, 코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - 상기 SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 생성하는 단계; 및
상기 비디오 인코더에 의해, 상기 비트스트림이 적합한지의 여부를 결정하기 위해 상기 CPB 파라미터를 사용하여 상기 서브레이어에 대한 상기 DU 기반의 HRD 동작을 수행하는 단계; 및
상기 비디오 인코더에 의해, 상기 DU 기반의 HRD 동작의 성능에 기초하여 상기 비트스트림이 적합할 때 비디오 디코더를 향한 통신을 위해 상기 비트스트림을 저장하는 단계
를 포함하는 비디오 인코더에 의해 구현되는 방법.
제10항에 있어서,
상기 CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시하고, 상기 CPB 제거 시간 사이의 상기 지속 기간이 초과되지 않는 경우 상기 비트스트림은 적합한, 비디오 인코더에 의해 구현되는 방법.
제10항 또는 제11항에 있어서,
상기 SEI 메시지는 픽처 타이밍(PT) SEI 메시지인, 비디오 인코더에 의해 구현되는 방법.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 CPB 파라미터는 PT SEI 메시지와 관련되는 액세스 단위(AU)에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함하는, 비디오 인코더에 의해 구현되는 방법.
제13항에 있어서,
상기 PT SEI 메시지는 상기 PT SEI 메시지와 관련되는 상기 AU에서의 디코딩 단위의 개수 및 상기 PT SEI 메시지와 관련되는 상기 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(NAL) 단위의 개수를 명시하는, 비디오 인코더에 의해 구현되는 방법.
제10항에 있어서,
상기 SEI 메시지는, 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(ID)를 제공하는 상기 DUI SEI 메시지인, 비디오 인코더에 의해 구현되는 방법.
제15항에 있어서,
상기 DUI SEI 메시지는, CPB 제거 지연 정보가 상기 DUI SEI 메시지에 포함되는 최상위 서브레이어의 시간 ID를 명시하는, 비디오 인코더에 의해 구현되는 방법.
디코딩 디바이스로서,
코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - 상기 SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 가상 참조 디코더(HRD) 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 수신하도록 구성되는 수신기;
상기 수신기에 커플링되는 메모리 - 상기 메모리는 명령어를 저장함 - ; 및
상기 메모리에 커플링되는 프로세서 - 상기 프로세서는, 디코딩된 픽처를 획득하기 위해, 상기 명령어를 실행하여 상기 디코딩 디바이스로 하여금 상기 비트스트림으로부터의 상기 코딩된 픽처를 디코딩하게 하도록 구성됨 -
를 포함하는 디코딩 디바이스.
제17항에 있어서,
상기 CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시하는, 디코딩 디바이스.
제17항 또는 제18항에 있어서,
상기 SEI 메시지는, PT SEI 메시지와 관련되는 액세스 단위(AU)에서의 디코딩 단위의 개수를 명시하는 PT SEI 메시지이고, 상기 CPB 파라미터는 상기 PT SEI 메시지와 관련되는 상기 AU에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함하는, 디코딩 디바이스.
제17항에 있어서,
상기 SEI 메시지는, 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI NAL 단위의 시간 식별자(ID)를 제공하는 상기 DUI SEI 메시지인, 디코딩 디바이스.
제20항에 있어서,
상기 시간 ID는, CPB 제거 지연 정보가 상기 DUI SEI 메시지에 포함되는 최상위 서브레이어를 명시하는, 디코딩 디바이스.
인코딩 디바이스로서,
명령어를 포함하는 메모리;
상기 메모리에 커플링되는 프로세서 - 상기 프로세서는 상기 명령어를 구현하여, 상기 인코딩 디바이스로 하여금:
코딩된 픽처 및 보충 향상 정보(SEI) 메시지 - 상기 SEI 메시지는 서브레이어에 대한 디코딩 단위(DU) 기반의 HRD 동작에 대응하는 코딩된 픽처 버퍼(CPB) 파라미터를 포함함 - 를 포함하는 비트스트림을 생성하게 하도록;
상기 비트스트림이 적합한지의 여부를 결정하기 위해 상기 CPB 파라미터를 사용하여 상기 서브레이어에 대한 상기 DU 기반의 HRD 동작을 수행하게 하도록 구성됨 - ; 및
상기 프로세서에 커플링되는 송신기 - 상기 송신기는, 상기 DU 기반의 HRD 동작의 수행에 기초하여 상기 비트스트림이 적합한 경우 비디오 디코더를 향해 상기 비디오 비트스트림을 송신하도록 구성됨 -
를 포함하는 인코딩 디바이스.
제22항에 있어서,
상기 CPB 파라미터는 두 개의 디코딩 단위의 CPB 제거 시간 사이의 지속 기간을 명시하고, 상기 CPB 제거 시간 사이의 상기 지속 기간이 초과되지 않는 경우 상기 비트스트림은 적합한, 인코딩 디바이스.
제22항 또는 제23항에 있어서,
상기 SEI 메시지는 픽처 타이밍(PT) SEI 메시지인, 인코딩 디바이스.
제22항 내지 제24항 중 어느 한 항에 있어서,
상기 CPB 파라미터는 PT SEI 메시지와 관련되는 액세스 단위(AU)에 대한 CPB 제거 지연 및 공통 CPB 제거 지연을 포함하는, 인코딩 디바이스.
제22항 내지 제25항 중 어느 한 항에 있어서,
상기 PT SEI 메시지는 상기 PT SEI 메시지와 관련되는 상기 AU에서의 디코딩 단위의 개수 및 상기 PT SEI 메시지와 관련되는 상기 AU의 디코딩 단위(DU)에서의 네트워크 추상화 레이어(NAL) 단위의 개수를 명시하는, 인코딩 디바이스.
제22항에 있어서,
상기 SEI 메시지는, 디코딩 단위 정보(DUI) SEI 메시지를 포함하는 SEI 네트워크 추상화 레이어(NAL) 단위의 시간 식별자(ID)를 제공하는 상기 DUI SEI 메시지인, 인코딩 디바이스.
제27항에 있어서,
상기 DUI SEI 메시지는 CPB 제거 지연 정보가 상기 DUI SEI 메시지에 포함되는 최상위 서브레이어의 시간 식별자(ID)를 명시하는, 인코딩 디바이스.
코딩 장치로서,
인코딩할 픽처를 수신하도록 또는 디코딩할 비트스트림을 수신하도록 구성되는 수신기;
상기 수신기에 커플링되는 송신기 - 상기 송신기는 상기 비트스트림을 디코더로 송신하도록 또는 디코딩된 이미지를 디스플레이로 송신하도록 구성됨 - ;
상기 수신기 또는 상기 송신기 중 적어도 하나에 커플링되는 메모리 - 상기 메모리는 명령어를 저장하도록 구성됨 - ; 및
상기 메모리에 커플링되는 프로세서 - 상기 프로세서는 상기 메모리에 저장되는 상기 명령어를 실행하여 제1항 내지 제9항 중 어느 한 항 및 제10항 내지 제16항 중 어느 한 항의 상기 방법을 수행하도록 구성됨 -
를 포함하는 코딩 장치.
제29항에 있어서,
디코딩된 픽처를 디스플레이하도록 구성되는 디스플레이를 더 포함하는 코딩 장치.
시스템으로서,
인코더; 및
상기 인코더와 통신하는 디코더를 포함하되, 상기 인코더 또는 상기 디코더는 제17항 내지 제29항 중 어느 한 항의 상기 디코딩 디바이스, 상기 인코딩 디바이스, 또는 상기 코딩 장치
를 포함하는 시스템.
코딩하기 위한 수단으로서,
인코딩할 픽처를 수신하도록 또는 디코딩할 비트스트림을 수신하도록 구성되는 수신 수단;
상기 수신 수단에 커플링되는 송신 수단 - 상기 송신 수단은 상기 비트스트림을 디코딩 수단으로 송신하도록 또는 디코딩된 이미지를 디스플레이 수단으로 송신하도록 구성됨 - ;
상기 수신 수단 또는 상기 송신 수단 중 적어도 하나에 커플링되는 저장 수단 - 상기 저장 수단은 명령어를 저장하도록 구성됨 - ; 및
상기 저장 수단에 커플링되는 프로세싱 수단 - 상기 프로세싱 수단은 상기 저장 수단에 저장되는 상기 명령어를 실행하여 제1항 내지 제9항 중 어느 한 항 및 제10항 내지 제16항 중 어느 한 항의 상기 방법을 수행하도록 구성됨 -
을 포함하는 코딩하기 위한 수단.