KR20220065061A

KR20220065061A - 다계층 비디오 비트스트림에서 불필요한 계층 금지

Info

Publication number: KR20220065061A
Application number: KR1020227013660A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-09-24
Filing date: 2020-09-15
Publication date: 2022-05-19
Also published as: JP2022549836A; CN117544773A; US20220217384A1; KR20220065060A; EP4022915A4; CN117544771A; JP2024012486A; US20220217329A1; AU2020352905A1; JP2022549649A; CN114424561A; WO2021061454A1; CN114424557B; BR112022005517A2; EP4022915A1; CN117544772A; CL2022000715A1; JP2024012485A; CA3155637A1; CA3155837A1

Abstract

디코딩 방법이 제공된다. 상기 방법은: 비디오 디코더가 비디오 파라미터 세트(video parameter set, VPS) 및 복수의 계층을 포함하는 비디오 비트스트림을 수신하는 단계 - 어떤 계층도 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 및 상기 비디오 디코더가 상기 복수의 계층 중 하나로부터 픽처를 디코딩하는 단계를 포함한다. 인코딩 방법이 제공된다. 상기 방법은: 복수의 계층 및 적어도 하나의 출력 계층 세트(OLS)를 지정하는 비디오 파라미터 세트(VPS)를 생성하는 단계 - 상기 비디오 인코더는 어떤 계층도 상기 적어도 하나의 OLS의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니도록 제한됨 - ; 또는 상기 비디오 인코더가 상기 복수의 계층 및 상기 VPS를 비디오 비트스트림으로 인코딩하는 단계; 및 상기 비디오 인코더가 비디오 디코더를 향한 통신을 위해 상기 비디오 비트스트림을 저장하는 단계를 포함한다.

Description

다계층 비디오 비트스트림에서 불필요한 계층 금지

이 특허 출원은 Ye-Kui Wang에 의해 2019년 9월 24일에 출원되고 발명의 명칭이 "다계층 비디오 비트스트림에서 불필요하고 사용되지 않는 계층 금지"인 미국 가출원 번호 62/905,136의 이익을 주장하며, 이는 여기에 참고로 포함된다.

일반적으로, 이 개시는 비디오 코딩에서 다계층 비디오 비트스트림에 대한 기술을 설명한다. 더 구체적으로, 이 개시는 비디오 코딩에서 다계층 비트스트림 내에서 불필요한 및/또는 사용되지 않는 계층이 허용되지 않는 것을 보장한다.

비교적 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스가 제한될 수 있기 때문에 비디오가 저장 장치에 저장될 때 비디오의 크기도 문제가 될 수 있다. 비디오 압축 장치는 전송 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 양을 줄이는 경우가 많다. 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 장치에 의해 목적지에서 수신된다. 제한된 네트워크 리소스와 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 비율을 개선하는 개선된 압축 및 압축 해제 기술이 바람직하다.

제1 관점은 비디오 디코더에 의해 구현되는 디코딩 방법에 관한 것으로, 비디오 디코더가 비디오 파라미터 세트(VPS) 및 복수의 계층을 포함하는 비디오 비트스트림을 수신하는 단계 - 여기서 어떤 계층도 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 및 비디오 디코더가 복수의 계층 중 하나로부터의 픽처를 디코딩하는 단계를 포함한다.

방법은 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 픽처가 적어도 하나의 OLS의 출력 계층에 포함되는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 디코딩 전에 적어도 하나의 OLS로부터 출력 계층을 선택하는 단계를 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 출력 계층이 선택된 후에 출력 계층으로부터 픽처를 선택하는 단계를 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 복수의 계층의 각 계층이 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛의 세트를 포함하고, 상기 VCL NAL 유닛의 세트는 모두 계층 식별자(ID)의 특정 값 및 연관된 비-VCL NAL 유닛을 모두 갖는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 적어도 하나의 OLS의 각 계층이 임의의 다른 계층의 출력 계층 또는 직접 참조 계층을 포함하는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 적어도 하나의 OLS가 하나 이상의 출력 계층들을 포함하는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 VPS가 참조 플래그로서 사용되는 계층 및 출력 계층 플래그로서 사용되는 계층을 포함하고, 여기서 참조로서 사용되는 계층의 값은 플래그와 출력 계층 플래그로 사용되는 계층의 값은 모두 0이 아니다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 전자 디바이스의 디스플레이 상에 디코딩된 픽처를 표시하는 단계를 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 제2 비디오 파라미터 세트(VPS) 및 제2 복수의 계층을 포함하는 제2 비디오 비트스트림을 비디오 디코더에 의해 수신하는 단계 - 여기서 적어도 하나의 계층은 적어도 하나의 출력 계층 세트(OLS)의 출력 계층도 아니고 다른 계층의 직접 참조 계층도 아님 - ; 및 수신하는 단계에 응답하여, 제2 비디오 비트스트림에 대응하는 순은 비트스트림이 제2 복수의 계층 중 하나로부터 픽처를 디코딩하기 전에 수신되는 것을 보장하기 위해 일부 다른 정정 조치를 취하는 단계를 포함한다.

제2 관점은 비디오 인코더에 의해 구현되는 인코딩 방법에 관한 것으로, 상기 방법은 비디오 인코더가 복수의 계층 및 적어도 하나의 출력 계층 세트(OLS)를 지정하는 비디오 파라미터 세트(VPS)를 생성하는 단계 - 상기 비디오 인코더는 어떤 계층도 적어도 하나의 OLS의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 되지 않도록 제한됨 - ; 비디오 인코더가 복수의 계층 및 VPS를 비디오 비트스트림으로 인코딩하는 단계; 및 비디오 인코더가 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장하는 단계를 포함한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 하나 이상의 OLS의 각각이 하나 이상의 출력 계층을 포함하고, 출력 계층의 각각이 하나 이상의 픽처를 포함하는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 OLS 중 하나가 2개의 출력 계층을 포함하고, 여기서 2개의 출력 계층 중 하나가 2개의 출력 계층 중 다른 하나를 참조하는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 VPS가 참조 플래그로서 사용되는 계층 및 출력 계층 플래그로서 사용되는 계층을 포함하는 것을 제공하고, 여기서 참조로서 사용되는 계층의 값은 플래그와 출력 계층 플래그로 사용되는 레이어의 값은 모두 0이 아니다.

제3 관점은 디코딩 디바이스에 관한 것이며, 상기 디코딩 디바이스는 비디오 파라미터 세트(VPS) 및 복수의 계층을 포함하는 비디오 비트스트림을 수신하도록 구성된 수신기 - 어떤 계층도 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 수신기에 연결되고 명령을 저장하는 메모리; 및 메모리에 결합되고, 디코딩 디바이스가 디코딩된 픽처를 획득하기 위해 복수의 계층 중 하나로부터 픽처를 디코딩하게 하는 명령들을 실행하도록 구성된 프로세서를 포함한다.

디코딩 디바이스는 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 프로세서가 픽처가 디코딩되기 전에 적어도 하나의 OLS로부터 출력 계층을 선택하도록 추가로 구성되는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 프로세서가 출력 계층이 선택된 후에 출력 계층으로부터 픽처를 선택하도록 추가로 구성되는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 적어도 하나의 OLS가 하나 이상의 출력 계층을 포함하는 것을 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 디코딩된 픽처를 표시하도록 구성된 디스플레이를 제공한다.

선택적으로, 선행 관점들 중 임의의 것에서, 관점의 다른 구현은 프로세서가 상기 명령을 실행하여 상기 디코딩 디바이스가: 제2 비디오 파라미터 세트(VPS) 및 제2 복수의 계층을 포함하는 제2 비디오 비트스트림을 수신하며 - 상기 적어도 하나의 계층은 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 그리고 상기 제2 비디오 비트스트림의 수신에 응답하여, 상기 제2 비디오 비트스트림에 대응하는 순응 비트스트림(conforming bitstream)이 상기 제2 복수의 계층 중 하나로부터 픽처를 디코딩하기 전에 수신되는 것을 보장하기 위해 일부 다른 교정 조치를 취하게 하도록 추가로 구성되는 것을 제공한다.

제4 관점은 인코딩 디바이스에 관한 것이며, 인코딩 디바이스는 명령을 저장하는 메모리; 상기 메모리에 결합된 프로세서; 및 상기 프로세서에 결합된 전송기를 포함하고, 상기 프로세서는 상기 명령을 실행하여 상기 인코딩 디바이스가: 복수의 계층 및 적어도 하나의 출력 계층 세트(OLS)를 지정하는 비디오 파라미터 세트(VPS)를 생성하고 - 상기 비디오 인코더는 어떤 계층도 상기 적어도 하나의 OLS의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니도록 제한됨 - ; 그리고 상기 복수의 계층 및 상기 VPS를 비디오 비트스트림으로 인코딩하도록 구성되며, 상기 전송기는 비디오 디코더를 향한 통신을 위해 상기 비디오 비트스트림을 전송하도록 구성되어 있다.

인코딩 디바이스는 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

제5 관점은 코딩 장치에 관한 것이다. 코딩 장치는 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기; 수신기에 결합되고, 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이로 전송하도록 구성된 전송기; 수신기 또는 전송기 중 적어도 하나에 결합되고 명령을 저장하도록 구성된 메모리; 및 상기 메모리에 결합되고, 본 명세서에 개시된 방법들 중 임의의 것을 수행하기 위해 상기 메모리에 저장된 명령들을 실행하도록 구성된 프로세서를 포함한다.

코딩 장치는 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

제6 관점은 시스템에 관한 것이다. 시스템에는 인코더가 포함된다. 및 인코더와 통신하는 디코더를 포함하고, 인코더 또는 디코더는 여기에 개시된 디코딩 디바이스, 인코딩 디바이스, 또는 코딩 디바이스를 포함한다.

시스템은 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

제7 관점은 코딩 수단에 관한 것이다. 코딩 수단은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단; 수신 수단에 결합되고, 비트스트림을 디코딩 수단으로 전송하거나 디코딩된 이미지를 디스플레이 수단으로 전송하도록 구성된 전송 수단; 수신 수단 또는 전송 수단 중 적어도 하나에 결합되고 명령을 저장하도록 구성된 저장 수단; 및 저장 수단에 연결된 프로세싱 수단을 포함하고, 프로세싱 수단은 본 명세서에 개시된 방법 중 임의의 것을 수행하기 위해 저장 수단에 저장된 명령을 실행하도록 구성된다.

코딩 수단은 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술을 제공한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

명료함을 위해, 전술한 실시예 중 임의의 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 임의의 하나 이상의 다른 전술한 실시예와 조합될 수 있다.

이들 및 기타 특징은 첨부 도면 및 청구범위와 관련하여 취해진 다음의 상세한 설명으로부터 더 명확하게 이해될 것이다.

본 개시의 보다 완전한 이해를 위해, 유사한 참조 번호가 유사한 부분을 나타내는 첨부 도면 및 상세한 설명과 관련하여 취해진 다음의 간략한 설명을 이제 참조한다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 공간적 확장성을 위한 다계층 코딩의 예를 나타낸다.
도 6은 출력 계층 세트(Output Layer Sets, OLS)를 사용한 다계층 코딩의 예를 도시한다.
도 7은 비디오 비트스트림의 실시예를 예시한다.
도 8은 코딩된 비디오 비트스트림을 디코딩하는 방법의 실시예이다.
도 9는 코딩된 비디오 비트스트림을 인코딩하는 방법의 실시예이다.
도 10은 비디오 코딩 디바이스의 개략도이다.
도 11은 코딩 수단의 실시예의 개략도이다.

하나 이상의 실시예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수의 기술을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 개시는 여기에 예시되고 설명된 예시적인 설계 및 구현을 포함하여 아래에 예시된 예시적인 구현, 도면 및 기술에 결코 제한되어서는 안 되며, 등가물의 전체 범위와 함께 첨부된 청구범위의 범위 내에서 수정될 수 있다.

하기 용어들은 본 명세서에서 상반되는 맥락에서 사용되지 않는 한 다음과 같이 정의된다. 구체적으로, 하기 정의는 본 개시에 추가적인 명확성을 제공하기 위한 것이다. 그러나 용어는 상황에 따라 다르게 설명될 수 있다. 따라서 다음 정의는 보충으로 간주되어야 하며 여기에서 이러한 용어에 대해 제공된 설명의 다른 정의를 제한하는 것으로 간주되어서는 안 된다.

비트스트림은 인코더와 디코더 간의 전송을 위해 압축된 비디오 데이터를 포함하는 비트 시퀀스이다. 인코더는 인코딩 프로세스를 사용하여 비디오 데이터를 비트스트림으로 압축하도록 구성된 디바이스이다. 디코더는 표시를 위한 비트스트림에서 비디오 데이터를 재구성하기 위해 디코딩 프로세스를 사용하도록 구성된 디바이스이다. 픽처는 프레임 또는 프레임의 필드를 생성하는 루마 샘플의 어레이 및/또는 크로마 샘플의 어레이이다. 인코딩 또는 디코딩되고 있는 픽처는 논의의 명료함을 위해 현재 픽처로 지칭될 수 있다. 참조 픽처는 인터 예측 및/또는 인터-레이어 예측에 따라 다른 픽처를 참조로 코딩할 때 사용할 수 있는 참조 샘플을 포함하는 픽처이다. 참조 픽처 리스트는 인터-예측 및/또는 인터-레이어 예측에 사용되는 참조 픽처의 리스트이다. 일부 비디오 코딩 시스템은 참조 픽처 리스트 1 및 참조 픽처 리스트 0으로 표시될 수 있는 2개의 참조 픽처 리스트를 활용한다. 참조 픽처 리스트 구조는 여러 참조 픽처 리스트를 포함하는 주소 지정 가능한 신택스 구조이다. 인터-예측은 현재 픽처와 현재 픽처가 동일한 계층에 있는 현재 픽처와 다른 참조 픽처의 지시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이다. 참조 픽처 리스트 구조 엔트리는 참조 픽처 리스트와 연관된 참조 픽처를 나타내는 참조 픽처 리스트 구조의 주소 지정 가능한 위치이다. 슬라이스 헤더는 슬라이스에 표현된 타일 내의 모든 비디오 데이터와 연관된 데이터 요소를 포함하는 코딩된 슬라이스의 일부이다. 픽처 파라미터 세트(picture parameter set, PPS)는 전체 픽처와 관련된 데이터를 포함한다. 보다 구체적으로, PPS는 각 픽처 헤더에서 발견되는 신택스 요소에 의해 결정되는 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 요소를 포함하는 신택스 구조이다. 시퀀스 파라미터 세트(sequence parameter set, SPS)는 일련의 픽처와 연관된 데이터를 포함한다. 액세스 유닛(access unit, AU)은 디코딩된 픽처 버퍼(decoded picture buffer, DPB)로부터의 출력을 위한 (예를 들어, 사용자에 대한 디스플레이를 위한) 동일한 디스플레이 시간(예를 들어, 동일한 픽처 순서 카운트)과 연관된 하나 이상의 코딩된 픽처의 세트이다. 액세스 유닛 디리미터(access unit delimeter, AUD)는 AU의 시작 또는 AU 사이의 경계를 나타내는 데 사용되는 인디케이터 또는 데이터 구조이다. 디코딩된 비디오 시퀀스는 사용자에게 표시하기 위해 디코더에 의해 재구성된 픽처 시퀀스이다.

네트워크 추상화 유닛(Network Abstraction Layer, NAL) 유닛은 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP) 형태의 데이터를 포함하는 신택스 구조로, 데이터 유형의 표시이며, 원하는 대로 에뮬레이션 방지 바이트(emulation prevention bytes)가 산재되어 있다. 비디오 코딩 계층(VCL) NAL 유닛은 픽처의 코딩된 슬라이스와 같은 비디오 데이터를 포함하도록 코딩된 NAL 유닛이다. 비-VCL NAL(non-VCL NAL) 유닛은 비디오 데이터 디코딩, 적합성 검사 수행, 또는 기타 동작을 지원하는 신택스 및/또는 파라미터와 같은 비-비디오 데이터(non-video data)를 포함하는 NAL 유닛이다. 계층은 지정된 특성(예를 들어, 공통 해상도, 프레임 속도, 이미지 크기 등) 및 연관된 비-VCL NAL 유닛을 공유하는 VCL NAL 유닛 세트이다. 계층의 VCL NAL 유닛은 NAL 유닛 헤더 계층 식별자(nuh_layer_id)의 특정 값을 공유할 수 있다. 코딩된 픽처는 액세스 유닛(AU) 내의 NAL 유닛 헤더 계층 식별자(nuh_layer_id)의 특정 값을 갖는 VCL NAL 유닛을 포함하고 픽처의 모든 코딩 트리 유닛(CTU)을 포함하는 픽처의 코딩된 표현이다. 디코딩된 픽처는 코딩된 픽처에 디코딩 프로세스를 적용하여 생성된 픽처이다.

출력 계층 세트(OLS)는 하나 이상의 계층이 출력 계층(들)으로 지정되는 계층 세트이다. 출력 계층은 출력(예를 들어, 디스플레이)을 위해 지정된 계층이다. 0번째 OLS는 최하위 계층(최하위 계층 식별자가 있는 계층)만 포함하고 따라서 출력 계층만 포함하는 OLS이다. 비디오 파라미터 세트(video parameter set, VPS)는 전체 비디오와 관련된 파라미터를 포함하는 데이터 단위이다. 인터-레이어 예측은 참조 계층의 참조 픽처를 참조하여 현재 계층의 현재 픽처를 코딩하는 메커니즘이며, 여기서 현재 픽처와 참조 픽처는 동일한 AU에 포함되고 참조 계층은 현재 계층보다 낮은 nuh_layer_id를 포함한다.

본 명세서에서는 다음의 접두어가 사용된다: 코딩 트리 블록(Coding Tree Block, CTB), 코딩 트리 유닛(Coding Tree Unit, CTU), 코딩 유닛(Coding Unit, CU), 코딩된 비디오 시퀀스(Coded Video Sequence, CVS), JVET(Joint Video Experts Team), 모션-제약 타일 세트(Motion-Constrained Tile Set, MCTS), 최대 전송 단위(Maximum, Transfer Unit, MTU), 네트워크 추상화 계층(Network Abstraction Layer, NAL), 픽처 순서 카운트(Picture Order Count, POC), 픽처 파라미터 세트(Picture Parameter Set, PPS), 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 다목적 비디오 코딩(Versatile Video Coding, VVC) 및 작업 초안(Working Draft, WD).

도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일이 사용자에게 전송되는 동시에 관련 대역폭 오버헤드가 줄어든다. 그런 다음 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 표시할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구성할 수 있도록 인코딩 프로세스를 미러링한다.

단계(101)에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 장치에 의해 캡처될 수 있고 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 성분과 비디오 성분을 모두 포함할 수 있다. 비디오 성분에는 일련의 이미지 프레임이 포함되어 있어 시퀀스로 볼 때 모션에 대한 시각적 인상을 준다. 프레임은 여기에서 루마 성분(또는 루마 샘플)이라고 하는 광과 크로마 성분(또는 컬러 샘플)이라고 하는 색상으로 표현되는 픽셀을 포함한다. 일부 예에서, 프레임은 또한 3차원 보기를 지원하기 위해 깊이 값을 포함할 수 있다.

단계(103)에서, 비디오는 블록으로 분할된다. 분할에는 압축을 위해 각 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 작업(subdividing)이 포함된다. 예를 들어, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)(H.265 및 MPEG-H Part 2로로 알려져 있음)에서 프레임은 먼저 미리 정의된 크기(예를 들어, 64픽셀 x 64픽셀)의 블록인 코딩 트리 유닛(CTU)으로 분할될 수 있다. CTU에는 루마 및 크로마 샘플이 모두 포함되어 있다. 코딩 트리를 사용하여 CTU를 블록으로 분할하고 그런 다음 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화할 수 있다. 예를 들어, 프레임의 루마 성분은 개별 블록이 상대적으로 균일한 조명 값을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 성분은 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서 비디오 프레임의 내용에 따라 분할 메커니즘이 달라진다.

단계(105)에서, 단계(103)에서 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터-예측 및/또는 인트라-예측이 사용될 수 있다. 상호 예측은 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계되었다. 따라서, 참조 프레임에서 객체를 나타내는 블록은 인접 프레임에서 반복적으로 기술될 필요가 없다. 구체적으로, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 패턴 일치 메커니즘을 사용하여 여러 프레임에 걸쳐 객체를 일치시킬 수 있다. 또한, 움직이는 객체는 예를 들어 물체의 모션이나 카메라의 모션으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 화면을 가로질러 움직이는 자동차를 보여줄 수 있다. 모션 벡터는 이러한 모션을 설명하는 데 사용할 수 있다. 모션 벡터는 프레임에 있는 객체의 좌표에서 참조 프레임에 있는 객체의 좌표까지 오프셋을 제공하는 2차원 벡터이다. 이와 같이 인터 예측은 현재 프레임의 이미지 블록을 참조 프레임의 해당 블록으로부터의 오프셋을 나타내는 모션 벡터의 집합으로 인코딩할 수 있다.

인트라 예측은 공통 프레임의 블록을 인코딩한다. 인트라 예측은 루마 및 크로마 성분이 프레임에서 클러스터링되는 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 한 부분에 있는 녹색 패치는 유사한 녹색 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다중 방향 예측 모드(예를 들어, HEVC에서 33), 평면 모드 및 다이렉트 커런트(direct current, DC) 모드를 사용한다. 방향성 모드는 현재 블록이 해당 방향에서 이웃 블록의 샘플과 유사/동일함을 나타낸다. 평면 모드는 행/열(예를 들어, 평면)을 따라 일련의 블록이 행 가장자리에 있는 이웃 블록을 기반으로 보간될 수 있다는 것을 나타낸다. 실제로 평면 모드는 값을 변경할 때 상대적으로 일정한 기울기를 사용하여 행/열에 걸쳐 조명/색상의 부드러운 전환을 나타낸다. DC 모드는 경계 평활화를 위해 사용되며 방향 예측 모드의 각도 방향과 관련된 모든 이웃 블록의 샘플과 관련된 평균값과 유사/동일한 블록을 나타낸다. 따라서 인트라 예측 블록은 실제 값이 아닌 다양한 관계형 예측 모드 값으로 영상 블록을 표현할 수 있다. 또한, 인터 예측 블록은 실제 값이 아닌 모션 벡터 값으로 영상 블록을 나타낼 수 있다. 어느 경우든 예측 블록은 경우에 따라 이미지 블록을 정확하게 나타내지 않을 수 있다. 모든 차이는 잔여 블록에 저장된다. 파일을 추가로 압축하기 위해 나머지 블록에 변환을 적용할 수 있다.

단계(107)에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서 필터는 인-루프 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 블록 이미지의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩하고 그런 다음 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 재구성할 수 있다. 인-루프 필터링 방식은 블록/프레임에 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 샘플 적응 오프셋(sample adaptive offset, SAO) 필터를 반복적으로 적용한다. 이러한 필터는 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 차단 아티팩트를 완화한다. 또한, 이러한 필터는 재구성된 참조 블록에서 아티팩트를 완화하여 아티팩트가 재구성된 참조 블록에 기초하여 인코딩되는 후속 블록에서 추가 아티팩트를 생성할 가능성이 적다.

비디오 신호가 분할, 압축 및 필터링되면, 결과 데이터는 단계(109)에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터는 물론 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 원하는 임의의 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 파티션 데이터, 예측 데이터, 잔여 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청 시 디코더를 향한 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림 생성은 반복적인 프로세스이다. 따라서, 단계(101, 103, 105, 107, 및 109)는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명료함과 용이함을 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 제한하려는 의도가 아니다.

디코더는 단계(111)에서 비트스트림을 수신하고 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 방식을 사용한다. 디코더는 단계(111)에서 비트스트림으로부터의 신택스 데이터를 사용하여 프레임에 대한 파티션을 결정한다. 단계(103)에서 파티셔닝은 블록 파티셔닝의 결과와 일치해야 한다. 이제 단계(111)에서 사용된 엔트로피 인코딩/디코딩을 설명한다. 인코더는 입력 이미지에서의 값의 공간적 포지셔닝에 기초하여 여러 가능한 선택 중에서 블록 분할 방식을 선택하는 것과 같이, 압축 프로세스 동안 많은 선택을 한다. 정확한 선택을 시그널링하는 것은 많은 수의 빈(bin)을 사용할 수 있다. 본 명세서에서 사용된 바와 같이, 빈은 변수로 취급되는 이진 값(예를 들어, 컨텍스트에 따라 변할 수 있는 비트 값)이다. 엔트로피 코딩을 사용하면 인코더가 특정 경우에 명확하게 실행 가능하지 않은 옵션을 버리고 허용 가능한 옵션 집합을 남길 수 있다. 그런 다음 각각의 허용 가능한 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용 가능한 옵션의 수를 기반으로 한다(예를 들어, 2개 옵션의 경우 1개의 빈이고, 3 내지 4개의 옵션의 경우 2개의 빈 등이다). 그런 다음 인코더는 선택한 옵션에 대한 코드 워드를 인코딩한다. 이 방식은 코드 워드가 가능한 모든 옵션의 잠재적으로 큰 집합으로부터의 선택을 고유하게 표시하는 것과 대조적으로 허용 가능한 옵션의 작은 하위 집합으로부터의 선택을 고유하게 나타내도록 원하는 만큼 크므로 코드 워드의 크기를 줄인다. 그런 다음 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정하여 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써 디코더는 코드 워드를 읽고 인코더에 의해 만들어진 선택을 결정할 수 있다.

단계(113)에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 역변환을 사용하여 잔여 블록을 생성한다. 그런 다음 디코더는 잔여 블록 및 대응하는 예측 블록을 사용하여 분할에 따라 이미지 블록을 재구성한다. 단계(105)에서 예측 블록은 인코더에서 생성된 인트라 예측 블록 및 인터 예측 블록 모두를 포함할 수 있다. 재구성된 이미지 블록은 그런 다음 단계(111)에서 결정된 분할 데이터에 따라 재구성된 비디오 신호의 프레임에 위치된다. 단계(113)는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.

단계(115)에서, 인코더에서 단계(107)와 유사한 방식으로 재구성된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터를 프레임에 적용하여 차단 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 보기 위해 단계(117)에서 디스플레이로 출력될 수 있다.

도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더와 디코더 모두에 사용되는 컴포넌트를 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계(101 및 103)와 관련하여 논의된 바와 같이 비디오 신호를 수신 및 분할하며, 이는 분할된 비디오 신호(201)를 생성한다. 그런 다음 코덱 시스템(200)은 동작 방법(100)에서 단계(105, 107, 및 109)와 관련하여 논의된 바와 같이 인코더로서 동작할 때 그 분할된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 동작할 때, 코덱 시스템(200)은 동작 방법(100)에서 단계(111, 113, 115, 및 117)와 관련하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라-픽처 추정 컴포넌트(215), 인트라-픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인-루프 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223), 및 헤더 포매팅 및 컨텍스트 적응 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC) 컴포넌트(231)를 포함한다. 이러한 컴포넌트는 도시된 바와 같이 결합된다. 도 2에서, 흑색선은 인코딩/디코딩될 데이터의 이동을 나타내고, 점선은 다른 컴포넌트의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 컴포넌트는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트들의 하위 집합을 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역변환 컴포넌트(229), 인-루프 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함한다. 이들 컴포넌트에 대해 이제 설명한다.

분할된 비디오 신호(201)는 코딩 트리에 의해 픽셀 블록으로 분할된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀 블록을 더 작은 픽셀 블록으로 세분화하기 위해 다양한 분할 모드를 사용한다. 그런 다음 이러한 블록을 더 작은 블록으로 세분화할 수 있다. 블록은 코딩 트리 상의 노드로 지칭될 수 있다. 더 큰 상위 노드는 더 작은 하위 노드로 분할된다. 노드가 세분화되는 횟수를 노드/코딩 트리의 깊이라고 한다. 분할된 블록은 경우에 따라 코딩 유닛(CU)에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령과 함께 루마 블록, 적색 차이 크로마(red difference chroma, Cr) 블록(들) 및 청색 차이 크로마(blue difference chroma, Cb) 블록(들)을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드는 사용된 분할 모드에 따라 다양한 모양의 노드를 각각 2, 3 또는 4개의 자식 노드로 분할하는 데 사용되는 이진 트리(binary tree, BT), 트리플 트리(tripple tree, TT) 및 쿼드 트리(quad tree, QT)를 포함할 수 있다. 분할된 비디오 신호(201)는 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227), 및 압축을 위한 모션 추정 컴포넌트(221)로 포워딩된다.

일반 코더 제어 컴포넌트(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청을 기반으로 할 수 있다. 일반 코더 제어 컴포넌트(211)는 또한 버퍼 언더런 및 오버런 문제를 완화하기 위해 전송 속도에 비추어 버퍼 활용을 관리한다. 이러한 문제를 관리하기 위해 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트에 의한 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 컴포넌트(211)는 코덱 시스템(200)의 다른 컴포넌트를 제어하여 비디오 신호 재구성 품질과 비트 레이트 문제의 균형을 맞춘다. 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩하기 위한 신호 파라미터로 비트스트림에서 인코딩되도록 헤더 포매팅 및 CABAC 컴포넌트(231)로 전달된다.

분할된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)로 전송된다. 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임의 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩(inter-predictive coding)을 수행한다. 코덱 시스템(200)은 예를 들어 비디오 데이터의 각각의 블록에 대한 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스를 수행할 수도 있다.

모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이 측면에서 코딩될 블록과 밀접하게 일치하는 것으로 발견된 블록이다. 예측 블록은 참조 블록이라고도 할 수 있다. 이러한 픽셀 차이는 SAD(sum of absolute difference), SSD(sum of square difference), 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB) 및 CU를 비롯한 여러 코딩된 객체를 사용한다. 예를 들어, CTU는 CTB로 분할될 수 있으며, 그런 다음 CU에 포함되기 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 단위 및/또는 CU에 대한 변환된 잔여 데이터를 포함하는 변환 유닛(transform unit, TU)으로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트-왜곡 분석을 사용함으로써 모션 벡터, PU, 및 TU를 생성한다. 예를 들어, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다중 참조 블록, 다중 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구성의 품질(예를 들어, 압축에 의한 데이터 손실의 양)과 코딩 효율성(예를 들어, 최종 인코딩의 크기)의 균형을 유지한다.

일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된 참조 픽처의 정수 이하 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 참조 픽처의 다른 분수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 컴포넌트(221)는 전체 픽셀 위치 및 부분 픽셀 위치에 대한 모션 검색을 수행하고 부분 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는 PU의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터-코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는 인코딩 및 모션을 위해 헤더 포매팅 및 CABAC 컴포넌트(231)에 대한 모션 데이터로서 그 계산된 모션 벡터를 모션 보상 컴포넌트(219)에 출력한다.

모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치하거나 생성하는 것을 수반할 수 있다. 다시, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 일부 예들에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신할 때, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록을 찾을 수도 있다. 그런 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 빼서 픽셀 차이 값을 형성함으로써 잔여 비디오 블록이 형성된다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 성분에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 성분 및 루마 성분 모두에 대한 루마 성분에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔여 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 포워딩한다.

분할된 비디오 신호(201)는 또한 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)로 전송된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 마찬가지로, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 고도로 통합되어 있지만 개념적 목적을 위해 별도로 설명되어 있다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 위에서 설명한 대로 프레임 간의 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 수행되는 인터 예측에 대한 대안으로서 현재 프레임의 블록에 대한 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 컴포넌트(215)는 다수의 테스트된 인트라 예측 모드들로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포매팅 및 CABAC 컴포넌트(231)로 포워딩된다.

예를 들어, 인트라-픽처 추정 컴포넌트(215)는 테스트된 다양한 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라-예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩되었던 원본의 비인코딩된 블록 사이의 왜곡(또는 오류)의 양, 그리고 인코딩된 블록을 생성하는 데 사용된 비트레이트(예를 들어, 비트 수)를 결정한다. 인트라-픽처 추정 컴포넌트(215)는 블록에 대한 최상의 레이트 왜곡 값을 나타내는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 인트라-픽처 추정 컴포넌트(215)는 왜곡률 최적화(rate-distortion optimization, RDO)에 기초한 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.

인트라-픽처 예측 컴포넌트(217)는 인코더 상에서 구현될 때 인트라-픽처 추정 컴포넌트(215)에 의해 결정된 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔여 블록을 생성하거나 디코더 상에서 구현될 때 비트스트림으로부터 잔여 블록을 판독할 수 있다. 잔여 블록은 예측 블록과 원본 블록 간의 값의 차이를 포함하며 행렬로 표현된다. 그런 다음, 잔여 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 포워딩된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 루마 및 크로마 성분 모두에 대해 동작할 수 있다.

변환 스케일링 및 양자화 컴포넌트(213)는 잔여 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 이산 코사인 변환(discrete cosine transform, DCT), 이산 사인 변환(discrete sine transform, DST) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여 잔여 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 부분대역 변환 또는 다른 유형의 변환도 사용할 수 있다. 변환은 잔여 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 예를 들어 주파수에 기초하여 변환된 잔여 정보를 스케일링하도록 구성된다. 그러한 스케일링은 스케일 팩터를 잔여 정보에 적용하여 상이한 주파수 정보가 상이한 입도(granularity)에서 양자화되도록 하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예들에서, 변환 스케일링 및 양자화 컴포넌트(213)는 그런 다음 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포매팅 및 CABAC 컴포넌트(231)로 전송되어 비트스트림에서 인코딩된다.

스케일링 및 역변환 컴포넌트(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 컴포넌트(213)의 역연산을 적용한다. 스케일링 및 역변환 컴포넌트(229)는 예를 들어, 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해, 픽셀 도메인에서 잔여 블록을 재구성하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 나중에 블록/프레임의 모션 추정에 사용하기 위해 대응하는 예측 블록에 잔여 블록을 다시 추가함으로써 참조 블록을 계산할 수도 있다. 필터는 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 참조 블록에 적용된다. 그렇지 않으면 후속 블록이 예측될 때 이러한 아티팩트가 부정확한 예측을 야기할 수 있다(그리고 추가 아티팩트를 생성할 수 있다).

필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 필터를 잔여 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역변환 컴포넌트(229)로부터의 변환된 잔여 블록은 인트라 픽처 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 결합되어 원본 이미지 블록을 재구성할 수 있다. 그런 다음 필터는 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서, 필터들은 그 대신에 잔여 블록들에 적용될 수 있다. 도 2의 다른 컴포넌트와 마찬가지로, 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 고도로 통합되어 함께 구현될 수 있지만 개념적 목적을 위해 별도로 도시된다. 재구성된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하기 위해 여러 파라미터를 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 그러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포매팅 및 CABAC 컴포넌트(231)로 포워딩된다. 인-루프 필터 컴포넌트(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 잡음 억제 필터, SAO 필터 및 적응 루프 필터를 포함할 수 있다. 그러한 필터는 예에 따라 (예를 들어, 재구성된 픽셀 블록 상의) 공간/픽셀 도메인 또는 주파수 도메인에서 적용될 수 있다.

인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔여 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 컴포넌트(223)는 재구성되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 포워딩한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록, 잔여 블록, 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 장치일 수 있다.

헤더 포매팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트로부터 데이터를 수신하고 디코더를 향한 전송을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포매팅 및 CABAC 컴포넌트(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더를 생성한다. 또한, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터와 양자화된 변환 계수 데이터 형태의 잔여 데이터가 모두 비트스트림에 인코딩된다. 최종 비트스트림은 원본 분할된 비디오 신호(201)를 재구성하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블이라고도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 표시, 파티션 정보의 표시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), CABAC, 신택스 기반 컨텍스트-적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 파티셔닝 엔트로피(probability interval partitioning entropy, PIPE) 코딩, 또는 다른 엔트로피 코딩 기술을 사용하여 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트스트림은 다른 장치(예를 들어, 비디오 디코더)로 전송되거나 나중의 전송 또는 검색을 위해 보관될 수 있다.

도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능들을 구현하고 그리고/또는 동작 방법(100)의 단계들(101, 103, 105, 107, 및/또는 109)을 구현하기 위해 사용될 수 있다. 인코더(300)는 입력 비디오 신호를 분할하여 분할된 비디오 신호(301)를 생성하며, 이는 분할된 비디오 신호(201)와 실질적으로 유사하다. 분할된 비디오 신호(301)는 그런 다음 인코더(300)의 컴포넌트에 의해 압축되고 비트스트림으로 인코딩된다.

구체적으로, 분할된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 컴포넌트(317)로 포워딩된다. 인트라 픽처 예측 컴포넌트(317)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 인트라-픽처 예측 컴포넌트(317)로부터의 예측 블록 및 잔여 블록은 잔여 블록의 변환 및 양자화를 위한 변환 및 양자화 컴포넌트(313)로 포워딩된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔여 블록 및 대응하는 예측 블록(관련 제어 데이터와 함께)은 비트스트림으로 코딩하기 위해 엔트로피 코딩 컴포넌트(331)로 포워딩된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포매팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.

변환 및 양자화된 잔여 블록 및/또는 대응하는 예측 블록은 또한 모션 보상 컴포넌트(321)에 의해 사용하기 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 컴포넌트(313)에서 역변환 및 양자화 컴포넌트(329)로 포워딩된다. 역변환 및 양자화 컴포넌트(329)는 스케일링 및 역변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)의 인-루프 필터는 또한 예에 따라 잔여 블록 및/또는 재구성된 참조 블록에 적용된다. 인-루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)는 인-루프 필터 컴포넌트(225)와 관련하여 논의된 바와 같은 다중 필터를 포함할 수 있다. 필터링된 블록은 그런 다음 모션 보상 컴포넌트(321)에 의한 참조 블록으로서 사용하기 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다.

도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 그리고/또는 동작 방법(100)의 단계(111, 113, 115, 및/또는 117)를 구현하기 위해 사용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터의 비트스트림을 생성하고, 최종 사용자에게 표시하기 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.

비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는 헤더 정보를 사용하여 비트스트림에서 코드워드로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔여 블록으로부터의 양자화된 변환 계수와 같이, 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔여 블록으로의 재구성을 위해 역변환 및 양자화 컴포넌트(429)로 포워딩된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수 있다.

재구성된 잔여 블록 및/또는 예측 블록은 인트라 예측 동작에 기초한 이미지 블록으로의 재구성을 위해 인트라 픽처 예측 컴포넌트(417)로 포워딩된다. 인트라 픽처 예측 컴포넌트(417)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 유사할 수 있다. 구체적으로, 인트라-픽처 예측 컴포넌트(417)는 예측 모드를 적용하여 프레임에서 참조 블록을 찾아내고 그 결과에 잔여 블록을 적용하여 인트라 예측된 이미지 블록을 재구성한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔여 블록 및 대응하는 인터 예측 데이터는 디코딩된 픽처 버퍼 컴포넌트(223) 및 인-루프 필터 컴포넌트(225)와 각각 실질적으로 유사할 수 있는 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 포워딩된다. 인-루프 필터 컴포넌트(425)는 재구성된 이미지 블록, 잔여 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록은 인터-예측을 위해 모션 보상 컴포넌트(421)로 포워딩된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 참조 블록으로부터 모션 벡터를 적용하여 예측 블록을 생성하고 그 결과에 잔여 블록을 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록은 또한 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)로 포워딩될 수 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는 파티션 정보를 통해 프레임으로 재구성될 수 있는 추가의 재구성된 이미지 블록을 계속해서 저장한다. 이러한 프레임은 시퀀스에 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.

상기 사항을 염두에 두고, 비디오 압축 기술은 비디오 시퀀스에 고유한 중복성을 감소 또는 제거하기 위해 공간적(인트라 픽처) 예측 및/또는 시간적(인터 픽처) 예측을 수행한다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(즉, 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록으로 분할될 수 있으며, 이는 트리블록, 코딩 트리 블록(CTB), 코딩 트리 유닛(CTU), 코딩 단위(CU), 및/또는 코딩 노드로도 지칭될 수 있다. 픽처의 인트라-코딩된 (I) 슬라이스의 비디오 블록은 동일한 픽처의 주변 블록에 있는 참조 샘플에 대한 공간 예측을 사용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간적 예측 또는 다른 참조 픽처의 참조 샘플에 대한 시간적 예측을 사용할 수 있다. 픽처를 프레임이라 칭할 수 있고, 참조 픽처를 참조 프레임이라고 칭할 수 있다. POC는 코딩된 계층 비디오 시퀀스(coded layer video sequence, CLVS)의 모든 픽처 중에서 연관된 픽처를 고유하게 식별하는 각 픽처와 연관된 변수이며, 연관된 픽처가 DPB에서 출력되어야 하는 시기를 나타내며, DPB에서 출력될 동일한 CLVS의 다른 픽처의 출력 순서 위치에 대한 출력 순서에서 연관된 픽처의 위치를 나타낸다. 플래그는 0과 1의 두 가지 가능한 값 중 하나를 사용할 수 있는 변수 또는 단일 비트 신택스 요소이다.

공간적 또는 시간적 예측은 코딩될 블록에 대한 예측 블록을 초래한다. 잔여 데이터는 코딩할 원본 블록과 예측 블록 간의 픽셀 차이를 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔여 데이터에 따라 인코딩된다. 인트라-코딩된 블록은 인트라 코딩 모드 및 잔여 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔여 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있고, 그 결과 잔여 변환 계수가 생성되고, 이는 양자화될 수 있다. 초기에 2차원 어레이로 배열된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있으며, 엔트로피 코딩이 적용되어 훨씬 더 압축될 수 있다.

이미지 및 비디오 압축은 다양한 코딩 표준으로 이어지는 급속한 성장을 경험하였다. 이러한 비디오 코딩 표준에는 ITU-T H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10이라고도 하는 고급 비디오 코딩(Advanced Video Coding, AVC), ITU-T H.265 또는 MPEG-H Part 2라고도 하는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)가 포함된다. AVC에는 확장성 비디오 코딩(Scalable Video Coding, SVC), 멀티뷰 비디오 코딩(Multiview Video Coding, MVC) 및 멀티뷰 비디오 코딩 플러스 깊이(Multiview Video Coding plus Depth, MVC+D), 3D AVC(3D-AVC)가 포함된다. HEVC는 확장성(Scalable) HEVC(SHVC), 멀티뷰(Multiview) HEVC(MV-HEVC) 및 3D HEVC(3D-HEVC)와 같은 확장을 포함한다.

ITU-T와 ISO/IEC의 JVET(Joint Video Experts Team)에 의해 개발되고 있는 VVC(Versatile Video Coding)라는 새로운 비디오 코딩 표준도 있다. VVC 표준에는 여러 작업 초안이 있지만 특히 B. Bross, J. Chen 및 S. Liu, "Versatile Video Coding(Draft 5)", JVET-N1001-v3과 같은 VVC의 WD(Working Draft), 2019년 3월 27일 제13차 JVET 회의(VVC 초안 5)가 여기에서 참조된다.

비디오 코딩의 확장성은 일반적으로 다계층 코딩 기술을 사용하여 지원된다. 다계층 비트스트림은 기본 계층(base layer, BL) 및 하나 이상의 향상 계층(enhancement layer, EL)을 포함한다. 확장성의 예로는 공간적 확장성, 품질/SNR(signal-to-noise) 확장성, 멀티뷰 확장성 등이 있다. 다계층 코딩 기술이 사용될 때, 픽처 또는 픽처의 부분은 (1) 참조 픽처를 사용하는 것, 즉 인트라 예측을 사용하는 것 없이; (2) 동일한 계층에 있는 참조 픽처를 참조함으로써, 즉 인터 예측을 사용하여; 또는 (3) 다른 계층(들)에 있는 참조 픽처를 참조함으로써, 즉 인터-레이어 예측을 사용하여 코딩될 수 있다. 현재 픽처의 인터-레이어 예측에 사용되는 참조 픽처를 인터-레이어 참조 픽처(Inter Layer Reference Picture, ILRP)라고 한다.

도 5는 예를 들어 블록 압축 단계(105), 블록 디코딩 단계(113), 모션 추정 컴포넌트(221), 모션 보상 컴포넌트(219), 모션 보상 컴포넌트(321), 및/또는 모션 보상 컴포넌트(421)에서 MV를 결정하기 위해 수행되는 것과 같이 계층 기반 예측(500)의 예를 도시하는 개략도이다. 계층 기반 예측(500)은 단방향 인터 예측 및/또는 양방향 인터 예측과 호환되지만, 다른 계층의 픽처 간에도 수행된다.

계층 기반 예측(500)은 서로 다른 계층의 픽처(511, 512, 513, 514)와 픽처(515, 516, 517, 518) 사이에 적용된다. 도시된 예에서, 픽처(511, 512, 513 및 514)는 계층 N+1(532)의 일부이고 픽처(515, 516, 517 및 518)는 계층 N(531)의 일부이다. 계층 N(531) 및/또는 계층 N+1(532)은 유사한 크기, 품질, 해상도, 신호 대 잡음비, 성능 등과 같은 특성의 유사한 값과 모두 연관된 화상 그룹이다. 도시된 예에서 계층 N+1(532)은 계층 N(531)보다 더 큰 이미지 크기와 연관된다. 따라서, 계층 N+1(532)의 픽처(511, 512, 513, 514)는 이 예에서 계층 N(531)의 픽처(515, 516, 517 및 518)보다 더 큰 픽처 크기(예를 들어, 더 큰 높이와 너비, 따라서 더 많은 샘플)를 갖는다. 그렇지만, 그러한 픽처는 다른 특성에 의해 계층 N+1(532)과 계층 N(531) 사이에서 분리될 수 있다. 계층 N+1(532)과 계층 N(531)의 2개의 계층만 도시되어 있지만, 픽처 세트는 연관된 특성에 기초하여 임의의 수의 계층으로 분리될 수 있다. 계층 N+1(532) 및 계층 N(531)은 또한 계층 ID로 표시될 수 있다. 계층 ID는 픽처와 연관되고 픽처가 표시된 계층의 일부임을 나타내는 데이터 항목이다. 따라서, 각각의 픽처(511-518)는 대응하는 픽처를 포함하는 계층 N+1(532) 또는 계층 N(531)을 나타내기 위해 대응하는 계층 ID와 연관될 수 있다.

다른 계층(531-532)의 픽처(511-518)는 대안에서 표시되도록 구성된다. 이와 같이, 상이한 계층(531-532)의 픽처(511-518)는 동일한 시간 식별자(ID)를 공유할 수 있고 동일한 AU에 포함될 수 있다. 본 명세서에서 사용되는 바와 같이, AU는 DPB로부터의 출력을 위한 동일한 디스플레이 시간과 연관된 하나 이상의 코딩된 픽처의 세트이다. 예를 들어, 디코더는 더 작은 픽처가 요구되는 경우 현재 디스플레이 시간에 픽처(515)를 디코딩 및 디스플레이할 수 있고, 더 큰 픽처가 요구되는 경우 디코더는 현재 디스플레이 시간에 픽처(511)를 디코딩 및 디스플레이할 수 있다. 이와 같이, 상위 계층 N+1(532)의 픽처(511-514)는 (픽처 사이즈의 차이에도 불구하고) 하위 계층 N(531)의 대응하는 픽처(515-518)와 실질적으로 동일한 이미지 데이터를 포함한다. 구체적으로, 픽처(511)는 픽처(515)와 실질적으로 동일한 이미지 데이터를 포함하고, 픽처(512)는 픽처(516)와 실질적으로 동일한 이미지 데이터를 포함한다.

픽처(511-518)는 동일한 계층 N(531) 또는 N+1(532)의 다른 픽처(511-518)를 참조하여 코딩될 수 있다. 단방향 상호 예측 및/또는 양방향 상호 예측이 호환된다. 상호 예측(523)은 실선 화살표로 도시된다. 예를 들어, 픽처(513)는 참조로서 계층 N+1(532)의 픽처(511, 512 및/또는 514) 중 하나 또는 2개를 사용하여 인터 예측(523)을 사용함으로써 코딩될 수 있으며, 여기서 하나의 픽처는 단방향 인터 예측 및/또는 두 개의 픽처는 양방향 상호 예측을 위한 참조이다. 또한, 픽처(517)는 참조로서 계층 N(531)의 픽처(515, 516 및/또는 518) 중 하나 또는 2개를 사용하여 인터 예측(523)을 사용함으로써 코딩될 수 있으며, 여기서 하나의 픽처는 단방향 인터 예측을 위한 참조이고 그리고/또는 2개의 픽처는 양방향 상호 예측을 위한 참조이다. 인터 예측(523)을 수행할 때 픽처가 동일한 계층의 다른 픽처에 대한 참조로 사용되는 경우, 픽처는 참조 픽처로 지칭될 수 있다. 예를 들어, 픽처(512)는 인터-예측(523)에 따라 픽처(513)를 코딩하는 데 사용되는 참조 픽처일 수 있다. 인터-예측(523)은 또한 다계층 컨텍스트에서 인트라-계층 예측으로 지칭될 수 있다. 이와 같이, 인터 예측(523)은 참조 픽처와 현재 픽처가 동일한 계층에 있는 현재 픽처와 다른 참조 픽처 내의 지시된 샘플들을 참조하여 현재 픽처의 샘플들을 코딩하는 메커니즘이다.

픽처(511-518)는 또한 상이한 계층의 다른 픽처(511-518)를 참조하여 코딩될 수 있다. 이 프로세스는 인터-레이어 예측(521)으로 알려져 있으며 점선 화살표로 표시된다. 인터-레이어 예측(521)은 현재 픽처와 참조 픽처가 서로 다른 계층에 있고 따라서 서로 다른 계층 ID를 갖는 참조 픽처에서 표시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이다. 예를 들어, 하위 계층 N(531)의 픽처는 상위 계층 N+1(532)의 해당 픽처를 코딩하기 위한 참조 픽처로 사용될 수 있다. 구체적인 예로, 픽처(511)는 인터-레이어 예측(521)에 따라 픽처(515)를 참조하여 코딩될 수 있다. 이러한 경우에, 픽처(515)는 인터-레이어 참조 픽처로 사용된다. 인터-레이어 참조 픽처는 인터-레이어 예측(521)에 사용되는 참조 픽처이다. 대부분의 경우 인터-레이어 예측(521)은 픽처(511)와 같은 현재 픽처가 인터-레이어 참조 픽처(들)만 사용할 수 있도록 제한되며, 인터-레이어 참조 픽처(들)는 동일한 AU에 포함되고 픽처(515)와 같은 하위 계층에 있다. 복수의 계층(예를 들어, 2개 이상)이 이용 가능할 때, 인터-레이어 예측(521)은- 현재 픽처보다 낮은 레벨의 인터-레이어 참조 픽처(들)에 기초하여 현재 픽처를 인코딩/디코딩할 수 있다.

비디오 인코더는 계층 기반 예측(500)을 사용하여 인터 예측(523) 및 인터-레이어 예측(521)의 많은 상이한 조합 및/또는 순열을 통해 픽처(511-518)를 인코딩할 수 있다. 예를 들어, 픽처(515)는 인트라-예측에 따라 코딩될 수 있다. 그런 다음, 픽처(516-518)는 참조 픽처로서 픽처(515)를 사용함으로써 인터 예측(523)에 따라 코딩될 수 있다. 또한, 픽처(511)는 픽처(515)를 인터-레이어 참조 픽처로 사용함으로써 인터-레이어 예측(521)에 따라 코딩될 수 있다. 그런 다음, 픽처(512-514)는 참조 픽처로서 픽처(511)를 사용함으로써 인터 예측(523)에 따라 코딩될 수 있다. 이와 같이, 참조 픽처는 상이한 코딩 메커니즘을 위한 단일 계층 참조 픽처 및 인터-레이어 참조 픽처 모두의 역할을 할 수 있다. 하위 계층 N+1(532) 픽처를 기반으로 상위 계층 N+1(532) 픽처를 코딩함으로써 상위 계층 N+1(532)은 인터 예측(523) 및 인터-레이어 예측(521)보다 훨씬 낮은 코딩 효율을 갖는 인트라 예측을 사용하는 것을 피할 수 있다. 이와 같이, 인트라 예측의 열악한 코딩 효율은 최소/최저 품질 픽처로 제한될 수 있고, 따라서 최소량의 비디오 데이터 코딩으로 제한될 수 있다. 참조 픽처 및/또는 인터-레이어 참조 픽처로 사용되는 픽처는 참조 픽처 리스트 구조에 포함된 참조 픽처 리스트(들)의 엔트리에 표시될 수 있다.

도 5의 각각의 AU(506)는 여러 개의 픽처가 포함될 수 있다. 예를 들어, 하나의 AU(506)는 픽처(511, 515)를 포함할 수 있다. 다른 AU(506)는 픽처(512, 516)를 포함할 수 있다. 실제로, 각각의 AU(506)는 디코딩된 픽처 버퍼(DPB)로부터의 출력을 위해(예를 들어, 사용자에게 표시하기 위해) 동일한 디스플레이 시간(예를 들어, 동일한 시간 ID)과 연관된 하나 이상의 코딩된 픽처의 세트이다. 각각의 AUD(508)는 AU(예를 들어, AU(508))의 시작 또는 AU 사이의 경계를 나타내기 위해 사용되는 인디케이터 또는 데이터 구조이다.

이전의 H.26x 비디오 코딩 패밀리는 단일 계층 코딩을 위한 프로파일(들)과 별개의 프로파일(들)에서 확장성에 대한 지원을 제공하였다. 확장 가능한 비디오 코딩(SVC)은 공간, 시간 및 품질 확장성을 지원하는 AVC/H.264의 확장 가능한 확장이다. SVC의 경우, 플래그는 EL 화상의 각 매크로블록(MB)에서 시그널링되어 EL MB가 하위 계층에서 배치된 블록을 사용하여 예측되는지 여부를 나타낸다. 병치된 블록으로부터의 예측은 텍스처, 모션 벡터, 및/또는 코딩 모드를 포함할 수 있다. SVC 구현은 설계에서 수정되지 않은 H.264/AVC 구현을 직접 재사용할 수 없다. SVC EL 매크로블록 구문 및 디코딩 프로세스는 H.264/AVC 구문 및 디코딩 프로세스와 다르다.

확장 가능한 HEVC(SHVC)는 공간 및 품질 확장성에 대한 지원을 제공하는 HEVC/H.265 표준의 확장이고, 멀티뷰 HEVC(MV-HEVC)는 멀티-뷰 확장성을 위한 지원을 제공하는 HEVC/H.265의 확장이고, 3D HEVC(3D-HEVC)는 MV-HEVC보다 더 발전되고 효율적인 3차원(3D) 비디오 코딩에 대한 지원을 제공하는 HEVC/H.264의 확장이다. 시간적 확장성은 단일 계층 HEVC 코덱의 필수 부분으로 포함된다. HEVC의 다계층 확장 설계는 인터-레이어 예측에 사용되는 디코딩된 픽처가 동일한 액세스 단위(AU)에서만 제공되고 장기 참조 픽처(long term reference picture, LTRP)로 처리되고 현재 계층의 다른 시간 참조 픽처와 함께 참조 픽처 목록(들)의 할당된 참조 인덱스이다. 인터-레이어 예측(inter-layer prediction, ILP)은 참조 픽처 목록(들)에서 인터-레이어 참조 픽처(들)를 참조하도록 참조 인덱스의 값을 설정함으로써 예측 단위(PU) 레벨에서 달성된다.

특히, 참조 픽처 리샘플링 및 공간 확장성 특징 모두는 참조 픽처 또는 그 일부의 리샘플링을 요구한다. 참조 픽처 리샘플링(RPR)은 픽처 레벨 또는 코딩 블록 레벨에서 실현될 수 있다. 다만, RPR을 코딩 특징이라고 하는 경우에는 싱글 계층 코딩을 위한 특징이다. 그렇더라도 단일 계층 코딩의 RPR 기능과 다계층 코딩의 공간 확장성 기능 모두에 대해 동일한 리샘플링 필터를 사용하는 것이 코덱 설계 관점에서 가능하거나 더 바람직한다.

도 6은 예를 들어 블록 압축 단계(105), 블록 디코딩 단계(113), 모션 추정 컴포넌트(221), 모션 보상 컴포넌트(219), 모션 보상 컴포넌트(321), 및/또는 모션 보상 컴포넌트(421)에서 MV를 결정하기 위해 수행되는 것과 같이 출력 계층 세트(output layer set, OLS)를 활용하는 계층 기반 예측(600)의 예를 도시한다. 계층 기반 예측(500)은 단방향 인터-예측 및/또는 양방향 인터-예측과 호환되지만, 상이한 계층의 픽처 간에도 수행된다. 도 6의 계층 기반 예측은 도 5의 그것과 유사하다. 따라서, 간결함을 위해 계층 기반 예측에 대한 전체 설명은 반복하지 않는다.

도 6의 코딩된 비디오 시퀀스(CVS)(690)의 일부 계층은 OLS에 포함된다. OLS는 하나 이상의 계층이 출력 계층으로 지정된 계층 세트이다. 출력 계층은 출력되는 OLS의 계층이다. 도 6은 3개의 상이한 OLS, 즉 OLS 1, OLS 2, 및 OLS 3을 묘사한다. 도시된 바와 같이, OLS 1은 계층 N(631) 및 계층 N+1(632)을 포함한다. OLS 2는 계층 N(631), 계층 N+1(632), 계층 N+2(633) 및 계층 N+1(634)을 포함한다. OLS 3은 계층 N(631), 계층 N+1(632) 및 계층 N+2(633)를 포함한다. 3개의 OLS가 도시되어 있음에도 불구하고 실제 애플리케이션에서 다른 수의 OLS가 사용될 수 있다.

상이한 OLS 각각은 임의의 수의 층을 포함할 수 있다. 다양한 코딩 능력을 갖는 다양한 상이한 장치의 코딩 능력을 수용하기 위한 노력으로 상이한 OLS가 생성된다. 예를 들어, 두 개의 계층만 포함하는 OLS 1은 상대적으로 제한된 코딩 기능을 가진 휴대폰을 수용하기 위해 생성될 수 있다. 반면에 4개의 계층을 포함하는 OLS 2는 휴대폰보다 높은 계층을 디코딩할 수 있는 대화면 텔레비전을 수용하기 위해 생성될 수 있다. 3개의 계층을 포함하는 OLS 3은 개인용 컴퓨터, 랩톱 컴퓨터 또는 태블릿 컴퓨터를 수용하기 위해 생성될 수 있다. 이 컴퓨터는 휴대전화보다 높은 계층을 디코딩할 수 있지만 대화면 텔레비전과 같은 가장 높은 계층을 디코딩할 수 없다.

도 6의 층은 모두 서로 독립적일 수 있다. 즉, 인터-레이어 예측(Inter Layer Prediction, ILP)을 사용하지 않고 각 계층을 코딩할 수 있다. 이 경우 계층을 동시 전송 계층이라고 한다. 도 1의 층들 중 하나 이상은 또한 ILP를 사용하여 코딩될 수 있다. 계층이 동시 방송 계층(simulcast layer)인지 또는 일부 계층이 ILP를 사용하여 코딩되었는지 여부는 비디오 파라미터 세트(video parameter set, VPS)의 플래그에 의해 시그널링되며, 이에 대해서는 아래에서 더 자세히 설명된다. 일부 계층이 ILP를 사용하는 경우 인터-레이어의 계층 종속 관계도 VPS에서 시그널링된다.

일 실시예에서, 계층이 동시 방송 계층일 때, 디코딩 및 출력을 위해 단 하나의 계층만 선택된다. 일 실시예에서, 일부 계층이 ILP를 사용하는 경우, 모든 계층(예를 들어, 전체 비트스트림)은 디코딩되도록 지정되고, 계층 중 특정 계층은 출력 계층으로 지정된다. 출력 계층 또는 계층들은 예를 들어 1) 최상위 계층만, 2) 모든 계층, 또는 3) 최상위 계층에 표시된 하위 계층 세트를 더한 것일 수 있다. 예를 들어, VPS의 플래그에 의해 최상위 계층과 표시된 하위 계층 집합이 출력을 위해 지정되면 OLS 2로부터의 계층 N+3(634)(가장 상위 계층)과 계층 N(631) 및 N+1(632)(하위 계층)이 출력된다.

여전히 도 6을 참조하면, 일부 계층은 OLS에 포함되지만 출력되지 않거나 출력 계층에서 참조용으로 사용된다. 예를 들어 계층 N+2(633)는 OLS 2에 포함되어 있지만 출력되지는 않는다. 오히려, 계층 N+3(634)은 OLS 2에서 가장 높은 계층이므로 출력 계층으로 출력된다. 또한, OLS 2의 계층 N+2(633)는 출력 계층, 계층 N+3(634)에 의한 참조를 위해 사용되지 않는다. 실제로, OLS 2의 계층 N+3(634)은 OLS 2의 계층 N+2(633), 계층 N+1(632) 및/또는 계층 N(631)에 의존한다. 따라서, OLS 2의 계층 N+2(633)는 불필요한 계층으로 지칭된다. 불행히도, SHVC 및 MV-HEVC는 이러한 불필요한 계층이 다계층 비디오 비트스트림에 포함될 수 있게 하여 코딩 리소스에 불필요하게 부담을 주고 코딩 효율을 감소시킨다.

다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않는 기술이 여기에 개시된다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

도 7은 비디오 비트스트림(700)의 실시예를 예시한다. 여기에 사용된 바와 같이 비디오 비트스트림(700)은 또한 코딩된 비디오 비트스트림, 비트스트림, 또는 이들의 변형으로 지칭될 수 있다. 도 7에 도시된 바와 같이, 비트스트림(700)은 적어도 하나의 픽처 유닛(picture unit, PU)(701)을 포함한다. PU(701) 중 3개가 도 7에 도시되어 있지만, 실제 적용에서 다른 수의 PU(701)가 비트스트림(700)에 존재할 수 있다. 각각의 PU(701)는 지정된 분류 규칙에 따라 서로 연관되고 디코딩 순서가 연속적이며 정확히 하나의 코딩된 픽처(예를 들어, 픽처(714))를 포함하는 NAL 유닛 세트이다.

실시예에서, 각각의 PU(701)는 다음: 디코딩 능력 정보(decoding capability information, DCI)(702), 비디오 파라미터 세트(video parameter set, VPS)(704), 시퀀스 파라미터 세트(sequence parameter set, SPS)(706), 픽처 파라미터 세트(picture parameter set, PPS)(708), 픽처 헤더(picture header, PH)(512), 및 픽처(514) 중 하나 이상을 포함한다. DCI(702), VPS(704), SPS(706) 및 PPS(708) 각각은 일반적으로 파라미터 세트로 지칭될 수 있다. 실시예에서, 도 7에 도시되지 않은 다른 파라미터 세트 역시 예를 들어 적응 파라미터 세트(adaptation parameter set, APS)와 같은 비트스트림(700)에 포함될 수 있으며, 이는 슬라이스 헤더에서 발견되는 0개 이상의 신택스 요소에 의해 결정되는 0개 이상의 슬라이스에 적용되는 신택스 구조를 포함하는 신택스 구조이다.

디코딩 파라미터 세트(decoding parameter set, DPS)라고도 하는 DCI(702)는 전체 비트스트림에 적용되는 신택스 요소를 포함하는 신택스 구조이다. DCI(702)는 세션의 수명으로 변환될 수 있는 비디오 비트스트림(예를 들어, 비트스트림(700))의 수명 동안 일정하게 유지되는 파라미터를 포함한다. DCI(702)는 세션 내에서 비디오 시퀀스의 스플라이싱이 발생하더라도 절대 초과되지 않는 최대 복잡성 상호 운용성 포인트(maximum complexity interop point)를 결정하기 위해 프로파일, 레벨 및 서브-프로파일 정보를 포함할 수 있다. 제한 플래그를 선택적으로 추가로 포함하는 경우, 이 제한 플래그는 비디오 비트스트림이 해당 플래그의 값에 의해 지시되는 특정 기능의 사용으로 제한될 것임을 나타낸다. 이를 통해 비트스트림은 디코더 구현에서 무엇보다도 리소스 할당을 허용하는 특정 도구를 사용하지 않는 것으로 레이블링될 수 있다. 모든 파라미터 세트와 마찬가지로 DCI(702)는 처음 참조될 때 존재하고, 비디오 시퀀스의 맨 처음 픽처에 의해 참조될 때, 비트스트림의 첫 번째 NAL 유닛 사이에서 전송되어야 함을 의미한다. 다수의 DCI(702)가 비트스트림에 있을 수 있지만, 그 안의 신택스 요소의 값은 참조될 때 불일치할 수 없다.

VPS(704)는 향상 계층(enhancement layers)의 참조 픽처 세트 구성을 위한 디코딩 의존성 또는 정보를 포함한다. VPS(704)는 스케일러블 시퀀스의 전체 관점 또는 보기를 제공하며, 이러한 스케일러블 시퀀스는 어떤 유형의 동작 지점이 제공되는지, 동작 지점의 프로필(profile), 계층(tier) 및 수준(level), 세션 협상 및 콘텐츠 선택의 기반으로서 사용될 수 있는 일부 다른 비트스트림의 하이-레벨 속성을 포함한다.

일 실시예에서, 계층의 일부가 ILP를 사용한다는 것이 표시될 때, VPS(704)는 VPS에 의해 지정된 OLS의 총 수가 계층의 수와 동일함을 나타내고, i번째 OLS가 계층 인덱스가 0부터 i(포함)까지인 계층을 포함함을 나타내고, 각 OLS에 대해 OLS에서 가장 높은 계층만 출력됨을 나타낸다.

일 실시예에서, VPS(704)는 CLVS 및/또는 비디오 비트스트림의 OLS에 대응하는 신택스 및 시맨틱을 포함한다. VPS(704)에 대응하는 다음의 신택스 및 시맨틱은 본 명세서에 개시된 실시예를 구현하기 위해 사용될 수 있다.

VPS(704)에 대한 구문은 다음과 같을 수 있다.

VPS(704)에 대한 의미론은 다음과 같을 수 있다. 일 실시예에서, VPS(704)는 아래에서 언급되는 하나 이상의 플래그 및 파라미터를 포함한다.

VPS 원시 바이트 시퀀스 페이로드(RBSP)는 참조되기 전에 디코딩 프로세스에 이용 가능해야 하며, TemporalId가 0과 같거나 외부 수단을 통해 제공되는 적어도 하나의 액세스 유닛에 포함되어야 하고, VPS RBSP는 vps_layer_id[ 0 ]와 동일한 nuh_layer_id를 가져야 한다. nuh_layer_id는 VCL NAL 유닛이 속한 계층의 식별자 또는 non-VCL NAL 유닛이 적용되는 계층의 식별자를 지정한다. nuh_layer_id의 값은 0에서 55(포함)까지의 범위에 있어야 한다. TemporalId는 다른 NAL 유닛과 관련하여 특정 NAL 유닛을 고유하게 식별하는 데 사용되는 ID이다. TemporalId의 값은 AU의 모든 VCL NAL 유닛에 대해 동일해야 한다. 코딩된 픽처, PU, 또는 AU의 TemporalId 값은 코딩된 픽처, PU 또는 AU의 VCL NAL 유닛의 TemporalId 값이다.

CVS에서 vps_video_parameter_set_id의 특정 값을 갖는 모든 VPS NAL 유닛은 동일한 콘텐츠를 가져야 한다. vps_video_parameter_set_id는 다른 신택스 요소가 참조할 수 있도록 VPS에 대한 식별자를 제공한다. vps_max_layers_minus1 puls 1은 VPS를 참조하는 각 CVS에서 허용되는 최대 계층 수를 지정한다. vps_max_sub_layers_minus1 더하기 1은 VPS를 참조하는 각 CVS에 존재할 수 있는 시간적 서브-계층의 최대 수를 지정한다. vps_max_sub_layers_minus1의 값은 0에서 6(포함)까지의 범위에 있어야 한다.

1과 동일한 vps_all_independent_layers_flag는 CVS의 모든 계층이 인터-레이어 예측을 사용하지 않고 독립적으로 코딩됨을 지정한다. 0과 동일한 vps_all_independent_layers_flag는 CVS의 하나 이상의 계층이 인터-레이어 예측을 사용할 수 있음을 지정한다. 존재하지 않을 때, vps_all_independent_layers_flag의 값은 1과 동일한 것으로 추론된다. vps_all_independent_layers_flag가 1과 동일한 경우, vps_independent_layer_flag[ i ]의 값은 1과 동일한 것으로 추론된다. vps_all_independent_layers_flag의 값이 0과 같을 때, vps_independent_layer_flag[　0　]의 값은 1과 같은 것으로 추론된다.

vps_layer_id[ i ]는 i번째 계층의 nuh_layer_id 값을 지정한다. m과 n의 두 개의 음이 아닌 정수 값에 대해 m이 n보다 작을 때 vps_layer_id[ m ]의 값은 vps_layer_id[ n ]보다 작아야 한다. 1과 동일한 vps_independent_layer_flag[ i ]는 인덱스 i를 갖는 계층이 인터-레이어 예측을 사용하지 않음을 지정한다. 0과 동일한 vps_independent_layer_flag[ i ]는 인덱스 i를 갖는 계층이 인터-레이어 예측을 사용할 수 있고 vps_layer_dependency_flag[ i ]가 VPS에 존재함을 지정한다. 존재하지 않을 때, vps_independent_layer_flag[ i ]의 값은 1과 같은 것으로 추론된다.

0과 동일한 vps_direct_dependency_flag[ i ][ j ]는 인덱스 j를 갖는 계층이 인덱스 i를 갖는 계층에 대한 직접 참조 계층이 아님을 지정한다. vps_direct_dependency_flag [ i ][ j ]가 1이면 인덱스 j를 갖는 계층이 인덱스 i를 갖는 계층에 대한 직접 참조 계층임을 지정한다. vps_direct_dependency_flag[ i ][ j ]가 0에서 vps_max_layers_minus1(포함)까지의 범위에서 i 및 j에 대해 존재하지 않는 경우, 0과 동일한 것으로 유추된다.

i번째 계층의 j번째 직접 종속 계층을 지정하는 변수 DirectDependentLayerIdx[ i ][ j ]는 다음과 같이 유도된다:

for( i = 1; i < vps_max_layers_minus1; i++ )

if( !vps_independent_layer_flag[　i　] )

for( j = i, k = 0; j >= 0; j-　- )

if( vps_direct_dependency_flag[　i　][　j　] )

DirectDependentLayerIdx[　i　][　k++　] = j

nuh_layer_id가 vps_layer_id[ i ]와 동일한 계층의 계층 인덱스를 지정하는 변수 GeneralLayerIdx[ i ]는 다음과 같이 유도된다.

for( i = 0; i <= vps_max_layers_minus1; i++ )

GeneralLayerIdx[　vps_layer_id[　i　]　] = i

1과 동일한 each_layer_is_an_ols_flag는 각 출력 계층 세트가 단 하나의 계층을 포함하고 비트스트림의 각 계층 자체가 단일 포함 계층이 유일한 출력 계층인 출력 계층 세트임을 지정한다. each_layer_is_an_ols_flag는 출력 계층 세트가 하나 이상의 계층을 포함할 수 있다는 0과 같다. vps_max_layers_minus1이 0과 같으면 each_layer_is_an_ols_flag의 값은 1과 같은 것으로 추론된다. 그렇지 않고 vps_all_independent_layers_flag가 0과 같을 때 each_layer_is_an_0s_flag의 값은 0과 같은 것으로 추론된다.

0과 동일한 ols_mode_idc는 VPS에 의해 지정된 OLS의 총 수가 vps_max_layers_minus1 + 1과 동일함을 지정하고, i번째 OLS는 0부터 i(포함)까지의 계층 인덱스를 갖는 계층을 포함하고, 각 OLS에 대해 가장 높은 계층만 포함함 OLS의 계층이 출력된다. ols_mode_idc가 1과 같으면 VPS에 의해 지정된 총 OLS 수가 vps_max_layers_minus1 + 1과 같도록 지정하고, i번째 OLS는 0부터 i(포함)까지의 계층 인덱스를 갖는 계층을 포함하고, 각 OLS에 대해 OLS의 모든 계층은 출력된다. 2와 동일한 ols_mode_idc는 VPS에 의해 지정된 OLS의 총 수가 명시적으로 시그널링되고 각 OLS에 대해 OLS에서 명시적으로 시그널링된 하위 계층 세트가 출력되는 것을 지정한다. ols_mode_idc의 값은 0에서 2(포함)까지의 범위에 있어야 한다. ols_mode_idc의 값 3은 ITU-T | ISO/IEC에 의한 향후 사용을 위해 예약되어 있다. vps_all_independent_layers_flag가 1과 같고 each_layer_is_an_ols_flag가 0일 때, ols_mode_idc의 값은 2와 같은 것으로 추론된다.

num_output_layer_sets_minus1 더하기 1은 ols_mode_idc가 2와 같을 때 VPS에 의해 지정된 OLS의 총 수를 지정한다.

VPS에 의해 지정된 OLS의 총 수를 지정하는 변수 TotalNumOlss는 다음과 같이 유도된다:

if( vps_max_layers_minus1 =　= 0 )

TotalNumOlss = 1

else if( each_layer_is_an_ols_flag | | ols_mode_idc =　= 0 |　| ols_mode_idc =　= 1 )

TotalNumOlss = vps_max_layers_minus1　+　1

else if( ols_mode_idc =　= 2 )

TotalNumOlss = num_output_layer_sets_minus1　+　1

layer_included_flag[ i ][ j ]는 ols_mode_idc가 2와 같을 때 j번째 계층(즉, nuh_layer_id가 vps_layer_id[ j ]과 동일한 계층)이 i번째 OLS에 포함되는지 여부를 지정한다. layer_included_flag[ i ] 1과 동일한 [j]는 j번째 계층이 i번째 OLS에 포함됨을 지정한다. 0과 동일한 layer_included_flag[ i ][ j ]는 j번째 계층이 i번째 OLS에 포함되지 않음을 지정한다.

i번째 OLS에서 계층의 수를 지정하는 변수 NumLayerInOls[ i ], 및 i번째 OLS에서 j번째 계층의 nuh_layer_id 값을 지정하는 변수 LayerIdInOls[ i ][ j ], 다음과 같이 유도된다.

NumLayersInOls[　0　] = 1

LayerIdInOls[　0　][　0　] = vps_layer_id[　0　]

for( i = 1, i < TotalNumOlss; i++ ) {

if( each_layer_is_an_ols_flag ) {

NumLayersInOls[　i　] = 1

LayerIdInOls[　i　][　0　] = vps_layer_id[　i　]

} else if( ols_mode_idc =　= 0 |　| ols_mode_idc =　= 1 ) {

NumLayersInOls[　i　] = i +1

for( j = 0; j < NumLayersInOls[　i　]; j++ )

LayerIdInOls[　i　][　j　] = vps_layer_id[　j　]

} else if( ols_mode_idc =　= 2 ) {

for( k = 0, j = 0; k <= vps_max_layers_minus1; k++ )

if( layer_included_flag[　i　][　k　] )

LayerIdInOls[　i　][　j++　] = vps_layer_id[　k　]

NumLayersInOls[　i　] = j

}

nuh_layer_id가 LayerIdInOls[ i ][ j ]와 동일한 계층의 OLS 계층 인덱스를 지정하는 변수 OlsLayeIdx[ i ][ j ]는 다음과 같이 유도된다.

for( i = 0, i < TotalNumOlss; i++ )

for j = 0; j < NumLayersInOls[　i　]; j++ )

OlsLayeIdx[　i　][　LayerIdInOls[　i　][　j　]　] = j

각 OLS의 최하위 계층은 독립 계층이어야 한다. 다시 말해서, 0에서 TotalNumOlss - 1(포함) 범위의 각 i에 대해 vps_independent_layer_flag[ GeneralLayerIdx[ LayerIdInOls[ i ][ 0 ] ] ]의 값은 1과 동일해야 한다.

각 계층은 VPS에 의해 지정된 적어도 하나의 OLS에 포함되어야 한다. 즉, 0에서 vps_max_layers_minus1(포함)까지의 범위에서 k에 대한 vps_layer_id[ k ] 중 하나와 동일한 nuh_layer_id nuhLayerId의 특정 값을 갖는 각 계층에 대해 i 및 j 값의 적어도 한 쌍이 있어야 한다. 여기서 i는 LayerIdInOls[ i ][ j ]의 값이 nuhLayerId와 같도록 0에서 TotalNumOlss - 1(포함)의 범위에 있고 j가 NumLayerInOls[ i ] - 1(포함)의 범위에 있다.

OLS의 임의의 계층은 OLS의 출력 계층이거나 OLS의 출력 계층의 (직접 또는 간접) 참조 계층이어야 한다.

vps_output_layer_flag[ i ][ j ]는 ols_mode_idc가 2와 같을 때 i번째 OLS의 j번째 계층이 출력되는지 여부를 지정한다. 1과 동일한 vps_output_layer_flag[ i ]는 i-번째 OLS의 j번째 계층이 OLS가 출력된다는 것을 지정한다. 0과 동일한 vps_output_layer_flag[ i ]는 i번째 OLS에서 j번째 계층이 출력되지 않음을 지정한다. vps_all_independent_layers_flag가 1과 같고 each_layer_is_an_ols_flag가 0일 때, vps_output_layer_flag[ i ]의 값은 1과 같은 것으로 추론된다.

값 1은 i번째 OLS에서 j번째 계층이 출력됨을 지정하고 값 0은 i번째 OLS에서 j번째 계층이 출력되지 않음을 지정하는 변수 OutputLayerFlag[ i ][ j ]는 다음과 같이 유도된다.

for( i = 0, i < TotalNumOlss; i++ ) {

OutputLayerFlag[　i　][　NumLayersInOls[　i　]　-　1　] = 1

for( j = 0; j < NumLayersInOls[　i　]　*?*1; j++ )

if( ols_mode_idc[　i　] =　= 0 )

OutputLayerFlag[　i　][　j　] = 0

else if( ols_mode_idc[　i　] =　= 1 )

OutputLayerFlag[　i　][　j　] = 1

else if( ols_mode_idc[　i　] =　= 2 )

OutputLayerFlag[　i　][　j　] = vps_output_layer_flag[　i　][　j　]

}

참고 - 0번째 OLS는 최하위 계층(즉, nuh_layer_id가 vps_layer_id[0]과 동일한 계층)만을 포함하고 0번째 OLS에 대해 포함된 유일한 계층이 출력된다.

1과 동일한 vps_constraint_info_present_flag는 general_constraint_info() 신택스 구조가 VPS에 존재한다는 것을 지정한다. 0과 동일한 vps_constraint_info_present_flag는 general_constraint_info() 신택스 구조가 VPS에 존재하지 않음을 지정한다.

vps_reserved_zero_7bits는 이 VVC 드래프트의 이 버전을 따르는 비트스트림에서 0과 같아야 한다. vps_reserved_zero_7bits에 대한 다른 값은 ITU-T | ISO/IEC에서 향후 사용을 위해 예약되어 있다. 일 실시예에서, 디코더는 vps_reserved_zero_7bits의 값을 무시해야 한다.

1과 동일한 general_hrd_params_present_flag는 신택스 요소 num_units_in_tick 및 time_scale 및 신택스 구조 general_hrd_parameters()가 SPS RBSP 신택스 구조에 존재함을 지정한다. 0과 동일한 general_hrd_params_present_flag는 신택스 요소 num_units_in_tick 및 time_scale 및 신택스 구조 general_hrd_parameters()가 SPS RBSP 신택스 구조에 존재하지 않음을 지정한다.

num_units_in_tick은 클록 틱 카운터의 1 증분(클록 틱이라고 함)에 대응하는 주파수 time_scale Hz에서 동작하는 클록의 시간 단위의 수이다. num_units_in_tick은 0보다 커야 한다. 초 단위의 클록 틱은 num_units_in_tick의 몫을 time_scale로 나눈 값과 같다. 예를 들어, 비디오 신호의 픽처 레이트가 25Hz일 때, time_scale은 27,000,000과 같을 수 있고, num_units_in_tick은 1,080,000과 같을 수 있고, 따라서 클록 틱은 0.04초와 같을 수 있다.

time_scale은 1초에 지나가는 시간 단위의 수이다. 예를 들어, 27MHz 클록을 사용하여 시간을 측정하는 시간 좌표계의 time_scale은 27,000,000이다. time_scale의 값은 0보다 커야 한다.

0과 동일한 vps_extension_flag는 vps_extension_data_flag 신택스 요소가 VPS RBSP 신택스 구조에 존재하지 않는다는 것을 지정한다. 1과 동일한 vps_extension_flag는 VPS RBSP 신택스 구조에 존재하는 vps_extension_data_flag 신택스 요소가 있음을 지정한다.

vps_extension_data_flag는 임의의 값을 가질 수 있다. 그것의 존재와 가치는 이 사양의 이 버전에 지정된 프로파일에 대한 디코더 적합성에 영향을 미치지 않습니다. 이 사양의 이 버전을 따르는 디코더는 모든 vps_extension_data_flag 신택스 요소를 무시해야 한다.

SPS(706)는 픽처의 시퀀스(sequence of picture, SOP)의 모든 픽처에 공통적인 데이터를 포함한다. SPS(706)는 각 픽처 헤더에서 발견된 신택스 요소에 의해 참조되는 PPS에서 발견된 신택스 요소의 콘텐츠에 의해 결정되는 바와 같이 0개 이상의 전체 CLVS에 적용되는 신택스 요소를 포함하는 신택스 구조이다. 대조적으로, PPS(708)는 전체 픽처에 공통된 데이터를 포함한다. PPS(708)는 각각의 픽처 헤더(예를 들어, PH(712))에서 발견되는 신택스 요소에 의해 결정되는 바와 같이 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 요소를 포함하는 신택스 구조이다.

DCI(702), VPS(704), SPS(706), 및 PPS(708)는 상이한 유형의 네트워크 추상화 계층(Network Abstraction Layer, NAL) 유닛에 포함된다. NAL 유닛은 뒤따를 데이터의 유형(예를 들어, 코딩된 비디오 데이터)의 표시를 포함하는 신택스 구조이다. NAL 유닛은 비디오 코딩 계층(video coding layer, VCL) NAL 유닛과 논-VCL(non-VCL) NAL 유닛으로 분류된다. VCL NAL 유닛은 비디오 픽처의 샘플 값을 나타내는 데이터를 포함하고, 논-VCL NAL 유닛은 파라미터 세트와 같은 임의의 관련 추가 정보(여러 VCL NAL 유닛에 적용될 수 있는 중요한 데이터) 및 추가 향상 정보(디코딩된 비디오 신호의 사용성을 향상시킬 수 있지만 비디오 픽처의 샘플 값을 디코딩하는 데 필요하지 않은 타이밍 정보 및 기타 추가 데이터)를 포함한다.

일 실시예에서, DCI(702)는 DCI NAL 유닛 또는 DPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 즉, DCI NAL 유닛은 DCI NAL 유닛 타입(NUT)을 갖고, DPS NAL 유닛은 DPS NUT를 갖는다. 실시예에서, VPS(704)는 VPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 따라서 VPS NAL 장치에는 VPS NUT가 있다. 실시예에서, SPS(706)는 SPS NAL 유닛으로 지정된 비-VCL NAL 유닛이다. 따라서 SPS NAL 장치에는 SPS NUT가 있다. 실시예에서, PPS(708)는 PPS NAL 유닛으로 지정된 비-VCL NAL 유닛에 포함된다. 따라서 PPS NAL 장치에는 PPS NUT가 있다.

PH(712)는 코딩된 픽처(예를 들어, 픽처(714))의 모든 슬라이스(예를 들어, 슬라이스(718))에 적용되는 신택스 요소를 포함하는 신택스 구조이다. 실시예에서, PH(712)는 PH NAL 유닛으로 지정된 새로운 유형의 비-VCL NAL 유닛에 있다. 따라서, PH NAL 유닛은 PH NUT(예를 들어, PH_NUT)를 갖는다. 실시예에서, 각각의 PU(701)에 포함된 단 하나의 PH(712)가 있다. 즉, PU(701)는 단일 또는 단독의 PH(712)를 포함한다. 실시예에서, 비트스트림(700)의 각 픽처(701)에 대해 정확히 하나의 PH NAL 유닛이 존재한다.

일 실시예에서, PH(712)와 연관된 PH NAL 유닛은 시간 ID 및 계층 ID를 갖는다. 시간적 ID 식별자는 비트스트림(예를 들어, 비트스트림(701))의 다른 PH NAL 유닛에 대한 시간상 PH NAL 유닛의 위치를 나타낸다. 계층 ID는 PH NAL 유닛을 포함하는 계층(예를 들어, 계층 531 또는 계층 532)을 나타낸다. 일 실시예에서, 시간 ID는 POC와 유사하지만 상이하다. POC는 각 픽처를 순서대로 고유하게 식별한다. 단일 계층 비트스트림에서 시간 ID와 POC는 동일하다. 다계층 비트스트림(예를 들어, 도 5 참조)에서, 동일한 AU의 픽처는 상이한 POC를 갖지만 동일한 시간 ID를 가질 것이다.

실시예에서, PH NAL 유닛은 연관된 픽처(714)의 첫 번째 슬라이스(718)를 포함하는 VCL NAL 유닛에 선행한다. PH(712)에서 시그널링되고 슬라이스 헤더(720)로부터 참조되는 픽처 헤더 ID를 가질 필요가 있다. 결과적으로, 두 PH(712) 사이의 모든 VCL NAL 유닛이 동일한 픽처(714)에 속하고 픽처(714)가 두 PH(712) 사이의 제1 PH(712)와 연관되어 있다는 것을 추론할 수 있다. 일 실시예에서, PH(712)에 뒤따르는 제1 VCL NAL 유닛은 PH(712)와 연관된 픽처(714)의 제1 슬라이스(718)를 포함한다.

일 실시예에서, PH NAL 유닛은 픽처 레벨 파라미터 세트(예를 들어, PPS) 또는 DCI(일명, DPS), VPS, SPS, PPS 등과 같은 상위 레벨 파라미터 세트를 따른다. PH NAL 유닛의 시간 ID 및 계층 ID보다 각각 작은 시간 ID 및 계층 ID. 결과적으로, 이러한 파라미터 세트는 픽처 또는 액세스 단위 내에서 반복되지 않는다. 이 주문으로 인해 PH 712는 즉시 해결될 수 있다. 즉, 전체 픽처와 관련된 파라미터를 포함하는 파라미터 세트는 비트스트림에서 PH NAL 유닛 이전에 위치한다. 픽처의 일부에 대한 파라미터를 포함하는 모든 항목은 PH NAL 유닛 뒤에 배치된다.

하나의 대안에서, PH NAL 유닛은 픽처 레벨 파라미터 세트 및 프리픽스 보충 강화 정보(supplemental enhancement information, SEI) 메시지, 또는 DCI(일명, DPS), VPS, SPS, PPS와 같은 상위 레벨 파라미터 세트, APS, SEI 메시지 등을 따른다.

픽처(714)는 모노크롬 포맷의 루마 샘플 어레이 또는 4:2:0, 4:2:2 및 4:4:4 컬러 포맷의 루마 샘플의 어레이 및 2개의 대응하는 크로마 샘플 어레이이다. 일 실시예에서, 각각의 PU(701)에는 오직 하나의 픽처(714)가 포함된다. 이와 같이, 각각의 PU(701)에는 오직 하나의 PH(712) 및 그 PH(712)에 대응하는 하나의 픽처(714)만이 존재한다. 즉, PU(701)는 단일 또는 고독한 픽처(714)를 포함한다.

픽처(714)는 프레임 또는 필드일 수 있다. 그렇지만, 하나의 CVS(716)에서, 모든 픽처(714)가 프레임이거나 모든 픽처(714)가 필드이다. CVS(716)는 비디오 비트스트림(700)의 모든 코딩된 계층 비디오 시퀀스(CLVS)에 대한 코딩된 비디오 시퀀스이다. 특히, CVS(716) 및 CLVS는 비디오 비트스트림(700)이 단일 계층을 포함하는 경우 동일하다. CVS(716) 및 CLVS는 비디오 비트스트림(700)이 (예를 들어, 도 5 및 6에 도시된 바와 같이) 다계층을 포함하는 경우에만 상이하다.

각각의 픽처(714)는 하나 이상의 슬라이스(718)를 포함한다. 슬라이스(718)는 픽처(예를 들어, 픽처(714))의 타일 내 완전한 타일의 정수 또는 연속적인 완전한 CTU 행의 정수이다. 각 슬라이스(718)는 단일 NAL 유닛(예를 들어, VCL NAL 유닛)에 배타적으로 포함된다. 타일(도시되지 않음)은 픽처(예를 들어, 픽처 714)의 특정 타일 열 및 특정 타일 행 내의 CTU의 직사각형 영역이다. CTU(도시되지 않음)는 루마 샘플의 CTB, 3개의 샘플 어레이를 갖는 픽처의 크로마 샘플의 2개의 해당 CTB, 또는 샘플을 코딩하는 데 사용되는 3개의 개별 컬러 평면 및 신택스 구조를 사용하여 코딩된 픽처 또는 모노크롬 픽처의 샘플의 CTB이다. CTB(도시되지 않음)는 구성요소를 CTB로 분할하는 것이 분할이 되도록 N의 일부 값에 대한 샘플의 N×N 블록이다. 블록(도시되지 않음)은 샘플(예를 들어, 픽셀)의 MxN(M-열 x N-행) 배열 또는 변환 계수의 MxN 배열이다.

일 실시예에서, 각 슬라이스(718)는 슬라이스 헤더(720)를 포함한다. 슬라이스 헤더(720)는 슬라이스(718)에 표현된 타일 내의 모든 타일 또는 CTU 행에 속하는 데이터 요소를 포함하는 코딩된 슬라이스(718)의 일부이다. 즉, 슬라이스 헤더(720)는 예를 들어 참조 픽처들 중 어느 것이 사용될 슬라이스 유형 등과 같은 슬라이스(718)에 대한 정보를 포함한다.

픽처(714) 및 그 슬라이스(718)는 인코딩 또는 디코딩되는 이미지 또는 비디오와 연관된 데이터를 포함한다. 따라서, 픽처(714) 및 그 슬라이스(718)는 비트스트림(700)에서 실려 전달되는 페이로드 또는 데이터라고 간단히 지칭될 수 있다.

당업자는 비트스트림(700)이 실제 애플리케이션에서 다른 파라미터 및 정보를 포함할 수 있음을 이해할 것이다.

도 8은 비디오 디코더(예를 들어, 비디오 디코더(400))에 의해 구현된 디코딩 방법(800)의 실시예이다. 방법(800)은 비트스트림이 비디오 인코더(예를 들어, 비디오 인코더(300))로부터 직접적으로 또는 간접적으로 수신된 후에 수행될 수도 있다. 방법(800)은 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않음으로써 디코딩 프로세스를 개선한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

블록(802)에서, 비디오 디코더는 VPS(예를 들어, VPS 704) 및 복수의 계층(예를 들어, 계층 N(631), 계층 N+1(632) 등)을 포함하는 비디오 비트스트림을 수신한다. 일 실시예에서, 어떤 계층도 적어도 하나의 OLS(예를 들어, OLS 1, OLS 2 등)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니다. 즉, 적어도 하나의 OLS의 각 계층은 출력 계층(예를 들어, OLS 3의 계층 N+2(633))이거나 임의의 다른 계층(예를 들어, OLS 3에서 계층 N+1(632) 및 계층 N(631)의 직접 참조 계층)이다. 출력 계층이 아닌 계층 또는 다른 계층에서 직접 참조하는 계층은 필요하지 않으므로 CVS(예를 들어, 690) 및/또는 비디오 비트스트림에서 제외된다.

일 실시예에서, 비디오 디코더는 VVC 또는 일부 다른 표준에 기초하여 위에서 설명된 바와 같이 적어도 하나의 출력 계층 세트(OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아닌 계층이 없을 것으로 예상한다. 그러나 디코더가 이 조건이 참이 아니라고 결정하면 디코더는 오류를 감지하고, 오류를 알리고, 수정된 비트스트림(또는 그 일부)을 재전송하도록 요청하거나, 비트스트림이 수신된다.

일 실시예에서, VPS는 참조 플래그(예를 들어, LayerUsedAsRefLayerFlag)로 사용되는 계층 및 출력 계층 플래그로 사용되는 계층(예를 들어, LayerUsedAsOutputLayerFlag)를 포함하고, 여기서 값(예를 들어, [i])은 참조 플래그로 사용되는 계층과 출력 계층 플래그로 사용되는 계층의 값(예를 들어, [i])이 모두 0이 아니다.

일 실시예에서, 복수의 계층 내의 각각의 계층은 계층 식별자(ID) 및 연관된 비-VCL NAL의 특정 값을 모두 갖는 비디오 코딩 계층(VCL) 네트워크 추상화 계층(NAL) 유닛들의 세트를 포함한다. 일 실시예에서, 적어도 하나의 OLS는 하나 이상의 출력 계층을 포함한다. 일 실시예에서, VPS에 지정된 계층 ID의 특정 값을 갖는 복수의 계층 각각에 대해, 적어도 하나의 OLS에 있는 계층 중 하나는 또한 계층 ID의 특정 값을 가질 것이다.

블록(804)에서, 비디오 디코더는 복수의 계층 중 하나로부터의 픽처(예를 들어, 픽처(615))를 디코딩한다. 일 실시예에서, 픽처는 적어도 하나의 OLS의 출력 계층에 포함된다. 일 실시예에서, 방법(800)은 디코딩 이전에 적어도 하나의 OLS로부터 출력 계층을 선택하는 단계를 더 포함한다. 일 실시예에서, 방법(800)은 출력 계층이 선택된 후에 출력 계층으로부터 픽처를 선택하는 단계를 더 포함한다.

일단 픽처가 디코딩되면, 픽처는 전자 장치(예를 들어, 스마트 폰, 태블릿, 랩톱, 개인용 컴퓨터 등)의 디스플레이 또는 스크린 상에서 사용자에게 디스플레이하기 위한 이미지 또는 비디오 시퀀스를 생성하는 데 사용될 수 있다.

도 9는 비디오 인코더(예를 들어, 비디오 인코더(300))에 의해 구현된 비디오 비트스트림을 인코딩하는 방법(900)의 실시예이다. 방법(900)은 (예를 들어, 비디오로부터의) 픽처가 비디오 비트스트림으로 인코딩되고 그런 다음 비디오 디코더(예를 들어, 비디오 디코더(400))를 향해 전송되어야 할 때 수행될 수도 있다. 방법(900)은 다계층 비디오 비트스트림에서 불필요한 계층을 허용하지 않음으로써 디코딩 프로세스를 개선한다. 즉, 출력 계층 집합(OLS)에 포함된 모든 계층은 출력 계층이거나 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. 이것은 코딩 프로세스에서 관련 없는 정보를 갖는 것을 피하고 코딩 효율을 증가시킨다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

블록(902)에서, 비디오 인코더는 복수의 계층(예를 들어, 계층 N(631), 계층 N+1(632) 등) 및 하나 이상의 OLS(예를 들어, OLS 1, OLS 2 등)을 생성한다. 일 실시예에서, 복수의 계층으로부터의 각 계층은 VPS에 의해 지정된 OLS 중 적어도 하나에 포함된다. 일 실시예에서, 어떤 계층도 적어도 하나의 OLS(예를 들어, OLS 1, OLS 2 등)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니다. 즉, 적어도 하나의 OLS의 각 계층은 출력 계층(예를 들어, OLS 3의 계층 N+2(633))이거나 임의의 다른 계층(예를 들어, OLS 3에서 계층 N+1(632) 및 계층 N(631)의 직접 참조 계층)이다. 출력 계층이 아닌 계층 또는 다른 계층에서 직접 참조하는 계층은 필요하지 않으므로 CVS(예를 들어, 690) 및/또는 비디오 비트스트림에서 제외된다. 일 실시예에서, 비디오 인코더는 어떤 계층도 적어도 하나의 출력 계층 세트(OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 되지 않도록 제한된다. 즉, 비디오 인코더는 어떤 계층도 적어도 하나의 출력 계층 집합(OLS)의 출력 계층도 아니고 다른 계층의 직접 참조 계층도 되지 않도록 인코딩해야 한다. 이러한 제약 또는 요구 사항은 비트스트림이 예를 들어 VVC 또는 일부 다른 표준을 준수하도록 한다.

일 실시예에서, 하나 이상의 OLS의 각각은 하나 이상의 출력 계층을 포함하고, 출력 계층의 각각은 하나 이상의 픽처를 포함한다. 일 실시예에서, 복수의 계층의 각각의 계층은 계층 식별자(ID) 및 연관된 비-VCL NAL 유닛들의 특정 값을 모두 갖는 비디오 코딩 계층(VCL) 네트워크 추상화 계층(NAL) 유닛들의 세트를 포함한다.

일 실시예에서, OLS 중 하나는 2개의 출력 계층을 포함하고, 여기서 2개의 출력 계층 중 하나는 2개의 출력 계층 중 다른 하나를 참조한다. 일 실시예에서, VPS는 참조 플래그로 사용되는 계층 및 출력 계층 플래그로 사용되는 계층을 포함하고, 참조 플래그로 사용되는 계층의 값과 출력 계층 플래그로 사용되는 계층의 값은 둘 다 제로가 아니다.

일 실시예에서, 인코더에 배치된 가상 참조 디코더(hypothetical reference decoder, HRD)는 출력 계층 세트(output layer set, OLS)에 포함된 모든 계층이 출력 계층이거나 또는 출력 계층의 직접 또는 간접 참조 계층으로 사용된다. HRD가 여기에 설명된 것처럼 불필요한 계층을 찾으면 HRD는 적합성 테스트 오류를 반환한다. 즉, HRD 적합성 테스트는 불필요한 계층이 없는지 확인한다. 따라서 인코더는 사용되지 않는 계층 요구 사항에 따라 인코딩하지만 HRD는 이 요구 사항을 적용한다.

블록(904)에서, 비디오 인코더는 복수의 계층 및 VPS를 비디오 비트스트림으로 인코딩한다. 블록(906)에서, 비디오 인코더는 비디오 디코더를 향한 통신을 위해 비디오 비트스트림을 저장한다. 비디오 비트스트림은 비디오 비트스트림이 비디오 디코더를 향해 전송될 때까지 메모리에 저장될 수 있다. 일단 비디오 디코더에 의해 수신되면, 인코딩된 비디오 비트스트림은 (예를 들어, 위에서 설명된 바와 같이) 디코딩되어 전자 디바이스(예를 들어, 스마트폰, 태블릿, 노트북, 개인용 컴퓨터 등)의 디스플레이 또는 스크린 상에 사용자에게 디스플레이하기 위한 이미지 또는 비디오 시퀀스를 생성하도록 디코딩될 수 있다.

도 10은 본 개시의 실시예에 따른 비디오 코딩 디바이스(1000)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))의 개략도이다. 비디오 코딩 디바이스(1000)는 여기에 설명된 바와 같이 개시된 실시예들을 구현하기에 적합하다. 비디오 코딩 디바이스(1000)는 데이터를 수신하기 위한 유입 포트(1010) 및 수신기 유닛(Rx)(1020); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 중앙 처리 유닛(CPU)(1030); 데이터를 전송하기 위한 전송기 유닛(Tx)(1040) 및 출구 포트(1050); 및 데이터를 저장하기 위한 메모리(1060)를 포함한다. 비디오 코딩 디바이스(1000)는 또한 전기 신호 또는 광학 신호의 진입 및 배출을 위해 입력 포트(1010), 수신기 유닛(1020), 전송기 유닛(1040), 및 출구 포트(1050)에 결합된 OE 컴포넌트 및 EO 컴포넌트를 포함할 수 있다.

프로세서(1030)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(1030)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서로서), 필드 프로그래머블 게이트 어레이(field-programmable gate arrays, FPGA), 주문형 집적회로(application specific integrated circuit, ASIC, 및 디지털 신호 프로세서(digital signal processor, DSP)로서 구현될 수 있다. 프로세서(1030)는 입구 포트(1010), 수신기 유닛(1020), 전송기 유닛(1040), 출구 포트(1050), 및 메모리(1060)와 통신한다. 프로세서(1030)는 코딩 모듈(1070)을 포함한다. 코딩 모듈(1070)은 위에서 설명된 개시된 실시예를 구현한다. 예를 들면, 코딩 모듈(1070)은 다양한 코덱 기능을 구현, 처리, 준비 또는 제공할 수 있다. 따라서, 코딩 모듈(1070)의 포함은 비디오 코딩 디바이스(1000)의 기능에 대한 실질적인 개선을 제공하고 비디오 코딩 디바이스(1000)를 상이한 상태로 변환시키는 효과가 있다. 대안적으로, 코딩 모듈(1070)은 메모리(1060)에 저장되고 프로세서(1030)에 의해 실행되는 명령으로서 구현된다.

비디오 코딩 디바이스(1000)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 디바이스(1080)를 포함할 수 있다. I/O 장치(1080)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 장치를 포함할 수 있다. I/O 장치(1080)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 장치 및/또는 그러한 출력 장치와 상호작용하기 위한 대응하는 인터페이스를 포함할 수 있다.

메모리(1060)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고 오버플로 데이터 저장 장치로 사용될 수 있으며, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고 명령 및 데이터를 저장한다. 프로그램이 실행되는 동안 읽혀진다. 메모리(1060)는 휘발성 및/또는 비휘발성일 수 있고 읽기 전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 터너리 콘텐츠-어드레서블 메모리(ternary content-addressable memory, TCAM) 및/또는 정적 랜덤 액세스 메모리(static random-access memory, SRAM)일 수 있다.

도 11은 코딩 수단(1100)의 실시예의 개략도이다. 일 실시예에서, 코딩 수단(1100)은 비디오 코딩 디바이스(1102)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))에서 구현된다. 비디오 코딩 디바이스(1102)는 수신 수단(1101)을 포함한다. 수신 수단(1101)은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 디바이스(1102)는 수신 수단(1101)에 연결된 전송 수단(1107)을 포함한다. 전송 수단(1107)은 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이 수단(예를 들어, I/O 장치(1080) 중 하나)에 전송하도록 구성된다.

비디오 코딩 디바이스(1102)는 저장 수단(1103)을 포함한다. 저장 수단(1103)은 수신 수단(1101) 또는 전송 수단(1107) 중 적어도 하나에 연결된다. 저장 수단(1103)은 명령을 저장하도록 구성된다. 비디오 코딩 디바이스(1102)는 또한 프로세싱 수단(1105)을 포함한다. 프로세싱 수단(1105)은 저장 수단(1103)에 연결된다. 프로세싱 수단(1105)은 여기에 개시된 방법들을 수행하기 위해 저장 수단(1103)에 저장된 명령들을 실행하도록 구성된다.

또한 여기에 설명된 예시적인 방법의 단계는 설명된 순서대로 수행할 필요가 없으며 이러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계가 포함될 수 있으며, 본 개시의 다양한 실시예에 따른 방법에서 특정 단계는 생략되거나 결합될 수 있다.

몇몇 실시예가 본 개시에서 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않으면서 많은 다른 특정 형태로 구현될 수 있음을 이해해야 한다. 본 예는 예시적인 것으로 간주되어야 하며 제한적이지 않으며, 의도는 여기에 제공된 세부 사항으로 제한되지 않습니다. 예를 들어, 다양한 구성 요소 또는 구성 요소가 다른 시스템에 결합 또는 통합되거나 특정 기능이 생략되거나 구현되지 않을 수 있다.

또한, 다양한 실시예에서 개별적이거나 분리된 것으로 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 모듈, 기술 또는 방법과 결합되거나 통합될 수 있다. 서로 연결되거나 직접 연결되거나 통신하는 것으로 도시되거나 논의된 다른 항목은 전기적으로든 기계적으로든 간에 일부 인터페이스, 장치 또는 중간 구성요소를 통해 간접적으로 연결되거나 통신할 수 있다. 변경, 대체 및 변경의 다른 예는 당업자에 의해 확인 가능하며 여기에 개시된 정신 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims

비디오 디코더에 의해 구현되는 디코딩 방법으로서,
상기 비디오 디코더가 비디오 파라미터 세트(video parameter set, VPS) 및 복수의 계층을 포함하는 비디오 비트스트림을 수신하는 단계 - 어떤 계층도 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 및
상기 비디오 디코더가 상기 복수의 계층 중 하나로부터 픽처를 디코딩하는 단계
를 포함하는 디코딩 방법.
제1항에 있어서,
상기 픽처는 상기 적어도 하나의 OLS의 출력 계층에 포함되는, 디코딩 방법.
제1항 내지 제2항 중 어느 한 항에 있어서,
상기 디코딩 단계 이전에 상기 적어도 하나의 OLS로부터 출력 계층을 선택하는 단계
를 더 포함하는 디코딩 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 출력 계층이 선택된 후에 상기 출력 계층으로부터 픽처를 선택하는 단계
를 더 포함하는 디코딩 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 복수의 계층의 각 계층은 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛의 세트를 포함하고, 상기 VCL NAL 유닛의 세트는 모두 계층 식별자(ID)의 특정 값 및 연관된 비-VCL NAL 유닛을 모두 갖는, 디코딩 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 적어도 하나의 OLS의 각 계층은 출력 계층 또는 임의의 다른 계층의 직접 참조 계층을 포함하는, 디코딩 방법.
제6항에 있어서,
상기 적어도 하나의 OLS는 하나 이상의 출력 계층을 포함하는, 디코딩 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 VPS는 참조 플래그로 사용되는 계층과 출력 계층 플래그로 사용되는 계층을 포함하고, 상기 참조 플래그로 사용되는 계층의 값과 상기 출력 계층 플래그로 사용되는 계층의 값이 모두 0이 아닌, 디코딩 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
전자 디바이스의 디스플레이 상에 디코딩된 픽처를 표시하는 단계를 더 포함하는, 디코딩 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 비디오 디코더가 제2 비디오 파라미터 세트(VPS) 및 제2 복수의 계층을 포함하는 제2 비디오 비트스트림을 수신하는 단계 - 상기 적어도 하나의 계층은 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 및
상기 수신하는 단계에 응답하여, 상기 제2 비디오 비트스트림에 대응하는 순응 비트스트림(conforming bitstream)이 상기 제2 복수의 계층 중 하나로부터 픽처를 디코딩하기 전에 수신되는 것을 보장하기 위해 일부 다른 교정 조치를 취하는 단계
를 더 포함하는, 디코딩 방법.
비디오 인코더에 의해 구현되는 인코딩 방법으로서,
비디오 인코더가 복수의 계층 및 적어도 하나의 출력 계층 세트(OLS)를 지정하는 비디오 파라미터 세트(VPS)를 생성하는 단계 - 상기 비디오 인코더는 어떤 계층도 상기 적어도 하나의 OLS의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니도록 제한됨 - ;
상기 비디오 인코더가 상기 복수의 계층 및 상기 VPS를 비디오 비트스트림으로 인코딩하는 단계; 및
상기 비디오 인코더가 비디오 디코더를 향한 통신을 위해 상기 비디오 비트스트림을 저장하는 단계
를 포함하는 인코딩 방법.
제11항에 있어서,
하나 이상의 OLS의 각각은 하나 이상의 출력 계층을 포함하고, 출력 계층의 각각은 하나 이상의 픽처를 포함하는, 인코딩 방법.
제11항 내지 제12항 중 어느 한 항에 있어서,
상기 복수의 계층의 각 계층은 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛의 세트를 포함하고, 상기 VCL NAL 유닛의 세트는 모두 계층 식별자(ID)의 특정 값 및 연관된 비-VCL NAL 유닛을 모두 갖는, 인코딩 방법.
제11항 내지 제13항 중 어느 한 항에 있어서,
상기 OLS 중 하나는 2개의 출력 계층을 포함하고, 상기 2개의 출력 계층 중 하나는 상기 2개의 출력 계층 중 다른 하나를 참조하는, 인코딩 방법.
제11항 내지 제14항 중 어느 한 항에 있어서,
상기 VPS는 참조 플래그로 사용되는 계층과 출력 계층 플래그로 사용되는 계층을 포함하고, 상기 참조 플래그로 사용되는 계층의 값과 상기 출력 계층 플래그로 사용되는 계층의 값이 모두 0이 아닌, 인코딩 방법.
디코딩 디바이스로서,
비디오 파라미터 세트(video parameter set, VPS) 및 복수의 계층을 포함하는 비디오 비트스트림을 수신하도록 구성되어 있는 수신기 - 어떤 계층도 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 및
상기 수신기에 결합되고 명령을 저장하는 메모리; 및
상기 메모리에 결합된 프로세서
를 포함하고,
상기 프로세서는 상기 디코딩 디바이스가 픽처를 획득하도록 상기 복수의 계층 중 하나로부터 픽처를 디코딩하게 하는 명령을 실행하도록 구성된, 디코딩 디바이스.
제16항에 있어서,
상기 픽처는 상기 적어도 하나의 OLS의 출력 계층에 포함되는, 디코딩 디바이스.
제16항 내지 제17항 중 어느 한 항에 있어서,
상기 프로세서는 상기 픽처가 디코딩되기 전에 상기 적어도 하나의 OLS로부터 출력 계층을 선택하도록 추가로 구성되는, 디코딩 디바이스.
제16항 내지 제18항 중 어느 한 항에 있어서,
상기 프로세서는 상기 출력 계층이 선택된 후에 상기 출력 계층으로부터 픽처를 선택하도록 추가로 구성되는, 디코딩 디바이스.
제16항 내지 제19항 중 어느 한 항에 있어서,
상기 복수의 계층의 각 계층은 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛의 세트를 포함하고, 상기 VCL NAL 유닛의 세트는 모두 계층 식별자(ID)의 특정 값 및 연관된 비-VCL NAL 유닛을 모두 갖는, 디코딩 디바이스.
제16항 내지 제20항 중 어느 한 항에 있어서,
상기 적어도 하나의 OLS의 각 계층은 출력 계층 또는 임의의 다른 계층의 직접 참조 계층을 포함하는, 디코딩 디바이스.
제16항 내지 제21항 중 어느 한 항에 있어서,
상기 적어도 하나의 OLS는 하나 이상의 출력 계층을 포함하는, 디코딩 디바이스.
제16항 내지 제22항 중 어느 한 항에 있어서,
상기 디코딩된 픽처를 표시하도록 구성된 디스플레이
를 더 포함하는 디코딩 디바이스.
제16항 내지 제23항 중 어느 한 항에 있어서,
상기 프로세서는 상기 명령을 실행하여 상기 디코딩 디바이스가:
제2 비디오 파라미터 세트(VPS) 및 제2 복수의 계층을 포함하는 제2 비디오 비트스트림을 수신하며 - 상기 적어도 하나의 계층은 적어도 하나의 출력 계층 세트(output layer set, OLS)의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아님 - ; 그리고
상기 제2 비디오 비트스트림의 수신에 응답하여, 상기 제2 비디오 비트스트림에 대응하는 순응 비트스트림(conforming bitstream)이 상기 제2 복수의 계층 중 하나로부터 픽처를 디코딩하기 전에 수신되는 것을 보장하기 위해 일부 다른 교정 조치를 취하게 하도록 추가로 구성되는, 디코딩 디바이스.
인코딩 디바이스로서,
명령을 저장하는 메모리;
상기 메모리에 결합된 프로세서; 및
상기 프로세서에 결합된 전송기
를 포함하고,
상기 프로세서는 상기 명령을 실행하여 상기 디코딩 디바이스가:
복수의 계층 및 적어도 하나의 출력 계층 세트(OLS)를 지정하는 비디오 파라미터 세트(VPS)를 생성하고 - 상기 비디오 인코더는 어떤 계층도 상기 적어도 하나의 OLS의 출력 계층도 아니고 임의의 다른 계층의 직접 참조 계층도 아니도록 제한됨 - ; 그리고
상기 복수의 계층 및 상기 VPS를 비디오 비트스트림으로 인코딩하도록 구성되며,
상기 전송기는 비디오 디코더를 향한 통신을 위해 상기 비디오 비트스트림을 전송하도록 구성되어 있는, 인코딩 디바이스.
제25항에 있어서,
하나 이상의 OLS의 각각은 하나 이상의 출력 계층을 포함하고, 출력 계층의 각각은 하나 이상의 픽처를 포함하는, 인코딩 디바이스.
제25항 내지 제26항 중 어느 한 항에 있어서,
상기 복수의 계층의 각 계층은 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛의 세트를 포함하고, 상기 VCL NAL 유닛의 세트는 모두 계층 식별자(ID)의 특정 값 및 연관된 비-VCL NAL 유닛을 모두 갖는, 인코딩 디바이스.
제25항 내지 제27항 중 어느 한 항에 있어서,
상기 OLS 중 하나는 2개의 출력 계층을 포함하고, 상기 2개의 출력 계층 중 하나는 상기 2개의 출력 계층 중 다른 하나를 참조하는, 인코딩 디바이스.
제25항 내지 제28항 중 어느 한 항에 있어서,
상기 적어도 하나의 OLS의 각 계층은 출력 계층 또는 임의의 다른 계층의 직접 참조 계층을 포함하는, 인코딩 디바이스.
코딩 장치로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성되어 있는 수신기;
상기 수신기에 결합되고, 상기 비트스트림을 디코더에 전송하거나 디코딩된 이미지를 디스플레이에 전송하도록 구성되어 있는 전송기;
상기 수신기 또는 상기 전송기 중 적어도 하나에 결합되고, 명령을 저장하도록 구성되어 있는 메모리; 및
상기 메모리에 결합되고, 상기 메모리에 저장된 명령을 실행하여 제1항 내지 제10항 중 어느 항 및 제11항 내지 제15항 중 어느 항의 방법을 수행하도록 구성되어 있는 프로세서
를 포함하는 코딩 장치.
제28항에 있어서,
디코딩된 픽처를 표시하도록 구성된 디스플레이
를 더 포함하는 코딩 디바이스.
시스템으로서,
인코더; 및
상기 인코더와 통신하는 디코더
를 포함하며,
상기 인코더 또는 상기 디코더는 제16항 내지 제31항 중 어느 항의 디코딩 디바이스, 인코딩 디바이스, 또는 코딩 디바이스를 포함하는, 시스템.
코딩 수단으로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성되어 있는 수신 수단;
상기 수신 수단에 결합되고, 상기 비트스트림을 디코더에 전송하거나 디코딩된 이미지를 디스플레이에 전송하도록 구성되어 있는 전송 수단;
상기 수신 수단 또는 상기 전송 수단 중 적어도 하나에 결합되고, 명령을 저장하도록 구성되어 있는 저장 수단; 및
상기 저장 수단에 결합되고, 상기 저장 수단에 저장된 명령을 실행하여 제1항 내지 제10항 중 어느 항 및 제11항 내지 제15항 중 어느 항의 방법을 수행하도록 구성되어 있는 프로세싱 수단
을 포함하는 코딩 수단.