KR20220053676A

KR20220053676A - 서브픽처 기반 비디오 코딩에서의 서브픽처 id의 시그널링

Info

Publication number: KR20220053676A
Application number: KR1020227011759A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-09-17
Filing date: 2020-09-15
Publication date: 2022-04-29
Also published as: CN116600125A; WO2021035225A1; JP7460760B2; JP2024083350A; JP2022548663A; BR122023003915B1; CN116600126A; US20220210477A1; CY1126045T1; FI4018658T3; CN116567252A; LT4018658T; AU2020332002A1; EP4213487A1; EP4018658A1; ES2944451T3; BR112022004859A2; IL291464A; EP4018658B1; RS64175B1

Abstract

비디오 디코딩의 방법은 SPS, PPS, 및 서브픽처 ID 매핑과 연관된 서브픽처를 포함하는 비트스트림을 수신하는 단계를 포함한다. SPS 플래그가 제1 또는 제2 값을 갖는지에 대한 결정이 이루어진다. 제1 값을 갖는 SPS 플래그는 서브픽처 ID 매핑이 SPS에서 시그널링됨을 지정하고, 제2 값은 서브픽처 ID 매핑이 PPS에서 시그널링됨을 지정한다. 서브픽처 ID 매핑은 SPS 플래그가 제1 값을 가질 때 SPS로부터, 그리고 SPS 플래그가 제2 값을 가지거나 PPS 플래그가 제1 값을 가질 때 PPS로부터 얻어진다.

Description

서브픽처 기반 비디오 코딩에서의 서브픽처 ID의 시그널링

관련 출원에 대한 상호 참조

본 특허출원은 2019년 9월 17일에 Ye-Kui Wang에 의한 "Signaling Subpicture IDs in Subpicture Based Video Coding"이라는 명칭의 미국 임시 특허 출원 번호 62/901,552에 대한 우선권을 주장하며, 이는 여기에 참조로 포함된다.

본 명세서는 일반적으로 비디오 코딩에 관한 것이고, 특히 서브픽처 기반 비디오 코딩에서의 서브픽처 식별자(ID)의 시그널링에 관한 것이다.

비교적 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍되거나 제한된 대역폭 용량으로 통신 네트워크를 통해 통신될 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신되기 전에 압축된다. 메모리 리소스가 제한될 수 있기 때문에 비디오가 저장 장치에 저장될 때 비디오의 크기도 문제가 될 수 있다. 비디오 압축 장치는 전송 또는 저장 전에 비디오 데이터를 코딩하기 위해 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 디지털 비디오 이미지를 나타내는 데 필요한 데이터의 양을 줄이는 경우가 많다. 압축된 데이터는 비디오 데이터를 디코딩하는 비디오 압축 해제 장치에 의해 목적지에서 수신된다. 제한된 네트워크 리소스와 더 높은 비디오 품질에 대한 계속하여 증가하는 요구로 인해, 이미지 품질을 거의 또는 전혀 희생하지 않으면서 압축 레이트를을 개선하는 개선된 압축 및 압축 해제 기술이 바람직할 수 있다.

제1 측면은 디코더에 의해 구현되는 방법에 관한 것으로, 이 방법은: 디코더에 의해, 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 수신하는 단계 - SPS는 SPS 플래그를 포함함; 디코더에 의해, SPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하는 단계 - 여기서 제1 값을 갖는 SPS 플래그는 서브픽처 ID 매핑이 SPS에서 시그널링되는 것을 지정하고, 제2 값을 갖는 SPS 플래그는 서브픽처 ID 매핑이 PPS에서 시그널링되는 것을 지정함 -; 디코더에 의해, SPS 플래그가 제1 값을 가질 때 SPS로부터, 그리고 SPS 플래그가 제2 값을 가질 때 PPS로부터 서브픽처 ID 매핑을 획득하는 단계; 및 디코더에 의해, 서브픽처 ID 매핑을 이용하여 복수의 서브픽처를 디코딩하는 단계를 포함한다.

이 방법은, 서브-비트스트림 추출 및 서브-비트스트림 병합 모두를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부, 그리고 변경될 경우, 서브픽처 ID가 어디에 위치하는지를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에서 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, PPS가 PPS 플래그를 포함하고, 대응 방법이: 디코더에 의해, PPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하는 단계 - 여기서 제1 값을 갖는 PPS 플래그는 서브픽처 ID 매핑이 PPS에서 시그널링됨을 지정하고, 제2 값을 갖는 PPS 플래그는 서브픽처 ID 매핑이 PPS에서 시그널링되지 않음을 지정함 - ; 및 디코더에 의해, PPS 플래그가 제1 값을 가질 때 PPS로부터 서브픽처 ID 매핑을 획득하는 단계를 포함하는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, PPS 플래그가 제2 값을 가질 때 SPS 플래그가 제1 값을 갖고, PPS 플래그가 제1 값을 가질 때 SPS 플래그가 제2 값을 갖는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 제1 값이 1이고 제2 값이 0인 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, SPS가 제2 SPS 플래그를 포함하고, 서브픽처 ID 매핑이 SPS 또는 PPS에서 명시적으로 시그널링되는지 여부를 제2 SPS 플래그가 지정하는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 비트스트림이 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, CVS 변경 플래그는 서브픽처 ID 매핑이 비트스트림의 코딩된 비디오 시퀀스(CVS) 내에서 변경되도록 허용되는지 여부를 표시하는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 비트스트림이 병합된 비트스트림을 포함하고, 서브픽처 ID 매핑이 비트스트림의 CVS 내에서 변경되었음을 제공한다.

제2 측면은 인코더에 의해 구현되는 방법에 관한 것으로, 이 방법은: 디코더에 의해, 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 인코딩하는 단계 - SPS는 SPS 플래그를 포함함 - ; 디코더에 의해, 서브픽처 ID 매핑이 SPS에서 시그널링될 때 SPS 플래그를 제1 값으로 설정하고 서브픽처 ID 매핑이 PPS에서 시그널링될 때 제2 값으로 설정하는 단계; 및 디코더에 의해, 디코더를 향한 통신을 위해 비트스트림을 저장하는 단계를 포함한다.

이 방법은: 서브-비트스트림 추출 및 서브-비트스트림 병합 모두를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 위치하는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 디코더, 서브픽처 ID 매핑이 PPS에서 시그널링될 때 PPS의 PPS 플래그가 제1 값으로 그리고 서브픽처 ID 매핑이 PPS에 시그널링되지 않을 때 제2 값으로 되는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, SPS가 제2 SPS 플래그를 포함하고, 제2 SPS 플래그가 서브픽처 매핑이 SPS 또는 PPS에서 명시적으로 시그널링되는지 여부를 지정하는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 비트스트림이 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, CVS 변경 플래그가 서브픽처 ID 매핑이 코딩된 비디오 시퀀스( CVS) 비트스트림 내에서 변경될 수 있는지 여부를 나타내는 것을 제공한다.

제3 측면은 디코딩 장치에 관한 것으로서, 이 장치는: 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비디오 비트스트림을 수신하도록 구성된 수신기 - SPS는 SPS 플래그를 포함함 - ; 수신기에 연결되고 명령어를 저장하는 메모리; 및 메모리에 결합된 프로세서 - 상기 프로세서는 디코딩 장치로 하여금 상기 SPS 플래그가 제1 값을 갖는지 또는 제2 값을 갖는지를 판정하고 - 제1 값을 갖는 SPS 플래그는 서브픽처 ID 매핑이 SPS에서 시그널링됨을 지정하고, 제2 값을 갖는 SPS 플래그는 서브픽처 ID 매핑이 PPS에서 시그널링됨을 지정함 - , SPS 플래그가 제1 값을 가질 때 SPS로부터 그리고 SPS 플래그가 제2 값을 가질 때 PPS로부터 서브픽처 ID 매핑을 획득하며, 그리고 서브픽처 ID 매핑을 사용하여 복수의 서브픽처를 디코딩하게 하는 명령들을 실행하도록 구성됨 - 를 포함한다.

디코딩 장치는 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 위치하는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, PPS 플래그가 제2 값을 가질 때 SPS 플래그가 제1 값을 갖고, PPS 플래그가 제1 값을 가질 때 SPS 플래그가 제2 값을 갖고, 여기서 제1 값은 1이고 제2 값은 0이다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 비트스트림이 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, CVS 변경 플래그가 서브픽처 ID 매핑이 코딩된 비디오 시퀀스(CVS) 비트스트림 내에서 변경될 수 있는지 여부를 나타낸는 것을 제공한다.

제4 측면은 인코딩 장치에 관한 것으로서, 이 장치는: 명령어를 포함하는 메모리; 메모리에 결합된 프로세서 - 상기 프로세서는 인코딩 장치로 하여금 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 인코딩하고 - 여기서 SPS는 SPS 플래그를 포함함 - , 서브픽처 ID 맵핑이 SPS에서 시그널링될 때 SPS 플래그를 제1 값으로 설정하고 서브픽처 ID 맵핑이 PPS에서 시그널링될 때 제2 값으로 설정하며, 서브픽처 ID 매핑이 PPS에서 시그널링될 때 PPS의 PPS 플래그를 제1 값으로 설정하고 서브픽처 ID 매핑이 PPS에서 시그널링되지 않을 때 제2 값으로 설정하게 하는 명령어를 구현하도록 구성됨 - ; 및 프로세서에 결합되고, 비트스트림을 비디오 디코더를 향해 송신하도록 구성된 송신기를 포함한다.

인코딩 장치는 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 위치하는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 비트스트림이 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, CVS 변경 플래그가 서브픽처 ID 매핑이 코딩된 비디오 시퀀스(CVS) 비트스트림 내에서 변경될 수 있는지 여부를 나타내는 것을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, PPS ID가 사용 중인 PPS에 대한 제2 PPS ID의 값을 지정하고, 제2 PPS ID가 신택스 요소들에 의한 참조를 위해 PPS를 식별하는 것을 제공한다.

제5 측면은 코딩 장치에 관한 것이다. 코딩 장치는 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기; 수신기에 결합되고, 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이로 전송하도록 구성된 송신기; 수신기 또는 송신기 중 적어도 하나에 결합되고 명령어를 저장하도록 구성된 메모리; 및 메모리에 결합되고, 본 명세서에 개시된 방법들 중 임의의 것을 수행하기 위해 메모리에 저장된 명령어들을 실행하도록 구성된 프로세서를 포함한다.

코딩 장치는 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 있는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면들 중 임의의 것에서, 측면의 다른 구현은, 디코딩된 픽처를 디스플레이하도록 구성된 디스플레이를 제공한다.

제6 측면은 시스템에 관한 것이다. 시스템은 인코더 및 인코더와 통신하는 디코더를 포함하고, 인코더 또는 디코더는 본 명세서에 개시된 디코딩 장치, 인코딩 장치, 또는 코딩 장치를 포함한다.

시스템은 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 위치하는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

제7 측면은 코딩 수단에 관한 것이다. 코딩 수단은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단; 수신 수단에 결합되고, 비트스트림을 디코딩 수단으로 전송하거나 디코딩된 이미지를 디스플레이 수단으로 전송하도록 구성된 전송 수단; 수신 수단 또는 전송 수단 중 적어도 하나에 연결되고 명령어를 저장하도록 구성된 저장 수단; 및 저장 수단에 연결되어 본 명세서에 개시된 방법 중 임의의 것을 수행하기 위해 저장 수단에 저장된 명령을 실행하도록 구성되는 처리 수단을 포함한다.

코딩을 위한 수단은 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술을 제공한다. 효율적인 시그널링은 CVS의 서브픽처 IDS가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 위치하는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

명료함을 위해, 전술한 실시예 중 임의의 하나는 본 개시의 범위 내에서 새로운 실시예를 생성하기 위해 임의의 하나 이상의 다른 전술한 실시예와 조합될 수 있다.

이들 및 다른 특징은 첨부된 도면 및 청구범위와 관련하여 취해진 다음의 상세한 설명으로부터 더 명확하게 이해될 것이다.

본 개시내용의 보다 완전한 이해를 위해, 첨부 도면 및 상세한 설명과 연관하여 다음의 간략한 설명이 참조되며, 여기서 유사한 참조 번호가 유사한 부분을 나타낸다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 인코딩된 비디오 시퀀스를 포함하는 예시적인 비트스트림을 예시하는 개략도이다.
도 6a 내지 도 6e는 가상 현실(VR) 애플리케이션에서 사용하기 위해 상이한 비트스트림으로부터의 다중 해상도의 서브-픽처를 단일 픽처로 결합하기 위한 추출기 트랙을 생성하기 위한 예시적인 메커니즘을 도시한다.
도 7a 내지 도 7e는 VR 애플리케이션에서 시청 방향의 변화에 기초하여 추출기 트랙을 업데이트하기 위한 예시적인 메커니즘을 도시한다.
도 8은 코딩된 비디오 비트스트림을 디코딩하는 방법의 실시예이다.
도 9는 코딩된 비디오 비트스트림을 인코딩하는 방법의 실시예이다.
도 10은 비디오 코딩 장치의 개략도이다.
도 11은 코딩 수단의 실시예의 개략도이다.

하나 이상의 실시예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수의 기술을 사용하여 구현될 수 있다는 것이 처음부터 이해되어야 한다. 본 명세서는, 본 명세서에 예시되고 설명된 예시적인 설계 및 구현을 포함하여 아래에 예시된 예시적인 구현, 도면 및 기술에 결코 제한되어서는 안 되며, 등가물의 전체 범위와 함께 첨부된 청구범위의 범위 내에서 수정될 수 있다.

다음 용어는 여기에서 반대되는 맥락에서 사용되지 않는 한 다음과 같이 정의된다. 구체적으로, 하기 정의는 본 명세서에 추가적인 명확성을 제공하기 위한 것이다. 그러나 용어는 상황에 따라 다르게 설명될 수 있다. 따라서, 다음의 정의는 보충으로 간주되어야 하며 여기에서 이러한 용어에 대해 제공된 설명의 다른 정의를 제한하는 것으로 간주되어서는 안 된다.

비트스트림은 인코더와 디코더 사이의 전송을 위해 압축된 비디오 데이터를 포함하는 비트 시퀀스이다. 인코더는 비디오 데이터를 비트스트림으로 압축하기 위해 인코딩 프로세스를 사용하도록 구성된 장치이다. 디코더는 디스플레이를 위해 비트스트림으로부터 비디오 데이터를 재구성하기 위해 디코딩 프로세스를 사용하도록 구성된 장치이다. 픽처는 프레임 또는 그 필드를 생성하는 루마 샘플의 어레이 및/또는 크로마 샘플의 어레이이다. 인코딩 또는 디코딩되는 픽처는 논의의 명확성을 위해 현재 픽처로 지칭될 수 있다. 참조 픽처는 인터 예측 및/또는 인터 레이어 예측에 따라 다른 픽처를 참조로 코딩할 때 사용할 수 있는 참조 샘플을 포함하는 픽처이다. 참조 픽처 리스트는 인터 예측 및/또는 인터 레이어 예측에 사용되는 참조 픽처의 리스트이다. 일부 비디오 코딩 시스템은 참조 픽처 목록 1 및 참조 픽처 목록 0으로 표시될 수 있는 2개의 참조 픽처 목록을 활용한다. 참조 픽처 목록 구조는 여러 참조 픽처 목록을 포함하는 주소 지정 가능한 신택스 구조이다. 인터 예측은 참조 픽처와 현재 픽처가 동일한 레이어에 있는 현재 픽처와 다른 참조 픽처의 지시된 샘플을 참조하여 현재 픽처의 샘플을 코딩하는 메커니즘이다. 참조 픽처 리스트 구조 엔트리는 참조 픽처 리스트와 연관된 참조 픽처를 나타내는 참조 픽처 리스트 구조의 주소 지정 가능한 위치이다. 슬라이스 헤더는 슬라이스에 표현된 타일 내의 모든 비디오 데이터와 관련된 데이터 요소를 포함하는 코딩된 슬라이스의 일부이다. 시퀀스 파라미터 세트(sequence parameter set, SPS)는 일련의 픽처와 관련된 데이터를 포함하는 파라미터 집합이다. 픽처 파라미터 세트(picture parameter set, PPS)는 각 픽처 헤더에서 발견되는 신택스 요소에 의해 결정되는 0개 이상의 전체 코딩된 픽처에 적용되는 신택스 요소를 포함하는 신택스 구조이다.

플래그는 0과 1의 두 가지 가능한 값 중 하나를 사용할 수 있는 변수 또는 단일 비트 신택스 요소이다. 서브픽처는 픽처 내의 하나 이상의 슬라이스의 직사각형 영역이다. 서브픽처 식별자(ID)는 서브픽처를 고유하게 식별하는 숫자, 문자 또는 기타 표시이다. 서브픽처 ID(일명, 타일 식별자)는 서브픽처 인덱스를 사용하여 특정 서브픽처를 식별하는 데 사용되며, 이는 여기에서 서브픽처 ID 매핑으로 지칭될 수 있다. 달리 말하면, 서브픽처 ID 매핑은 서브픽처 인덱스와 서브픽처 ID의 목록 사이에 일대일 매핑을 제공하는 테이블이다. 즉, 서브픽처 ID 매핑은 각 서브픽처에 대해 고유한 서브픽처 ID를 제공한다.

액세스 유닛(access unit, AU)은 디코딩된 픽처 버퍼(decoded picture buffer, DPB)로부터의 출력을 위한(예를 들어, 사용자에게 디스플레이하기 위한) 동일한 디스플레이 시간(예를 들어, 동일한 픽처 순서 카운트)과 연관된 하나 이상의 코딩된 픽처의 세트이다. AUD(Access Unit Delimiter)는 AU의 시작 또는 AU 간의 경계를 나타내는 데 사용되는 지시자 또는 데이터 구조이다. 디코딩된 비디오 시퀀스는 사용자에게 표시하기 위한 준비과정에서 디코더에 의해 재구성된 픽처 시퀀스이다.

CVS는, 디코딩 순서에서, CVSS(coded video sequence start) AU를 포함하는 액세스 유닛(access unit, AU)의 시퀀스이며, CVSS AU가 아닌 모든 후속 AU를 포함하지만 CVSS AU인 임의의 후속 AU는 포함하지 않는 0개 이상의 AU가 뒤따른다. CVSS AU는 비디오 파라미터 세트(VPS)에 의해 지정된 각 레이어에 대한 예측 유닛(prediction unit, PU)가 있고 각 PU의 코딩된 픽처가 CLVSS 픽처인 AU이다. 일 실시예에서, 각각의 픽처는 AU 내에 있다. PU는 지정된 분류 규칙에 따라 서로 연관되고 디코딩 순서가 연속적이며 정확히 하나의 코딩된 픽처를 포함하는 NAL(Network Abstraction Layer) 유닛의 세트이다.

이하의 줄임말들이 본 명세서에서 사용된다: 적응 루프 필터(Adaptive Loop Filter, ALF), 코딩 트리 블록(Coding Tree Block, CTB), 코딩 트리 유닛(Coding Tree Unit, CTU), 코딩 유닛(Coding Unit, CU), 코딩된 비디오 시퀀스(Coded Video Sequence, CVS), 디코딩된 픽처 버퍼(Decoded Picture Buffer, DPB), 순시 디코딩 리프레시(Instantaneous Decoding Refresh, IDR), 인트라 랜덤 액세스 포인트(Intra-Random Access Point, IRAP), JVET(Joint Video Experts Team), 최서브 비트(Least Significant Bit, LSB), 최상위 비트(Most Significant Bit, MSB), 동작 제한 타일 세트(Motion-Constrained Tile Set, MCTS), 최대 전송 유닛(Maximum Transfer Unit, MTU), 네트워크 추상화 계층(Network Abstraction Layer, NAL), 픽처 오더 카운트(Picture Order Count, POC), 픽처 파라미터 세트(Picture Parameter Set, PPS), 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP), 샘플 적응 오프셋(Sample Adaptive Offset, SAO), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 시간적 모션 벡터 예측(Temporal Motion Vector Prediction, TMVP), 다목적 비디오 코딩(Versatile Video Coding, VVC) 및 작업 초안(Working Draft, WD).

많은 비디오 압축 기술을 사용하여 데이터 손실을 최소화하면서 비디오 파일의 크기를 줄일 수 있다. 예를 들어, 비디오 압축 기술은 비디오 시퀀스에서 데이터 중복성을 감소 또는 제거하기 위해 공간적(예를 들어, 인트라-픽처) 예측 및/또는 시간적(예를 들어, 인터-픽처) 예측을 수행하는 것을 포함할 수 있다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(예를 들어, 비디오 픽처 또는 비디오 픽처의 일부)는 트리블록(treeblock), 코딩 트리 블록(coding tree block, CTB), 코딩 트리 유닛(coding tree unit, CTU), 코딩 유닛(coding unit, CU), 및/또는 코딩 노드로 지칭될 수 있는 비디오 블록으로 분할될 수 있다. 픽처의 인트라 코딩된(I) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간 예측을 사용하여 코딩된다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간 예측 또는 다른 참조 픽처의 참조 샘플에 대한 시간 예측을 사용하여 코딩될 수 있다. 픽처는 프레임 및/또는 이미지로 지칭될 수 있고, 참조 픽처는 참조 프레임 및/또는 참조 이미지로 지칭될 수 있다. 공간 예측 또는 시간 예측은 이미지 블록을 나타내는 예측 블록을 생성한다. 잔여 데이터는 원본 이미지 블록과 예측 블록 간의 픽셀 차이를 나타낸다. 따라서, 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 모션 벡터 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔여 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔여 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔여 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있다. 이는 양자화될 수 있는 잔여 변환 계수를 초래한다. 양자화된 변환 계수는 초기에 2차원 어레이로 배열될 수 있다. 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캔될 수 있다. 더 많은 압축을 달성하기 위해 엔트로피 코딩이 적용될 수 있다. 이러한 비디오 압축 기술은 아래에서 더 자세히 논의된다.

인코딩된 비디오가 정확하게 디코딩될 수 있도록 하기 위해 비디오는 대응하는 비디오 코딩 표준에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준에는 ITU(International Telecommunication Union) Standardization Sector(ITU-T) H.261, International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) MPEG(Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10이라고도 하는 고급 비디오 코딩(Advanced Video Coding, AVC) 및 ITU-T H.265 또는 MPEG-H Part 2라고도 하는 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)이 포함된다. AVC에는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC+D(Multiview Video Coding plus Depth) 및 3차원(3D) AVC(3D-AVC)와 같은 확장이 포함된다. HEVC에는 SHVC(Scalable HEVC), Multiview HEVC(MV-HEVC) 및 3D HEVC(3D-HEVC)와 같은 확장이 포함된다.

ITU-T와 ISO/IEC의 JVET(Joint Video Experts Team)에서 개발 중인 VVC(Versatile Video Coding)라는 새로운 비디오 코딩 표준도 있다. VVC 표준에는 여러 작업 초안이 있지만 특히 VVC의 하나의 작업 초안(WD)은 즉 B이다. Bross J, Chen 및 S. Liu, "Versatile Video Coding (Draft 5)," JVET-N1001-v3, 13th JVET Meeting, March 27, 2019(VVC Draft 5)가 여기에서 참조된다.

HEVC에는 일반 슬라이스, 종속 슬라이스, 타일 및 WPP(Wavefront Parallel Processing)의 4가지 서로 다른 픽처 분할 방식이 포함되어 있으며, 이는 최대 전송 유닛(Maximum Transfer Unit, MTU) 크기 매칭, 병렬 처리 및 종단 간 지연 감소에 적용될 수 있다.

일반 슬라이스는 H.264/AVC에서와 유사한다. 각 일반 슬라이스는 고유한 NAL 유닛으로 캡슐화되고 인-픽처 예측(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계에 걸친 엔트로피 코딩 종속성이 비활성화된다. 따라서 일반 슬라이스는 동일한 픽처 내의 다른 일반 슬라이스와 독립적으로 재구성될 수 있다(루프 필터링 작업으로 인해 여전히 상호 의존성이 있을 수 있음).

일반 슬라이스는 H.264/AVC에서도 거의 동일한 형식으로 사용할 수 있는 병렬화에 사용할 수 있는 유일한 도구이다. 일반 슬라이스 기반 병렬화는 프로세서 간 또는 코어 간 통신을 많이 필요로 하지 않는다(예측 코딩된 픽처를 디코딩할 때 모션 보상을 위한 프로세서 간 또는 코어 간 데이터 공유 제외, 이는 일반적으로, 인-픽처 예측으로 인해, 프로세서 간 또는 코어 간 데이터 공유보다 훨씬 더 무겁다). 그러나, 같은 이유로, 일반 슬라이스를 사용하면 슬라이스 헤더의 비트 비용과 슬라이스 경계에 걸친 예측 부족으로 인해 상당한 코딩 오버헤드가 발생할 수 있다. 또한 일반 슬라이스(아래에 언급된 다른 도구와 대조적으로)는 일반 슬라이스의 인-픽처 독립성과 각 일반 슬라이스가 자체 NAL 유닛에 캡슐화되어 있다는 점 때문에, MTU 크기 요구 사항과 매칭하기 위한 비트스트림 분할을 위한 핵심 메커니즘으로도 사용된다. 많은 경우에서, 병렬화의 목표와 MTU 크기 매칭의 목표는 픽처의 슬라이스 레이아웃에 대한 요구 사항이 상충된다. 이러한 상황의 실현은 아래에 언급된 병렬화 도구의 개발로 이어졌다.

종속 슬라이스에는 짧은 슬라이스 헤더가 있으며 인-픽처 예측을 깨지 않고 트리블록 경계에서 비트스트림을 분할할 수 있다. 기본적으로 종속 슬라이스는 일반 슬라이스를 여러 NAL 유닛으로 단편화하여 전체 일반 슬라이스의 인코딩이 완료되기 전에 일반 슬라이스의 일부가 전송되도록 함으로써 종단 간 지연을 줄인다.

WPP에서, 픽처는 단일 행의 코딩 트리 블록(CTB)으로 분할된다. 엔트로피 디코딩 및 예측은 다른 파티션에 있는 CTB로부터의 데이터를 사용할 수 있다. 병렬 처리는 CTB 행의 병렬 디코딩을 통해 가능하며, 여기서 CTB 행의 디코딩 시작은 2개의 CTB만큼 지연되므로, 대상 CTB의 위와 오른쪽에 있는 CTB와 관련된 데이터가 대상 CTB가 디코딩되기 전에 사용 가능하도록 보장한다. 이 엇갈린 시작(그래픽으로 표시할 때 웨이브프론트처럼 나타남)을 사용하면 픽처에 CTB 행이 포함된 수만큼의 프로세서/코어로 병렬화가 가능하다. 픽처 내의 이웃하는 트리블록 행 사이의 인-픽처 예측이 허용되기 때문에, 인-픽처 예측을 가능하게 하기 위해 필요한 프로세서간/코어간 통신이 상당할 수 있다. WPP 파티셔닝은, 적용되지 않을 때와 비교하여, 추가 NAL 유닛을 생성하지 않으므로, WPP는 MTU 크기 매칭을 위한 도구가 아니다. 그러나 MTU 크기 매칭이 필요한 경우, 특정 코딩 오버헤드와 함께 일반 슬라이스를 WPP와 함께 사용할 수 있다.

타일은 픽처를 타일 열과 행으로 분할하는 수평 및 수직 경계를 정의한다. CTB의 스캔 순서는 픽처의 타일 래스터 스캔 순서로 다음 타일의 왼쪽 상단 CTB를 디코딩하기 전에, 타일 내에서 로컬로 변경된다(타일의 CTB 래스터 스캔 순서로). 일반 슬라이스와 유사하게 타일은 인-픽처 예측 종속성과 엔트로피 디코딩 종속성을 깨뜨린다. 그러나 그들은 개별 NAL 유닛에 포함될 필요는 없고(이 점에서 WPP와 동일). 따라서 타일은 MTU 크기 매칭에 사용할 수 없다. 각 타일은 하나의 프로세서/코어에 의해 처리될 수 있으며, 인접 타일을 디코딩하는 처리 유닛 간의 인-픽처 예측에 필요한 프로세서 간/코어 간 통신은, 슬라이스가 하나 이상의 타일로 확장되는 케이스에서의 공유되는 슬라이스 헤더를 운반하는 것 및 재구성된 샘플 및 메타데이터의 루프 필터링 관련 공유로 제한된다. 하나 이상의 타일 또는 WPP 세그먼트가 슬라이스에 포함된 경우, 슬라이스의 제1 것이 아닌 각 타일 또는 WPP 세그먼트에 대한 진입점(entry point) 바이트 오프셋은 슬라이스 헤더에서 시그널링된다.

단순함을 위해, 4가지 서로 다른 픽처 분할 방식의 적용에 대한 제한이 HEVC에 지정되어 있다. 주어진 코딩된 비디오 시퀀스는 HEVC에서 지정된 대부분의 프로파일에 대한 타일과 웨이브프론트(wavefront)를 모두 포함할 수 없다. 각 슬라이스 및 타일에 대해, 다음 조건 중 하나 또는 모두가 충족되어야 한다: 1) 슬라이스의 모든 코딩된 트리 블록은 동일한 타일에 속한다; 2) 타일의 모든 코딩된 트리 블록은 동일한 슬라이스에 속한다. 마지막으로 웨이브프론트 세그먼트는 정확히 하나의 CTB 행을 포함하며, WPP가 사용 중일 때, 슬라이스가 CTB 행 내에서 시작되면 동일한 CTB 행에서 끝나야 한다.

HEVC에 대한 최근 수정 사항은 JCT-VC 출력 문서 JCTVC-AC1005, J에 지정되어 있다. Boyce, A, Ramasubramonian, R, Skupin, G, J. Sullivan, A, Tourapis, Y.-K, Wang(편집자들), "HEVC 추가 보완 개선 정보(초안 4)," 2017년 10월 24일 공개: http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip. @@@ 이 수정안이 포함된 HEVC는 세 가지 MCTS 관련 SEI(Supplemental Enhancement Information) 메시지, 즉 시간 MCTS SEI 메시지, MCTS 추출 정보 집합 SEI 메시지 및 MCTS 추출 정보 중첩 SEI 메시지를 지정한다.

시간적 MCTS SEI 메시지는 비트스트림에서 MCTS의 존재를 지시하고 MCTS를 시그널링한다. 각 MCTS에 대해, 모션 벡터는 MCTS 내부의 전체 샘플 위치와 보간을 위해 MCTS 내부의 전체 샘플 위치만 필요로 하는 부분 샘플 위치를 가리키도록 제한되며, MCTS 외부의 블록으로부터 파생되는 시간적 모션 벡터 예측을 위한 모션 벡터 후보의 사용은 허용되지 않는다. 이러한 방식으로, MCTS에 포함되지 않은 타일의 존재 없이 각각의 MCTS가 독립적으로 디코딩될 수 있다.

MCTS 추출 정보 세트 SEI 메시지는 MCTS 세트에 일치하는 비트스트림을 생성하기 위해, MCTS 서브-비트스트림 추출(SEI 메시지의 의미론의 일부로 지정됨)에서 사용할 수 있는 추가 정보를 제공한다. 정보는 다수의 추출 정보 집합으로 구성되며, 각각은 다수의 MCTS 세트를 정의하고 MCTS 서브-비트스트림 추출 프로세스 동안 사용할 대체 비디오 파라미터 집합(VPS), SPS 및 PPS의 RBSP 바이트를 포함한다. MCTS 서브-비트스트림 추출 프로세스에 따라 서브-비트스트림을 추출할 때, 파라미터 세트(VPS, SPS, PPS)를 다시 쓰거나 교체해야 하며 슬라이스 주소 관련 신택스 요소(first_slice_segment_in_pic_flag 및 slice_segment_address 포함) 중 하나 또는 전체가 일반적으로 서로 다른 값을 가져야 하기 때문에, 슬라이스 헤더는 점진적으로 업데이트되어야 한다.

최신 VVC 초안 사양에서, 픽처는 여러 개의 서브 픽처로 분할될 수 있으며, 각각은 직사각형 영역을 포함하고 정수 개수의 완전한 슬라이스를 포함한다. 서브픽처 분할은 코딩된 비디오 시퀀스(CVS) 내의 모든 픽처에 걸쳐 지속되며 분할 정보(즉, 서브픽처 위치 및 크기)는 SPS에서 시그널링된다. 서브픽처는 모션 보상을 위해 임의의 다른 서브픽처로부터의 샘플 값을 사용하지 않고 코딩되는 것으로 표시될 수 있다.

http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/13_Marrakech/wg11/JVET-M0261-v1.zip에서 공개적으로 사용할 수 있는 JVET 기고 JVET-O0141에서, 서브픽처 디자인은 몇 가지 차이점이 있는 최신 VVC 초안 사양에서의 디자인과 유사하며, 그 중 하나는 SPS의 각 서브픽처에 대한 서브픽처 ID의 명시적 시그널링 뿐만 아니라 각 슬라이스 헤더의 서브픽처 ID의 시그널링으로 코딩된 슬라이스 NAL 유닛을 변경할 필요 없이 서브픽처 기반의 서브-비트스트림 추출을 가능하게 한다. 이 접근 방식에서 각 서브픽처의 서브픽처 ID는 CVS의 모든 픽처에서 변경되지 않은 상태로 유지된다.

이전 논의 동안, 코딩된 슬라이스 NAL 유닛을 변경할 필요 없이 서브픽처 기반 서브-비트스트림 병합을 가능하게 하기 위해 서브픽처 ID의 시그널링을 위한 다른 접근 방식이 사용되어야 한다고 언급되었다.

예를 들어, 아래에서 더 자세히 설명하는 것처럼, 뷰포트 종속 360도 비디오 스트리밍에서, 클라이언트는 디코딩될 비트스트림에 어떤 서브픽처가 수신되고 병합될지를 선택한다. 시청 방향이 변경될 때, 일부 서브픽처 ID 값은 동일하게 유지되는 반면, 다른 서브픽처 ID 값은 보시청기 방향 변경 이전에 수신된 서브픽처 ID 값과 비교하여 변경된다. 따라서, 디코더가 병합된 비트스트림에서 수신하는 서브픽처 ID는 시청 방향이 변경될 때 변경된다.

고려된 한 가지 접근 방식은 다음과 같다.

예를 들어, 최신 VVC 초안 사양의 신택스를 사용하여, SPS에서 서브픽처 위치 및 크기가 표시된다. 서브픽처 인덱스가 할당된다(0에서 N-1, 여기서 N은 서브픽처의 수). 대응하는 매핑이 CVS 중간에 변경되어야 할 수 있기 때문에, 서브픽처 인덱스에 대한 서브픽처 ID의 매핑은 PPS에 존재한다. 이것은 루프 i = 0에서 N-1까지일 수 있으며, 서브 픽처 인덱스 i에 매핑되는 subpicture_id[ i ]를 제공한다. 이 서브픽처 ID 매핑은 클라이언트가 디코딩할 서브픽처의 새로운 세트를 선택할 때 클라이언트에 의해 다시 작성되어야 한다. 슬라이스 헤더는 인코더가 선택한 서브픽처 ID(예: subpicture_id)를 포함한다(이는 서브-비트스트림 병합에서 다시 쓸 필요가 없음).

불행히도, 기존의 서브픽처 ID 시그널링 접근 방식에는 문제가 있다. 서브픽처 기반 비디오 코딩을 사용하는 많은 응용 시나리오는 서브-비트스트림 추출을 포함하지만 서브-비트스트림 병합은 포함하지 않는다. 예를 들어, 각각의 추출된 서브-비트스트림은 자신의 디코더 인스턴스에 의해 디코딩될 수 있다. 이와 같이, 추출된 서브-비트스트림을 하나의 디코더 인스턴스에 의해 디코딩될 하나의 비트스트림으로 병합할 필요가 없다. 이러한 시나리오에서 각 서브픽처의 서브픽처 ID는 CVS 내에서 변경되지 않는다. 따라서, 서브픽처 ID는 SPS에서 시그널링될 수 있다. PPS 대신 SPS에서 이러한 서브픽처 ID를 시그널링하는 것은 비트 절약 관점과 세션 협상 관점 모두에서 유리하다.

서브-비트스트림 추출 및 서브-비트스트림 병합을 모두 포함하는 응용 시나리오에서 서브픽처 ID는 원래 비트스트림의 CVS 내에서 변경되지 않는다. 따라서, SPS에서 서브픽처 ID의 시그널링은 SPS와 슬라이스 헤더 모두에서 서브픽처 ID의 사용을 가능하게 하며, 이는 프로세스의 서브-비트스트림 추출 부분에 유용한다. 그러나 이 접근 방식은 원본 비트스트림의 CVS 내에서 서브픽처 ID가 변경되지 않는 경우에만 가능하다.

서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 코딩된 비디오 시퀀스(CVS) 내에서 변경되는 경우에도 서브픽처 식별자(ID)의 효율적인 시그널링을 보장하는 기술이 여기에 개시된다. 효율적인 시그널링은 CVS의 서브픽처 ID가 변경될 수 있는지 여부와 변경될 경우 서브픽처 ID가 있는 위치를 나타내기 위해 시퀀스 파라미터 세트(SPS) 또는 픽처 파라미터 세트(SPS)에 플래그를 설정함으로써 달성된다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 비디오 파일 크기를 줄이기 위해 다양한 메커니즘을 사용하여 비디오 신호를 압축한다. 파일 크기가 작을수록 압축된 비디오 파일이 사용자에게 전송되는 동시에 관련 대역폭 오버헤드가 줄어든다. 그런 다음 디코더는 압축된 비디오 파일을 디코딩하여 최종 사용자에게 표시할 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로 디코더가 비디오 신호를 일관되게 재구성할 수 있도록 인코딩 프로세스를 미러링한다.

단계 101에서, 비디오 신호는 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 비압축 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 장치에 의해 캡처될 수 있고 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 구성요소와 비디오 구성요소를 모두 포함할 수 있다. 비디오 구성요소에는 일련의 이미지 프레임이 포함되어 있어 시퀀스로 볼 때 모션에 대한 시각적 인상을 준다. 프레임은 여기에서 루마 성분(또는 루마 샘플)이라고 하는 광과 크로마 성분(또는 컬러 샘플)이라고 하는 색상으로 표현되는 픽셀을 포함한다. 일부 예에서, 프레임은 또한 3차원 보기(viewing)를 지원하기 위해 깊이 값을 포함할 수 있다.

단계 103에서, 비디오는 블록으로 분할된다. 분할에는 압축을 위해 각 프레임의 픽셀을 정사각형 및/또는 직사각형 블록으로 세분화하는 작업이 포함된다. 예를 들어, 고효율 비디오 코딩(HEVC)(H.265 및 MPEG-H Part 2라고도 함)에서, 프레임은 먼저 미리 정의된 크기(예: 64픽셀 x 64픽셀)의 블록인 코딩 트리 유닛(CTU)로 나눌 수 있다. CTU에는 루마 및 크로마 샘플이 모두 포함되어 있다. 코딩 트리를 사용하여 CTU를 블록으로 분할한 다음, 추가 인코딩을 지원하는 구성이 달성될 때까지 블록을 재귀적으로 세분화할 수 있다. 예를 들어, 프레임의 루마 성분은 개별 블록이 상대적으로 균일한 조명 값을 포함할 때까지 세분화될 수 있다. 또한, 프레임의 크로마 성분은 개별 블록이 비교적 균일한 색상 값을 포함할 때까지 세분화될 수 있다. 따라서 비디오 프레임의 내용에 따라 분할 메커니즘이 달라진다.

단계 105에서, 단계 103에서 분할된 이미지 블록을 압축하기 위해 다양한 압축 메커니즘이 사용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 사용될 수 있다. 인터 예측은 공통 장면의 객체가 연속 프레임에 나타나는 경향이 있다는 사실을 이용하도록 설계되었다. 따라서, 참조 프레임에서 객체를 나타내는 블록은 인접 프레임에서 반복적으로 기술될 필요가 없다. 특히, 테이블과 같은 객체는 여러 프레임에 걸쳐 일정한 위치에 남아 있을 수 있다. 따라서 테이블은 한 번 설명되고 인접 프레임은 참조 프레임을 다시 참조할 수 있다. 패턴 매칭 메커니즘을 사용하여 여러 프레임에 걸쳐 객체를 매칭시킬 수 있다. 또한, 움직이는 물체는 예를 들어 물체의 모션이나 카메라의 모션으로 인해 여러 프레임에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 여러 프레임에 걸쳐 화면을 가로질러 움직이는 자동차를 보여줄 수 있다. 모션 벡터는 이러한 모션을 설명하는 데 사용할 수 있다. 모션 벡터는 프레임에 있는 객체의 좌표에서 참조 프레임에 있는 객체의 좌표까지 오프셋을 제공하는 2차원 벡터이다. 이와 같이, 인터 예측은 현재 프레임의 영상 블록을 참조 프레임의 대응하는 블록으로부터의 오프셋을 나타내는 모션 벡터의 집합으로 인코딩할 수 있다.

인트라 예측은 공통 프레임의 블록을 인코딩한다. 인트라 예측은 루마 성분 및 크로마 성분이 프레임에서 클러스터링되는 경향이 있다는 사실을 이용한다. 예를 들어, 나무의 일부에 있는 녹색 패치는 유사한 녹색 패치에 인접하게 배치되는 경향이 있다. 인트라 예측은 다중 방향성 예측 모드(예: HEVC에서 33개), 평면 모드 및 직류(DC) 모드를 사용한다. 방향성 모드는 현재 블록이 대응하는 방향에서 이웃 블록의 샘플과 유사/동일함을 나타낸다. 평면 모드는 행/열(예: 평면)을 따라 일련의 블록이 행의 가장자리에 있는 인접 블록을 기반으로 보간될 수 있음을 나타낸다. 실제로 평면 모드는, 값을 변경할 때 비교적 일정한 기울기를 사용하여 행/열에 걸쳐 빛/색상의 부드러운 전환을 나타낸다. DC 모드는 경계 평활화에 사용되며 방향성 예측 모드의 각도 방향과 관련된 모든 인접 블록의 샘플과 관련된 평균값과 유사/동일한 블록을 나타낸다. 따라서 인트라 예측 블록은 실제 값이 아닌 다양한 관계형 예측 모드 값으로 영상 블록을 표현할 수 있다. 또한, 인터 예측 블록은 실제 값이 아닌 모션 벡터 값으로 영상 블록을 나타낼 수 있다. 어느 경우든, 예측 블록은 경우에 따라 이미지 블록을 정확하게 나타내지 않을 수 있다. 모든 차이는 잔여 블록에 저장된다. 파일을 추가로 압축하기 위해 잔여 블록에 변환을 적용할 수 있다.

단계 107에서, 다양한 필터링 기술이 적용될 수 있다. HEVC에서, 필터는 인-루프 필터링 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 뭉툭한 이미지(blocky image)의 생성을 초래할 수 있다. 또한, 블록 기반 예측 방식은 블록을 인코딩한 다음 나중에 참조 블록으로 사용하기 위해 인코딩된 블록을 복원할 수 있다. 인-루프 필터링 방식은 잡음 억제 필터, 디블로킹 필터, 적응 루프 필터, 샘플 적응 오프셋(SAO) 필터를 블록/프레임에 반복적으로 적용한다. 이러한 필터는 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 블로킹(blocking) 아티팩트를 완화한다. 또한, 이러한 필터는 재구성된 참조 블록에서 아티팩트를 완화하므로, 아티팩트가 재구성된 참조 블록에 기초하여 인코딩되는 후속 블록에서 추가 아티팩트를 생성할 가능성이 적다.

비디오 신호가 분할, 압축 및 필터링되면 결과 데이터는 단계 109에서 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터뿐만 아니라 디코더에서 적절한 비디오 신호 재구성을 지원하기 위해 원하는 임의의 시그널링 데이터를 포함한다. 예를 들어, 그러한 데이터는 파티션 데이터, 예측 데이터, 잔여 블록, 및 디코더에 코딩 명령을 제공하는 다양한 플래그를 포함할 수 있다. 비트스트림은 요청 시 디코더를 향한 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더를 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림 생성은 반복적인 프로세스이다. 따라서, 단계 101, 103, 105, 107, 및 109는 많은 프레임 및 블록에 걸쳐 연속적으로 및/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 논의의 명료함과 용이함을 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 제한하려는 의도가 아니다.

디코더는 비트스트림을 수신하고 단계 111에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환하기 위해 엔트로피 디코딩 방식을 사용한다. 디코더는 단계 111에서 프레임에 대한 파티션을 결정하기 위해 비트스트림의 신택스 데이터를 사용한다. 분할은 103단계의 블록 분할의 결과와 매칭해야 한다. 이제, 단계 111에서 사용된 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지에서 값의 공간적 위치를 기반으로 여러 가능한 선택 중에서 블록 분할 방식을 선택하는 것과 같이, 압축 프로세스 동안 많은 선택을 한다. 정확한 선택에 대한 신호는 많은 수의 빈(bin)을 사용할 수 있다. 본 명세서에서 사용된 바와 같이, 빈은 변수로 취급되는 이진 값(예를 들어, 컨텍스트에 따라 변할 수 있는 비트 값)이다. 엔트로피 코딩을 사용하면 인코더가 특정 경우에 명확하게 실행 가능하지 않은 옵션을 버리고 허용 가능한 옵션 집합을 남길 수 있다. 그런 다음 각 허용 옵션에 코드 워드가 할당된다. 코드 워드의 길이는 허용되는 옵션의 수를 기반으로 한다(예: 2개 옵션의 경우 1개의 bin, 3~4개의 옵션에 대한 2개의 bin 등). 그런 다음 인코더는 선택한 옵션에 대한 코드 워드를 인코딩한다. 이 방식은 코드 워드가 가능한 모든 옵션의 잠재적으로 큰 집합에서 선택을 고유하게 표시하는 것과 대조적으로 허용 가능한 옵션의 작은 서브 집합에서 선택을 고유하게 나타내기 위해 필요한 만큼 크므로, 코드 워드의 크기를 줄인다. 그런 다음 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션 세트를 결정하여 선택을 디코딩한다. 허용 가능한 옵션 세트를 결정함으로써 디코더는 코드 워드를 읽고 인코더에 의해 만들어진 선택을 결정할 수 있다.

단계 113에서, 디코더는 블록 디코딩을 수행한다. 특히, 디코더는 역변환을 사용하여 잔여 블록을 생성한다. 그 다음, 디코더는 잔여 블록 및 대응하는 예측 블록을 사용하여 분할에 따라 이미지 블록을 재구성한다. 예측 블록은 단계 105에서 인코더에서 생성된 바와 같은 인트라 예측 블록 및 인터 예측 블록 모두를 포함할 수 있다. 그런 다음 재구성된 이미지 블록은 단계 111에서 결정된 분할 데이터에 따라 재구성된 비디오 신호의 프레임에 위치된다. 단계 113에 대한 신택스는 또한, 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.

단계 115에서, 인코더에서 단계 107과 유사한 방식으로 재구성된 비디오 신호의 프레임에 대해 필터링이 수행된다. 예를 들어, 노이즈 억제 필터, 디블로킹 필터, 적응 루프 필터 및 SAO 필터를 프레임에 적용하여 블로킹 아티팩트를 제거할 수 있다. 프레임이 필터링되면, 비디오 신호는 최종 사용자가 보기 위해 단계 117에서 디스플레이로 출력될 수 있다.

도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하는 기능을 제공한다. 코덱 시스템(200)은 인코더 및 디코더 모두에 사용되는 구성요소를 묘사하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계 101 및 103과 관련하여 논의된 바와 같이 비디오 신호를 수신 및 분할하여 분할된 비디오 신호(201)를 생성한다. 코덱 시스템(200)은 방법(100)의 단계 105, 107, 및 109와 관련하여 논의된 인코더로서 작용할 때, 분할된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더 코덱 시스템(200)은 동작 방법(100)의 단계 111, 113, 115, 117과 관련하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성할 때 디코더 코덱 시스템(200)을 생성한다. 코덱 시스템(200)은 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라 픽처 추정 구성요소(215), 인트라 픽처 예측 구성요소(217), 모션 보상 구성요소(219), 모션 추정 구성요소(221), 스케일링 및 역변환 구성요소(229), 필터 제어 분석 구성요소(227), 인-루프 필터 구성요소(225), 디코딩된 픽처 버퍼 구성요소(223), 및 헤더 포맷팅 및 컨텍스트 적응 이진 산술 코딩(CABAC) 구성요소(231)를 포함한다. 이러한 구성요소는 도시된 것처럼 결합된다. 도 2에서, 흑색선은 부호화/복호화할 데이터의 이동을 나타내고, 점선은 다른 구성요소의 동작을 제어하는 제어 데이터의 이동을 나타낸다. 코덱 시스템(200)의 구성요소는 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 구성요소의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 구성요소(217), 모션 보상 구성요소(219), 스케일링 및 역변환 구성요소(229), 인-루프 필터 구성요소(225), 및 디코딩된 픽처 버퍼 구성요소(223)를 포함할 수 있다. 이제 이러한 구성요소에 대해 설명한다.

분할된 비디오 신호(201)는 코딩 트리에 의해 픽셀의 블록으로 분할된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀의 블록을 더 작은 픽셀 블록으로 세분화하기 위해 다양한 분할 모드를 사용한다. 그런 다음 이러한 블록을 더 작은 블록으로 세분화할 수 있다. 블록은 코딩 트리 상의 노드로 지칭될 수 있다. 더 큰 상위 노드는 더 작은 하위 노드로 분할된다. 노드가 세분화되는 횟수를 노드/코딩 트리의 깊이라고 한다. 분할된 블록은 경우에 따라 CU(Coding Unit)에 포함될 수 있다. 예를 들어, CU는, 그 CU에 대한 대응하는 신택스 명령에 따른 루마 블록, 적색 차이(red difference) 크로마(Cr) 블록 및 청색 차이(blue difference) 크로마(Cb) 블록을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드는, 채용된 분할 모드에 따라 노드를 각각 다양한 모양의 2, 3 또는 4개의 자식 노드로 분할하는 데 사용되는 이진 트리(BT), 삼중 트리(TT) 및 쿼드 트리(QT)를 포함할 수 있다. 분할된 비디오 신호(201)는, 압축을 위해, 일반 코더 제어 구성요소(211), 변환 스케일링 및 양자화 구성요소(213), 인트라 픽처 추정 구성요소(215), 필터 제어 분석 구성요소(227), 및 모션 추정 구성요소(221)로 전달된다.

일반 코더 제어 구성요소(211)는 애플리케이션 제약에 따라 비디오 시퀀스의 이미지를 비트스트림으로 코딩하는 것과 관련된 결정을 내리도록 구성된다. 예를 들어, 일반 코더 제어 구성요소(211)는 비트레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 결정은 저장 공간/대역폭 가용성 및 이미지 해상도 요청을 기반으로 할 수 있다. 일반 코더 제어 구성요소(211)는 또한 버퍼 언더런 및 오버런 문제를 완화하기 위해 전송 속도에 비추어 버퍼 활용을 관리한다. 이러한 문제를 관리하기 위해 일반 코더 제어 구성요소(211)는 다른 구성요소에 의한 분할, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 구성요소(211)는 해상도를 증가시키고 대역폭 사용을 증가시키기 위해 압축 복잡도를 동적으로 증가시키거나 해상도 및 대역폭 사용을 감소시키기 위해 압축 복잡도를 감소시킬 수 있다. 따라서, 일반 코더 제어 구성요소(211)는 코덱 시스템(200)의 다른 구성요소를 제어하여 비디오 신호 재구성 품질과 비트 레이트 문제의 균형을 맞춘다. 일반 코더 제어 구성요소(211)는 다른 구성요소의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한 디코더에서 디코딩하기 위한 파라미터를 시그널링하기 위해, 비트스트림에서 인코딩되도록 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다.

분할된 비디오 신호(201)는 또한 인터 예측을 위해 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)로 전송된다. 분할된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록으로 분할될 수 있다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 시간 예측을 제공하기 위해 하나 이상의 참조 프레임의 하나 이상의 블록에 대해 수신된 비디오 블록의 예측간 코딩을 수행한다. 코덱 시스템(200)은, 예를 들어 비디오 데이터의 각 블록에 대한 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스를 수행할 수 있다.

모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 모션 추정 구성요소(221)에 의해 수행되는 모션 추정은 비디오 블록에 대한 모션을 추정하는 모션 벡터를 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 나타낼 수 있다. 예측 블록은 픽셀 차이 측면에서 코딩할 블록과 밀접하게 매칭하는 것으로 발견된 블록이다. 예측 블록은 참조 블록이라고도 할 수 있다. 그러한 픽셀 차이는 절대 차이의 합(SAD), 차이 제곱의 합(SSD), 또는 다른 차이 메트릭에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB) 및 CU를 비롯한 여러 코딩된 객체를 사용한다. 예를 들어, CTU는 CTB로 분할될 수 있으며, 그런 다음 CU에 포함하기 위해 CB로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 유닛(PU) 및/또는 CU에 대한 변환된 잔여 데이터를 포함하는 변환 유닛(TU)로서 인코딩될 수 있다. 모션 추정 구성요소(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용함으로써 모션 벡터, PU, 및 TU를 생성한다. 예를 들어, 모션 추정 구성요소(221)는 현재 블록/프레임에 대한 다중 참조 블록, 다중 모션 벡터 등을 결정할 수 있고, 최상의 레이트 왜곡 특성을 갖는 참조 블록, 모션 벡터 등을 선택할 수 있다. 최상의 레이트 왜곡 특성은 비디오 재구성의 품질(예: 압축에 의한 데이터 손실의 양)과 코딩 효율성(예: 최종 인코딩의 크기)의 균형을 유지한다.

일부 예에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 구성요소(223)에 저장된 참조 픽처의 정수 이하 픽셀 위치에 대한 값을 계산할 수도 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 다른 소수 픽셀 위치의 값을 보간할 수 있다. 따라서, 모션 추정 구성요소(221)는 전체 픽셀 위치 및 부분 픽셀 위치에 대한 모션 검색을 수행하고 부분 픽셀 정밀도를 갖는 모션 벡터를 출력할 수 있다. 모션 추정 구성요소(221)는 PU의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 구성요소(221)는 계산된 모션 벡터를 인코딩을 위해 모션 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)에 출력하고 모션을 모션 보상 구성요소(219)에 출력한다.

모션 보상 구성요소(219)에 의해 수행되는 모션 보상은 모션 추정 구성요소(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch)하거나 생성하는 것을 수반할 수 있다. 다시, 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)는 일부 예에서 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 구성요소(219)는 모션 벡터가 가리키는 예측 블록을 위치시킬 수도 있다. 그 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값으로부터 예측 블록의 픽셀 값을 빼서 픽셀 차이 값을 형성함으로써 잔여 비디오 블록이 형성된다. 일반적으로, 모션 추정 구성요소(221)는 루마 구성요소에 대한 모션 추정을 수행하고, 모션 보상 구성요소(219)는 크로마 구성요소 및 루마 구성요소 모두에 대해 루마 구성요소에 기초하여 계산된 모션 벡터를 사용한다. 예측 블록 및 잔여 블록은 변환 스케일링 및 양자화 구성요소(213)로 전달된다.

분할된 비디오 신호(201)는 또한 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)로 전송된다. 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)에서와 같이, 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 고도로 통합될 수 있지만, 개념적 목적을 위해 별도로 예시된다. 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는, 위에서 설명한 것처럼, 프레임 간의 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)에 의해 수행되는 인터 예측에 대한 대안으로서, 현재 프레임의 블록에 상대적으로 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 구성요소(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 구성요소(215)는 다수의 테스트된 인트라 예측 모드로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 선택된 인트라 예측 모드는 인코딩을 위해 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다.

예를 들어, 인트라 픽처 추정 구성요소(215)는 테스트된 다양한 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산하고, 테스트된 모드 중에서 최상의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택한다. 레이트-왜곡 분석은 일반적으로 인코딩된 블록과 그 인코딩된 블록을 생성하기 위해 인코딩된 원래의 비인코딩된 블록 사이의 왜곡(또는 오류)의 양과 그 인코딩된 블록을 생성하는 데 사용된 비트레이트(예: 비트 수)를 결정한다. 인트라 픽처 추정 구성요소(215)는 블록에 대한 최상의 레이트 왜곡 값을 나타내는 인트라 예측 모드를 결정하기 위해, 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산한다. 또한, 인트라 픽처 추정 구성요소(215)는 레이트 왜곡 최적화(rate-distortion optimization, RDO)에 기초한 깊이 모델링 모드(depth modeling mode, DMM)를 사용하여 깊이 맵의 깊이 블록을 코딩하도록 구성될 수 있다.

인트라 픽처 예측 구성요소(217)는 인코더 상에서 구현될 때 인트라 픽처 추정 구성요소(215)에 의해 결정된 선택된 인트라 예측 모드에 기초하여 예측 블록으로부터 잔여 블록을 생성하거나, 디코더 상에서 구현될 때 비트스트림으로부터 잔여 블록을 판독할 수 있다. 잔여 블록은 예측 블록과 원본 블록 간의 값의 차이를 포함하며, 행렬로 표현된다. 그 다음, 잔여 블록은 변환 스케일링 및 양자화 구성요소(213)로 전달된다. 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)는 루마 및 크로마 성분 모두에 대해 동작할 수 있다.

변환 스케일링 및 양자화 구성요소(213)는 잔여 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 구성요소(213)는 이산 코사인 변환(DCT), 이산 사인 변환(DST), 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여 잔여 변환 계수 값을 포함하는 비디오 블록을 생성한다. 웨이블릿 변환, 정수 변환, 서브대역 변환 또는 다른 유형의 변환도 사용할 수 있다. 변환은 잔여 정보를 픽셀 값 도메인으로부터 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 예를 들어 주파수에 기초하여 변환된 잔여 정보를 스케일링하도록 구성된다. 그러한 스케일링은 상이한 주파수 정보가 상이한 입도에서 양자화되도록 잔여 정보에 스케일 팩터를 적용하는 것을 포함하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 구성요소(213)는 또한 비트 레이트를 추가로 감소시키기 위해 변환 계수를 양자화하도록 구성된다. 양자화 프로세스는 계수의 일부 또는 전부와 관련된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예들에서, 변환 스케일링 및 양자화 구성요소(213)는 그 다음 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수는 헤더 포맷팅 및 CABAC 구성요소(231)로 전달되어 비트스트림에서 인코딩된다.

스케일링 및 역변환 구성요소(229)는 모션 추정을 지원하기 위해 변환 스케일링 및 양자화 구성요소(213)의 역 연산을 적용한다. 스케일링 및 역변환 구성요소(229)는 예를 들어 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔여 블록을 재구성하기 위해 역 스케일링, 변환, 및/또는 양자화를 적용한다. 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)는 나중의 블록/프레임의 모션 추정에 사용하기 위해 대응하는 예측 블록에 잔여 블록을 다시 추가함으로써 참조 블록을 계산할 수도 있다. 필터는 스케일링, 양자화 및 변환 중에 생성된 아티팩트를 완화하기 위해 재구성된 참조 블록에 적용된다. 그렇지 않으면 후속 블록이 예측될 때 이러한 아티팩트가 부정확한 예측을 야기하고 추가 아티팩트를 생성할 수 있다.

필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 필터를 잔여 블록 및/또는 재구성된 이미지 블록에 적용한다. 예를 들어, 스케일링 및 역변환 구성요소(229)로부터의 변환된 잔여 블록은 인트라 픽처 예측 구성요소(217) 및/또는 모션 보상 구성요소(219)로부터의 대응하는 예측 블록과 결합되어 원래의 이미지 블록을 재구성할 수 있다. 그런 다음 필터가 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서, 필터는 그 대신에 잔여 블록에 적용될 수 있다. 도 2의 다른 구성요소와 마찬가지로, 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)는 고도로 통합되어 함께 구현될 수 있지만 개념적 목적을 위해 별도로 도시된다. 재구성된 참조 블록에 적용된 필터는 특정 공간 영역에 적용되며 이러한 필터가 적용되는 방식을 조정하기 위해 여러 파라미터를 포함한다. 필터 제어 분석 구성요소(227)는 재구성된 참조 블록을 분석하여 그러한 필터가 적용되어야 하는 위치를 결정하고 대응하는 파라미터를 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 구성요소(231)로 전달된다. 인-루프 필터 구성요소(225)는 필터 제어 데이터에 기초하여 이러한 필터를 적용한다. 필터는 디블로킹 필터, 잡음 억제 필터, SAO 필터 및 적응 루프 필터를 포함할 수 있다. 이러한 필터는 예에 따라 공간/픽셀 도메인(예를 들어, 재구성된 픽셀 블록) 또는 주파수 도메인에 적용될 수 있다.

인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔여 블록, 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서 나중에 사용하기 위해 디코딩된 픽처 버퍼 구성요소(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 구성요소(223)는 재구성되고 필터링된 블록을 저장하고 출력 비디오 신호의 일부로서 디스플레이를 향해 전달한다. 디코딩된 픽처 버퍼 구성요소(223)는 예측 블록, 잔여 블록, 및/또는 재구성된 이미지 블록을 저장할 수 있는 임의의 메모리 장치일 수 있다.

헤더 포맷팅 및 CABAC 구성요소(231)는 코덱 시스템(200)의 다양한 구성요소로부터 데이터를 수신하고 디코더를 향한 전송을 위해 이러한 데이터를 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 구성요소(231)는 일반 제어 데이터 및 필터 제어 데이터와 같은 제어 데이터를 인코딩하기 위한 다양한 헤더를 생성한다. 또한, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터와 양자화된 변환 계수 데이터 형태의 잔여 데이터가 모두 비트스트림에서 인코딩된다. 최종 비트스트림은 원래의 분할된 비디오 신호(201)를 재구성하기 위해 디코더가 원하는 모든 정보를 포함한다. 이러한 정보는 또한 인트라 예측 모드 인덱스 테이블(코드워드 매핑 테이블이라고도 함), 다양한 블록에 대한 인코딩 컨텍스트의 정의, 가장 가능성 있는 인트라 예측 모드의 표시, 파티션 정보의 표시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 사용하여 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응 가변 길이 코딩(context adaptive variable length coding, CAVLC), CABAC, 신택스 기반 컨텍스트 적응 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 분할 엔트로피(probability interval partitioning entropy, PIPE) 코딩, 또는 다른 엔트로피 코딩 기술을 사용하여 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트스트림은 다른 장치(예를 들어, 비디오 디코더)로 전송되거나 나중의 전송 또는 검색을 위해 보관될 수 있다.

도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능을 구현하고/구현하거나 동작 방법(100)의 단계 101, 103, 105, 107, 및/또는 109를 구현하기 위해 사용될 수 있다. 인코더(300)는 입력 비디오 신호를 분할하여 분할된 비디오 신호(201)와 실질적으로 유사한 분할된 비디오 신호(301)를 생성한다. 그 다음, 분할된 비디오 신호(301)는 인코더(300)의 구성요소에 의해 압축되고 비트스트림으로 인코딩된다.

구체적으로, 분할된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 구성요소(317)로 전달된다. 인트라 픽처 예측 구성요소(317)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 실질적으로 유사할 수 있다. 분할된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 구성요소(323)의 참조 블록에 기초한 인터 예측을 위해 모션 보상 구성요소(321)로 전달된다. 모션 보상 구성요소(321)는 모션 추정 구성요소(221) 및 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 인트라 픽처 예측 구성요소(317) 및 모션 보상 구성요소(321)로부터의 예측 블록 및 잔여 블록은 잔여 블록의 변환 및 양자화를 위해 변환 및 양자화 구성요소(313)로 전달된다. 변환 및 양자화 구성요소(313)는 변환 스케일링 및 양자화 구성요소(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔여 블록 및 대응하는 예측 블록(관련 제어 데이터와 함께)은 비트스트림으로의 코딩을 위해 엔트로피 코딩 구성요소(331)로 전달된다. 엔트로피 코딩 구성요소(331)는 헤더 포맷팅 및 CABAC 구성요소(231)와 실질적으로 유사할 수 있다.

변환 및 양자화된 잔여 블록 및/또는 대응하는 예측 블록은 또한 모션 보상 구성요소(321)에 의해 사용하기 위한 참조 블록으로의 재구성을 위해 변환 및 양자화 구성요소(313)에서 역변환 및 양자화 구성요소(329)로 전달된다. 역변환 및 양자화 구성요소(329)는 스케일링 및 역변환 구성요소(229)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)의 인-루프 필터는 예시에 따라 잔여 블록 및/또는 재구성된 참조 블록에도 적용된다. 인-루프 필터 구성요소(325)는 필터 제어 분석 구성요소(227) 및 인-루프 필터 구성요소(225)와 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(325)는 인-루프 필터 구성요소(225)와 관련하여 논의된 바와 같이 다중 필터를 포함할 수 있다. 필터링된 블록은 그 다음 모션 보상 구성요소(321)에 의한 참조 블록으로서 사용하기 위해 디코딩된 픽처 버퍼 구성요소(323)에 저장된다. 디코딩된 픽처 버퍼 구성요소(323)는 디코딩된 픽처 버퍼 구성요소(223)와 실질적으로 유사할 수 있다.

도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능을 구현하고 및/또는 동작 방법(100)의 단계 111, 113, 115, 및/또는 117을 구현하기 위해 사용될 수 있다. 디코더(400)는 예를 들어 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초하여 재구성된 출력 비디오 신호를 생성한다.

비트스트림은 엔트로피 디코딩 구성요소(433)에 의해 수신된다. 엔트로피 디코딩 구성요소(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 구성요소(433)는 헤더 정보를 이용하여 비트스트림에서 코드워드로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공할 수 있다. 디코딩된 정보는 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터 및 잔여 블록으로부터의 양자화된 변환 계수와 같은 비디오 신호를 디코딩하기 위한 임의의 원하는 정보를 포함한다. 양자화된 변환 계수는 잔여 블록으로의 재구성을 위해 역변환 및 양자화 구성요소(429)로 전달된다. 역변환 및 양자화 구성요소(429)는 역변환 및 양자화 구성요소(329)와 유사할 수 있다.

재구성된 잔여 블록 및/또는 예측 블록은 인트라 예측 동작에 기초한 이미지 블록으로의 재구성을 위해 인트라 픽처 예측 구성요소(417)로 전달된다. 인트라 픽처 예측 구성요소(417)는 인트라 픽처 추정 구성요소(215) 및 인트라 픽처 예측 구성요소(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 구성요소(417)는 프레임에서 참조 블록을 위치시키기 위해 예측 모드를 사용하고, 인트라 예측된 이미지 블록을 재구성하기 위해 결과에 잔여 블록을 적용한다. 재구성된 인트라 예측된 이미지 블록 및/또는 잔여 블록 및 대응하는 인터 예측 데이터는 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 전달되고, 이들은 디코딩된 픽처 버퍼 구성요소(223)와 인-루프 필터 구성요소(225)와 각각 실질적으로 유사할 수 있다. 인-루프 필터 구성요소(425)는 재구성된 이미지 블록, 잔여 블록 및/또는 예측 블록을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 구성요소(423)에 저장된다. 디코딩된 픽처 버퍼 구성요소(423)로부터의 재구성된 이미지 블록은 인터 예측을 위해 모션 보상 구성요소(421)로 전달된다. 모션 보상 구성요소(421)는 모션 추정 구성요소(221) 및/또는 모션 보상 구성요소(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 구성요소(421)는 참조 블록으로부터 모션 벡터를 사용하여 예측 블록을 생성하고 잔여 블록을 결과에 적용하여 이미지 블록을 재구성한다. 결과적인 재구성된 블록은 또한 인-루프 필터 구성요소(425)를 통해 디코딩된 픽처 버퍼 구성요소(423)로 전달될 수 있다. 디코딩된 픽처 버퍼 구성요소(423)는 파티션 정보를 통해 프레임으로 재구성될 수 있는 추가적인 재구성된 이미지 블록을 계속해서 저장한다. 이러한 프레임은 시퀀스에 배치될 수도 있다. 시퀀스는 재구성된 출력 비디오 신호로 디스플레이를 향해 출력된다.

도 5는 인코딩된 비디오 시퀀스를 포함하는 예시적인 비트스트림(500)을 예시하는 개략도이다. 예를 들어, 비트스트림(500)은 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 다른 예로서, 비트스트림(500)은 단계 111에서 디코더에 의해 사용하기 위해 방법(100)의 단계 109에서 인코더에 의해 생성될 수 있다.

비트스트림(500)은 시퀀스 파라미터 세트(SPS)(510), 복수의 픽처 파라미터 세트(PPS)(512), 타일 그룹 헤더(514), 및 이미지 데이터(520)를 포함한다. SPS(510)는 비트스트림(500)에 포함된 비디오 시퀀스의 모든 픽처에 공통적인 시퀀스 데이터를 포함한다. 이러한 데이터에는 픽처 크기 조정, 비트 심도, 코딩 도구 파라미터, 비트 전송률 제한 등이 포함될 수 있다. 일 실시예에서, SPS(510)는 SPS 플래그(565)를 포함한다. 일 실시예에서, SPS 플래그(565)는 제1 값(예를 들어, 1) 또는 제2 값(예를 들어, 0)을 갖는다. 제1 값을 갖는 SPS 플래그(565)는 서브픽처 ID 매핑(575)이 SPS(510)에서 시그널링됨을 지정하고, 제2 값을 갖는 SPS 플래그(565)는 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링됨을 지정한다.

PPS(512)는 하나 이상의 대응하는 픽처에 특정한 파라미터를 포함한다. 따라서, 비디오 시퀀스의 각 픽처는 하나의 PPS(512)를 참조할 수 있다. PPS(512)는 대응하는 픽처의 타일에 대해 이용가능한 코딩 툴, 양자화 파라미터, 오프셋, 픽처 특정 코딩 툴 파라미터(예를 들어, 필터 제어) 등을 나타낼 수 있다. 일 실시예에서, PPS(512)는 PPS 플래그(567)를 포함한다. 일 실시예에서, PPS 플래그(567)는 제1 값(예를 들어, 1) 또는 제2 값(예를 들어, 0)을 갖는다. 제1 값을 갖는 PPS 플래그(567)는 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링됨을 지정하고, 제2 값을 갖는 PPS 플래그(567)는 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링되지 않음을 지정한다.

타일 그룹 헤더(514)는 픽처의 각 타일 그룹에 특정한 파라미터를 포함한다. 따라서, 비디오 시퀀스의 타일 그룹당 하나의 타일 그룹 헤더(514)가 있을 수 있다. 타일 그룹 헤더(514)는 타일 그룹 정보, 픽처 오더 카운트(POC), 참조 픽처 목록, 예측 가중치, 타일 진입점, 디블로킹 파라미터 등을 포함할 수 있다. 일부 시스템은, 타일 그룹 헤더(514)를 슬라이스 헤더로 참조하고 이러한 정보를 사용하여 타일 그룹 대신 슬라이스를 지원한다는 점에 유의해야 한다.

이미지 데이터(520)는 인터 예측 및/또는 인트라 예측에 따라 인코딩된 비디오 데이터와 대응하는 변환 및 양자화된 잔여 데이터를 포함한다. 이러한 이미지 데이터(520)는 인코딩 이전에 이미지를 분할하는데 사용된 분할에 따라 분류된다. 예를 들어, 이미지 데이터(520)의 이미지는 하나 이상의 픽처(521)을 포함한다. 픽처(527)의 시퀀스 또는 시리즈는 CVS(527)로 지칭될 수 있다. 본 명세서에서 사용되는 바와 같이, CVS(527)는 디코딩 순서에서 모든 후속 AU를 포함하되 CVSS AU인 임의의 후속 AU는 포함하지 않는 CVSS AU가 아닌 0개 이상의 AU가 뒤따르는 코딩된 비디오 시퀀스 시작(CVSS) AU를 포함하는 액세스 유닛(AU)의 시퀀스이다. CVSS AU는 비디오 파라미터 세트(VPS)에 의해 지정된 각 레이어에 대한 예측 유닛(PU)가 있고 각 PU의 코딩된 픽처가 CLVSS 픽처인 AU이다. 일 실시예에서, 각각의 픽처(521)는 AU 내에 있다. PU는 지정된 분류 규칙에 따라 서로 연관되고 디코딩 순서가 연속적이며 정확히 하나의 코딩된 픽처를 포함하는 NAL 유닛 세트이다.

CVS는 비디오 비트스트림의 모든 코딩된 계층 비디오 시퀀스(CLVS)에 대한 코딩된 비디오 시퀀스이다. 특히, 비디오 비트스트림이 단일 레이어를 포함하는 경우 CVS와 CLVS는 동일하다. CVS와 CLVS는 비디오 비트스트림이 복수개의 레이어를 포함할 때만 서로 상이하다.

각각의 픽처(521)는 타일(523)로 분할될 수 있다. 타일(523)은 수평 및 수직 경계에 의해 생성된 픽처의 분할된 부분이다. 타일(523)은 직사각형 및/또는 정사각형일 수 있다. 구체적으로, 타일(523)은 직각으로 연결된 4개의 변을 포함한다. 네 변에는 두 쌍의 평행한 변이 포함된다. 또한, 평행한 변 쌍의 변의 길이는 동일한다. 이와 같이, 타일(523)은 임의의 직사각형 형상일 수 있으며, 여기서 정사각형은 네 변의 길이가 모두 동일한 직사각형의 특수한 경우이다. 이미지/픽처는 하나 이상의 타일(523)을 포함할 수 있다.

픽처(예: 픽처 521)은 타일(523)의 행과 열에 페티션(petition)될 수 있다. 타일 행은 픽처의 왼쪽 경계에서 오른쪽 경계까지(또는 그 반대로) 연속적인 선을 생성하기 위해 수평으로 인접한 방식으로 위치된 타일(523)의 집합이다. 타일 열은 픽처의 상단 경계에서 하단 경계까지(또는 그 반대로) 연속적인 라인을 생성하기 위해 수직으로 인접한 방식으로 배치된 타일(523)의 세트이다.

타일(523)은 예시에 따라 다른 타일(523)에 기초한 예측을 허용하거나 허용하지 않을 수 있다. 각각의 타일(523)은 픽처에서 고유한 타일 인덱스를 가질 수 있다. 타일 인덱스는 하나의 타일(523)을 다른 타일과 구별하는 데 사용할 수 있는 절차적으로 선택된 숫자 식별자이다. 예를 들어, 타일 인덱스는 래스터 스캔 순서에서 수치적으로 증가할 수 있다. 래스터 스캔 순서는 왼쪽에서 오른쪽으로, 위에서 아래로이다.

일부 예에서, 타일 (523)은 또한 타일 식별자(ID)가 할당될 수 있다는 점에 유의해야 한다. 타일 ID는 하나의 타일(523)을 다른 타일과 구별하기 위해 사용될 수 있는 할당된 식별자이다. 연산은 일부 예에서 타일 인덱스 대신 타일 ID를 사용할 수 있다. 또한, 타일 ID는 일부 예에서 타일 인덱스와 동일한 값을 갖도록 할당될 수 있다. 타일 인덱스 및/또는 ID는 타일(523)을 포함하는 타일 그룹을 나타내기 위해 시그널링될 수 있다. 예를 들어, 타일 인덱스 및/또는 ID는 타일(523)과 연관된 픽처 데이터를 디스플레이를 위한 적절한 위치에 매핑하기 위해 사용될 수 있다. 타일 그룹은 예를 들어 관심 영역의 디스플레이를 지원하고/하거나 병렬 처리를 지원하기 위해 별도로 추출 및 코딩될 수 있는 관련 타일 세트(523)이다. 타일 그룹의 타일(523)은 타일 그룹 외부의 타일(523)을 참조하지 않고 코딩될 수 있다. 각 타일(523)은 대응 타일 그룹에 할당될 수 있으며, 따라서 픽처는 복수의 타일 그룹을 포함할 수 있다.

타일(523)은 CTU(Coding Tree Unit)로 더 분할된다. CTU는 코딩 트리를 기반으로 코딩 블록으로 더 나뉜다. 그 다음, 코딩 블록은 예측 메커니즘에 따라 인코딩/디코딩될 수 있다.

도 6a-6e는 가상 현실(VR) 애플리케이션에서 사용하기 위해 상이한 비트스트림으로부터의 다중 해상도의 서브-픽처를 단일 픽처로 결합하기 위한 추출기 트랙(610)(일명, 병합된 비트스트림)을 생성하기 위한 예시적인 메커니즘(600)을 도시한다. 이 방법(100)의 예시적인 사용 사례를 지원하기 위해 메커니즘(600)이 사용될 수 있다. 예를 들어, 메커니즘(600)은 코덱 시스템(200) 및/또는 인코더(300)로부터 코덱 시스템(200) 및/또는 디코더(400)를 향한 전송을 위한 비트스트림(500)을 생성하기 위해 사용될 수 있다. 특정 예로서, 메커니즘(600)은 VR, OMAF(Ominidirectional Media Format), 360도 비디오 등과 함께 사용하기 위해 사용될 수 있다.

VR에서는, 비디오의 일부만 사용자에게 표시된다. 예를 들어, VR 비디오는 사용자를 둘러싼 구체를 포함하도록 촬영될 수 있다. 사용자는 VR 비디오를 보기 위해 HMD(Head Mounted Display)를 사용할 수 있다. 사용자는 HMD를 관심 영역으로 가리킬 수 있다. 사용자에게 관심 영역이 표시되고 다른 비디오 데이터는 삭제된다. 이러한 방식으로 사용자는 언제든지 VR 비디오의 사용자가 선택한 부분만 보게 된다. 이 접근 방식은 사용자의 인식을 모방하므로 사용자가 실제 환경을 모방하는 방식으로 가상 환경을 경험하게 한다. 이 접근 방식의 문제 중 하나는 전체 VR 비디오가 사용자에게 전송될 수 있지만 비디오의 현재 뷰포트(viewport)만 실제로 사용되고 나머지는 폐기된다는 것이다. 스트리밍 애플리케이션의 시그널링 효율성을 높이기 위해, 사용자의 현재 뷰포트는 더 높은 제1 해상도로 전송되고 다른 뷰포트는 더 낮은 제2 해상도로 전송될 수 있다. 이러한 방식으로, 폐기될 가능성이 있는 뷰포트는 사용자가 볼 가능성이 있는 뷰포트보다 적은 대역폭을 차지한다. 사용자가 새로운 뷰포트를 선택하는 경우, 디코더가 다른 현재 뷰포트가 더 높은 제1 해상도로 전송되도록 요청할 때까지 더 낮은 해상도 콘텐츠가 표시될 수 있다. 메커니즘(600)은 도 6e에 도시된 바와 같이 추출기 트랙(610)을 생성하여 이 기능성을 지원하기 위해 사용될 수 있다. 추출기 트랙(610)은 전술한 바와 같이 사용하기 위해 다중 해상도에서 픽처(예를 들어, 픽처(521))를 캡슐화하는 이미지 데이터의 트랙이다.

메커니즘(600)은, 도 6a 및 도 6b에 도시된 바와 같이, 제1 해상도(611) 및 제2 해상도(612)로 동일한 비디오 콘텐츠를 인코딩한다. 구체적인 예로서, 제1 해상도(611)는 5120×2560 루마 샘플일 수 있고, 제2 해상도(612)는 2560×1280 루마 샘플일 수 있다. 비디오의 픽처는 각각 제1 해상도(611)의 타일(601)과 제2 해상도(612)의 타일(603)로 분할될 수 있다. 본 명세서에서 사용되는 바와 같이, 타일은 서브픽처로 지칭될 수 있다. 표시된 예에서, 타일(601 및 603)은 각각 4x2 그리드로 분할된다. 또한, MCTS는 타일(601, 603) 위치별로 코딩될 수 있다. 제1 해상도(611) 및 제2 해상도(612)의 픽처는 각각 대응하는 해상도에서 시간 경과에 따른 비디오를 설명하는 MCTS 시퀀스를 생성한다. 각각의 코딩된 MCTS 시퀀스는 서브-픽처 트랙 또는 타일 트랙으로 저장된다. 그러면 메커니즘(600)은 뷰포트 적응형 MCTS 선택을 지원하는 세그먼트를 생성하기 위해 픽처를 사용할 수 있다. 예를 들어, 고해상도 및 저해상도 MCTS의 다른 선택을 유발하는 시청 방향의 각 범위가 고려된다. 예시된 예에서, 제1 해상도(611)의 MCTS를 포함하는 4개의 타일(601) 및 제2 해상도(612)의 MCTS를 포함하는 4개의 타일(603)이 획득된다.

그 다음, 메커니즘(600)은 각각의 가능한 뷰포트 적응형 MCTS 선택에 대한 추출기 트랙(610)을 생성할 수 있다. 도 6c 및 도 6d는 예시적인 뷰포트 적응형 MCTS 선택을 도시한다. 구체적으로, 선택된 타일(605, 607)의 세트는 각각 제1 해상도(611) 및 제2 해상도(612)에서 선택된다. 선택된 타일(605, 607)은 회색 음영으로 표시된다. 도시된 예에서, 선택된 타일(605)은 사용자에게 표시될 제1 해상도(611)의 타일(601)이고 선택된 타일(607)은 사용자가 새 뷰포트를 선택하는 이벤트에서 폐기될 가능성이 있지만 지원을 위해 유지되는 제2 해상도(612)의 타일(603)이다. 선택된 타일(605, 607)은 제1 해상도(611) 및 제2 해상도(612) 모두에서 이미지 데이터를 포함하는 단일 픽처로 결합된다. 이러한 픽처는 추출기 트랙(610)을 생성하기 위해 결합된다. 도 6e는 예시를 위해 대응하는 추출기 트랙(610)으로부터의 단일 픽처를 예시한다. 도시된 바와 같이, 추출기 트랙(610)의 픽처는 제1 해상도(611) 및 제2 해상도(612)로부터 선택된 타일(605 및 607)을 포함한다. 위에서 언급한 바와 같이, 도 6c 내지 도 6e는 단일 뷰포트 적응형 MCTS 선택을 예시한다. 임의의 뷰포트의 사용자 선택을 허용하기 위해 선택된 타일(605 및 607)의 가능한 각 조합에 대해 추출기 트랙(610)이 생성되어야 한다.

도시된 예에서, 제2 해상도(612) 비트스트림으로부터 콘텐츠를 캡슐화하는 타일(603)의 각각의 선택은 2개의 슬라이스를 포함한다. RegionWisePackingBox는 압축된 픽처와 등방형 프로젝션(equirectangular projection, ERP) 포맷의 프로젝트된 픽처 사이의 매핑을 생성하기 위해 추출기 트랙(610)에 포함될 수 있다. 제시된 예에서, 추출기 트랙(610)으로부터 환원된 비트스트림은 3200×2560의 해상도를 갖는다. 결과적으로, 4천 샘플(4K) 가능한 디코더는 뷰포트가 5천 샘플 5K(5120×2560) 해상도로 코딩된 비트스트림으로부터 추출되는 콘텐츠를 디코딩할 수 있다.

도 6c에 도시된 바와 같이, 제1 해상도(611)에서 선택된 타일(605)(회색으로 표시됨)은 다음 타일 식별자: 10, 11, 14 및 15를 갖는다. 본 명세서에서 사용되는 바와 같이, 타일 식별자는 또한 서브픽처 식별자로 지칭될 수 있다. 제2 해상도(612)에서 선택된 타일(607)은 1, 5, 4 및 8의 식별자를 갖는다. 따라서, 추출기 트랙(610)은 10, 11, 14, 15, 1, 5, 4 및 8과 같은 타일 식별자를 포함한다. 타일 식별자는 본 명세서에서 서브픽처 ID 매핑으로 지칭될 수 있는 서브픽처 인덱스를 사용하여 특정 서브픽처를 식별하는 데 사용된다.

도 7a 내지 도 7e는 사용자가 도 6a 내지 도 6e에 대해 선택된 뷰포트에 대해 뷰포트를 변경했을 때 VR 애플리케이션에서 사용하기 위해 상이한 비트스트림으로부터의 다중 해상도의 서브-픽처를 단일 픽처로 결합하기 위한 추출기 트랙(710)을 생성하기 위한 예시적인 메커니즘(700)을 도시한다. 즉, 도 7a 내지 도 7e는 추출기 트랙(610) 및 추출기 트랙(710)을 포함하는, CVS 내에서 시청 방향의 변경이 있을 때 새로운 추출기 트랙(710)이 생성되는 방법을 예시한다.

도 7a 내지 도 7b에 도시된 바와 같이, 비디오의 픽처는 제1 해상도(711)의 타일(701) 및 제2 해상도(712)의 타일(703)로 각각 분할되었다. 그러나, 메커니즘(600)에 비하여 메커니즘(700)의 시청 방향이 변경되었다. 따라서, 도 7c 내지 도 7d에 도시된 바와 같이, 제1 해상도(711)에서 선택된 타일(705)(회색으로 표시됨)은 이제 다음과 같은 타일 식별자: 9, 10, 13 및 14를 가지며, 제2 해상도(712)에서 선택된 타일(707)은 이제 다음과 같은 식별자: 3, 4, 7 및 8을 갖는다. 따라서, 추출기 트랙(710)은 시청 방향의 변경으로 인해 3, 4, 7, 8, 9, 10, 13 및 14의 타일 식별자를 포함한다.

전송되는 CVS에 일정한 서브픽처의 세트가 포함되어 있으면, 관련 서브픽처 ID가 SPS에 남는다(다른 모든 것은 제거됨). 병합이 발생할 때(예를 들어, 추출기 트랙(610 또는 710) 중 하나를 형성하기 위해), 서브-픽처 ID는 PPS로 이동된다. 어느 경우든 플래그는 비트스트림에 설정되어 서브 픽처 ID가 현재 위치하는 위치를 나타낸다.

일반적으로 시청 방향이 변경되면 새 IRAP 픽처를 보내야 한다. IRAP 픽처는 모든 VCL NAL 유닛이 NAL 유닛 유형의 동일한 값을 갖는 코딩된 픽처이다. IRAP 픽처는 다음과 같은 두 가지 중요한 기능/이점을 제공한다. 첫째, IRAP 픽처의 존재는 디코딩 프로세스가 대응 픽처에서 시작할 수 있음을 나타낸다. 이 기능은 IRAP 픽처가 대응 위치에 존재하는 한, 디코딩 프로세스가 비트스트림의 대응 위치에서 시작하며, 반드시 비트스트림의 시작부분에서 시작할 필요는 없는 랜덤 액세스 기능을 허용한다. 두 번째로, IRAP 픽처의 존재는 RASL(Random Access Skipped Leading) 픽처를 제외한 IRAP 픽처에서 시작하는 코딩된 픽처가 이전 픽처에 대한 참조 없이 코딩되도록 디코딩 프로세스를 새로 고침한다. 결과적으로 비트스트림에 존재하는 IRAP 픽처를 갖는 것은, IRAP 픽처 및 디코딩 순서에서 IRAP 픽처를 뒤따르는 픽처로 전파하기 위해 IRAP 픽처 이전의 코딩된 픽처의 디코딩 동안 발생할 수 있는 임의의 오류를 중지시킬 것이다.

IRAP 픽처는 중요한 기능을 제공하지만 압축 효율성이 저하된다. IRAP 픽처가 있으면 비트레이트가 급증한다. 압축 효율에 대한 이러한 불이익은 두 가지 이유 때문이다. 첫 번째로, IRAP 픽처는 인트라 예측된 픽처이므로, 픽처 자체가 인터 예측된 픽처인 다른 픽처(예를 들어, 선행 픽처, 후행 픽처)에 비해 표현하기 위해 상대적으로 더 많은 비트를 필요로 할 것이다. 두 번째로, IRAP 픽처의 존재가 시간적 예측을 깨기 때문에(이는 디코더가 디코딩 프로세스를 새로 고침 할 것이기 때문이며, 이에 대한 디코딩 프로세스의 동작 중 하나는 디코딩된 픽처 버퍼(DPB)에서 이전 참조 픽처를 제거하는 것임), IRAP 픽처는 디코딩 순서에서 IRAP 픽처를 뒤따르는 픽처의 코딩이, 그들의 인터 예측 코딩을 위한 참조 픽처가 더 적기 때문에, 덜 효율적이 되도록 한다(즉, 표현하기 위해 더 많은 비트가 필요함).

일 실시예에서, IRAP 픽처는 클린 랜덤 액세스(clean random access, CRA) 픽처 또는 랜덤 액세스 디코딩가능(random access decodable, RADL) 픽처를 갖는 순시 디코더 리프레시(instantaneous decoder refresh, IDR) 픽처로 지칭된다. HEVC에서 IDR 픽처, CRA 픽처 및 BLA(Broken Link Access) 픽처는 모두 IRAP 픽처로 간주된다. VVC의 경우, 2018년 10월 제12차 JVET 회의에서 IDR 및 CRA 픽처를 모두 IRAP 픽처로으로 보유하기로 합의했다. 일 실시예에서, BLA(Broken Link Access) 및 GDR(Gradual Decoder Refresh) 픽처는 또한 IRAP 픽처로 간주될 수 있다. 코딩된 비디오 시퀀스에 대한 디코딩 프로세스는 항상 IRAP 픽처에서 시작한다.

위에서 설명한 바와 같이 새로운 IRAP 픽처를 전송하는 것과 대조적으로, 더 나은 접근 방식은 추출기 트랙(610)과 추출기 트랙(710) 사이에서 공유되는 임의의 타일(일명, 서브픽처)을 계속 전송하는 것이다. 즉, 이들 타일이 추출기 트랙(610)과 추출기 트랙(710) 모두에 있기 때문에, 타일 ID가 4, 8, 10 및 14인 타일을 계속해서 보내는 것이다. 그렇게 함으로써, 추출기 트랙(610)에도 없었던 추출기 트랙(710)의 이들 타일에 대해서만 새로운 IRAP 픽처가 전송될 필요가 있다. 즉, 새로운 IRAP 픽처는 시청 방향이 변경되었을 때 타일 ID가 1, 5, 9 및 13인 타일에 대해서만 전송되면 된다. 그러나, CVS 내에서 서브 픽처 ID의 변경은 시그널링에 문제를 일으킬 수 있다.

적어도 시그널링 문제를 해결하기 위해, 각 타일(일명, 서브픽처)에 대한 타일 ID(일명, 서브픽처 ID)가 CVS 내에서 변경될 수 있는지 여부를 나타내기 위해 표시(예를 들어, 플래그)가 비트스트림에서 시그널링된다. 이러한 플래그는 SPS 또는 PPS에서 시그널링될 수 있다. 타일 ID가 CVS 내에서 변경될 수 있는지 여부를 신호하는 것 외에도 플래그는 다른 기능을 제공할 수도 있다.

한 접근법에서, 서브픽처 ID는 SPS 신택스에서 시그널링되거나(각 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경되지 않는다고 표시되는 경우) 또는 PPS 신택스에서 시그널링된다(각 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경될 수 있는 것으로 표시되는 경우). 실시예에서, 서브픽처 ID는 SPS 신택스 및 PPS 신택스 모두에서 결코 시그널링되지 않는다.

다른 접근법에서, 서브픽처 ID는 항상 SPS 신택스로 시그널링되고, 플래그가 각 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경될 수 있음을 나타낼 때, SPS에서 시그널링된 서브픽처 ID 값은 PPS 신택스에서 시그널링된 서브픽처 ID에 의해 무시될 수 있다.

또 다른 접근법에서, 서브픽처 ID는 SPS 신택스에서 시그널링되지 않고 PPS 신택스에서만 시그널링되고, 각 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경될 수 있는지 여부의 표시도 PPS 신택스에서만 시그널링된다.

이 접근 방식에서, 최신 VVC 초안 사양에서와 같이 각 서브픽처의 위치 및 크기, 서브픽처 ID의 비트의 길이, 플래그 subpic_treated_as_pic_flag[ i ] 및 loop_filter_across_subpic_enabled_flag[ i ]와 같은 다른 서브픽처 정보도 SPS 대신 PPS에서 시그널링될 수 있지만, CVS 내의 코딩된 픽처에 의해 참조되는 모든 PPS에 대해 모두 동일하다.

PPS에서 서브픽처의 위치와 크기를 시그널링할 때, 최신 VVC 초안 사양과 유사하게 시그널링하는 대신에, 각 서브픽처에 포함된 슬라이스를 기반으로 시그널링할 수 있다. 예를 들어, 각 서브픽처에 대해, 서브픽처의 왼쪽 상단에 위치한 슬라이스의 슬라이스 인덱스 또는 ID와 서브픽처의 우측 하단에 위치한 슬라이스 인덱스 또는 슬라이스의 ID 또는 슬라이스가 서브픽처 위치 및 크기의 유도를 위해 시그널링될 수 있고, 여기서 시그널링은 델타 기반일 수 있고, 일부 특정 경우에는, 슬라이스 인덱스 또는 ID 또는 그 델타의 시그널링이 회피될 수 있고 그 값이 예를 들어 왼쪽 상단 및 오른쪽 하단 벽돌 인덱스가 최신 VVC 초안 사양에서 직사각형 슬라이스에 대해 시그널링되는 방식과 유사하게 추론된다.

이 실시예에서, 서브픽처 ID는 다음과 같이 시그널링된다.

SPS 신택스에서, CVS 내의 각 픽처의 서브픽처의 개수가 1보다 크다고 지시하는 경우, 다음이 적용된다.

플래그(예를 들어, 지정된 subpicture_ids_signalled_in_sps_flag 또는 sps_subpic_id_mapping_present_flag)는 SPS에서 시그널링된다. 일 실시예에서, 플래그는 다음 의미를 갖는다: 1과 동일한 subpicture_ids_signalled_in_sps_flag는 서브픽처 ID가 각각의 서브픽처에 대해 하나씩 SPS에서 시그널링되고 각각의 특정 서브픽처에 대한 서브픽처 ID 값이 CVS 내에서 변경되지 않는다는 것을 지정한다. 0과 동일한 subpicture_ids_signalled_in_sps_flag는 서브픽처 ID가 SPS에서 시그널링되지 않고 대신 PPS에서 시그널링되고, 각각의 특정 서브픽처에 대한 서브픽처 ID 값이 CVS 내에서 변경될 수 있음을 지정한다. subpicture_ids_signalled_in_sps_flag가 1일 때, SPS의 각 서브픽처에 대해 서브픽처 ID가 시그널링된다.

PPS 신택스에서, 플래그(예를 들어, 지정된 subpicture_ids_signalled_in_pps_flag 또는 pps_subpic_id_mapping_present_flag)는 PPS에서 시그널링된다. 플래그는 다음 의미를 갖는다: 1과 동일한 subpicture_ids_signalled_in_pps_flag는 서브픽처 ID가 PPS에서 시그널링되고, 각 서브픽처에 대해 하나씩 지정되고, 각각의 특정 서브픽처에 대한 서브픽처 ID 값이 CVS 내에서 변경될 수 있음을 지정한다. 0과 동일한 subpicture_ids_signalled_in_pps_flag는 서브픽처 ID가 PPS에서 시그널링되지 않고 대신 SPS에서 시그널링되고 각각의 특정 서브픽처에 대한 서브픽처 ID 값이 CVS 내에서 변경되지 않음을 지정한다.

일 실시예에서, subpicture_ids_signalled_in_pps_flag의 값은 1 - subpicture_ids_signalled_in_sps_flag와 동일해야 한다. subpicture_ids_signalled_in_pps_flag가 1일 때, PPS에서 각 서브픽처에 대해 서브픽처 ID가 시그널링된다.

슬라이스 헤더 신택스에서, 참조된 SPS에 의해 지정된 서브픽처의 수와 상관없이 서브픽처 ID가 시그널링된다.

대안적으로, 각 픽처의 서브픽처의 수가 1보다 클 때, SPS 신택스는 항상, 각 서브픽처에 대해 하나씩 서브픽처 ID를 포함하고, SPS 신택스는 서브픽처 ID가 PPS 신택스에서 시그널링된 서브픽처 ID에 의해 무시될 수 있는지 여부 및 각 특정 서브픽처에 대한 서브픽처 ID 값이 CVS 내에서 변경될 수 있는지 여부를 지정하는 플래그도 포함한다. 서브픽처 ID의 우선함은 모든 서브픽처 ID에 대해 항상 수행되거나 모든 서브픽처 ID의 선택된 서브세트에 대해서만 수행될 수 있다.

도 8은 비디오 디코더(예를 들어, 비디오 디코더(400))에 의해 구현된 디코딩 방법(800)의 실시예이다. 이 방법(800)은 디코딩된 비트스트림이 비디오 인코더(예를 들어, 비디오 인코더(300))로부터 직접적으로 또는 간접적으로 수신된 후에 수행될 수 있다. 이 방법(800)은 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 CVS 내에서 변경되는 경우에도 서브픽처 ID의 효율적인 시그널링을 보장함으로써 디코딩 프로세스를 개선한다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

블록 802에서, 비디오 디코더는 SPS(예를 들어, SPS(510)), PPS(예를 들어, PPS(512)), 및 서브픽처 식별자(ID) 매핑(575)과 연관된 복수의 서브픽처(예를 들어, 타일(605 및 607))를 포함하는 비디오 비트스트림(예를 들어, 비트스트림(500))을 수신한다. 위에서 언급한 바와 같이, 서브픽처 ID 매핑(575)은 서브픽처 인덱스에 의한 특정 서브픽처에 대한 서브픽처 ID의 매핑이다(예를 들어, 서브픽처 ID 8은 복수의 서브픽처로부터 특정 서브픽처를 식별하는 서브픽처 인덱스 8에 대응함). 일 실시예에서, SPS(510)는 SPS 플래그(565)를 포함한다. 일 실시예에서, PPS(512)는 PPS 플래그(567)를 포함한다.

블록 804에서, 비디오 디코더는 SPS 플래그(565)가 제1 값을 갖는지 또는 제2 값을 갖는지를 결정한다. 제1 값을 갖는 SPS 플래그(565)는 서브픽처 ID 매핑(575)이 SPS(510)에 포함됨을 지정하고, 제2 값을 갖는 SPS 플래그(565)는 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링됨을 지정한다.

SPS 플래그(565)가 제2 값을 가질 때, 블록(806)에서, 비디오 디코더는 PPS 플래그(567)가 제1 값을 갖는지 또는 제2 값을 갖는지를 결정한다. 제1 값을 갖는 PPS 플래그(567)는 서브픽처 ID 매핑(575)이 PPS(512)에 포함됨을 지정하고, 제2 값을 갖는 PPS 플래그(567)는 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링되지 않음을 지정한다.

일 실시예에서, SPS 플래그(656)는 PPS 플래그(567)가 제2 값을 가질 때 제1 값을 갖는다. 일 실시예에서, SPS 플래그(565)는 PPS 플래그(567)가 제1 값을 가질 때 제2 값을 갖는다. 일 실시예에서, 제1 값은 1이고 제2 값은 0이다.

일 실시예에서, SPS(510)는 제2 SPS 플래그(569)를 포함한다. 제2 SPS 플래그(569)는 서브픽처 매핑(575)이 SPS(510) 또는 PPS(512)에서 명시적으로 시그널링되는지 여부를 지정한다. 일 실시예에서, 비트스트림(500)은 CVS 변경 플래그(571)를 더 포함한다. CVS 변경 플래그(571)는 서브픽처 ID 매핑(575)이 비트스트림(500)의 CVS(590) 내에서 변경될 수 있는지 여부를 나타낸다. 일 실시예에서, CVS 변경 플래그(571)는 SPS(510), PPS(512), 또는 비트스트림(500)의 다른 파라미터 세트 또는 헤더에 포함된다.

블록(808)에서, 비디오 디코더는 SPS 플래그(565)가 제1 값을 가질 때 SPS(510)로부터 및 SPS가 제2 값을 가질 때 및/또는 PPS 플래그(567)가 제1 값을 가질 때 PPS(512)로부터 서브픽처 ID 매핑(575)을 획득한다. 일 실시예에서, 비트스트림은 병합된 비트스트림을 포함한다. 일 실시예에서, 서브픽처 ID 매핑(575)은 비트스트림(500)의 CVS(590) 내에서 변경되었다.

블록(810)에서, 비디오 디코더는 서브픽처 ID 매핑(575)을 사용하여 복수의 서브픽처를 디코딩한다. 일단 디코딩되면, 복수의 서브픽처는 전자 장치(예를 들어, 스마트 폰, 태블릿, 랩탑, 개인용 컴퓨터 등)의 디스플레이 또는 스크린 상에서 사용자에게 디스플레이하기 위한 이미지 또는 비디오 시퀀스를 생성하거나 생성하는 데 사용될 수 있다.

도 9는 비디오 인코더(예를 들어, 비디오 인코더(300))에 의해 구현된 비디오 비트스트림을 인코딩하는 방법(900)의 실시예이다. 이 방법(900)은 (예를 들어, 비디오로부터의) 픽처가 비디오 비트스트림으로 인코딩된 다음 비디오 디코더(예를 들어, 비디오 디코더(400))를 향해 전송되어야 할 때 수행될 수도 있다. 이 방법(900)은 서브-비트스트림 추출 및 서브-비트스트림 병합 둘 다를 포함하는 응용 시나리오에서 서브픽처 ID가 CVS 내에서 변경되는 경우에도 서브픽처 ID의 효율적인 시그널링을 보장함으로써 인코딩 프로세스를 개선한다. 이는 중복성을 줄이고 코딩 효율성을 높인다. 따라서 비디오 코딩의 코더/디코더(일명 "코덱")는 현재 코덱에 비해 향상된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청될 때 사용자에게 더 나은 사용자 경험을 제공한다.

블록 902에서, 비디오 인코더는 SPS(예를 들어, SPS 510), PPS(예를 들어, PPS 512), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처(예를 들어, 타일 605 및 607)를 포함하는 비트스트림을 인코딩한다. 위에서 언급된 바와 같이, 서브픽처 ID 매핑(575)은 서브픽처 인덱스에 의한 특정 서브픽처에 대한 서브픽처 ID의 매핑이다(예를 들어, 서브픽처 ID 8은 복수의 서브픽처로부터 특정 서브픽처를 식별하는 서브픽처 인덱스 8에 대응함). 일 실시예에서, SPS(510)는 SPS 플래그(565)를 포함하고 PPS(512)는 PPS 플래그(567)를 포함한다.

블록 904에서, 비디오 인코더는 서브픽처 ID 매핑(575)이 SPS(510)에 포함될 때 SPS 플래그(565)를 제1 값으로 설정하고 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링될 때 제2 값으로 설정한다.

블록 906에서, 비디오 인코더는 서브픽처 ID 매핑(575)이 PPS(512)에 포함될 때 PPS 플래그(567)를 제1 값으로 설정하고 서브픽처 ID 매핑(575)이 PPS(512)에서 시그널링되지 않을 때 제2 값으로 설정한다.

일 실시예에서, SPS 플래그(565)는 PPS 플래그(567)가 제2 값을 가질 때 제1 값을 갖는다. 일 실시예에서, SPS 플래그(565)는 PPS 플래그(567)가 제1 값을 가질 때 제2 값을 갖는다. 일 실시예에서, 제1 값은 1이고 제2 값은 0이다.

일 실시예에서, SPS(510)는 제2 SPS 플래그(569)를 포함한다. 제2 SPS 플래그(569)는 서브픽처 ID 매핑(575)이 SPS(510) 또는 PPS(512)에서 명시적으로 시그널링되는지 여부를 지정한다. 일 실시예에서, 비트스트림(500)은 CVS 변경 플래그(571)를 더 포함한다. CVS 변경 플래그(571)는 서브픽처 ID 매핑(575)이 비트스트림(500)의 CVS(590) 내에서 변경될 수 있는지 여부를 나타낸다. 일 실시예에서, CVS 변경 플래그(571)는 SPS(510), PPS(512), 또는 비트스트림(500)의 다른 파라미터 세트 또는 헤더에 포함된다.

블록(908)에서, 비디오 인코더는 디코더를 향한 통신을 위해 비트스트림을 저장한다. 비트스트림은 비디오 비트스트림이 비디오 디코더를 향해 전송될 때까지 메모리에 저장될 수 있다. 비디오 디코더에 의해 수신되면, 인코딩된 비디오 비트스트림은 디코딩되어(예를 들어, 위에서 설명된 바와 같이) 전자 장치(예를 들어, 스마트 폰 , 태블릿, 노트북, 개인용 컴퓨터 등)의 스크린 또는 디스플레이 상에서 사용자에게 디스플레이하기 위한 이미지 또는 비디오 시퀀스를 생성 또는 제작한다.

일 실시예에서, 서브픽처 ID는 다음과 같이 시그널링된다.

SPS 신택스는 서브픽처 ID의 시그널링을 포함하지 않는다.

PPS 신택스에서, 서브픽처의 개수를 지시하는 값이 시그널링되는데, 이는 CVS 내의 코딩된 픽처에 의해 참조되는 모든 PPS에 대해 동일해야 하며, 지시된 서브픽처의 개수가 1보다 큰 경우 다음이 적용된다:

예를 들어, subpicture_id_unchange_in_cvs_flag로 명명된 플래그는 다음과 같은 의미로 PPS에서 시그널링된다: 1과 동일한 subpicture_id_unchange_in_cvs_flag는 PPS에서 시그널링된 각각의 특정 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경되지 않음을 지정한다.

0과 동일한 subpicture_id_unchange_in_cvs_flag는 PPS에서 시그널링된 각각의 특정 서브픽처에 대한 서브픽처 ID가 CVS 내에서 변경될 수 있음을 지정한다.

PPS에는 서브픽처의 개수를 나타내는 값이 시그널링된다. 표시된 서브픽처 수는 CVS 내의 코딩된 픽처가 참조하는 모든 PPS에 대해 동일해야 한다.

PPS의 각 서브픽처에 대해 서브픽처 ID가 시그널링된다. subpicture_id_unchange_in_cvs_flag가 1과 같을 때, 각각의 특정 서브픽처에 대한 서브픽처 ID는 CVS 내의 코딩된 픽처에 의해 참조되는 모든 PPS에 대해 동일해야 한다.

또한 여기에 설명된 예시적인 방법의 단계는 설명된 순서대로 수행될 필요가 없으며 이러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계가 포함될 수 있으며, 본 개시의 다양한 실시예에 따른 방법에서 특정 단계는 생략되거나 결합될 수 있다.

도 10은 본 개시물의 실시예에 따른 비디오 코딩 장치(1000)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))의 개략도이다. 비디오 코딩 장치(1000)는 여기에 설명된 바와 같이 개시된 실시예들을 구현하기에 적합하다. 비디오 코딩 장치(1000)는 데이터를 수신하기 위한 입구 포트(1010) 및 수신기 유닛(Rx)(1020); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 중앙 처리 유닛(CPU)(1030); 데이터를 전송하기 위한 송신기 유닛(Tx)(1040) 및 출구 포트(1050); 및 데이터를 저장하기 위한 메모리(1060)를 포함한다. 비디오 코딩 장치(1000)는 또한, 광학 또는 전기 신호의 유출 또는 유입을 위해 입구 포트(1010), 수신기 유닛(1020), 송신기 유닛(1040), 및 출구 포트(1050)와 연결되는, 광-전(optical-to-electrical, OE) 구성요소와 전-광(electrical-to-optical, EO) 구성요소도 포함할 수 있다.

프로세서(1030)는 하드웨어 및 소프트웨어로 구현된다. 프로세서(1030)는 하나 이상의 CPU 칩, 코어(예를 들어, 멀티 코어 프로세서), FPGA(field-programmable gate arrays), ASIC(application specific integrated circuit), 및 DSP(digital signal processor)로서 구현될 수 있다. 프로세서(1030)는 입구 포트(1010), 수신기 유닛(1020), 송신기 유닛(1040), 출구 포트(1050), 및 메모리(1060)와 통신한다. 프로세서(1030)는 코딩 모듈(1070)을 포함한다. 코딩 모듈(1070)은 위에서 설명된 개시된 실시예를 구현한다. 예를 들면, 코딩 모듈(1070)은 다양한 코덱 기능을 구현, 처리, 준비 또는 제공할 수 있다. 따라서, 코딩 모듈(1070)의 포함은 비디오 코딩 장치(1000)의 기능에 대한 실질적인 개선을 제공하고 비디오 코딩 장치(1000)를 상이한 상태로 변환시키는 효과가 있다. 대안적으로, 코딩 모듈(1070)은 메모리(1060)에 저장되고 프로세서(1030)에 의해 실행되는 명령어로서 구현된다.

비디오 코딩 장치(1000)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 장치(1080)를 포함할 수 있다. I/O 장치(1080)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 장치를 포함할 수 있다. I/O 장치(1080)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 장치, 및/또는 이러한 출력 장치와 상호작용하기 위한 대응하는 인터페이스를 포함할 수 있다.

메모리(1060)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고, 오버플로 데이터 저장 장치로 사용될 수 있어서, 이러한 프로그램이 실행을 위해 선택될 때 프로그램을 저장하고, 프로그램의 실행 중에 판독되는 명령 및 데이터를 저장한다. 메모리(1060)는 휘발성 및/또는 비휘발성일 수 있고 ROM(read-only memory), RAM(random access memory), TCAM(ternary content-addressable memory) 및/또는 SRAM(static random-access memory)일 수 있다.

도 11은 코딩 수단(1100)의 실시예의 개략도이다. 일 실시예에서, 코딩 수단(1100)은 비디오 코딩 장치(1102)(예를 들어, 비디오 인코더(300) 또는 비디오 디코더(400))에서 구현된다. 비디오 코딩 장치(1102)는 수신 수단(1101)을 포함한다. 수신 수단(1101)은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 장치(1102)는 수신 수단(1101)에 연결된 전송 수단(1107)을 포함한다. 전송 수단(1107)은 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이 수단(예를 들어, I/O 장치(1080) 중 하나)으로 전송하도록 구성된다.

비디오 코딩 장치(1102)는 저장 수단(1103)을 포함한다. 저장 수단(1103)은 수신 수단(1101) 또는 전송 수단(1107) 중 적어도 하나에 연결된다. 저장 수단(1103)은 명령어를 저장하도록 구성된다. 비디오 코딩 장치(1102)는 또한 처리 수단(1105)을 포함한다. 처리 수단(1105)은 저장 수단(1103)에 연결된다. 처리 수단(1105)은 본 명세서에 개시된 방법을 수행하기 위해 저장 수단(1103)에 저장된 명령을 실행하도록 구성된다.

본 명세서에서 몇몇 실시예가 제공되었지만, 개시된 시스템 및 방법은 본 명세서의 사상 또는 범위를 벗어나지 않고 많은 다른 특정 형태로 구현될 수 있음을 이해할 수 있다. 본 예는 예시적인 것으로 간주되어야 하며 제한적이지 않으며, 그 의도는 여기에 주어진 세부 사항으로 제한되지 않는다. 예를 들어, 다양한 구성요소 또는 구성요소가 다른 시스템에 결합 또는 통합되거나 특정 기능이 생략되거나 구현되지 않을 수 있다.

또한, 다양한 실시예에서 개별적이거나 분리된 것으로 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 구성요소, 기술 또는 방법과 결합되거나 통합될 수 있다. 변경, 대체 및 변경의 다른 예는 통상의 기술자에 의해 확인 가능하며, 여기에 개시된 정신 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims

디코더에 의해 구현되는 방법으로서,
디코더에 의해, 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 수신하는 단계 - 상기 SPS는 SPS 플래그를 포함함 - ;
상기 디코더에 의해, 상기 SPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하는 단계 - 여기서 상기 제1 값을 갖는 SPS 플래그는 상기 서브픽처 ID 매핑이 상기 SPS에서 시그널링되는 것을 지정하고, 상기 제2 값을 갖는 SPS 플래그는 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링되는 것을 지정함 - ;
상기 디코더에 의해, 상기 SPS 플래그가 제1 값을 가질 때 상기 SPS로부터, 그리고 상기 SPS 플래그가 제2 값을 가질 때 상기 PPS로부터, 상기 서브픽처 ID 매핑을 획득하는 단계; 및
상기 디코더에 의해, 상기 서브픽처 ID 매핑을 사용하여 복수의 서브픽처를 디코딩하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 PPS는 PPS 플래그를 포함하고, 상기 방법은,
상기 디코더에 의해, 상기 PPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하는 단계 - 여기서 상기 제1 값을 갖는 PPS 플래그는 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링됨을 지정하고, 상기 제2 값을 갖는 PPS 플래그는 상기 서브픽처 ID 매핑은 PPS에서 시그널링되지 않음을 지정함 - ; 및
상기 디코더에 의해, 상기 PPS 플래그가 제1 값을 가질 때 상기 PPS로부터 서브픽처 ID 매핑을 획득하는 단계
를 더 포함하는 방법.
제1항 내지 제2항 중 어느 한 항에 있어서,
상기 SPS 플래그는 상기 PPS 플래그가 상기 제2 값을 가질 때 상기 제1 값을 가지며, 상기 SPS 플래그는 상기 PPS 플래그가 상기 제1 값을 가질 때 상기 제2 값을 갖는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 값은 1이고 상기 제2 값은 0인, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 SPS는 제2 SPS 플래그를 포함하고, 상기 제2 SPS 플래그는 상기 서브픽처 ID 매핑이 상기 SPS 또는 상기 PPS에서 명시적으로 시그널링되는지 여부를 지정하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 비트스트림은 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, 상기 CVS 변경 플래그는 상기 서브픽처 ID 매핑이 상기 비트스트림의 코딩된 비디오 시퀀스(CVS) 내에서 변경되도록 허용되는지 여부를 나타내는, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 비트스트림은 병합된 비트스트림을 포함하고, 상기 서브픽처 ID 매핑은 상기 비트스트림의 CVS 내에서 변경되는, 방법.
인코더에 의해 구현되는 방법으로서,
상기 디코더에 의해, 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 인코딩하는 단계 - 상기 SPS는 SPS 플래그를 포함함 - ;
상기 디코더에 의해, 상기 서브픽처 ID 매핑이 상기 SPS에서 시그널링될 때 상기 SPS 플래그를 제1 값으로 설정하고, 상기 서브픽처 ID 매핑이 PPS에서 시그널링될 때 제2 값으로 설정하는 단계; 및
상기 디코더에 의해, 디코더를 향한 통신을 위한 상기 비트스트림을 저장하는 단계
를 포함하는 방법.
제8항에 있어서,
상기 디코더에 의해, 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링될 때 상기 PPS의 PPS 플래그를 상기 제1 값으로 설정하고, 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링되지 않을 때 상기 제2 값으로 설정하는 단계를 더 포함하는 방법.
제8항 내지 제9항 중 어느 한 항에 있어서,
상기 PPS 플래그가 제2 값을 가질 때 상기 SPS 플래그는 제1 값을 갖고, 상기 PPS 플래그가 제1 값을 가질 때 상기 SPS 플래그가 제2 값을 갖는, 방법.
제8항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 값은 1이고 상기 제2 값은 0인, 방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 SPS는 제2 SPS 플래그를 포함하고, 상기 제2 SPS 플래그는 상기 서브픽처 매핑이 상기 SPS 또는 상기 PPS에서 명시적으로 시그널링되는지 여부를 지정하는, 방법.
제8항 내지 제12항 중 어느 한 항에 있어서,
상기 비트스트림은 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, 상기 CVS 변경 플래그는 서브픽처 ID 매핑이 상기 비트스트림의 코딩된 비디오 시퀀스(CVS) 내에서 변경될 수 있는지 여부를 나타내는, 방법.
제8항 내지 제13항 중 어느 한 항에 있어서,
상기 비트스트림은 병합된 비트스트림을 포함하고, 상기 서브픽처 ID 매핑은 상기 비트스트림의 CVS 내에서 변경되는, 방법.
디코딩 장치로서,
시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비디오 비트스트림을 수신하도록 구성된 수신기 - 상기 SPS는 SPS 플래그를 포함함 - ;
상기 수신기에 연결되고 명령어를 저장하는 메모리; 및
상기 메모리에 결합된 프로세서 - 상기 프로세서는 상기 디코딩 장치가:
상기 SPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하고 - 여기서 상기 제1 값을 갖는 SPS 플래그는 상기 서브픽처 ID 매핑이 SPS에서 시그널링되는 것을 지정하고, 상기 제2 값을 갖는 SPS 플래그는 상기 서브픽처 ID 매핑이 PPS에서 시그널링되는 것을 지정함 - ;
상기 SPS 플래그가 제1 값을 가질 때 상기 SPS로부터, 그리고 상기 SPS 플래그가 제2 값을 가질 때 상기 PPS로부터, 상기 서브픽처 ID 매핑을 획득하고; 그리고
상기 서브픽처 ID 매핑을 사용하여 복수의 서브픽처를 디코딩하도록 하기 위해 상기 명령어를 실행하도록 구성되는, 디코딩 장치.
제15항에 있어서,
상기 PPS는 PPS 플래그를 포함하고, 상기 프로세서는 추가로:
상기 PPS 플래그가 제1 값 또는 제2 값을 갖는지 여부를 판정하고 - 여기서 상기 제1 값을 갖는 PPS 플래그는 상기 서브픽처 ID 매핑이 PPS에서 시그널링됨을 지정하고, 상기 제2 값을 갖는 PPS 플래그는 상기 서브픽처 ID 매핑이 PPS에서 시그널링되지 않음을 지정함 - ;
상기 PPS 플래그가 제1 값을 가질 때 상기 PPS로부터 서브픽처 ID 매핑을 획득하도록 구성되는, 디코딩 장치.
제15항 내지 제16항 중 어느 한 항에 있어서,
상기 SPS 플래그는 상기 PPS 플래그가 제2 값을 가질 때 제1 값을 갖고, 상기 SPS 플래그는 상기 PPS 플래그가 제1 값을 가질 때 제2 값을 갖고, 상기 제1 값은 1이고 상기 제2 값은 0인, 디코딩 장치.
제15항 내지 제17항 중 어느 한 항에 있어서,
상기 SPS는 제2 SPS 플래그를 포함하고, 상기 제2 SPS 플래그는 상기 서브픽처 매핑이 상기 SPS 또는 상기 PPS에서 명시적으로 시그널링되는지 여부를 지정하는, 디코딩 장치.
제15항 내지 제18항 중 어느 한 항에 있어서,
상기 비트스트림은 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, 상기 CVS 변경 플래그는 상기 서브픽처 ID 매핑이 상기 비트스트림의 코딩된 비디오 시퀀스(CVS) 내에서 변경될 수 있는지 여부를 표시하는, 디코딩 장치.
제15항 내지 제19항 중 어느 한 항에 있어서,
상기 비트스트림은 병합된 비트스트림을 포함하고, 상기 서브픽처 ID 매핑은 상기 비트스트림의 CVS 내에서 변경되는, 디코딩 장치.
인코딩 장치로서,
명령어를 포함하는 메모리;
상기 메모리에 결합된 프로세서 - 상기 프로세서는 상기 인코딩 장치가:
시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 및 서브픽처 식별자(ID) 매핑과 연관된 복수의 서브픽처를 포함하는 비트스트림을 인코딩하고 - 여기서 상기 SPS는 SPS 플래그를 포함함 - ,
상기 서브픽처 ID 매핑이 상기 SPS에서 시그널링될 때 상기 SPS 플래그를 제1 값으로 설정하고 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링될 때 제2 값으로 설정하며,
상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링될 때 상기 PPS의 PPS 플래그를 제1 값으로 설정하고 상기 서브픽처 ID 매핑이 상기 PPS에서 시그널링되지 않을 때 제2 값으로 설정하도록 하기 위해 상기 명령어를 구현하도록 구성됨 - ; 및
상기 프로세서에 연결되고, 비디오 디코더를 향해 상기 비트스트림을 전송하도록 구성된 송신기
를 포함하는 인코딩 장치.
제21항에 있어서,
상기 SPS 플래그는 상기 PPS 플래그가 상기 제2 값을 가질 때 상기 제1 값을 가지며, 상기 SPS 플래그는 상기 PPS 플래그가 상기 제1 값을 가질 때 상기 제2 값을 갖는, 인코딩 장치.
제21항 내지 제22항 중 어느 한 항에 있어서,
상기 제1 값은 1이고 상기 제2 값은 0인, 인코딩 장치.
제21항 내지 제23항 중 어느 한 항에 있어서,
상기 비트스트림은 코딩된 비디오 시퀀스(CVS) 변경 플래그를 더 포함하고, 상기 CVS 변경 플래그는 상기 서브픽처 ID 매핑이 상기 비트스트림의 코딩된 비디오 시퀀스(CVS) 내에서 변경될 수 있는지 여부를 나타내는, 인코딩 장치.
제21항 내지 제24항 중 어느 한 항에 있어서,
상기 PPS ID는 사용 중인 PPS에 대한 제2 PPS ID의 값을 지정하고, 상기 제2 PPS ID는 상기 신택스 요소에 의한 참조를 위해 상기 PPS를 식별하는, 인코딩 장치.
제21항 내지 제25항 중 어느 한 항에 있어서,
상기 비트스트림은 병합된 비트스트림을 포함하고, 상기 서브픽처 ID 매핑은 상기 비트스트림의 CVS 내에서 변경되는, 인코딩 장치.
코딩 장치로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기;
상기 수신기에 결합되고, 상기 비트스트림을 디코더로 전송하거나 디코딩된 이미지를 디스플레이로 전송하도록 구성된 송신기;
상기 수신기 또는 상기 송신기 중 적어도 하나에 연결되고 명령어를 저장하도록 구성된 메모리; 및
제1항 내지 제7항 및 제8항 내지 제14항 중 어느 한 항의 방법을 수행하기 위해 상기 메모리에 저장된 명령어를 실행하도록 구성된 프로세서
를 포함하는 코딩 장치.
제27항에 있어서,
디코딩된 픽처를 디스플레이하도록 구성된 디스플레이를 더 포함하는 코딩 장치.
시스템으로서,
인코더; 및
상기 인코더와 통신하는 디코더
를 포함하고,
상기 인코더 또는 상기 디코더는 제15항 내지 제27항 중 어느 한 항의 디코딩 장치, 또는 인코딩 장치, 또는 코딩 장치를 포함하는, 시스템.
코딩 수단으로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단;
상기 수신 수단에 결합되고, 상기 비트스트림을 디코딩 수단으로 전송하거나 디코딩된 이미지를 디스플레이 수단으로 전송하도록 구성된 전송 수단;
상기 수신 수단 또는 상기 전송 수단 중 적어도 하나에 연결되고 명령어를 저장하도록 구성된 저장 수단; 및
상기 저장 수단에 결합되어, 제1항 내지 제7항 및 제8항 내지 제14항 중 어느 한 항의 방법을 수행하기 위해 상기 저장 수단에 저장된 명령을 실행하도록 구성된 처리 수단
을 포함하는 시스템.