KR20220003101A

KR20220003101A - 비디오 코딩에서 새로운 코딩된 비디오 시퀀스를 시작하는 픽처에 대한 이전 픽처의 출력

Info

Publication number: KR20220003101A
Application number: KR1020217039875A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2019-05-06
Filing date: 2020-05-01
Publication date: 2022-01-07
Also published as: EP3957067A1; JP2022531470A; KR20220003619A; JP2024023680A; US20240305808A1; EP3957068A4; MX2021013534A; WO2020227064A1; EP3957068A1; US20220060732A1; CN114097239A; EP3957067A4; WO2020227060A1; JP7359871B2; US20220060733A1; JP2022531487A; CN114097238A; US11895312B2; JP2023179587A; MX2021013537A

Abstract

코딩된 비디오 비트스트림을 디코딩하는 방법이 제공된다. 상기 방법은, 코딩된 비디오 비트스트림을 수신하는 단계 - 상기 코딩된 비디오 비트스트림은 클린 랜덤 액세스(CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함함 -; 제2 플래그의 제2 값을 상기 제1 플래그의 제1 값과 동일하게 설정하는 단계; 비디오 디코더가 상기 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우는 단계; 및 상기 DPB를 비운 후에 현재 픽처를 디코딩하는 단계를 포함한다. 대응하는 인코딩 방법도 제공된다.

Description

비디오 코딩에서 새로운 코딩된 비디오 시퀀스를 시작하는 픽처에 대한 이전 픽처의 출력

관련 출원에 대한 상호 참조

본 특허출원은 2019년 5월 6일에, Ye-Kui Wang에 의해 "Output of Prior Pictures for Pictures Starting a New Coded Video Sequence In Video Coding(비디오 코딩에서 새로운 코딩된 비디오 시퀀스를 시작하는 픽처에 대한 이전 픽처의 출력)"라는 명칭으로 출원된 미국 가출원 번호 제62/843,991호의 이익을 주장하며, 이 가출원은 인용에 의해 본 출원에 포함된다.

일반적으로, 본 개시는 비디오 코딩에서 이전에 디코딩된 픽처의 출력을 지원하는 기술을 설명한다. 보다 구체적으로, 본 개시는 코딩된 비디오 시퀀스(coded video sequence, CVS)를 시작하는 랜덤 액세스 포인트 픽처에 대응하는 이전에 디코딩된 픽처가 디코딩된 픽처 버퍼(decoded picture buffer, DPB)로부터 출력될 수 있도록 해준다.

비교적 짧은 비디오이더라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터를 스트리밍하거나 대역폭 용량이 한정된 통신 네트워크를 통해 통신할 때 어려움을 초래할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크를 통해 통신하기 전에 압축된다. 메모리 자원은 한정될 수 있기 때문에 비디오가 저장 기기에 저장되는 경우 비디오의 크기가 문제가 될 수도 있다. 비디오 압축 기기는 종종 근원지(source)에서 소프트웨어 및/또는 하드웨어를 사용하여 송신 또는 저장 전에 비디오 데이터를 코딩하여, 디지털 비디오 이미지를 표현하는 데 필요한 데이터의 양을 줄인다. 압축된 데이터는 그 다음에 비디오 데이터를 디코딩하는 비디오 압축해제 기기에 의해 목적지에서 수신된다. 한정된 네트워크 자원과 더 높은 비디오 품질에 대한 요구가 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않고 압축률을 향상시키는 개선된 압축 및 압축해제 기술이 바람직하다.

제1 측면은 비디오 디코더에 의해 구현되는 디코딩 방법에 관한 것이다. 상기 디코딩 방법은, 상기 비디오 디코더가 코딩된 비디오 비트스트림을 수신하는 단계 - 상기 코딩된 비디오 비트스트림은 클린 랜덤 액세스(clean random access, CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함함 -; 상기 비디오 디코더가 제2 플래그의 제2 값을 상기 제1 플래그의 제1 값과 동일하게 설정하는 단계; 상기 비디오 디코더가 상기 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(decoded picture buffer, DPB)에서 임의의 이전에 디코딩된 픽처를 비우는 단계; 및 상기 비디오 디코더가 상기 DPB를 비운 후에 현재 픽처를 디코딩하는 단계를 포함한다.

상기 디코딩 방법은 순시 디코더 리프레시(instantaneous decoder refresh, IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(clean random access, CRA) 픽처, 점진적 랜덤 액세스(gradual random access, GRA) 픽처, 또는 점진적 디코딩 리프레시(gradual decoding refresh, GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(decoded picture buffer, DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 CRA 픽처는 상기 코딩된 비디오 비트스트림의 첫 번째 픽처가 아닌 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 제1 플래그가 상기 제1 값으로 설정되는 경우, DPB 충만도 파라미터(fullness parameter)를 0(zero)으로 설정하는 단계를 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 제1 플래그는 no_output_of_prior_pics_flag로 지정되고, 상기 제2 플래그는 NoOutputOfPriorPicsFlag로 지정되는 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 DPB는 상기 CRA 픽처가 디코딩된 후에 비워지는 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 현재 픽처에 기초하여 생성된 이미지를 표시하는 단계를 제공한다.

제2 측면은 비디오 인코더에 의해 구현되는 인코딩 방법에 관한 것이다. 상기 인코딩 방법은, 상기 비디오 인코더가 비디오 시퀀스에 대한 랜덤 액세스 포인트를 결정하는 단계; 상기 비디오 인코더가 상기 랜덤 액세스 포인트에서 클린 랜덤 액세스(CRA) 픽처를 상기 비디오 시퀀스로 인코딩하는 단계; 상기 비디오 인코더가 플래그를 제1 값으로 설정하여, 비디오 디코더에게 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우도록 명령하는 단계; 및 상기 비디오 인코더가 상기 랜덤 액세스 포인트에서 상기 CRA 픽처를 갖는 비디오 시퀀스, 및 상기 플래그를 포함하는 비디오 비트스트림을 생성하는 단계를 포함한다.

상기 인코딩 방법은 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 CRA 픽처는 상기 비디오 비트스트림의 첫 번째 픽처가 아니고, 상기 비디오 디코더는 상기 CRA 픽처를 디코딩한 후에 상기 DPB를 비우도록 명령을 받는 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 플래그가 제1 값으로 설정되는 경우, DPB 충만도 파라미터를 0으로 설정하도록 상기 비디오 디코더에 명령하는 단계를 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 플래그는 no_output_of_prior_pics_flag로 지정되는 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 플래그의 제1 값은 1인 것을 제공한다.

제3 측면은 디코딩 기기에 관한 것이다. 상기 디코딩 기기는, 코딩된 비디오 비트스트림을 수신하도록 구성된 수신기; 상기 수신기에 결합된 메모리; 및 상기 메모리에 결합된 프로세서를 포함하고, 상기 메모리는 명령어를 저장하고; 상기 프로세서는 상기 명령어를 실행하여 상기 디코딩 기기로 하여금, 상기 코딩된 비디오 스트림을 수신하고 - 상기 코딩된 비디오 비트스트림은 클린 랜덤 액세스(CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함함 -; 제2 플래그의 제2 값을 상기 제1 플래그의 제1 값과 동일하게 설정하고; 상기 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우고; 상기 DPB를 비운 후에, 현재 픽처를 디코딩하게 하도록 구성된다.

상기 디코딩 기기는 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 현재 픽처에 기초하여 생성된 이미지를 표시하도록 구성된 디스플레이를 제공한다.

제4 측면은 인코딩 기기에 관한 것이다. 상기 인코딩 기기는 명령어를 포함하는 메모리; 상기 메모리에 결합된 프로세서; 및 상기 프로세서에 결합된 송신기를 포함하고, 상기 프로세서는 상기 명령어를 실행하여 상기 인코딩 기기로 하여금, 비디오 시퀀스에 대한 랜덤 액세스 포인트를 결정하고; 상기 랜덤 액세스 포인트에서 클린 랜덤 액세스(CRA) 픽처를 상기 비디오 시퀀스로 인코딩하고; 플래그를 제1 값으로 설정하여, 비디오 디코더에게 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우도록 명령하고; 상기 랜덤 액세스 포인트에서 상기 CRA 픽처를 갖는 비디오 시퀀스, 및 상기 플래그를 포함하는 비디오 비트스트림을 생성하게 하도록 구성되고; 상기 송신기는 상기 비디오 비트스트림을 비디오 디코더에 송신하도록 구성된다.

상기 인코딩 기기는 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 CRA 픽처는 상기 비디오 비트스트림의 첫 번째 픽처가 아닌 것을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 상기 메모리는 상기 송신기가 상기 비디오 디코더에 상기 비트스트림을 송신하기 전에 상기 비트스트림을 저장하는 것을 제공한다.

제5 측면은 코딩 장치에 관한 것이다. 상기 코딩 장치는, 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기; 상기 수신기에 결합된 송신기; 상기 수신기 또는 상기 송신기 중 적어도 하나에 결합된 메모리; 및 상기 메모리에 결합된 프로세서를 포함하고, 상기 송신기는 상기 비트스트림을 디코더에 송신하거나 디코딩된 이미지를 디스플레이에 송신하도록 구성되고; 상기 메모리는 명령어를 저장하도록 구성되고; 상기 프로세서는 상기 메모리에 저장된 명령어를 실행하여 여기에 개시된 방법 중 어느 것을 수행하도록 구성된다.

상기 코딩 장치는 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

선택적으로, 선행 측면 중 어느 것에서, 그 측면의 다른 구현은, 이미지를 표시하도록 구성된 디스플레이를 제공한다.

제6 측면은 시스템에 관한 것이다. 상기 시스템은 인코더; 및 상기 인코더와 통신하는 디코더를 포함하고, 상기 인코더 또는 상기 디코더는 여기에 개시된 인코딩 기기 또는 디코딩 기기 또는 코딩 장치를 포함한다.

상기 시스템은 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

제7 측면은 코딩을 위한 수단에 관한 것이다. 상기 코딩을 위한 수단은, 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단; 상기 수신 수단에 결합된 송신 수단; 상기 수신 수단 또는 상기 송신 수단 중 적어도 하나에 결합된 저장 수단; 및 상기 저장 수단에 결합된 처리 수단을 포함하고, 상기 송신 수단은 상기 비트스트림을 디코딩 수단에 송신하거나 디코딩된 이미지를 디스플레이 수단에 송신하도록 구성되고; 상기 저장 수단은 명령어를 저장하도록 구성되고; 상기 처리 수단은 상기 저장 수단에 저장된 명령어를 실행하여, 여기에 개시된 방법 중 어느 것을 수행하도록 구성된다.

상기 코딩을 위한 수단은 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

명료함을 위해, 전술한 실시예 중 어느 하나는 다른 전술한 실시예 중 어느 하나 이상과 조합하여 본 개시의 범위 내에서 새로운 실시예를 생성할 수 있다.

이들 및 다른 특징은 첨부 도면 및 청구범위와 함께 취해진 이하의 상세한 설명으로부터 더 명확하게 이해될 것이다.

본 개시의 보다 완전한 이해를 위해, 이제 유사한 참조 번호가 유사한 부분을 나타내는 첨부 도면 및 상세한 설명과 관련하여 취해진 이하의 간략한 설명을 참조한다.
도 1은 GDR 기술을 이용할 수 있는 예시적인 코딩 시스템을 나타낸 블록도이다.
도 2는 GDR 기술을 구현할 수 있는 예시적인 비디오 인코더를 나타낸 블록도이다.
도 3은 GDR 기술을 구현할 수 있는 비디오 디코더의 일례를 나타낸 블록도이다.
도 4는 디코딩 순서 및 제시 순서에서 리딩 픽처(leading picture)와 트레일링 픽처(trailing picture)에 대한 IRAP 픽처 간의 관계를 나타내는 도면이다.
도 5는 점진적 디코딩 리프레시 기술을 나타낸다.
도 6은 바람직하지 않은 움직임 검색을 나타낸 개략도이다.
도 7은 클린 랜덤 액세스(CRA) 기술을 구현하도록 구성된 비디오 비트스트림을 나타낸다.
도 8은 코딩된 비디오 비트스트림을 디코딩하는 방법의 일 실시예이다.
도 9는 코딩된 비디오 비트스트림을 인코딩하는 방법의 일 실시예이다.
도 10은 비디오 코딩 기기의 개략도이다.
도 11은 코딩을 위한 수단의 일 실시예의 개략도이다.

하나 이상의 실시예의 예시적인 구현이 아래에 제공되지만, 개시된 시스템 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수의 기술을 사용하여 구현될 수 있음을 처음부터 이해해야 한다. 본 개시는 여기에 나타내고 설명된 예시적인 설계 및 구현을 포함하는, 아래에 나타낸 예시적인 구현, 도면 및 기술에 결코 제한되어서는 안 되며, 첨부된 청구범위의 등가물의 전체 범위와 더불어 첨부된 청구범위의 범위 내에서 수정될 수 있다.

도 1은 여기에 설명된 바와 같은 비디오 코딩 기술을 이용할 수 있는 예시적인 코딩 시스템(10)을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 코딩 시스템(10)은 목적지 기기(14)에 의해 나중에 디코딩될 인코딩된 비디오 데이터를 제공하는 근원지 기기(12)를 포함한다. 특히, 근원지 기기(12)는 비디오 데이터를 컴퓨터로 판독 가능한 매체(16)를 통해 목적지 기기(14)에 제공할 수 있다. 근원지 기기(12) 및 목적지 기기(14)는 데스크톱 컴퓨터, 노트북(예: 랩톱) 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 소위 "스마트"폰과 같은 전화 핸드, 소위 "스마트" 패드, 텔레비전, 카메라, 디스플레이 기기, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 비디오 스트리밍 기기 등을 포함한, 광범위한 기기 중 어느 것을 포함할 수 있다. 경우에 따라서는, 근원지 기기(12) 및 목적지 기기(14)는 무선 통신을 위해 장착될 수 있다.

목적지 기기(14)는 컴퓨터로 판독 가능한 매체(16)를 통해 디코딩될 인코딩된 비디오 데이터를 수신할 수 있다. 컴퓨터로 판독 가능한 매체(16)는 인코딩된 비디오 데이터를 근원지 기기(12)로부터 목적지 기기(14)로 이동할 수 있는 임의의 유형의 매체 또는 기기를 포함할 수 있다. 일례에서, 컴퓨터로 판독 가능한 매체(16)는 근원지 기기(12)가 인코딩된 비디오 데이터를 실시간으로 목적지 기기(14)에 직접 송신할 수 있게 하는 통신 매체를 포함할 수 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은, 통신 표준에 따라 변조되고, 목적지 기기(14)에 송신될 수 있다. 통신 매체는 무선 주파수(radio frequency, RF) 스펙트럼 또는 하나 이상의 물리 송신 라인과 같은, 임의의 무선 또는 유선 통신 매체를 포함할 수 있다. 통신 매체는 근거리 네트워크, 광역 네트워크 또는 인터넷과 같은 글로벌 네트워크와 같은, 패킷 기반 네트워크의 일부를 형성할 수 있다. 통신 매체는 라우터, 교환기(switch), 기지국, 또는 근원지 기기(12)에서 목적지 기기(14)로의 통신을 용이하게 하는 데 유용할 수 있는 임의의 다른 장비를 포함할 수 있다.

일부 예에서, 인코딩된 데이터는 출력 인터페이스(22)로부터 저장 기기로 출력될 수 있다. 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 기기로부터 액세스될 수 있다. 저장 기기는

하드 드라이브, 블루레이 디스크(Blu-ray disc), 디지털 비디오 디스크(digital video disk, DVD), CD-ROM(Compact Disc Read-Only Memory), 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적절한 디지털 저장 매체와 같은, 다양한 분산형(distributed) 또는 로컬 액세스형(locally accessed) 데이터 저장 매체를 포함할 수 있다. 추가적인 예에서, 저장 기기는 근원지 기기(12)에 의해 생성된 인코딩된 비디오를 저장할 수 있는 파일 서버 또는 다른 중간 저장 기기에 대응할 수 있다. 목적지 기기(14)는 스트리밍 또는 다운로드를 통해 저장 기기로부터 저장된 비디오 데이터에 액세스할 수 있다. 파일 서버는 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 기기(14)에 송신할 수 있는 임의의 유형의 서버일 수 있다. 예시적인 파일 서버로는 웹 서버(예: 웹사이트용), 파일 전송 프로토콜(file transfer protocol, FTP) 서버, 네트워크 부착형 저장(network attached storage ) 기기, 또는 로컬 디스크 드라이브를 포함한다. 목적지 기기(14)는 인터넷 연결을 포함한, 임의의 표준 데이터 연결을 통해 인코딩된 비디오 데이터에 액세스할 수 있다. 이것에는 무선 채널(예: Wi-Fi 연결), 유선 연결(예: digital subscriber line(DSL), 케이블 모뎀 등), 또는 파일 서버에 저장된 인코딩된 비디오 데이터의 액세스에 적합한 이 둘의 조합이 포함될 수 있다. 저장 기기로부터의 인코딩된 비디오 데이터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들의 조합일 수 있다.

본 개시의 기술은 반드시 무선 애플리케이션 또는 설정에 한정되는 것은 아니다. 이 기술은 공중파(over-the-air) 텔레비전 방송, 케이블 텔레비전 송신, 위성 텔레비전 송신, HTTP를 통한 동적 적응적 스트리밍(dynamic adaptive streaming over HTTP, DASH)과 같은, 인터넷 스트리밍 비디오 송신,

데이터 저장 매체에 인코딩되는 디지털 비디오, 데이터 저장 매체에 저장된 디지털 비디오의 디코딩, 또는 기타 애플리케이션과 같은, 임의의 다양한 멀티미디어 애플리케이션을 지원하는 비디오 코딩에 적용될 수 있다. 일부 예에서, 코딩 시스템(10)은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스트, 및/또는 영상 통화(video telephony)와 같은 애플리케이션을 지원하기 위해 단방향 또는 양방향 비디오 송신을 지원하도록 구성될 수 있다.

도 1의 예에서. 근원지 기기(12)는 비디오 소스(18), 비디오 인코더(20), 및 출력 인터페이스(22)를 포함한다. 목적지 기기(14)는 입력 인터페이스(28), 비디오 디코더(30), 및 디스플레이 기기(32)를 포함한다. 본 개시에 따르면, 근원지 기기(12)의 비디오 인코더(20) 및/또는 목적지 기기(14)의 비디오 디코더(30)는 비디오 코딩을 위한 기술을 적용하도록 구성될 수 있다. 다른 예에서, 근원지 기기 및 목적지 기기는 다른 구성요소 또는 배치를 포함할 수 있다. 예를 들어, 근원지 기기(12)는 외부 카메라와 같은, 외부 비디오 소스로부터 비디오 데이터를 수신할 수 있다. 마찬가지로, 목적지 기기(14)는 통합된 디스플레이 기기를 포함하는 대신에 외부 디스플레이 기기와 인터페이스싱할 수 있다.

도 1의 나타낸 코딩 시스템(10)은 일례일 뿐이다. 입니다. 비디오 코딩을 위한 기술은 임의의 디지털 비디오 인코딩 및/또는 디코딩 장치에 의해 수행될 수 있다. 본 개시의 기술은 일반적으로 비디오 코딩 기기에 의해 수행되지만, 이들 기술은 또한 일반적으로 "코덱"으로 지칭되는 비디오 인코더/디코더에 의해 수행될 수도 있다. 더욱이, 본 개시의 기술은 또한 비디오 전처리기에 의해 수행될 수도 있다. 비디오 인코더 및/또는 디코더는 그래픽 처리 유닛(graphics processing unit, GPU) 또는 유사한 기기일 수 있다.

근원지 기기(12) 및 목적지 기기(14)는, 근원지 기기(12)가 목적지 기기(14)로의 송신을 위해 코딩된 비디오 데이터를 생성하는 그러한 코딩 기기의 예일 뿐이다. 일부 예에서, 근원지 기기(12)와 목적지 기기(14)는 실질적으로 대칭적인 방식으로 동작할 수 있어 근원지 기기(12)와 목적지 기기(14) 각각이 비디오 인코딩 및 디코딩 구성요소를 포함하도록 한다. 따라서, 코딩 시스템(10)은 예컨대, 비디오 스트리밍, 비디오 재생, 비디오 방송, 또는 영상 통화를 위해 비디오 기기(12, 14) 사이의 단방향 또는 양방향 비디오 송신을 지원할 수 있다.

근원지 기기(12)의 비디오 소스(18)는 비디오 카메라와 같은, 비디오 캡처 기기, 이전에 캡처된 비디오를 포함하는 비디오 보관소(video archive), 및/또는 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스(video feed interface)를 포함할 수 있다. 다른 대안으로서, 비디오 소스(18)는 소스 비디오, 또는 라이브 비디오, 보관된(archived) 비디오 및 컴퓨터로 생성된(computer-generated) 비디오의 조합으로서 컴퓨터 그래픽 기반 데이터를 생성할 수 있다.

경우에 따라서는, 비디오 소스(18)가 비디오 카메라인 경우, 근원지 기기(12) 및 목적지 기기(14)는 소위 카메라폰 또는 비디오폰을 형성할 수 있다. 하지만, 위에서 언급된 바와 같이, 본 개시에서 설명된 기술은 일반적으로 비디오 코딩에 적용 가능할 수 있고, 무선 및/또는 유선 애플리케이션에 적용될 수도 있다. 각각의 경우에, 캡처되거나, 미리 캡처되거나, 또는 컴퓨터로 생성된 비디오는 비디오 인코더(20)에 의해 인코딩될 수 있다. 인코딩된 비디오 정보는 그 다음에 출력 인터페이스(22)에 의해 컴퓨터로 판독 가능한 매체(16)에 출력될 수 있다.

컴퓨터로 판독 가능한 매체(16)는 무선 브로드캐스트 또는 유선 네트워크 송신과 같은, 일시적인 매체, 또는 하드 디스크, 플래시 드라이브, 콤팩트 디스크, 디지털 비디오 디스크, 블루레이 디스크 또는 기타 컴퓨터로 판독 가능한 매체와 같은, 저장 매체(즉, 비일시적인 저장 매체)를 포함할 수 있다. 일부 예에서, 네트워크 서버(도시되지 않음)는 근원지 기기(12)로부터 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 예컨대, 네트워크 송신을 통해 목적지 기기(14)에 제공할 수 있다. 유사하게, 디스크 스탬핑 설비(disc stamping facility)와 같은 매체 생산 설비의 컴퓨팅 장치는 근원지 기기(12)로부터 인코딩된 비디오 데이터를 수신하고 인코딩된 비디오 데이터를 포함하는 디스크를 생성할 수 있다. 따라서, 컴퓨터로 판독 가능한 매체(16)는 다양한 예에서, 다양한 형태의 하나 이상의 컴퓨터로 판독 가능한 매체를 포함하는 것으로 이해될 수 있다.

목적지 기기(14)의 입력 인터페이스(28)는 컴퓨터로 판독 가능한 매체(16)로부터 정보를 수신한다. 컴퓨터로 판독 가능한 매체(16)의 정보는, 블록 및 기타 코딩된 유닛, 예컨대, 픽처 그룹(group of picture, GOP)들의 특성 및/또는 처리를 기술하는 신택스 요소를 포함하는, 비디오 인코더(20)에 의해 정의되고, 비디오 디코더(30)에 의해 또한 사용되는 신택스 정보를 포함할 수 있다. 디스플레이 기기(32)는 디코딩된 비디오 데이터를 사용자에게 표시하며, 음극선관(cathode ray tube, CRT), 액정 디스플레이(liquid crystal display, LCD), 플라즈마 디스플레이, 유기 발광 다이오드(organic light emitting diode, OLED) 디스플레이, 또는 기타 유형의 디스플레이 기기를 포함할 수 있다.

비디오 인코더(20) 및 비디오 디코더(30)는 현재 개발 중인 HEVC(Hligh Efficiency Video Coding) 표준과 같은, 비디오 코딩 표준에 따라 동작할 수 있고, HM(HEVC Test Model)을 따를 수도 있다. 대안적으로, 비디오 인코더(20) 및 비디오 디코더(30)는 대안적으로 MPEG(Moving Picture Expert Group)-4, Part 10로 지칭되는 ITU-T(International Telecommunications Union Telecommunication Standardization Sector) H.264 표준, AVC(Advanced Video Coding ), H.265/HEVC, 또는 이러한 표준의 확장과 같은, 다른 전유(proprietary) 또는 업계 표준에 따라 동작할 수 있다. 하지만, 본 개시의 기술은 임의의 특정 코딩 표준에 한정되지 않는다. 비디오 코딩 표준의 다른 예로는 MPEG-2 및 ITU-T H.263을 포함한다. 도 1에 도시되지는 않았지만, 일부 측면에서, 비디오 인코더(20)와 비디오 디코더(30)는 각각 오디오 인코더 및 디코더와 통합될 수 있고, 공통 데이터 스트림 또는 개별 데이터 스트림으로 오디오와 비디오 모두의 인코딩을 처리하기 위해, 적절한 멀티플렉서-디멀티플렉서(MUX-DEMUX) 유닛, 또는 다른 하드웨어 및 소프트웨어를 포함할 수 있다. 적용 가능하면, MUX-DEMUX 유닛은 ITU H.223 멀티플렉서 프로토콜 또는 사용자 데이터그램 프로토콜(user datagram protocol, UDP)과 같은 다른 프로토콜을 준수할 수 있다.

비디오 인코더(20)와 비디오 디코더(30)는 각각 하나 이상의 마이크로프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 애플리케이션 특정 집적 회로(application specific integrated circuit, ASIC), 필드 프로그래머블 게이트 어레이(field programmable gate array, FPGA), 이산 로직(discrete logic), 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합과 같은, 다양한 적절한 인코더 회로 중 어느 것으로 구현될 수 있다. 기술이 소프트웨어로 부분적으로 구현되는 경우, 기기는 소프트웨어용 명령어를 컴퓨터로 판독 가능한 적절한 비일시적인 매체에 저장할 수 있고 하나 이상의 프로세서를 사용하여 하드웨어에서 명령어를 실행하여 본 개시의 기술을 수행할 수 있다. 비디오 인코더(20)와 비디오 디코더(30) 각각은 하나 이상의 인코더 또는 디코더에 포함될 수 있고, 이들 중 어느 하나는 개별 기기에서 결합된 인코더/디코더(CODEC)의 일부로서 통합될 수도 있다. 비디오 인코더(20) 및/또는 비디오 디코더(30)를 포함하는 기기는 집적 회로, 마이크로프로세서, 및/또는 셀룰러 전화와 같은, 무선 통신 기기를 포함할 수 있다.

도 2는 비디오 코딩 기술을 구현할 수 있는 비디오 인코더(20)의 일례를 나타낸 블록도이다. 비디오 인코더(20)는 비디오 슬라이스 내의 비디오 블록의 인트라 코딩(intra-coding) 및 인터 코딩(inter-coding)을 수행할 수 있다. 인트라 코딩은 주어진 비디오 프레임 또는 픽처 내에서 비디오의 공간 중복성(spatial redundancy)을 줄이거나 제거하기 위해 공간 예측에 의존한다. 인터 코딩은 비디오 시퀀스의 인접한 프레임 또는 픽처 내에서 비디오의 시간적 중복성(temporal redundancy)을 줄이거나 제거하기 위해 시간적 예측에 의존한다. 인트라 모드(I 모드)는 여러 공간 기반 코딩 모드 중 어느 것을 가리킬 수 있다. 단방향 예측(uni-directional, uni prediction라고도 알려짐)(P 모드) 또는 양방향 예측(bi-prediction, bi prediction라고도 알려짐)(B 모드)과 같은, 인터 모드는 여러 시간 기반 코딩 모드 중 어느 것을 가리킬 수 있다.

도 2에 도시된 바와 같이, 비디오 인코더(20)는 인코딩될 비디오 프레임 내의 현재 비디오 블록을 수신한다. 도 2의 예에서, 비디오 인코더(20)는 모드 선택 유닛(40), 참조 프레임 메모리(64), 합산기(50), 변환 처리 유닛(52), 양자화 유닛(54), 및 엔트로피 코딩 유닛(56)을 포함한다. 모드 선택 유닛(40)은 차례로, 움직임 보상 유닛(44), 움직임 추정 유닛(42), 인트라 예측(intra-prediction, intra prediction으로도 알려짐) 유닛(46) 및 파티션 유닛(48)을 포함한다. 비디오 블록 재구축을 위해, 비디오 인코더(20)는 또한 역양자화 유닛(58), 역변환 유닛(60) 및 합산기(62)를 포함한다. 디블로킹 필터(도 2에 도시되지 않음)는 블록 경계를 필터링하여 재구축된 비디오에서 블록성 아티팩트(blockiness artifact)를 제거하기 위해 포함될 수도 있다. 원하는 경우, 디블로킹 필터는 일반적으로 합산기(62)의 출력을 필터링할 것이다. 디블록킹 필터에 더해 추가적인 필터(인 루프 또는 포스트 루프)도 사용될 수 있다. 이러한 필터는 간결함을 위해 도시되지 않았지만, 원하는 경우, 합산기(50)의 출력을 필터링할 수 있다(인루프 필터로서).

인코딩 프로세스 동안, 비디오 인코더(20)는 코딩될 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 여러 비디오 블록으로 분할될 수 있다. 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 시간 예측을 제공하기 위해 하나 이상의 참조 프레임에서의 하나 이상의 블록에 대해 수신된 비디오 블록의 인터 예측 코딩(inter-predictive coding)을 수행한다. 인트라 예측 유닛(46)은 공간 예측을 제공하기 위해 코딩될 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록에 대해 수신된 비디오 블록의 인트라 예측 코딩을 대안적으로 수행할 수 있다. 비디오 인코더(20)는 예컨대, 비디오 데이터의 각각의 블록에 대해 적절한 코딩 모드를 선택하기 위해 다중 코딩 패스를 수행할 수 있다.

또한, 파티션 유닛(48)은 이전 코딩 패스에서의 이전 파티셔닝 방식(partitioning scheme)의 평가에 기초하여, 비디오 데이터의 블록을 서브블록으로 파티셔닝할 수 있다. 예를 들어, 파티션 유닛(48)은 초기에 프레임 또는 슬라이스를 최대 코딩 유닛(largest coding unit, LCU)로 파티셔닝하고, 레이트 왜곡 분석(예: 레이트 왜곡 최적화)에 기초하여 각각의 LCU를 서브코딩 유닛(sub-CU)으로 파티셔닝할 수 있다. 모드 선택 유닛(40)은 LCU를 서브CU로 파티셔닝하는 것을 나타내는 사지트리(quad-tree) 데이터 구조를 더 생성할 수 있다. 사지트리의 리프 노드(leaf-node) CU는 하나 이상의 예측 유닛(prediction unit, PU) 및 하나 이상의 변환 유닛(transform unit, TU)을 포함할 수 있다.

본 개시는 HEVC의 맥락에서, CU, PU, 또는 TU 중 어느 것 또는 다른 표준의 맥락에서 유사한 데이터 구조(예: H.264/AVC에서의 매크로블록 및 그 서브블록)를 지칭하기 위해 "블록"이라는 용어를 사용한다. CU는 코딩 노드, PU, 및 코딩 노드와 연관된 TU를 포함한다. CU의 크기는 코딩 노드의 크기에 대응하고 모양이 정사각형이다. CU의 크기는 8x8 픽셀에서 최대 64x64 픽셀 또는 그 이상의 트리블록 크기까지의 범위일 수 있다. 각각의 CU는 하나 이상의 PU 및 하나 이상의 TU를 포함할 수 있다. CU와 연관된 신택스 데이터는, 예를 들어 CU를 하나 이상의 PU로 파티셔닝하는 것을 설명할 수 있다. 파티셔닝 모드는 CU가 스킵 또는 직접 모드 인코딩인지, 인트라 예측 모드 인코딩인지, 또는 인터 에측(인터 예측으로도 알려짐) 모드 인코딩인지에 따라 다를 수 있다. PU는 정사각형이 아닌 모양으로 파티셔닝될 수 있다. CU와 연관된 신택스 데이터는 또한, 예를 들어 사지 트리에 따라 CU를 하나 이상의 TU로 파티셔닝하는 것을 설명할 수 있다. TU는 모양이 정사각형이거나 정사각형이 아닐 수 있다(예: 직사각형).

모드 선택 유닛(40)은, 예를 들어 오류 결과에 기초하여 인트라 코딩 모드 또는 인터 코딩 모드 중 하나를 선택할 수 있고, 결과로서 얻은 인트라 코딩된 또는 인터 코딩된 블록을 합산기(50)에 제공하여 잔차 블록 데이터를 생성하고 합산기(62)에 제공하여 참조 프레임으로 사용하기 위해 인코딩된 블록을 재축한다. 모드 선택 유닛(40)은 또한 움직임 벡터, 인트라 모드 지시자, 파티션 정보, 및 기타 이러한 신택스 정보와 같은, 신택스 요소를 엔트로피 코딩 유닛(56)에 제공한다.

움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 고도로 통합될 수 있지만, 개념적 목적을 위해 별개로 나타낸다. 움직임 추정 유닛(42)에 의해 수행되는 움직임 추정은 비디오 블록에 대한 움직임을 추정하는, 움직임 벡터를 생성하는 프로세스이다. 움직임 벡터는, 예를 들어 현재 프레임 내의 코딩되는 현재 블록(또는 다른 코딩된 유닛)에 대한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU의 변위를 지시할 수 있다. 예측 블록은 절대 차의 합(sum of absolute difference, SAD), 제곱 차의 합(sum of square difference, SSD) 또는 다른 차이 메트릭에 의해 결정될 수 있는 픽셀 차이의 관점에서, 코딩될 블록과 밀접하게 매칭되는 것으로 발견된 블록이다. 일부 예에서, 비디오 인코더(20)는 참조 프레임 메모리(64)에 저장된 참조 픽처의 정수 미만(sub-integer) 픽셀 위치에 대한 값을 계산할 수 있다. 예를 들어, 비디오 인코더(20)는 1/4 픽셀 위치, 1/8 픽셀 위치, 또는 기타 참조 픽처의 분수 픽셀 위치의 값을 보간할 수 있다. 따라서, 움직임 추정 유닛(42)은 전체 픽셀 위치 및 분수 픽셀 위치에 대한 움직임 검색을 수행하고 분수 픽셀 정밀도를 갖는 움직임 벡터를 출력할 수 있다.

움직임 추정 유닛(42)은 PU의 위치를 참조 픽처의 예측 블록의 위치와 비교함으로써 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 움직임 벡터를 계산한다. 참조 픽처는 제1 참조 픽처 목록(목록 0) 또는 제2 참조 픽처 목록(목록 1)에서 선택될 수 있으며, 이들 각각이 참조 프레임 메모리(64)에 저장된 하나 이상의 참조 픽처를 식별할 수 있게 해준다. 움직임 추정 유닛(42)은 계산된 움직임 벡터를 엔트로피 인코딩 유닛(56) 및 움직임 보상 유닛(44)에 전송한다.

움직임 보상 유닛(44)에 의해 수행되는 움직임 보상은 움직임 추정 유닛(42)에 의해 결정된 움직임 벡터에 기초한 예측 블록의 인출(fetching) 또는 생성을 포함할 수 있다. 또, 움직임 추정 유닛(42)과 움직임 보상 유닛(44)은 일부 예에서, 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 움직임 벡터를 수신하면, 움직임 보상 유닛(44)은 참조 픽처 리스트 중 하나에서 움직임 벡터가 가리키는 예측 블록을 찾을 수 있다. 합산기(50)는 코딩되는 현재 비디오 블록의 픽셀 값에서 예측 블록의 픽셀 값을 빼서 잔차 비디오 블록을 형성하고, 아래에서 논의되는 바와 같이, 픽셀 차이 값을 형성한다. 일반적으로, 움직임 추정 유닛(42)은 루마 성분에 대한 움직임 추정을 수행하고, 움직임 보상 유닛(44)은 크로마 성분 및 루마 성분 모두에 대해 루마 성분에 기초하여 계산된 움직임 벡터를 사용한다. 모드 선택 유닛(40)은 또한 비디오 슬라이스의 비디오 블록의 디코딩 시에 비디오 디코더(30)에 의한 사용을 위해 비디오 블록 및 비디오 슬라이스와 연관된 신택스 요소를 생성할 수 있다.

인트라 예측 유닛(46)은 위에서 설명된 바와 같이, 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 수행되는 인터 에측에 대한 대안으로서 현재 블록을 인트라 예측할 수 있다. 특히, 인트라 예측 유닛(46)은 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정할 수 있다. 일부 예에서, 인트라 예측 유닛(46)은 예컨대, 별개의 인코딩 패스 동안, 다양한 인트라 예측 모드를 사용하여 현재 블록을 인코딩할 수 있고, 인트라 예측 유닛(46)(또는 일부 예에서 모드 선택 유닛(40))은 테스트된 모드들 중에서 사용할 적절한 인트라 예측 모드를 선택할 수 있다.

예를 들어, 인트라 예측 유닛(46)은 다양한 테스트된 인트라 예측 모드에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값을 계산할 수 있고, 테스트된 모드 중에서 최선의 레이트 왜곡 특성을 갖는 인트라 예측 모드를 선택할 수 있다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과, 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 사이의 왜곡(또는 오류)의 양은 물론, 인코딩된 블록을 생성하는 데 사용된 비트레이트(즉, 비트의 수)도 결정한다. 인트라 예측 유닛(46)은 블록에 대한 최선의 레이트 왜곡 값을 보이는 인트라 예측 모드를 결정하기 위해 다양한 인코딩된 블록에 대한 왜곡 및 레이트로부터 비율을 계산할 수 있다.

또한, 인트라 예측 유닛(46)은 심도 모델링 모드(depth modeling mode, DMM)를 사용하여 시도 맵의 심도 블록을 코딩하도록 구성될 수 있다. 모드 선택 유닛(40)은 이용 가능한 DMM 모드가 예컨대, 레이트 왜곡 최적화(rate-distortion optimization, RDO)를 사용하여 인트라 예측 모드 및 다른 DMM 모드보다 더 나은 코딩 결과를 생성하는지를 판정할 수 있다. 심도 맵에 대응하는 텍스처 이미지(texture image)에 대한 데이터는 참조 프레임 메모리(64)에 저장될 수 있다. 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)은 또한 심도 맵의 심도 블록을 인터 에측하도록 구성될 수 있다.

블록에 대한 인트라 예측 모드(예: 종래의 인트라 예측 모드, 또는 DMM 모드들 중 하나)를 선택한 후, 인트라 예측 유닛(46)은 블록에 대해 선택된 인트라 예측 모드를 지시하는 정보를 엔트로피 코딩 유닛(56)에 제공할 수 있다. 엔트로피 코딩 유닛(56)은 선택된 인트라 예측 모드를 지시하는 정보를 인코딩할 수 있다. 비디오 인코더(20)는 복수의 인트라 예측 모드 색인 표 및 복수의 수정된 인트라 예측 모드 색인 표(코드워드 매핑 표로도 지칭됨)를 포함할 수 있는 송신된 비트스트림 구성 데이터에, 다양한 블록에 대한 인코딩 컨텍스트의 정의, 및 가장 가능성 있는 인트라 예측 모드의 지시, 인트라 예측 모드 색인 표, 및 컨텍스트 각각에 대해 사용할 수정된 인트라 예측 모드 색인 표를 포함할 수 있다.

비디오 인코더(20)는 코딩되는 원본(original) 비디오 블록에서 모드 선택 유닛(40)으로부터의 예측 데이터를 감산함으로써 잔차 비디오 블록을 형성한다. 합산기(50)는 이 감산 연산을 수행하는 구성요소를 나타낸다.

변환 처리 유닛(52)은 이산 코사인 변환(discrete cosine transform, DCT) 또는 개념적으로 유사한 변환과 같은, 변환을 잔차 블록에 적용하여 잔차 변환 계수 값을 포함하는 비디오 블록을 생성한다. 변환 처리 유닛(52)은 DCT와 개념적으로 유사한 다른 변환을 수행할 수 있다. 웨이블릿 변환, 정수 변환, 서브대역 변환 또는 기타 유형의 변환도 사용될 수 있다.

변환 처리 유닛(52)은 변환을 잔차 블록에 적용하여, 잔차 변환 계수의 블록을 생성한다. 변환은 잔차 정보를 픽셀 값 도메인에서 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 처리 유닛(52)은 결과로서 얻은 변환 계수를 양자화 유닛(54)에 전송할 있다. 양자화 유닛(54)은 비트 레이트를 더 감소시키기 위해 변환 계수를 양자화한다. 양자화 프로세스는 계수의 일부 또는 전부와 연관된 비트 심도를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예에서, 양자화 유닛(54)은 그런 다음 양자화된 변환 계수를 포함하는 행렬의 스캔을 수행할 수 있다. 대안적으로, 엔트로피 인코딩 유닛(56)이 스캔을 수행할 수 있다.

양자화에 이어, 엔트로피 코딩 유닛(56)은 양자화된 변환 계수를 엔트로피 코딩한다. 예를 들어, 엔트로피 코딩 유닛(56)은 컨텍스트 적응적 가변 길이 코딩(context adaptive variable length coding, CAVLC), 컨텍스트 적응적 이진 산술 코딩(context adaptive binary arithmetic coding, CABAC), 신택스 기반 컨텍스트 적응적 이진 산술 코딩(syntax-based context-adaptive binary arithmetic coding, SBAC), 확률 간격 파티셔닝 엔트로피(probability interval partitioning entropy, PIPE) 코딩 또는 다른 엔트로피 코딩 기술을 수행할 수 있다.

컨텍스트 기반 엔트로피 코딩의 경우, 컨텍스트는 이웃 블록에 기초할 수있다. 엔트로피 코딩 유닛(56)에 의한 엔트로피 코딩에 이어, 인코딩된 비트스트림은 다른 기기(예: 비디오 디코더(30))에 송신되거나 나중의 송신 또는 검색을 위해 보관될 수 있다.

역양자화 유닛(58) 및 역변환 유닛(60)은 각각 역양자화 및 역변환을 적용하여, 예를 들어 참조 블록으로서 나중에 사용하기 위해 픽셀 도메인에서 잔차 블록을 재구축한다. 움직임 보상 유닛(44)은 참조 프레임 메모리(64)의 프레임들 중 하나의 예측 블록에 잔차 블록을 더함으로써 참조 블록을 계산할 수 있다. 움직임 보상 유닛(44)은 또한 재구축된 잔차 블록에 하나 이상의 보간 필터를 적용하여 움직임 추정에 사용하기 위한 정수 미만의 픽셀 값을 계산할 수 있다. 합산기(62)는 재구축된 잔차 블록을 움직임 보상 유닛(44)에 의해 생성된 움직임 보상된 예측 블록에 가산하여 참조 프레임 메모리(64)에 저장하기 위한 재구축된 비디오 블록을 생성한다. 재구축된 비디오 블록은 움직임 추정 유닛(42) 및 움직임 보상 유닛(44)에 의해 후속 비디오 프레임에서 블록을 인터 코딩하기 위한 참조 블록으로 사용될 수 있다.

도 3은 비디오 코딩 기술을 구현할 수 있는 비디오 디코더(30)의 일례를 나타낸 블록도이다. 도 3의 예에서, 비디오 디코더(30)는 엔트로피 디코딩 유닛(70), 움직임 보상 유닛(72), 인트라 예측 유닛(74), 역양자화 유닛(76), 역변환 유닛(78), 참조 프레임 메모리(82), 및 합산기(80)를 포함할 수 있다. 비디오 디코더(30)는 일부 예에서, 비디오 인코더(20)(도 2)와 관련하여 설명된 인코딩 패스와 일반적으로 역인 디코딩 패스를 수행한다. 움직임 보상 유닛(72)은 엔트로피 디코딩 유닛(70)으로부터 수신된 움직임 벡터에 기초하여 예측 데이터를 생성할 수 있는 한편, 인트라 예측 유닛(74)은 엔트로피 디코딩 유닛(70)으로부터 수신된 인트라 예측 모드 지시자에 기초하여 예측 데이터를 생성할 수 있다.

디코딩 프로세스 동안, 비디오 디코더(30)는 비디오 인코더(20)로부터 인코딩된 비디오 슬라이스의 비디오 블록 및 연관된 신택스 요소를 나타내는 인코딩된 비디오 비트스트림을 수신한다. 비디오 디코더(30)의 엔트로피 디코딩 유닛(70)은 비트스트림을 엔트로피 디코딩하여 양자화된 계수, 움직임 벡터 또는 인트라 예측 모드 지시자, 및 기타 신택스 요소를 생성한다. 엔트로피 디코딩 유닛(70)은 움직임 벡터 및 기타 신택스 요소를 움직임 보상 유닛(72)에 포워딩한다. 비디오 디코더(30)는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 요소를 수신할 수 있다.

비디오 슬라이스가 인트라 코딩된(I) 슬라이스로서 코딩될 때, 인트라 예측 유닛(74)은 시그널링된 인트라 예측 모드 및 현재 프레임 또는 픽처의 이전에 디코딩된 블록으로부터의 데이터에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 비디오 프레임이 인터 코딩된(예: B, P, 또는 GPB) 슬라이스로서 코딩되는 경우, 움직임 보상 유닛(72)은 엔트로피 디코딩 유닛(70)으로부터 수신된 움직임 벡터 및 기타 신택스 요소에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록을 생성한다. 예측 블록은 참조 픽처 목록 중 하나 내의 참조 픽처 중 하나로부터 생성될 수 있다. 비디오 디코더(30)는 참조 프레임 메모리(82)에 저장된 참조 픽처에 기초하여 디폴트 구축 기술을 사용하여, 참조 프레임 목록, 목록 0 및 목록 1을 구축할 수 있다.

움직임 보상 유닛(72)은 움직임 벡터 및 다른 신택스 요소를 파싱함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 디코딩되는 현재 비디오 블록에 대한 예측 블록을 생성하기 위해 예측 정보를 사용한다. 예를 들어, 움직임 보상 유닛(72)은 수신된 신택스 요소 중 일부를 사용하여, 비디오 슬라이스의 비디오 블록을 코딩하는 데 사용되는 예측 모드(예: 인트라 예측 또는 인터 예측), 인터 예측 슬라이 유형(예: B 슬라이스, P 슬라이스, 또는 GPB 슬라이스), 슬라이스에 대한 하나 이상의 참조 픽처 목록에 대한 구축 정보, 슬라이스의 인터 인코딩된 비디오 블록 각각에 대한 움직임 벡터, 슬라이스의 인터 코딩된 비디오 블록에 각각에 대한 인터 에측 상태, 및 현재 비디오 슬라이스 내의 비디오 블록을 디코딩하기 위한 기타 정보를 결정한다.

움직임 보상 유닛(72)은 또한 보간 필터에 기초하여 보간을 수행할 수 있다. 움직임 보상 유닛(72)은 참조 블록의 정수 미만 픽셀에 대한 보간된 값을 계산하기 위해 비디오 블록의 인코딩 동안, 비디오 인코더(20)에 의해 사용되는 보간 필터를 사용할 수도 있다. 이 경우에, 움직임 보상 유닛(72)은 수신된 신택스 요소로부터 비디오 인코더(20)에 의해 사용되는 보간 필터를 결정하고 그 보간 필터를 예측 블록을 생성하는 데 사용할 수 있다.

심도 맵에 대응하는 텍스처 이미지에 대한 데이터는 참조 프레임 메모리(82)에 저장될 수 있다. 움직임 보상 유닛(72)은 또한 심도 맵의 심도 블록을 인터 예측하도록 구성될 수 있다.

일 실시예에서, 비디오 디코더(30)는 사용자 인터페이스(user interface, UI)(84)를 포함한다. 사용자 인터페이스(84)는 비디오 디코더(30)의 사용자(예: 네트워크 관리자)로부터 입력을 수신하도록 구성된다. 사용자 인터페이스(84)를 통해, 사용자는 비디오 디코더(30)의 설정을 관리하거나 변경할 수 있다. 예를 들어, 사용자는 사용자의 선호도에 따라 비디오 디코더(30)의 구성 및/또는 동작을 제어하기 위해 파라미터(예: 플래그)에 대한 값을 입력하거나 제공할 수 있다. 사용자 인터페이스는, 예를 들어, 사용자가 그래픽 아이콘(graphical icon), 드롭다운 메뉴(drop-down menu), 체크 박스(check box) 등을 통해 비디오 디코더(30)와 상호작용할 수 있게 해주는 그래픽 사용자 인터페이스(GUI)일 수 있다. 경우에 따라서는, 사용자 인터페이스(84)는 키보드, 마우스, 또는 기타 주변 기기를 통해 사용자로부터 정보를 수신할 수 있다. 일 실시예에서, 사용자는 스마트폰, 태블릿 기기, 비디오 디코더(30)로부터 멀리 떨어진 개인용 컴퓨터 등을 통해 사용자 인터페이스(84)에 액세스할 수 있다. 여기에서 사용되는 바와 같이, 사용자 인터페이스(84)는 외부 입력 또는 외부 수단으로 지칭될 수 있다.

위의 사항을 염두에 두고, 비디오 압축 기술은 비디오 시퀀스에 고유한 중복성을 감소 또는 제거하기 위해 공간(인트라 픽처) 예측 및/또는 시간(인터 픽처) 예측을 수행한다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(즉, 비디오 픽처 또는 비디오 픽처의 일부)는 트리블록(treeblocks), 코딩 트리 블록(coding tree block, CTB), 코딩 트리 유닛(coding tree unit, CTU), 코딩 유닛(coding unit, CU) 및/또는 코딩 노드로도 지칭될 수 있는, 비디오 블록으로 파티셔닝될 수 있다. 픽처의 인트라 코딩된(I) 슬라이스 내의 비디오 블록은 동일한 픽처에서 이웃 블록에 있는 참조 샘플에 대한 공간 예측을 사용하여 인코딩된다. 픽처의 인터 코딩된(P 또는 B) 슬라이스의 비디오 블록은 동일한 픽처의 이웃 블록에 있는 참조 샘플에 대한 공간 예측 또는 다른 참조 픽처에 있는 참조 샘플에 대한 시간 예측을 사용할 수 있다. 픽처는 프레임으로 지칭될 수 있고, 참조 픽처는 참조 프레임으로 지칭될 수 있다.

공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 결과로서 생성한다. 잔차 데이터는 코딩될 원본 블록과 예측 블록 사이의 픽셀 차이를 나타낸다. 인터 코딩된 블록은 예측 블록을 형성하는 참조 샘플의 블록을 가리키는 움직임 벡터, 및 코딩된 블록과 예측 블록 사이의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있고, 그 결과 잔여 변환 계수가 생성되고, 이는 양자화될 수 있다. 초기에 2차원 배열로 배치된 양자화된 변환 계수는 변환 계수의 1차원 벡터를 생성하기 위해 스캐닝될 수 있으며, 엔트로피 코딩이 적용되어 훨씬 더 압축될 수 있다.

이미지 및 비디오 압축은 다양한 코딩 표준으로 이어지는 급속한 성장을 경험해왔다. 이러한 비디오 코딩 표준으로는 ITU-T H.261, ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10으로도 알려진 AVC(Advanced Video Coding), 및 ITU-T H.265 또는 MPEG-H Part 2로두 알려진 HEVC(High Efficiency Video Coding)를 포함한다. AVC로는 SVC(Scalable Video Coding), MVC(Multiview Video Coding) 및 MVC+D(Multiview Video Coding plus Depth) 및 3D AVC(3D-AVC)와 같은, 여러 확장(extension)을 포함한다. HEVC로는 SHVC(Scalable HEVC), MV-HEVC(Multiview HEVC) 및 3D HEVC(3D-HEVC)와 같은, 확장을 포함한다.

ITU-T 및 ISO/IEC의 JVET(Joint Video Experts Team)에 의해 개발되고 있는 VVC(Versatile Video Coding)로 명명된 새로운 비디오 코딩 표준도 있다. VVC 표준에는 여러 작업 초안이 있지만, 특히 VVC의 한가지 WD(Working Draft)[즉, B. Bross, J. Chen, and S. Liu, "Versatile Video Coding (Draft 5)," JVET-N1001-v3, 13th JVET Meeting, March 27, 2019 (VVC Draft 5)]가 여기에 참조된다,

여기에 개시된 기술의 설명은 ITU-T 및 ISO/IEC의 JVET(Joint Video Experts Team)에 의해 개발 중인 비디오 코딩 표준 VVC(Versatile Video Coding)에 기초한다. 그러나 이 기술은 다른 비디오 코덱 사양에도 적용된다.

도 4는 디코딩 순서(408) 및 제시 순서(410)에서 리딩 픽처(404) 및 트레일링 픽처(406)에 대한 인트라 랜덤 액세스 포인트(intra random access point, IRAP) 픽처(402) 사이의 관계의 표현(400)이다. 일 실시예에서, IRAP 픽처(402)는 클린 랜덤 액세스(CRA) 픽처, 또는 랜덤 액세스 디코더블(random access decodable, RADL) 픽처가 있는 순시 디코드 리프레시(RADL)로 지칭된다. HEVC에서, IDR 픽처, CRA 픽처, BLA(Broken Link Access) 픽처는 모두 IRAP 픽처(402)로 간주된다. VVC의 경우, 2018년 10월 제12차 JVET 회의에서, IDR 픽처와 CRA 픽처을 모두 IRAP 픽처로 보유하기로 합의했다. 실시예에서, BLA(Broken Link Access) 및 GDR(Gradual Decoder Refresh) 픽처는 또한 IRAP 픽처로 간주될 수 있다. 코딩된 비디오 시퀀스에 대한 디코딩 프로세스는 항상 IRAP에서 시작된다.

CRA 픽처는 각각의 비디오 코딩 계층(video coding layer, VCL) 네트워크 추상화 계층(network abstraction layer, NAL) 유닛이 CRA_NUT와 동일한 nal_unit_type을 갖는 IRAP 픽처이다. CRA 픽처는 디코딩 프로세스에서 인터 예측을 위해 자신 이외의 어떠한 픽처도 참조하지 않으며, 디코딩 순서에서 비트스트림의 첫 번째 픽처일 있거나, 나중에 비트스트림에 나타날 수 있다. CRA 픽처는 연관된 RADL 또는 RASL(Random Access Skipped Leading) 픽처를 가질 수 있다. CRA 픽처가 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 경우, 연관된 RASL 픽처는, 비트스트림에 존재하지 않는 픽처에 대한 참조를 포함할 수 있어, 디코딩 불가능할 수 있기 때문에, 디코더에 의해 출력되지 않는다.

도 4에 도시된 바와 같이, 리딩 픽처(404)(예: 픽처 2 및 3)는 디코딩 순서(408)에서 IRAP 픽처(402) 뒤에 오지만, 제시 순서(410)에서 IRAP 픽처(402)보다 선행한다. 트레일링 픽처(406)는 디코딩 순서(408)와 제시 순서(410) 모두에서 IRAP 픽처(402) 뒤에 온다. 2개의 리딩 픽처(404)와 1개의 트레일링 픽처(406)가 도 4에 도시되어 있지만, 당업자라면 실제 애플리케이션에서 더 많거나 더 적은 리딩 픽처(404) 및/또는 트레일링 픽처(406)가 디코딩 순서(408) 및 제시 순서(410)에 존재할 수 있음을 이해할 것이다.

도 4에서 리딩 픽처(404)는 두 가지 유형: RASL(Random Access Skipped Leading)과 RADL으로 나뉜다. 디코딩이 IRAP 픽처(402)(예: 픽처 1)로 시작되는 경우, RADL 픽처(예: 픽처 3)는 적절하게 디코딩될 수 있지만; RASL 픽처(예: 픽처 2)은 적절하게 디코딩될 수 없다. 따라서 RASL 픽처는 폐기된다. RADL과 RASL 픽처 사이의 구별에 비추어, IRAP 픽처(402)와 관련된 리딩 픽처(404)의 유형은 효율적이고 적절한 코딩을 위해 RADL 또는 RASL로 식별되어야 한다. HEVC에서, RASL 및 RADL 픽처가 존재하는 경우, 동일한 IRAP 픽처(402)와 연관된 RASL 및 RADL 픽처에 대해, RASL 픽처가 제시 순서(410)에서 RADL 픽처보다 선행해야 하는 것으로 제약된다.

IRAP 픽처(402)는 다음의 두 가지 중요한 기능/이점을 제공한다. 첫째, IRAP 픽처(402)의 존재는 디코딩 프로세스가 그 픽처로부터 시작할 수 있음을 지시한다. 이 기능은 IRAP 픽처(1402)가 그 위치에 존재하는 한, 반드시 비트스트림의 시작일 필요는 없이,디코딩 프로세스가 비트스트림에서 그 위치에서 시작하는 랜덤 액세스 기능을 허용한다. 두 번째로, IRAP 픽처(402)의 존재는 RASL 픽처를 제외한 IRAP 픽처(402)에서 시작하는 코딩된 픽처가 이전 픽처에 대한 어떠한 참조도 없이 코딩되도록, 디코딩 프로세스를 리프레시한다. 결과적으로 비트스트림에 존재하는 IRAP 픽처(402)를 갖는 것은 IRAP 픽처(402) 이전에 코딩된 픽처의 디코딩 동안 발생할 수 있는 임의의 오류가 IRAP 픽처(402) 및 디코딩 순서(408)에서 IRAP 픽처(402) 뒤에 오는 픽처로 전파하는 것을 막을 것이다.

IRAP 픽처(402)는 중요한 기능을 제공하지만, 압축 효율에 불이익이 따른다. IRAP 픽처(402)의 존재는 비트레이트의 급증을 야기한다. 압축 효율에 대한 이러한 불이익은 두 가지 이유에 기인한다. 첫째, IRAP 픽처(402)가 인트라 예측된 픽처이기 때문에, 픽처 자체는 인터 예측된 픽처인 다른 픽처(예: 리딩 픽처(404), 트레일링 픽처(406))와 비교하는 경우에 표현하기 위해 상대적으로 더 많은 비트를 필요로 할 것이다. 둘째, IRAP 픽처(402)의 존재가 시간적 예측을 깨기 때문에(이는 디코더가 디코딩 프로세스를 리프레시할 것이기 때문이며, 이에 대한 디코딩 프로세스의 조치 중 하나는 디코딩된 픽처 버퍼(DPB)에서 이전 참조 픽처를 제거하는 것이다), IRAP 픽처(402)는 디코딩 순서(408)에서 IRAP 픽처(402) 뒤에 오는 픽처의 코딩이 그들의 인터 예측 코딩을 위한 더 적은 참조 픽처를 갖기 때문에 덜 효율적이게 한다(즉, 표현을 위해 더 많은 비트를 필요로 함).

IRAP 픽처(402)로 간주되는 픽처 유형 중에서, HEVC의 IDR 픽처는 다른 픽처 유형과 비교할 때 상이한 시그널링 및 도출 방식(derivation)을 갖는다. 일부 차이점은 다음과 같다.

IDR 픽처의 픽처 순서 카운트(picture order count, POC) 값의 시그널링 및 도출의 경우, POC의 최상위 비트(most significant bit, MSB) 부분은 이전 핵심(key) 픽처에서 도출되지 않고 단순히 0과 동일하게 설정된다.

참조 픽처 관리에 필요한 시그널링 정보의 경우, IDR 픽처의 슬라이스 헤더는 참조 픽처 관리를 지원하기 위해 시그널링되어야 하는 정보를 포함하지 않는다. 다른 픽처 유형(즉, CRA, 트레일링, 시간 서브계층 액세스(temporal sub-layer access, TSA) 등)의 경우, 아래에 설명된 참조 픽처 세트(reference picture set, RPS)와 같은 정보 또는 유사한 정보의 다른 형태(예: 참조 픽처 목록)가 참조 픽처 표시 프로세스(reference pictures marking process)(즉, 디코딩된 픽처 버퍼(DPB) 내의 참조 픽처의 상태를 참조용으로 사용됨 또는 참조용으로 사용되지 않됨으로 결정하기 위한 프로세스)에 필요하다. 하지만, IDR 픽처의 경우, IDR의 존재는 디코딩 프로세스가 단순히 모든 참조 픽처를 사용되지 않음으로 표시해야 함을 시지시하기 때문에, 이러한 정보는 시그널링될 필요가 없다.

HEVC 및 VVC에서, IRAP 픽처(402) 및 리딩 픽처(404)는 각각 단일 네트워크 추상화 계층(NAL) 유닛에 포함될 수 있다. NAL 유닛의 세트는 액세스 유닛으로 지칭될 수 있다. IRAP 픽처(402) 및 리딩 픽처(404)에는 스템 레벨 애플리케이션에 의해 쉽게 식별될 수 있도록 상이한 NAL 유닛 유형이 부여된다. 예를 들어, 비디오 스플라이서(video splicer)는 코딩된 비트스트림에서 신택스 요소의 너무 많은 세부사항을 이해할 필요 없이 코딩된 픽처 유형을 이해할 필요가 있으며, 특히 비IRAP 픽처로부터 IRAP 픽처(402)를 식별하고 트레일링 픽처(406)로부터, RASL 및 RADL 픽처를 결정하는 것을 포함하여, 리딩 픽처(404)를 식별할 필요가 있다. 트레일링 픽처(406)는 IRAP 픽처(402)과 연관되고 제시 순서(410)에서 IRAP 픽처(402) 뒤에 오는 픽처이다. 픽처는 디코딩 순서(408)에서 특정 IRAP 픽처(402) 뒤에 오고 디코딩 순서(408)에서 임의의 다른 IRAP 픽처(402)보다 선행할 수 있다. 이를 위해, IRAP 픽처(402) 및 리딩 픽처(404)에 그들 자신의 NAL 유닛 유형을 제공하는 것은 이러한 애플리케이션을 돕는다.

HEVC의 경우, IRAP 픽처에 대한 NAL 유닛 유형은 다음을 포함한다:

리딩 픽처가 있는 BLA((BLA_W_LP): 디코딩 순서에서 하나 이상의 리딩 픽처가 뒤에 올 수 있는 BLA(Broken Link Access) 픽처의 NAL 유닛.

RADL가 있는 BLA(BLA_W_RADL): 디코딩 순서에서 하나 이상의 RADL 픽처가 뒤에 올 수 있지만 RASL 픽처가 없을 수 있는 BLA 픽처의 NAL 유닛.

리딩 픽처가 없는 BLA(BLA_N_LP): 디코딩 순서에서 리딩 픽처가 뒤에 오지 않는 BLA 픽처의 NAL 유닛.

RADL이 있는 IDR(IDR_W_RADL): 디코딩 순서에서 하나 이상의 RADL 픽처가 뒤에 올 수 있지만 올 수 있지만 RASL 픽처가 없을 수 있는 IDR 픽처의 NAL 유닛.

리딩 픽처가 없는 IDR(IDR_N_LP): 디코딩 순서에서 리딩 픽처가 뒤에 오지 않는 IDR 픽처의 NAL 유닛.

CRA: 리딩 픽처(즉, RASL 픽처 또는 RADL 픽처 또는 둘 다)가 뒤에 올 수 있는 클린 랜덤 액세스(CRA) 픽처의 NAL 유닛.

RADL: RADL 픽처의 NAL 유닛.

RASL: RASL 픽처의 NAL 유닛.

VVC의 경우, IRAP 픽처(402) 및 리딩 픽처(404)에 대한 NAL 유닛 유형은 다음과 같다:

RADL이 있는 IDR(IDR_W_RADL): 디코딩 순서에서 하나 이상의 RADL 픽처가 뒤에 올 수 있지만 RASL 픽처가 없을 수 있는 IDR 픽처의 NAL 유닛.

RADL: RADL 픽처의 NAL 유닛.

RASL: RASL 픽처의 NAL 유닛.

도 5는 점진적 디코딩 리프레시(GDR) 기술(500)을 구현하도록 구성된 비디오 비트스트림(550)을 나타낸다. 여기에서 사용되는 바와 같이, 비디오 비트스트림(550)은 또한 코딩된 비디오 비트스트림, 비트스트림, 또는 이들의 변형으로 지칭될 수도 있다. 도 5에 도시된 바와 같이, 비트스트림(550)은 시퀀스 파라미터 세트(sequence parameter set, SPS)(552), 픽처 파라미터 세트(picture parameter set, PPS)(554), 슬라이스 헤더(556), 및 이미지 데이터(558)를 포함한다.

SPS(552)는 픽처 시퀀스(sequence of picture, SOP)의 모든 픽처에 공통인 데이터를 포함한다. 대조적으로, PPS(554)는 전체 픽처에 공통된 데이터를 포함한다. 슬라이스 헤더(556)는 예를 들어 슬라이스 유형, 참조 픽처 중 어느 것이 사용될지 등과 같은, 현재 슬라이스에 대한 정보를 포함한다. SPS(552) 및 PPS(554)는 일반적으로 파라미터 세트로 지칭될 수 있다. SPS(552), PPS(554) 및 슬라이스 헤더(556)는 네트워크 추상화 계층(NAL) 유닛의 유형이다. NAL 유닛은 뒤에 오는 데이터의 유형(예: 코딩된 비디오 데이터)의 지시를 포함하는 신택스 구조이다. NAL 유닛은 비디오 코딩 계층(VCL)과 비VCL NAL 유닛으로 분류된다. VCL NAL 유닛은 비디오 픽처의 샘플 값을 나타내는 데이터를 포함하고, 비VCL NAL 유닛은 파라미터 세트(많은 수의 VCL NAL 유닛에 적용될 수 있는 중요한 헤더 데이터) 및 보충 강화 정보(supplemental enhancement information)(디코딩된 비디오 신호의 사용성을 강화시킬 수 있지만 비디오 픽처의 샘플 값을 디코딩하는 데 반드시 필요하지는 않은 타이밍 정보 및 기타 보충 데이터)와 같은 연관된 부가 정보를 포함한다. 당업자는 비트스트림(550)이 실제 애플리케이션에서 다른 파라미터 및 정보를 포함할 수 있음을 이해할 것이다.

도 5의 이미지 데이터(558)는 인코딩 또는 디코딩되는 이미지 또는 비디오와 연관된 데이터를 포함한다. 이미지 데이터(558)는 단순히 페이로드 또는 비트스트림(550)에 실려 전달되는 데이터로 지칭될 수 있다. 일 실시예에서, 이미지 데이터(558)는

GDR 픽처(502), 하나 이상의 트레일링 픽처(504), 및 복구 포인트 픽처(recovery point picture)(506)를 포함하는 CVS(508)(또는 CLVS)를 포함한다. 일 실시예에서, GDR 픽처(502)는 CVS 시작(CVSS) 픽처로 지칭된다. CVS(508)는 비디오 비트스트림(550)에서 모든 코딩된 계층 비디오 시퀀스(coded layer video sequence, CLVS)에 대한 코딩된 비디오 시퀀스이다. 특히, 비디오 비트스트림(550)이 단일 계층을 포함하는 경우 CVS 및 CLVS는 동일하다. CVS와 CLVS는 비디오 비트스트림(550)이 다중 계층을 포함하는 경우에만 상이하다. 일 실시예에서, 트레일링 픽처(504)는 GDR 기간에서 복구 포인트 픽처(506)에 선행하기 때문에 GDR 픽처의 한 형태로 간주될 수 있다.

일 실시예에서, GDR 픽처(502), 트레일링 픽처(504), 및 복구 포인트 픽처(506)는 CVS(508)에서 GDR 기간을 정의할 수 있다. 일 실시예에서, 디코딩 순서는 GDR 픽처(502)로 시작하고, 트레일링 픽처(504)로 계속되고, 그 다음 복구 픽처(recovery picture)(506)로 진행된다. CVS(508)는 GDR 픽처(502)로 시작하는 일련의 픽처(또는 그 일부)이며 다음 GDR 픽처까지의 또는 비트스트림의 끝까지(포함하지 않음)의 모든 픽처(또는 그 일부)를 포함한다. GDR 기간은 GDR 픽처(502)로 시작하는 일련의 픽처이며 복구 지점 픽처(506)까지의 모든 픽처를 포함합니다. CVS(508)에 대한 디코딩 프로세스는 항상 GDR 픽처(502)에서 시작한다.

도 5에 도시된 바와 같이, GDR 기술(500) 또는 원리는 GDR 픽처(502)로 시작하여 복구 포인트 픽처(506)로 끝나는 일련의 픽처에 걸쳐 작용한다. GDR 픽처(502)는 인트라 예측을 사용하여 모두 코딩된 블록(즉, 인트라 예측된 블록)을 포함하는 리프레시된/클린(refreshed/clean) 영역(510) 및 인터 예측을 사용하여 모두 코딩된 블록(즉, 인터 예측된 블록)을 포함하는 리프레시되지 않은/더티(un-refreshed/dirty) 영역(512)을 포함한다.

GDR 픽처(502)에 바로 인접한 트레일링 픽처(504)는 인트라 예측을 사용하여 코딩된 제1 부분(510A) 및 인터 예측을 사용하여 코딩된 제2 부분(510B)을 갖는 리프레시된/클린 영역(510)을 포함한다. 제2 부분(510B)은, 예를 들어 CVS(508)의 GDR 기간 내의 선행 픽처의 리프레시된/클린 영역(510)을 참조함으로써 코딩된다. 도시된 바와 같이, 트레일링 픽처(504)의 리프레시된/클린 영역(510)은 코딩 프로세스가 리프레시되지 않은/더티 영역(512)을 상응하게 축소하는 일관된 방향(예: 왼쪽에서 오른쪽으로)으로 이동하거나 진행함에 따라 확장된다. 결국, 리프레시된/클린 영역(510)만을 포함하는 복구 포인트 픽처(506)는 코딩 프로세스로부터 획득된다. 특히, 그리고 아래에서 더 논의되는 바와 같이, 인터 예측된 블록으로서 코딩되는 리프레시된/클린 영역(510)의 제2 부분(510B)은 참조 픽처에서 리프레시된/클린 영역(510)만을 참조할 수 있다.

도 5에 도시된 바와 같이, CVS(508)의 GDR 픽처(502), 트레일링 픽처(504), 및 복구 포인트 픽처(506)는 각각 그들 자신의 VCL NAL 유닛(530) 내에 포함된다. CVS(508)에서 VCL NAL 유닛(530)의 세트는 액세스 유닛으로 지칭될 수 있다.

일 실시예에서, CVS(508)에서 GDR 픽처(502)를 포함하는 VCL NAL 유닛(530)은 GDR NAL 유닛 유형(GDR_NUT)을 갖는다. 즉, 일 실시예에서, CVS(508)에서 GDR 픽처(502)를 포함하는 VCL NAL 유닛(530)은 트레일링 픽처(504) 및 복구 포인트 픽처(506)에 대해 자신의 유일한 NAL 유닛 유형을 갖는다. 일 실시예에서, GDR_NUT는 비트스트림(550)이 IRAP 픽처로 시작해야 하는 대신 비트스트림(550)이 GDR 픽처(502)로 시작하는 것을 허용한다. GDR 픽처(502)의 VCL NAL 유닛(530)을 GDR_NUT로서 지정하는 것은, 예를 들어, CVS(508)에서 초기 VCL NAL 유닛(530)이 GDR 픽처(502)를 포함한다는 것을 디코더에 지시할 수 있다. 일 실시예에서, GDR 픽처(502)는 CVS(508)에서 초기 픽처이다. 일 실시예에서, GDR 픽처(502)는 GDR 기간에서 초기 픽처이다.

도 6은 GDR을 지원하기 위해 인코더 제한을 사용하는 경우 바람직하지 않은 움직임 검색(600)을 나타낸 개략도이다. 도시된 바와 같이, 움직임 검색(600)은 현재 픽처(602) 및 참조 픽처(604)를 묘사한다. 현재 픽처(602) 및 참조 픽처(604)는 각각 인트라 예측으로 코딩된 리프레시된 영역(606), 인터 예측으로 코딩된 리프레시된 영역(608) 및 리프레시되지 않은 영역을 포함한다. 리프레시된 영역(604), 리프레시된 영역(606), 및 리프레시되지 않은 영역(608)은 도 5에서의 리프레시된/클린 영역(510)의 제1 부분(510A), 리프레시된/클린 영역(510)의 제2 부분(510B), 및 도 5의 리프레시된/더티 영역(512)과 유사하다.

움직임 검색 프로세스 동안, 인코더는 참조 블록(612)의 샘플 중 일부가 리프레시된 영역(606) 외부에 위치하는 결과를 초래하는 임의의 움직임 벡터(610)를 선택하는 것이 제한되거나 방지된다. 이는 참조 블록(612)이 현재 픽처(602)에서 현재 블록(614)을 예측할 때 최상의 레이트 왜곡 비용 기준을 제공하더라도 발생한다. 따라서, 도 6은 GDR을 지원하기 위해 인코더 제한을 사용할 때 움직임 검색(600)에서 최적이 아닌 이유를 나타낸다.

도 7은 클린 랜덤 액세스(CRA) 기술(700)을 구현하도록 구성된 비트스트림(750)을 나타낸다. 여기에서 사용되는 바와 같이, 비디오 비트스트림(750)은 또한 코딩된 비디오 비트스트림, 비트스트림, 또는 이들의 변형으로 지칭될 수 있다. 도 7에 도시된 바와 같이, 비트스트림(750)은 시퀀스 파라미터 세트(SPS)(752), 픽처 파라미터 세트(PPS)(754), 슬라이스 헤더(756), 및 이미지 데이터(758)를 포함한다. 도 7에서의 비트스트림(750), SPS(752), PPS(754), 및 슬라이스 헤더(756)는 도 5에서의 비트스트림(550), SPS(552), PPS(554) 및 슬라이스 헤더(556)와 유사하다. 따라서 간결함을 위해 이러한 요소에 대한 설명은 반복하지 않는다.

도 7의 이미지 데이터(758)는 인코딩 또는 디코딩되는 이미지 또는 비디오와 연관된 데이터를 포함한다. 이미지 데이터(758)는 단순히 페이로드 또는 비트스트림(750)에 실려 전달되는 데이터로 지칭될 수 있다. 일 실시예에서, 이미지 데이터(758)는 CRA 픽처(702), 하나 이상의 트레일링 픽처(704) 및 시퀀스 픽처 픽처의 끝(706)을 포함하는 CVS(708)(또는 CLVS)를 포함한다. 일 실시예에서, CRA 픽처(702)는 CVSS 픽처로 지칭된다. CVS(708)에 대한 디코딩 프로세스는 항상 CRA 픽처(702)에서 시작된다.

도 7에 도시된 바와 같이, CVS(708)에서의 CRA 픽처(702), 트레일링 픽처(704), 및 시퀀스 픽처(706)의 끝은 각각 그들 자신의 VCL NAL 유닛(730) 내에 포함된다. CVS(708)에서 VCL NAL 유닛(730)의 세트는 액세스 유닛으로 지칭될 수 있다.

VVC의 최신 초안 사양에서, IRAP 픽처에 대한 이전 픽처의 출력은 다음과 같이 명시된다. IRAP 픽처에 대한 이전 픽처(예: 이전에 디코딩된 픽처)는 1) IRAP 픽처보다 먼저 디코딩되고, 2) 출력을 위해 지시되고, 3) IRAP 픽처 디코딩 시작 시에 디코딩된 픽처 버퍼(DPB)에 존재하고, 4) IRAP 픽처 디코딩 시작 시에 출력되지 않았다. 여기에서 사용되는 바와 같이, 이전 픽처는 이전에 디코딩된 픽처로 지칭될 수 있다.

슬라이스 헤더 신택스는 IDR 및 CRA 픽처에 대한 신택스 요소 no_output_of_prior_pics_flag를 포함한다. 그 시맨틱스는 다음과 같다:

no_output_of_prior_pics_flag는 VVC Draft 5의 Annex C에 명시된 바와 같이 비트스트림의 첫 번째 픽처가 아닌 IDR 픽처의 디코딩 후에 디코딩된 픽처 버퍼에서 이전에 디코딩된 픽처의 출력에 영향을 미친다.

VVC Draft 5의 Clause C.3.2(현재 픽처의 디코딩 전에 DPB로부터 픽처의 제거)는 다음 텍스트를 포함한다:

- When the current picture is an IRAP picture with NoIncorrectPicOutputFlag equal to 1 that is not picture 0, the following ordered steps are applied:

1. The variable NoOutputOfPriorPicsFlag is derived for the decoder under test as follows:

- If the current picture is a CRA picture, NoOutputOfPriorPicsFlag is set equal to 1 (regardless of the value of no_output_of_prior_pics_flag).

- Otherwise, if the value of pic_width_in_luma_samples, pic_height_in_luma_samples, chroma_format_idc, separate_colour_plane_flag, bit_depth_luma_minus8, bit_depth_chroma_minus8 or sps_max_dec_pic_buffering_minus1[ HighestTid ] derived from the active SPS is different from the value of pic_width_in_luma_samples, pic_height_in_luma_samples, chroma_format_idc, separate_colour_plane_flag, bit_depth_luma_minus8, bit_depth_chroma_minus8 or sps_max_dec_pic_buffering_minus1[ HighestTid ], respectively, derived from the SPS active for the preceding picture, NoOutputOfPriorPicsFlag may (but should not) be set to 1 by the decoder under test, regardless of the value of no_output_of_prior_pics_flag.

NOTE - Although setting NoOutputOfPriorPicsFlag equal to no_output_of_prior_pics_flag is preferred under these conditions, the decoder under test is allowed to set NoOutputOfPriorPicsFlag to 1 in this case.

- Otherwise, NoOutputOfPriorPicsFlag is set equal to no_output_of_prior_pics_flag.

2. The value of NoOutputOfPriorPicsFlag derived for the decoder under test is applied for the hypothetical reference decoder (HRD), such that when the value of NoOutputOfPriorPicsFlag is equal to 1, all picture storage buffers in the DPB are emptied without output of the pictures they contain, and the DPB fullness is set equal to 0.

VVC Draft 5의 Clause C.5.2.2(DPB로부터 픽처의 출력 및 제거)에는 다음 텍스트가 포함된다:

- If the current picture is an IRAP picture with NoIncorrectPicOutputFlag equal to 1 that is not picture 0, the following ordered steps are applied:

2. The value of NoOutputOfPriorPicsFlag derived for the decoder under test is applied for the HRD as follows:

- If NoOutputOfPriorPicsFlag is equal to 1, all picture storage buffers in the DPB are emptied without output of the pictures they contain and the DPB fullness is set equal to 0.

- Otherwise (NoOutputOfPriorPicsFlag is equal to 0), all picture storage buffers containing a picture that is marked as "not needed for output" and "unused for reference" are emptied (without output) and all non-empty picture storage buffers in the DPB are emptied by repeatedly invoking the "bumping" process specified in clause C.5.2.4 and the DPB fullness is set equal to 0.

기존 설계의 문제가 논의된다.

VVC의 최신 초안 사양에서, 1과 동일한 NoIncorrectPicOutputFlag를 갖는 CRA 픽처(즉, 새로운 CVS를 시작하는 CRA 픽처)에 대해, NoOutputOfPriorPicsFlag의 값이 no_output_of_prior_pics_flag의 값에 관계없이 1과 동일하게 설정되기 때문에, no_output_of_prior_pics_flag의 값은 사용되지 않는다. 이는 CVS를 시작하는 각각의 CRA 픽처의 이전 픽처는 출력되지 않는다는 것을 의미한다. 하지만, IDR 픽처의 경우와 유사하게, 이전 픽처의 출력/표시는 새로운 CVS를 시작하는 픽처와 디코딩에서 후속 픽처를 디코딩할 때 DPB가 오버플로되지 않는 한 더욱 연속적인 재생을 제공할 수 있고 따라서 더 나은 사용자 경험을 제공할 수 있다. 주문하다.

위에서 논의된 문제를 해결하기 위해, 본 개시는 다음과 같은 본 발명의 측면을 제공한다. no_output_of_prior_pics_flag의 값은 새로운 CVS를 시작하고 비트스트림의 첫 번째 픽처가 아닌 각각의 CRA 픽처에 대한 이전 픽처의 출력의 사양에서 사용된다. 이는 더욱 연속적인 재생이 가능하게 하므로 더 나은 사용자 경험을 제공할 수 있다.

본 개시는 또한 새로운 CVS를 시작하는 다른 유형의 픽처, 예컨대, 최신 VVC 초안 사양에 현재 명시된 바와 같이 점진적 랜덤 액세스(GRA) 픽처에 적용된다. 일 실시예에서, GRA 픽처는 GDR 픽처로 지칭되거나 그와 동의어일 수 있다.

예로서, 비디오 비트스트림을 디코딩할 때, 클린 랜덤 액세스(CRA) 픽처에 대응하는 플래그가 비트스트림에서 시그널링된다. 플래그는 CRA 픽처가 새로운 코딩된 비디오 시퀀스를 시작할 때 CRA 픽처보다 먼저 디코딩되는 디코딩된 픽처 버퍼 내의 디코딩된 픽처가 출력되는지를 명시한다. 즉, 플래그의 값이 이전 픽처가 출력되는 것을 지시하는 경우(예: 값이 0인 경우), 이전 픽처를 출력한다. 일 실시예에서, 플래그는 no_output_of_prior_pics_flag로서 지정된다.

다른 예로서, 비디오 비트스트림을 디코딩할 때, 점진적 랜덤 액세스(GRA) 픽처에 대응하는 플래그가 비트스트림에서 시그널링된다. 플래그는 GRA 픽처가 새로운 코딩된 비디오 시퀀스를 시작할 때 GRA 픽처보다 먼저 디코딩되는 디코딩된 픽처 버퍼의 디코딩된 픽처가 출력되는지를 명시한다. 즉, 플래그의 값이 이전 픽처이 출력되는 것을 지시하는 경우(예: 값이 0인 경우), 이전 픽처를 출력한다. 일 실시예에서, 플래그는 no_output_of_prior_pics_flag로서 지정된다.

여기에 개시된 것은, 순시 디코더 리프레시(IDR) 픽처 이외의 랜덤 액세스 포인트 픽처(예: 클린 랜덤 액세스(CRA) 픽처, 점진적 랜덤 액세스(GRA) 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처, CVSS 픽처 등)를 디코딩 순서에서 만나게 되는 경우, 디코딩된 픽처 버퍼(DPB) 내의 이전 픽처(예: 이전에 디코딩된 픽처)의 출력을 위한 기술을 제공한다. 랜덤 액세스 포인트 픽처에 도달한 경우에 DPB에서 이전에 디코딩된 픽처를 비우는 것은 DPB의 오버플로를 방지하고 더욱 연속적인 재생을 촉진한다. 따라서, 비디오 코딩에서의 코더/디코더("코덱"으로도 알려짐)가 현재 코덱에 비해 개선된다. 실질적으로, 개선된 비디오 코딩 프로세스는 비디오가 전송, 수신 및/또는 시청되는 경우 사용자에게 더 나은 사용자 경험을 제공한다.

도 8은 비디오 디코더(예: 비디오 디코더(30))에 의해 구현되는 코딩된 비디오 비트를 디코딩하는 방법(800)의 실시예이다. 이 방법(800)은 디코딩된 비트스트림이 비디오 인코더(예: 비디오 인코더(20))로부터 직접적으로 또는 간접적으로 수신된 후에 수행될 수 있다. 방법(800)은 랜덤 액세스 포인트 픽처와 마주치는 경우 현재 픽처가 디코딩되기 전에 DPB를 비움으로써 디코딩 프로세스를 개선한다. 방법(800)은 DPB가 오버플로되는 것을 방지하고 더욱 연속적인 재생을 촉진한다. 따라서 실질적으로 코덱의 성능이 개선되어 사용자 경험이 향상된다.

블록 802에서, 비디오 디코더는 코딩된 비디오 비트스트림(예: 비트스트림(750))을 수신한다. 코딩된 비디오 비트스트림은 클린 랜덤 액세스(CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함한다. 일 실시예에서, CRA 픽처는 코딩된 비디오 비트스트림의 첫 번째 픽처가 아니다. 일 실시예에서, 제1 플래그는 no_output_of_prior_pics_flag로서 지정된다.

블록 804에서, 비디오 디코더는 제1 플래그의 제1 값과 동일한 제2 플래그의 제2 값을 설정한다. 실시예에서, 제2 플래그는 NoOutputOfPriorPicsFlag로 지정된다. 일 실시예에서, 제2 플래그는 디코더 내부에 있다.

블록 806에서, 비디오 디코더는 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비운다. 일 실시예에서, 이전에 디코딩된 픽처는 CRA 픽처가 디코딩된 후에 DPB에서 비워진다. 즉, 비디오 디코더는 DPB의 픽처 저장 버퍼에서 이전에 디코딩된 픽처를 제거한다. 일 실시예에서, 이전에 디코딩된 픽처가 DPB에서 제거되는 경우 이전에 디코딩된 픽처는 출력되거나 표시되지 않는다. 일 실시예에서, DPB 충만도 파라미터는 제1 플래그가 제1 값으로 설정될 때 0(zero)으로 설정된다. DPB 충만도 파라미터는 DPB에 얼마나 많은 픽처가 보유되어 있는지를 지시한다. DPB 충만도 파라미터를 0으로 설정하면 DPB가 비어 있음을 나타낸다.

블록 808에서, 비디오 디코더는 DPB가 비워진 후에 현재 픽처를 디코딩한다. 일 실시예에서, 현재 픽처는 CRA 픽처와 동일한 CVS로부터 유래하고 디코딩 순서에서 CRA 이후에 획득되거나 만나게 된다. 일 실시예에서, 현재 픽처에 기초하여 생성된 이미지는 전자 기기(예: 스마트 폰, 태블릿, 랩톱, 개인용 컴퓨터 등)의 사용자를 위해 표시된다.

도 9는 비디오 인코더(예: 비디오 인코더(20))에 의해 구현된 비디오 비트스트림을 인코딩하는 방법(900)의 일 실시예이다. 이 방법(900)은 픽처(예: 비디오로부터의)가 비디오 비트스트림으로 인코딩된 다음 비디오 디코더(예: 비디오 디코더(30))에 송신되어야 하는 경우에 수행될 수 있다. 방법(900)은 랜덤 액세스 포인트 픽처와 마주쳤을 때 현재 픽처가 디코딩되기 전에 DPB를 비우도록 비디오 디코더에 명령함으로써 인코딩 프로세스를 개선한다. 방법(900)은 DPB가 오버플로되는 것을 방지하고 더욱 연속적인 재생을 촉진한다. 따라서 실질적으로, 코덱의 성능이 개선되어 사용자 경험이 향상된다.

블록 902에서, 비디오 인코더는 비디오 시퀀스에 대한 랜덤 액세스 포인트를 결정한다. 블록 904에서, 비디오 인코더는 랜덤 액세스 포인트에서 클린 랜덤 액세스(CRA) 픽처를 비디오 시퀀스로 인코딩한다. 일 실시예에서, CRA 픽처는 비디오 비트스트림의 첫 번째 픽처가 아니다.

블록 906에서, 비디오 인코더는 플래그를 제1 값으로 설정하여, 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우도록 비디오 디코더에 명령한다. 일 실시예에서, 비디오 디코더는 CRA 픽처가 디코딩된 후에 DPB에서 임의의 이전에 디코딩된 픽처를 비우도록 명령을 받는다. 일 실시예에서, 플래그는 no_output_of_prior_pics_flag로서 지정된다. 일 실시예에서, 비디오 인코더는 플래그가 제1 값으로 설정되는 경우에 DPB 충만도 파라미터를 0으로 설정하도록 비디오 디코더에 명령한다. 일 실시예에서, 플래그의 제1 값은 1이다.

블록 908에서, 비디오 인코더는 랜덤 액세스 포인트에서의 CRA 픽처를 갖는 비디오 시퀀스 및 플래그를 포함하는 비디오 비트스트림을 생성한다. 블록 910에서, 비디오 인코더는 비디오 디코더를 향한 송신을 위해 비디오 비트스트림을 저장한다.

이하의 신택스 및 시맨틱스가 여기에 개시된 실시예를 구현하기 위해 사용될 수 있다. 이하의 설명은 최신 VVC 초안 사양인 기본 텍스트(basis text)에 관련한 것이다. 다시 말해, 델타만 기술하고, 아래에 언급되지 않은 기본 텍스트의 텍스트는 그대로 적용된다. 기본 텍스트와 관련하여 추가된 텍스트는 굵게 표시되고 제거된 텍스트는 기울임꼴로 표시된다.

일반 슬라이스 헤더 신택스(VVC의 7.3.5.1).

일반 슬라이스 헤더 시맨틱스(VVC의 7.4.6.1).

When present, the value of each of the slice header syntax elements slice_pic_parameter_set_id, slice_pic_order_cnt_lsb, no_output_of_prior_pics_flag, and slice_temporal_mvp_enabled_flag shall be the same in all slice headers of a coded picture.

...

no_output_of_prior_pics_flag affects the output of previously-decoded pictures in the decoded picture buffer after the decoding of an IDR picture a CVSS picture that is not the first picture in the bitstream as specified in Annex C.

...

현재 픽처의 디코딩 전에 DPB에서 픽처의 제거(VVC의 C.3.2).

...

- When the current picture is an IRAP picture with NoIncorrectPicOutputFlag equal to 1 a CVSS picture that is not picture 0, the following ordered steps are applied:

- If the current picture is a CRA picture, NoOutputOfPriorPicsFlag is set equal to 1 (regardless of the value of no_output_of_prior_pics_flag).

- Otherwise, if If the value of pic_width_in_luma_samples, pic_height_in_luma_samples, chroma_format_idc, separate_colour_plane_flag, bit_depth_luma_minus8, bit_depth_chroma_minus8 or sps_max_dec_pic__minus1[　HighestTid　] derived from the active SPS is different from the value of pic_width_in_luma_samples, pic_height_in_luma_samples, chroma_format_idc, separate_colour_plane_, bit_depth_luma_minus8, bit_depth_chroma_minus8 or sps_max_dec_pic_buffering_[　HighestTid　], respectively, derived from the SPS active for the preceding picture, NoOutputOfPriorPicsFlag may (but should not) be set to 1 by the decoder under test, regardless of the value of no_output_of_prior_pics_flag.

2. The value of NoOutputOfPriorPicsFlag derived for the decoder under test is applied for the HRD, such that when the value of NoOutputOfPriorPicsFlag is equal to 1, all picture storage buffers in the DPB are emptied without output of the pictures they contain, and the DPB fullness is set equal to 0.

도 10은 본 개시의 일 실시예에 따른 비디오 코딩 기기(1000)(예: 비디오 인코더(20) 또는 비디오 디코더(30))의 개략도이다. 비디오 코딩 기기(1000)는 여기에 설명된 바와 같이 개시된 실시예를 구현하기에 적합하다. 비디오 코딩 기기(1000)는 데이터를 수신하기 위한 유입 포트(ingress port)(1010) 및 수신기 유닛(Rx)(1020); 데이터를 처리하기 위한 프로세서, 로직 유닛, 또는 중앙 처리 유닛(central processing unit, CPU)(1030); 데이터를 송신하기 위한 송신기 유닛(Tx)(1040) 및 유출 포트(egress port)(1050); 그리고 데이터를 저장하기 위한 메모리(1060)를 포함한다. 비디오 코딩 기기(1000)는 또한

광학 신호 또는 전기 신호의 유입 또는 유출을 위한 유입 포트(1010), 수신기 유닛(1020), 송신기 유닛(1040), 및 유출 포트(1050)에 결합된 광전(optical-to-electrical, OE) 구성요소 및 전광 구성요소(electrical-to-optical, EO)를 포함할 수 있다.

프로세서(1030)는 하드웨어 및 소프트웨어를 사용하여 구현될 수 있다. 프로세서(1030)는 하나 이상의 CPU 칩, 코어(예: 멀티 코어 프로세서), 필드 프로그래머블 게이트 어레이(FPGA), 애플리케이션 특정 집적 회로(ASIC) 및 디지털 신호 ㅍ프로세서(DSP)로 구현될 수 있다. 프로세서(1030)는 유입 포트(1010), 수신기 유닛(1020), 송신기 유닛(1040), 유출 포트(1050) 및 메모리(1060)와 통신한다. 프로세서(1030)는 코딩 모듈(1070)을 포함한다. 코딩 모듈(1070)은 위에 설명한 개시된 실시예를 구현한다. 예를 들어, 코딩 모듈(1070)은 다양한 코딩 동작(coding operation)을 구현, 처리, 준비 또는 제공한다. 따라서 코딩 모듈(1070)의 포함은 비디오 코딩 기기(1000)의 기능에 실질적인 개선을 제공하고 비디오 코딩 기기(1000)의 다른 상태로의 변환에 영향을 미친다. 대안적으로, 코딩 모듈(1070)은 메모리(1060)에 저장되고 프로세서(1030)에 의해 실행되는 명령어로서 구현된다.

비디오 코딩 기기(1000)는 또한 사용자와 데이터를 통신하기 위한 입력 및/또는 출력(I/O) 기기(1080)를 포함할 수 있다. I/O 기기(1080)는 비디오 데이터를 표시하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커 등과 같은 출력 기기를 포함할 수 있다. I/O 기기(1080)는 또한 키보드, 마우스, 트랙볼 등과 같은 입력 기기를 포함할 수 있고/있거나, 및/또는 그러한 출력 기기와 상호작용하기 위한 대응하는 인터페이스를 포함할 수 있다.

메모리(1060)는 하나 이상의 디스크, 테이프 드라이브 및 솔리드 스테이트 드라이브를 포함하고 오버플로 데이터 저장 기기(over-flow data storage device)로 사용되어, 이러한 프로그램이 실행을 위해 선택되는 경우 프로그램을 저장하고, 프로그램 실행 중에 판독되는 명령어 및 데이터를 저장할 수 있다. 메모리(1060)는 휘발성 및/또는 비휘발성일 수 있고 판독 전용 메모리(read-only memory, ROM), 랜덤 액세스 메모리(read-only memory, RAM), 터너리 콘텐츠 주소지정 가능 메모리(ternary content-addressable memory, TCAM) 및/또는 정적 랜덤 액세스 메모리(static random-access memory, SRAM)일 수 있다.

도 11은 코딩을 위한 수단(1100)의 일 실시예의 개략도이다. 일 실시예에서, 코딩을 위한 수단(1100)은 비디오 코딩 기기(1102)(예: 비디오 인코더(20) 또는 비디오 디코더(30))에서 구현된다. 비디오 코딩 기기(1102)는 수신 수단(1101)을 포함한다. 수신 수단(1101)은 인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된다. 비디오 코딩 기기(1102)는 수신 수단(1101)에 결합된 송신 수단(1107)을 포함한다. 송신 수단(1107)은 비트스트림을 디코더에 송신하거나 디코딩된 이미지를 디스플레이 수단(예: I/O 기기(1080) 중 하나)에 송신하도록 구성된다.

비디오 코딩 기기(1102)는 저장 수단(1103)을 포함한다. 저장 수단(1103)은 수신 수단(1101) 또는 송신 수단(1107) 중 적어도 하나에 결합된다. 저장 수단(1103)은 명령어를 저장하도록 구성된다. 비디오 코딩 기기(1102)는 또한 처리 수단(1105)을 포함한다. 처리 수단(1105)은 저장 수단(1103)에 결합된다. 처리 수단(1105)은 여기에 개시된 방법을 수행하기 위해 저장 수단(1103)에 저장된 명령어를 실행하도록 구성된다.

또한, 여기에 설명된 예시적인 방법의 단계는 설명된 순서대로 수행될 필요가 없으며, 이러한 방법의 단계의 순서는 단지 예시적인 것으로 이해되어야 한다. 마찬가지로, 이러한 방법에는 추가적인 단계가 포함될 수 있으며, 본 개시의 다양한 실시예에 따른 방법에서 특정 단계들은 생략되거나 결합될 수 있다.

몇몇 실시예가 본 개시에서 제공되었지만, 개시된 시스템 및 방법은 본 개시의 사상 또는 범위를 벗어나지 않고 많은 다른 구체적인 형태로 구현될 수 있음을 이해해야 한다. 본 예는 예시적인 것으로 간주되어야 하며 한정적이지 않으며, 그 의도는 여기에 주어진 세부사항으로 한정되지 않는다. 예를 들어, 다양한 요소 또는 구성요소가 다른 시스템에 결합 또는 통합되거나 특정 기능이 생략되거나 구현되지 않을 수 있다.

또한, 다양한 실시예에서 별개 또는 분리된 것으로 설명되고 예시된 기술, 시스템, 서브시스템 및 방법은 본 개시의 범위를 벗어나지 않고 다른 시스템, 모듈, 기술 또는 방법과 결합되거나 통합될 수 있다. 결합되거나 직접 연결되거나 서로 통신하는 것으로 도시되거나 논의된 다른 항목은 전기적으로든 기계적으로든 간에 일부 인터페이스, 기기 또는 중간 구성요소를 통해 간접적으로 결합되거나 통신할 수 있다. 변경, 대체 및 개조의 다른 예는 당업자에 의해 확인 가능하고 여기에 개시된 사상 및 범위를 벗어나지 않고 이루어질 수 있다.

Claims

비디오 디코더에 의해 구현되는 디코딩 방법으로서,
상기 비디오 디코더가 코딩된 비디오 비트스트림을 수신하는 단계 - 상기 코딩된 비디오 비트스트림은 클린 랜덤 액세스(clean random access, CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함함 -;
상기 비디오 디코더가 제2 플래그의 제2 값을 상기 제1 플래그의 제1 값과 동일하게 설정하는 단계;
상기 비디오 디코더가 상기 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(decoded picture buffer, DPB)에서 임의의 이전에 디코딩된 픽처를 비우는 단계; 및
상기 비디오 디코더가 상기 DPB를 비운 후에 현재 픽처를 디코딩하는 단계
를 포함하는 디코딩 방법.
제1항에 있어서,
상기 CRA 픽처는 상기 코딩된 비디오 비트스트림의 제1 픽처가 아닌, 디코딩 방법.
제1항 또는 제2항에 있어서,
상기 제1 플래그가 상기 제1 값으로 설정되는 경우, DPB 충만도 파라미터(fullness parameter)를 0으로 설정하는 단계를 더 포함하는 디코딩 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 플래그는 no_output_of_prior_pics_flag로 지정되고, 상기 제2 플래그는 NoOutputOfPriorPicsFlag로 지정되는, 디코딩 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 DPB는 상기 CRA 픽처가 디코딩된 후에 비워지는, 디코딩 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 현재 픽처에 기초하여 생성된 이미지를 표시하는 단계를 더 포함하는 디코딩 방법.
비디오 인코더에 의해 구현되는 인코딩 방법으로서,
상기 비디오 인코더가 비디오 시퀀스에 대한 랜덤 액세스 포인트를 결정하는 단계;
상기 비디오 인코더가 상기 랜덤 액세스 포인트에서 클린 랜덤 액세스(CRA) 픽처를 상기 비디오 시퀀스로 인코딩하는 단계;
상기 비디오 인코더가 플래그를 제1 값으로 설정하여, 비디오 디코더에게 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우도록 명령하는 단계;
상기 비디오 인코더가 상기 랜덤 액세스 포인트에서 상기 CRA 픽처를 갖는 비디오 시퀀스, 및 상기 플래그를 포함하는 비디오 비트스트림을 생성하는 단계; 및
상기 비디오 인코더가 상기 비디오 디코더에의 송신을 위해 상기 비디오 비트스트림을 저장하는 단계
를 포함하는 인코딩 방법.
제7항에 있어서,
상기 CRA 픽처는 상기 비디오 비트스트림의 첫 번째 픽처가 아니고, 상기 비디오 디코더는 상기 CRA 픽처를 디코딩한 후에 상기 DPB를 비우도록 명령을 받는, 인코딩 방법.
제7항 또는 제8항에 있어서,
상기 플래그가 제1 값으로 설정되는 경우에, DPB 충만도 파라미터를 0으로 설정하도록 상기 비디오 디코더에 명령하는 단계를 더 포함하는 인코딩 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 플래그는 no_output_of_prior_pics_flag로 지정되는, 인코딩 방법.
제7항 내지 제10항 중 어느 한 항에 있어서,
상기 플래그의 제1 값은 1인, 인코딩 방법.
디코딩 기기로서,
코딩된 비디오 비트스트림을 수신하도록 구성된 수신기;
상기 수신기에 결합된 메모리; 및
상기 메모리에 결합된 프로세서를 포함하고,
상기 메모리는 명령어를 저장하고;
상기 프로세서는 상기 명령어를 실행하여 상기 디코딩 기기로 하여금,
상기 코딩된 비디오 스트림을 수신하고 - 상기 코딩된 비디오 비트스트림은 클린 랜덤 액세스(CRA) 픽처 및 제1 값을 갖는 제1 플래그를 포함함 -;
제2 플래그의 제2 값을 상기 제1 플래그의 제1 값과 동일하게 설정하고;
상기 제2 값을 갖는 제2 플래그에 기초하여 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우고;
상기 DPB를 비운 후에 현재 픽처를 디코딩하게 하도록 구성되는,
디코딩 기기.
제12항에 있어서,
상기 CRA 픽처는 상기 코딩된 비디오 비트스트림의 첫 번째 픽처가 아닌, 디코딩 기기.
제12항 또는 제13항에 있어서,
상기 제1 플래그는 no_output_of_prior_pics_flag로 지정되고, 상기 제2 플래그는 NoOutputOfPriorPicsFlag로 지정되는, 디코딩 기기.
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 현재 픽처에 기초하여 생성된 이미지를 표시하도록 구성된 디스플레이를 더 포함하는 디코딩 기기.
인코딩 기기로서,
명령어를 포함하는 메모리;
상기 메모리에 결합된 프로세서; 및
상기 프로세서에 결합된 송신기를 포함하고,
상기 프로세서는 상기 명령어를 실행하여 상기 인코딩 기기로 하여금,
비디오 시퀀스에 대한 랜덤 액세스 포인트를 결정하고;
상기 랜덤 액세스 포인트에서 클린 랜덤 액세스(CRA) 픽처를 상기 비디오 시퀀스로 인코딩하고;
플래그를 제1 값으로 설정하여, 비디오 디코더에게 디코딩된 픽처 버퍼(DPB)에서 임의의 이전에 디코딩된 픽처를 비우도록 명령하고;
상기 랜덤 액세스 포인트에서 상기 CRA 픽처를 갖는 비디오 시퀀스, 및 상기 플래그를 포함하는 비디오 비트스트림을 생성하게 하도록 구성되고;
상기 송신기는 상기 비디오 비트스트림을 비디오 디코더에 송신하도록 구성되는,
인코딩 기기.
제16항에 있어서,
상기 CRA 픽처는 상기 비디오 비트스트림의 첫 번째 픽처가 아닌, 인코딩 기기.
제16항 또는 제17항에 있어서,
상기 플래그는 no_output_of_prior_pics_flag로 지정되는, 인코딩 기기.
제16항 내지 제18항 중 어느 한 항에 있어서,
상기 메모리는 상기 송신기가 상기 비디오 디코더에 상기 비트스트림을 송신하기 전에 상기 비트스트림을 저장하는, 인코딩 기기.
코딩 장치로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신기;
상기 수신기에 결합된 송신기;
상기 수신기 또는 상기 송신기 중 적어도 하나에 결합된 메모리; 및
상기 메모리에 결합된 프로세서를 포함하고,
상기 송신기는 상기 비트스트림을 디코더에 송신하거나 디코딩된 이미지를 디스플레이에 송신하도록 구성되고;
상기 메모리는 명령어를 저장하도록 구성되고;
상기 프로세서는 상기 메모리에 저장된 명령어를 실행하여 제1항 내지 제6항 중 어느 한 항 및 제7항 내지 제11항 중 어느 한 항의 방법을 수행하도록 구성되는,
코딩 장치.
제20항에 있어서,
이미지를 표시하도록 구성된 디스플레이를 더 포함하는 코딩 장치.
시스템으로서,
인코더; 및
상기 인코더와 통신하는 디코더를 포함하고,
상기 인코더 또는 상기 디코더는 제12항 내지 제21항 중 어느 한 항의 디코딩 기기, 인코딩 기기, 또는 코딩 장치를 포함하는,
시스템.
코딩을 위한 수단으로서,
인코딩할 픽처를 수신하거나 디코딩할 비트스트림을 수신하도록 구성된 수신 수단;
상기 수신 수단에 결합된 송신 수단;
상기 수신 수단 또는 상기 송신 수단 중 적어도 하나에 결합된 저장 수단; 및
상기 저장 수단에 결합된 처리 수단을 포함하고,
상기 송신 수단은 상기 비트스트림을 디코딩 수단에 송신하거나 디코딩된 이미지를 디스플레이 수단에 송신하도록 구성되고;
상기 저장 수단은 명령어를 저장하도록 구성되고;
상기 처리 수단은 상기 저장 수단에 저장된 명령어를 실행하여, 제1항 내지 제6항 중 어느 한 항 및 제7항 내지 제11항 중 어느 한 항의 방법을 수행하도록 구성되는,
코딩을 위한 수단.