KR20230013055A

KR20230013055A - 비디오 비트스트림들에서 픽처 순서 카운트의 코딩

Info

Publication number: KR20230013055A
Application number: KR1020227043597A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 바이트댄스 아이엔씨
Priority date: 2020-05-22
Filing date: 2021-05-21
Publication date: 2023-01-26
Also published as: CN115699765A; KR20230015385A; JP2023526370A; KR20230015373A; EP4140142A4; WO2021237183A1; CN115699764A; WO2021237181A1; CN115699763A; EP4144093A1; WO2021237177A1; JP2023526367A; US20240040138A1; EP4140128A1; EP4140128A4; JP7538255B2; WO2021237178A1; BR112022023367A2; JP7518204B2; EP4140142A1

Abstract

비디오 비트스트림 처리에서 픽처 순서 카운트를 코딩하기 위한 방법, 시스템 및 장치가 개시된다. 비디오 처리의 예시적인 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 픽처 순서 카운트에 대한 디코딩 프로세스에서 제1 플래그와 연관된 픽처의 유도가 제2 플래그에 기초함을 지정하고, 제1 플래그와 연관된 픽처는 (i) 레퍼런스 픽처 목록 신택스 구조를 참조하는 슬라이스 또는 픽처 헤더와 동일한 제1 식별자, (ii) 0과 동일한 제2 플래그 및 제2 식별자, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 및 랜덤 액세스 디코딩가능 리딩(RADL) 픽처와 다른 픽처 유형을 가지는 디코딩 순서에서의 이전 픽처이다.

Description

비디오 비트스트림들에서 픽처 순서 카운트의 코딩

이 특허 문서는 이미지 및 비디오 코딩(video coding) 및 디코딩(decoding)에 관한 것이다.

파리협약에 따른 대응하는 특허법 및/또는 규칙에 따라, 이 출원은 2020년 5월 22일에 출원된 미국 특허 가출원 번호 63/029,321의 우선권과 이익을 주장한다. 법에 따른 모든 목적을 위해, 상기 출원의 전체 개시는 본 출원의 개시의 일부로서 참조에 의해 포함된다.

디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크에서 가장 많은 대역폭을 사용한다. 비디오(video)를 수신하고 나타낼 수 있는 연결된 사용자 장치(connected user device)의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.

본 문서는 비디오 인코딩 또는 디코딩을 수행하기 위해 비디오 인코더 및 디코더에 의해 사용될 수 있는 기술을 개시한다.

하나의 예시적인 측면에서, 비디오 처리 방법(video processing method)이 개시된다. 비디오 처리 방법은 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림(bitstream) 사이의 변환(conversion)을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙(format rule)을 따르고, 포맷 규칙은 픽처 타이밍(picture timing; PT) 보충 향상 정보(Supplemental Enhancement Information; SEI) 메시지가, 비트스트림에 포함되는 경우에, 액세스 유닛(access unit; AU) 특정(specific)(액세스 유닛에 따라 다르고)임을 지정하고, 랜덤 액세스 스킵된 리딩(random access skipped leading; RASL) 픽처인 하나 이상의 픽처의 각 픽처는 RASL 네트워크 추상화 계층 유닛 유형(network abstraction layer unit type; NUT)만을 포함한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 랜덤 액세스 스킵된 리딩(random access skipped leading; RASL) 픽처와 동일한 클린 랜덤 액세스(clean random access; CRA) 픽처와 연관된 랜덤 액세스 디코딩가능 리딩(random access decodable leading; RADL) 픽처에서 동일 위치 RADL 픽처(collocated RADL picture)를 예측하기 위한 레퍼런스 서브픽처(reference subpicture)로서 RASL 픽처 내의 RADL 서브픽처의 사용을 허용한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림(bitstream) 사이의 변환(conversion)을 수행(perform)하는 단계를 포함하고, 비트스트림은 포맷 규칙(format rule)을 따르고, 포맷 규칙은 픽처 순서 카운트(picture order count)에 대한 디코딩 프로세스(decoding process)에서 제1 플래그(flag)와 연관된 픽처의 유도(derivation)가 제2 플래그에 기초함을 지정(specify)하고, 제1 플래그와 연관된 픽처는 (i) 레퍼런스 픽처 목록 신택스 구조(reference picture list syntax structure)를 참조하는 슬라이스(slice) 또는 픽처 헤더(picture header)와 동일한 제1 식별자(identifier), (ii) 0과 동일한 제2 플래그 및 제2 식별자, 및 (iii) 랜덤 액세스 스킵된 리딩(Random Access Skipped Leading)(RASL) 픽처 및 랜덤 액세스 디코딩가능 리딩(Random Access Decodable Leading)(RADL) 픽처와 다른 픽처 유형(picture type)을 가지는 디코딩 순서(decoding order)에서의 이전 픽처(previous picture)이고, 제1 플래그는 제3 플래그가 비트스트림에 존재하는지 여부를 나타내고, 제2 플래그는 현재 픽처(current picture)가 레퍼런스 픽처(reference picture)로서 사용되는지 여부를 나타내고, 제3 플래그는 장기 레퍼런스 픽처(long-term reference picture)의 픽처 순서 카운트 값(picture order count value)의 하나 이상의 최상위 비트(most significant bit)의 값을 결정하기 위해 사용된다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 디코딩 유닛(decoding unit)(DU)의 디코딩 또는 디코딩 유닛(decoding unit)(DU)의 제거의 타이밍(timing)을 결정하기 위해 사용되는 변수가, 액세스 유닛(access unit)(AU) 특정(specific)이고, 현재 픽처가 레퍼런스 픽처로서 사용되도록 허용되는지 여부를 나타내는 플래그에 기초하여 유도(derive)된다는 것을 지정한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 비트스트림에 포함되는 경우, 버퍼링 주기(buffering period) 보충 향상 정보(Supplemental Enhancement Information)(SEI) 메시지 및 픽처 타이밍 SEI 메시지가 액세스 유닛(AU) 특정임을 지정하고, 버퍼링 주기 SEI 메시지와 연관된 제1 변수 및 버퍼링 주기 SEI 메시지 및 픽처 타이밍 SEI 메시지와 연관된 제2 변수는, 현재 픽처를 레퍼런스 픽처로서 사용될 수 있는지 여부를 나타내는 플래그에 기초하여 유도되고, 제1 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하는 액세스 유닛을 나타내고, 제2 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하고, 디코딩 순서에서의 이전 AU(previous AU) 및 디코딩 순서에서의 제1 AU가 아닌 현재 AU(current AU)를 나타낸다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 제1 픽처 및 제2 픽처와 연관된 제1 변수 및 제2 변수의 유도가 플래그에 기초함을 지정하고, 디코딩 순서에서 제1 픽처는 현재 픽처이고, 제2 픽처는 이전 픽처이고, 디코딩 순서는, (i) 0과 동일한 제1 식별자를 포함하고, (ii) 0과 동일한 플래그를 포함하고, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고, 제1 변수 및 제2 변수는, 각각 제1 픽처와 동일한 제2 식별자를 가지는 다음의 픽처들 각각의 픽처 순서 카운트의 최대 값(maximum value) 및 최소 값(minimum value)이고, 다음의 픽처들은, (i) 제1 픽처, (ii) 제2 픽처, (iii) 제1 픽처의 레퍼런스 픽처 목록(reference picture list)들의 모든 항목(entry)들이 참조하는 하나 이상의 단기 레퍼런스 픽처들(short-term reference picture), 및 (iv) 제1 픽처의 코딩된 픽처 버퍼(coded picture buffer)(CPB) 제거 시간(removal time)보다 작은 CPB 제거 시간 및 제1 픽처의 CPB 제거 시간보다 크거나 같은 디코딩된 픽처 버퍼(decoded picture buffer)(DPB) 출력 시간(output time)으로 출력된 각 픽처를 포함한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림 사이의 변환(conversion)을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙(format rule)을 따르고, 포맷 규칙은 플래그(flag) 및 신택스 요소(syntax element)가 비트스트림에 포함되는 경우, 액세스 유닛(access unit; AU) 특정(specific)임을 지정하고, 플래그는, 현재 AU가 디코딩 순서(decoding order)에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼(nominal coded picture buffer; nominal CPB) 제거 시간(removal time)이 (a) 버퍼링 주기 보충 향상 정보(supplemental enhancement information; SEI) 메시지와 연관된 이전 AU의 명목 코딩된 픽처 버퍼 제거 시간 또는 (b) 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대해 결정되는지 여부를 나타내고, 신택스 요소는, 현재 AU가 디코딩 순서에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대한 CPB 제거 지연 증분 값(CPB removal delay increment value)을 지정한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 복수의 변수(variable)들 및 픽처 타이밍(picture timing) 보충 향상 정보(supplemental enhancement information; SEI) 메시지가 비트스트림에 포함되는 경우, AU 특정임을 지정하고, 픽처 타이밍 SEI 메시지는 복수의 신택스 요소들을 포함하고, 복수의 변수들 중 제1 변수는 현재 AU가 버퍼링 주기 SEI 메시지와 연관되는지 여부를 나타내고, 복수의 변수들 중 제2 변수 및 제3 변수는 현재 AU가 가상 레퍼런스 디코더(hypothetical reference decoder; HRD)를 초기화하는 AU인지 여부에 대한 지시와 연관되고, 복수의 신택스 요소들 중 제1 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 디코딩된 픽처 버퍼(decoded picture buffer; DPB)로부터 출력되기 전에 코딩된 픽처 버퍼(coded picture buffer; CPB)로부터 AU의 제거 후 대기할 클록 틱(sub clock tick)들의 수를 지정하고, 복수의 신택스 요소들 중 제2 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 AU의 마지막 디코딩 유닛(decoding unit; DU)의 제거 후 대기할 서브 클록 틱들의 수를 지정하고, 복수의 신택스 요소들 중 제3 신택스 요소는 현재 AU의 하나 이상의 디코딩된 픽처가 디스플레이 모델(display model)에 대해 점유(occupy)하는 요소 픽처 주기 간격(elemental picture period interval)들의 수를 지정한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 디코딩된 픽처 버퍼(decoded picture buffer; DPB)와 연관된 신택스 요소가 비트스트림에 포함되는 경우, 액세스 유닛(access unit; AU) 특정임을 지정하고, 신택스 요소는, AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 코딩된 픽처 버퍼(coded picture buffer; CPB)로부터 AU의 마지막 디코딩 유닛(decoding unit; DU)의 제거 후 대기할 서브 클록 틱(sub clock tick)들의 수를 지정한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림 사이의 변환(conversion)을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙(format rule)을 따르고, 포맷 규칙은 플래그(flag)가 비트스트림에 포함되는 경우에, 액세스 유닛(AU) 특정(specific)임을 지정하고, 플래그의 값은, 연관된(associated) AU가 인트라 랜덤 액세스 포인트(intra random access points; IRAP) AU인지 또는 점진적 디코딩 리프레쉬(gradual decoding refresh; GDR) AU인지 여부에 기초하고, 플래그의 값은, (i) 신택스 요소(syntax element)가 버퍼링 주기(buffering period) 보충 향상 정보(supplemental enhancement information; SEI) 메시지에 존재하는지 여부 및 (ii) 대체 타이밍 정보(alternative timing information)가 현재 버퍼링 주기 내에 픽처 타이밍(picture timing) SEI 메시지에 존재하는지 여부를 지정한다.

다른 예시적인 측면에서, 다른 비디오 처리 방법이 개시된다. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 제1 신택스 요소의 값이 가상 레퍼런스 디코더(HRD)의 연속 픽처(consecutive picture)들의 출력 시간 사이의 시간적 거리가 제한되는지 여부를 나타내는 플래그와 디코딩될 가장 높은 시간적 서브계층(highest temporal sublayer)을 식별하는 변수에 기초하는 것임을 지정하고, 제1 신택스 요소는 현재 AU 중 하나 이상의 디코딩된 픽처가 디스플레이 모델에 대해 점유하는 요소 픽처 주기 간격의 수를 지정한다.

또 다른 예시적인 측면에서, 비디오 인코더 장치(video encoder apparatus)가 개시된다. 비디오 인코더는 전술한 방법을 실행하도록 구성된 프로세서(processor)를 포함한다.

또 다른 예시적인 측면에서, 비디오 디코더 장치(video decoder apparatus)가 개시된다. 비디오 디코더는 전술한 방법을 실행하도록 구성된 프로세서를 포함한다.

또 다른 실시예 측면에서, 코드(code)가 저장된 컴퓨터 판독 가능 매체(computer readable medium)가 개시된다. 코드는 프로세서 실행 가능 코드의 형태로 여기에 설명된 방법 중 하나를 실행한다.

이러한 기능 및 기타 기능은 본 문서 전체에 걸쳐 설명되어 있다.

도 1은 개시된 다양한 기술들이 실행될 수 있는 예시적인 비디오 처리 시스템을 도시한 블록도이다.
도 2는 비디오 처리에 사용되는 예시적인 하드웨어 플랫폼의 블록도이다.
도 3은 본 개시의 일부 실시예를 실행할 수 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 4는 본 개시의 일부 실시예를 실행할 수 있는 인코더의 예를 예시하는 블록도이다.
도 5는 본 개시의 일부 실시예를 실행할 수 있는 디코더의 예를 예시하는 블록도이다.
도 6-도 16은 비디오 처리의 예시적인 방법에 대한 흐름도들을 도시한다.

섹션 제목은 이해의 편의를 위해 본 문서에서 사용되며 각 섹션에 개시된 기술 및 실시예의 적용 가능성을 해당 섹션에만 제한하지 않는다. 또한, H.266 용어는 일부 설명에서 이해의 편의를 위해서만 사용되며 개시된 기술의 범위를 제한하기 위한 것이 아니다. 이와 같이, 여기에 설명된 기술은 다른 비디오 코덱 프로토콜 및 설계에도 적용할 수 있다.

1. 소개

이 문서는 비디오 코딩 기술(video coding technologies)과 관련이 있다. 구체적으로, 비디오 코딩에서 폐기 가능한(discardable) 픽처들/AU들 및 HRD 관련 SEI 메시지의 시맨틱을 처리하는 것에 관한 것이다. 특정 시나리오에서 폐기될 수 있는 폐기 가능한 픽처들의 예에는 RASL 픽처들, RADL 픽처들 및 ph_non_ref_pic_flag가 1인 픽처들이 포함된다. HRD 관련 SEI 메시지에는 BP, PT 및 DUI SEI 메시지가 포함된다. 아이디어는 다층 비디오 코딩(multi-layer video coding), 예를 들어 개발 중인 범용 비디오 코딩(Versatile Video Coding)(VVC)을 지원하는 임의의 비디오 코딩 표준 또는 비표준 비디오 코덱에 개별적으로 또는 다양한 조합으로 적용될 수 있다.

2. 약어

APS 적응형 파라미터 세트(Adaptation Parameter Set)

AU 액세스 유닛(Access Unit)

AUD 액세스 유닛 구분 기호(Access Unit Delimiter)

AVC 고급 비디오 코딩(Advanced Video Coding)

CLVS 코딩된 계층 비디오 시퀀스(Coded Layer Video Sequence)

CPB 코딩된 픽처 버퍼(Coded Picture Buffer)

CRA 클린 랜덤 액세스(Clean Random Access)

CTU 코딩 트리 유닛(Coding Tree Unit)

CVS 코딩된 비디오 시퀀스(Coded Video Sequence)

DCI 디코딩 기능 정보(Decoding Capability Information)

DPB 디코딩된 픽처 버퍼(Decoded Picture Buffer)

EOB 비트스트림 끝(End Of Bitstream)

EOS 시퀀스 끝(End Of Sequence)

GDR 점진적 디코딩 리프레쉬(Gradual Decoding Refresh)

HEVC 고효율 비디오 코딩(High Efficiency Video Coding)

HRD 가상 레퍼런스 디코더(Hypothetical Reference Decoder)

IDR 순간 디코딩 리프레쉬(Instantaneous Decoding Refresh)

ILP 계층간 예측(Inter-Layer Prediction)

ILRP 계층간 레퍼런스 참조(Inter-Layer Reference Picture)

JEM 공동 연구 모델(Joint Exploration Model)

LTRP 장기 레퍼런스 픽처(Long-Term Reference Picture)

MCTS 모션 제약 타일 세트(Motion-Constrained Tile Set)

NAL 네트워크 추상화 계층(Network Abstraction Layer)

OLS 출력 계층 세트(Output Layer Set)

PH 픽처 헤더(Picture Header)

PPS 픽처 파라미터 세트(Picture Parameter Set)

PTL 프로필, 티어 및 레벨(Profile, Tier and Level)

PU 픽처 유닛(Picture Unit)

RAP 랜덤 액세스 포인트(Random Access Point)

RADL 랜덤 액세스 디코딩가능 리딩(Random Access Decodable Leading) 픽처

RASL 랜덤 액세스 스킵된 리딩(Random Access Skipped Leading) 픽처

RBSP 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload)

SEI 보충 향상 정보(Supplemental Enhancement Information)

SPS 시퀀스 파라미터 세트(Sequence Parameter Set)

STRP 단기 레퍼런스 픽처

SVC 스케일러블 비디오 코딩(Scalable Video Coding)

VCL 비디오 코딩 계층(Video Coding Layer)

VPS 비디오 파라미터 세트(Video Parameter Set)

VTM VVC 테스트 모델(VVC Test Model)

VUI 비디오 사용성 정보(Video Usability Information)

VVC 다목적 비디오 코딩(Versatile Video Coding)

3. 초기 논의

비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해 왔다. ITU-T는 H.261및 H.263을 제작했으며, ISO/IEC는 MPEG-1 및 MPEG-4 비주얼을 제작했으며, 두 조직은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 고급 비디오 코딩(AVC) 및 H.265/HEVC 표준을 공동 제작했다. H.262 이후, 비디오 코딩 표준은 시간적 예측(temporal prediction)과 트랜스폼 코딩(transform coding)이 사용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC를 넘어 미래의 비디오 코딩 기술을 연구하기 위해, 공동 비디오 연구팀(JVET: Joint Video Exploration Team)이 2015년에 VCEG와 MPEG의 공동으로 설립되었다. 그 이후로, JVET에 의해 많은 새로운 방법들이 채택되었고, 공동 연구 모델(JEM: Joint Exploration Model)이라고 명명된 레퍼런스 소프트웨어(reference software)에 적용되었다. JVET 회의는 분기마다 한번 동시 개최되며, 새로운 코딩 표준은 HEVC 대비 비트레이트 50% 감소를 목표로 하고 있다. 새로운 비디오 코딩 표준은 2018년 4월 JVET 회의에서 공식적으로 다목적 비디오 코딩(Versatile Video Coding; VVC)로 명명되었으며, 당시 VVC 테스트 모델(VVC test model)(VTM)의 제1 버전이 출시되었다. VVC 표준화에 기여하는 지속적인 노력이 있기 때문에 모든 JVET 회의에서 새로운 코딩 기술이 VVC 표준에 채택되고 있다. VVC 작업 드래프트와 테스트 모델 VTM은 모든 회의 후에 업데이트된다. VVC 프로젝트는 현재 2020년 7월 회의에서 기술 완료(FDIS)를 목표로 하고 있다.

3.1. 레퍼런스 픽처 관리(Reference picture management) 및 레퍼런스 픽처 목록(reference picture list)(RPL)

레퍼런스 픽처 관리는 인터 예측을 사용하는 모든 비디오 코딩 체계에 필요한 핵심 기능이다. 디코딩된 픽처 버퍼(decoded picture buffer)(DPB)에 대한 레퍼런스 픽처의 저장 및 제거를 관리하고 RPL에서 레퍼런스 픽처를 적절한 순서에서 배치한다.

레퍼런스 픽처 마킹 및 디코딩된 픽처 버퍼(DPB)에서의 제거 및 레퍼런스 픽처 목록 구성(RPLC)을 포함하는 HEVC의 레퍼런스 픽처 관리는 AVC의 레퍼런스 픽처 관리와 상이하다. AVC에서 슬라이딩 윈도우와 적응형 메모리 관리 제어 작업(Adaptive Memory Management Control Operation)(MMCO)에 기초하는 레퍼런스 픽처 마킹 메커니즘(reference picture management) 대신에, HEVC는 소위 레퍼런스 픽처 세트(reference picture set)(RPS)에 기초하는 레퍼런스 픽처 관리 및 마킹 메커니즘을 지정하고, 결과적으로 RPLC는 RPS 메커니즘에 기초한다. RPS는, 디코딩 순서에서 연관된 픽처에 앞서 있는 모든 레퍼런스 픽처들로 구성된, 디코딩 순서에서 연관된 픽처들 또는 연관된 픽처 다음에 오는 임의의 픽처의 인터 예측에 사용될 수 있는 픽처와 연관된 픽처의 세트로 구성된다. 레퍼런스 픽처 세트는 다섯 개의 레퍼런스 픽처 목록으로 구성된다. 처음 세 개의 목록은 현재 픽처의 인터 예측에 사용될 수 있고 디코딩 순서에서 현재 픽처 다음에 오는 하나 이상의 픽처의 인터 예측에 사용될 수 있는 모든 레퍼런스 픽처들을 포함한다. 다른 두 목록은 현재 픽처의 인터 예측에 사용되지 않는 모든 레퍼런스 픽처들로 구성되지만, 디코딩 순서에서 현재 픽처들 다음에 있는 픽처들 중 하나 이상의 인터 예측에 사용될 수 있다. RPS는 주로 개선된 오류 복원력(improved error resilience)을 위해 AVC에서와 같이 "인터 코딩된" 시그널링 대신, DPB 상태의 "인트라 코딩된" 시그널링을 제공한다. HEVC에서의 RPLC 프로세스는 RPS에 기초하여, 각각의 레퍼런스 인덱스에 대한 RPS 서브세트(subset)에 인덱스를 시그널링함으로써 이 프로세스는 AVC의 RPLC 프로세스보다 간단한다.

VVC의 레퍼런스 픽처 관리는 AVC보다 HEVC와 더 유사하지만 다소 간단하고 강력하다. 이러한 표준에서와 마찬가지로, 목록 0(List 0)과 목록 1(List 1)의 두 RPL이 유도되지만 HEVC 또는 AVC에서 사용되는 자동 슬라이딩 윈도우 프로세스에 사용되는 레퍼런스 픽처 세트 개념을 기반으로 하지 않으며; 대신 그들은 더 직접적으로 시그널링된다. RPL에 대한 레퍼런스 픽처가 활성 항목과 비활성 항목 중 하나로 나열되며, 현재 픽처의 CTU 간 예측에서 활성 항목만 레퍼런스 인덱스로 사용될 수 있다. 비활성 항목은 비트스트림에 나중에 도착하는 다른 픽처를 참조하기 위해 DPB에 보유할 다른 픽처를 나타낸다.

3.2. HEVC 및 VVC에서의 랜덤 액세스 및 지원

랜덤 액세스는 디코딩 순서에서 비트스트림의 제1 픽처가 아닌 픽처에서 비트스트림의 액세스 및 디코딩을 시작하는 것을 말한다. 로컬 재생 및 스트리밍뿐만 아니라 스트리밍에서 스트림 적응을 요구하는, 브로드캐스트/멀티캐스트 및 다자간 비디오 컨퍼런스에서 튜닝 및 채널 전환을 지원하려면, 비트스트림은 빈번한 랜덤 액세스 포인트를 포함해야 하는데, 이는 일반적으로 인트라 코딩된 픽처이지만 인터 코딩된(inter-coded) 픽처일 수도 있다(예를 들어, 점진적 디코딩 리프레쉬의 경우).

HEVC는 NAL 유닛 유형을 통해 NAL 유닛 헤더에 인트라 랜덤 액세스 포인트(IRAP) 픽처의 시그널링을 포함한다. 순간 디코더 리프레쉬(instantaneous decoder refresh)(IDR), 클린 랜덤 액세스(clean random access)(CRA) 및 끊어진 링크 액세스(broken link access)(BLA) 픽처의 세 가지 유형의 IRAP 픽처가 지원된다. IDR 픽처는 일반적으로 폐쇄 GOP 랜덤 액세스 포인트라고 하는 현재 픽처의 그룹(Group of Picture)(GOP) 이전의 픽처를 참조하지 않도록 인터-픽처 예측 구조(inter-picture prediction structure)를 제한한다. CRA 픽처는 특정 픽처가 현재 GOP 이전의 픽처를 참조하도록 허용함으로써 덜 제한적이며, 랜덤 액세스의 경우 모두 삭제된다. CRA 픽처는 일반적으로 개방형 GOP 랜덤 액세스 포인트라고 한다. BLA 픽처는 일반적으로 예를 들어, 스트림 스위칭 중에 CRA 픽처에서 두 비트스트림 또는 그 일부를 스플라이싱(splicing)하여 발생한다. 시스템에서 IRAP 픽처를 더 잘 사용할 수 있도록 하려면, IRAP 픽처의 속성을 시그널링하기 위해 총 6개의 상이한 NAL 유닛이 정의되며, 이는 ISO 기본 미디어 파일 포맷(ISO base media file format)(ISOBMFF)에 정의된 스트림 액세스 포인트 유형들을 더 잘 매칭하는데 사용될 수 있으며, 이는 HTTP(DASH)를 통한 동적 적응적 스트리밍에서 랜덤 액세스 지원에 활용된다.

VVC는 세 가지 유형의 IRAP 픽처, 두 가지 유형의 IDR 픽처(연관된 RADL 픽처가 있거나 없는 다른 유형) 과 한 유형의 CRA 픽처를 지원한다. 이는 기본적으로 HEVC와 동일하다. HEVC의 BLA 픽처 유형들은 주로 다음 두 가지 이유들로 인해 VVC에 포함되지 않는다: i) BLA 픽처의 기본 기능은 CRA 픽처와 시퀀스 NAL 유닛의 끝으로 실현될 수 있고, 그 존재는 후속 픽처가 단일 계층 비트스트림에서 새로운 CVS를 시작한다는 것을 지시한다. ii) NAL 유닛 헤더의 NAL 유닛 유형 필드에 대해 6비트 대신 5비트를 사용하는 것으로 지시된 바와 같이 VVC의 개발 동안 HEVC보다 적은 NAL 유닛 유형들을 지정하려는 요구가 있었다.

VVC와 HEVC 사이의 랜덤 액세스 지원의 또 다른 주요 차이점은 VVC에서 보다 규범적인 방식으로 GDR을 지원한다는 것이다. GDR에서, 비트스트림의 디코딩은 인터 코딩된 픽처에서 시작할 수 있으며 처음에는 전체 픽처 영역을 올바르게 디코딩 할 수는 없지만 여러 픽처 후에 전체 픽처 영역이 올바르게 된다. AVC 및 HEVC는, GDR 랜덤 액세스 포인트 및 복구 포인트(recovery point)의 시그널링에 대한 복구 포인트 SEI 메시지를 사용하여, GDR을 지원한다. VVC에서, GDR 픽처를 나타내기 위해 새로운 NAL 유닛 유형이 지정되고 복구 포인트은 픽처 헤더 신택스 구조에서 시그널링 된다. CVS 및 비트스트림은 GDR 픽처로 시작할 수 있다. 즉, 전체 비트스트림에 인트라 코딩된 단일 픽처 없이 인터-코딩된 픽처만 포함할 수 있다. 이러한 방식으로 GDR 지원을 지정할 때의 주요 이점은 GDR에 적합한 행동을 제공하는 것이다. GDR을 사용하면 인코더가 전체 픽처를 인트라 코딩하는 것과는 대조적으로 인트라 코딩 된 슬라이스 또는 블록을 여러 픽처에 배포하여 비트스트림의 비트 전송률을 부드럽게 할 수 있으며, 따라서 엔드-투-엔드 지연을 크게 줄일 수 있고, 이는 무선 디스플레이, 온라인 게임, 드론 기반 애플리케이션(application)과 같은 초저지연 애플리케이션이 대중화됨에 따라 요즘은 이전보다 더 중요하다고 간주된다.

VVC의 또 다른 GDR 관련 기능은 가상 경계 시그널링이다. GDR 픽처와 그 복구 포인트 사이의 픽처에서 리프레쉬된 영역(즉, 올바르게 디코딩된 영역)과 리프레쉬 되지 않은 영역 사이의 경계는 가상 경계로서 시그널링될 수 있으며, 시그널링될 때, 경계를 가로지르는 인루프 필터링이 적용되지 않으므로, 경계 또는 경계 근처에서 일부 샘플에 대해 디코딩 미스매치가 발생하지 않는다. 이는 애플리케이션이 GDR 프로세스 중에 올바르게 디코딩된 영역을 표시하기로 결정할 때 유용할 수 있다.

IRAP 픽처 및 GDR 픽처를 총칭하여 RAP(랜덤 액세스 포인트) 픽처라고 할 수 있다.

3.3. 시퀀스 내에서 픽처 해상도 변경

AVC 및 HEVC에서, IRAP 픽처와 함께 새로운 SPS를 사용하는 새로운 시퀀스가 시작되지 않는 한 픽처의 공간 해상도(spatial resolution)는 변경할 수 없다. VVC는 항상 인트라 코딩되는(intra-coded) IRAP 픽처를 인코딩하지 않고 위치에서 시퀀스 내에서 픽처 해상도를 변경할 수 있다. 이 기능은 때로는 레퍼런스 픽처 리샘플링(reference picture resampling)(RPR)이라고도 하는데, 이는 해당 레퍼런스 픽처가 디코딩되는 현재 픽처와 해상도가 다른 경우 인터 예측을 위해 사용되는 레퍼런스 픽처의 리샘플링이 필요하기 때문이다.

스케일링 비율은 1/2(레퍼런스 픽처에서 현재 픽처로의 2배의 다운샘플링)보다 크거나 동일하고, 8(8배의 업샘플링)보다 작거나 동일하도록 제한된다. 주파수 컷오프가 상이한 세 개의 세트의 리샘플링 필터는 레퍼런스 픽처와 현재 픽처 사이의 다양한 스케일링 비율을 처리하도록 지정된다. 세 개의 세트의 리샘플링 필터는 1/2에서 1/1.75까지, 1/1.75에서 1/1.25까지, 그리고 1/1.25에서 8까지의 스케일링 비율이 각각 적용된다. 리샘플링 필터의 각 세트는 루마(luma)에 대해 16개의 위상이 있고 모션 보상 보간 필터(motion compensation interpolation filter)의 경우와 동일한 크로마(chroma)에 대해 32개의 위상이 있다. 실제로 일반 MC 보간 프로세스(interpolation process)는 스케일링 비율이 1/1.25에서 8 사이인 리샘플링 프로세스의 특별한 경우이다. 가로 및 세로 스케일링 비율은 픽처 너비와 높이, 및 레퍼런스 픽처 및 현재 픽처에 대해 지정된 왼쪽, 오른쪽, 위쪽 및 아래쪽 스케일링 오프셋에 기초하여 유도된다.

HEVC와 다른 이 기능을 지원하기 위한 VVC 설계의 다른 측면들은 다음과 같다: i) 픽처 해상도 및 대응하는 적합성 창(corresponding conformance window)은 SPS 대신 PPS에서 시그널링되는 반면 SPS에서는 최대 픽처 해상도가 시그널링된다. ii) 단일 계층 비트스트림의 경우, 각 픽처 저장소(하나의 디코딩된 픽처를 저장하기 위한 DPB의 슬롯)는 최대 픽처 해상도를 갖는 디코딩된 픽처를 저장하는 데 필요한 버퍼 크기를 차지한다.

3.4. 일반 및 VVC에서 스케일러블 비디오 코딩(Scalable video coding)(SVC)

스케일러블 비디오 코딩(Scalable video coding)(SVC, 때로는 비디오 코딩에서 스케일러빌리티(scalability)라고도 함)은 레퍼런스 계층(RL)이라고도 하는 기본 계층(base layer)(BL)과 하나 이상의 스케일러블 강화 계층(scalable enhancement layer)(ELs)이 사용되는 비디오 코딩을 말한다. SVC에서 기본 계층은 기본 레벨(base level)의 품질로 비디오 데이터를 전달할 수 있다. 하나 이상의 강화 계층은 예를 들어 더 높은 공간, 시간 및/또는 신호 대 잡음(SNR) 레벨을 지원하기 위해 부가적인 비디오 데이터를 전달할 수 있다. 강화 계층은 이전에 인코딩된 계층에 대해 정의될 수 있다. 예를 들어, 하부 계층(bottom layer)은 BL의 역할을 할 수 있고 상부 계층(top layer)은 EL의 역할을 할 수 있다. 중간 계층(middle layer)은 EL 또는 RL 또는 둘 다로 사용될 수 있다. 예를 들어, 중간 계층(예를 들어, 최저 최하위 계층도 아니고 최상위 계층도 아닌 계층)은 기본 계층 또는 임의의 중간 강화 계층과 같은 중간 계층 아래의 계층에 대한 EL일 수 있으며, 동시에 중간 계층 위의 하나 이상의 강화 계층에 대한 RL로서 기능한다. 유사하게, HEVC 표준의 멀티뷰 또는 3D 확장에서, 다수의 뷰가 존재할 수 있고, 하나의 뷰의 정보는 다른 뷰의 정보(예를 들어, 모션 추정, 모션 벡터 예측 및/또는 다른 리던던시)를 코딩(예를 들어, 인코딩 또는 디코딩) 하는데 이용될 수 있다.

SVC에서, 인코더 또는 디코더에 의해 사용되는 파라미터들은 이들이 이용될 수 있는 코딩 레벨(예를 들어, 비디오-레벨, 시퀀스-레벨, 픽처-레벨, 슬라이스 레벨 등)에 기초하여 파라미터 세트로 그룹화된다. 예를 들어, 비트스트림의 상이한 계층들의 하나 이상의 코딩된 비디오 시퀀스에 의해 이용될 수 있는 파라미터들은 비디오 파라미터 세트(VPS)에 포함될 수 있고, 코딩된 비디오 시퀀스에서 하나 이상의 픽처에 의해 이용되는 파라미터들은 시퀀스 파라미터 세트(SPS)에 포함될 수 있다. 유사하게, 픽처에서 하나 이상의 슬라이스에 의해 사용되는 파라미터가 픽처 파라미터 세트(PPS)에 포함될 수 있고, 단일 슬라이스에 특정되는 다른 파라미터가 슬라이스 헤더에 포함될 수 있다. 유사하게, 특정 계층이 주어진 시간에 어느 파라미터 세트(들)를 사용하고 있는지에 대한 지시는 다양한 코딩 레벨에서 제공될 수 있다.

VVC에서 레퍼런스 픽처 리샘플링(RPR) 지원 덕분에, 다중 계층, 예를 들어, VVC에서 SD 및 HD 해상도의 두 계층을 포함하는 비트스트림의 지원을 추가 신호 처리 레벨 코딩 툴 없이도 설계될 수 있으며, 공간 스케일러빌리티 지원에 필요한 업샘플링은 RPR 업샘플링 필터만 사용할 수 있다. 그럼에도 불구하고 스케일러빌리티 지원을 위해서는 높은 레벨의 신택스 변경(스케일러빌리티를 지원하지 않는 것과 비교)이 필요하다. 스케일러빌리티 지원은 VVC 버전 1에 지정되어 있다. AVC 및 HEVC의 확장성(extension)을 포함하여 이전 비디오 코딩 표준의 스케일러빌리티 지원과는 달리 VVC 스케일러빌리티 설계는 가능한 한 단층 디코더 설계에 친숙하게 만들어졌다. 다층 비트스트림에 대한 디코딩 기능은 비트스트림에 단일 계층에만 있는 것처럼 지정된다. 예를 들어, DPB 크기와 같은 디코딩 기능은 디코딩될 비트스트림의 계층들의 수에 독립적인 방식으로 지정된다. 기본적으로 단층 비트스트림용으로 설계된 디코더는 다층 비트스트림을 디코딩하기 위해 많은 변경이 필요하지 않다. AVC 및 HEVC의 다층 확장 설계와 비교할 때 HLS 측면은 일부 유연성을 희생하면서 크게 단순화되었다. 예를 들어, CVS에 있는 각 계층에 대한 픽처를 포함하려면 IRAP AU가 필요하다.

3.5. 파라미터 세트들(Parameter set)

AVC, HEVC 및 VVC는 파라미터 세트를 지정한다. 파라미터 세트의 유형은 SPS, PPS, APS 및 VPS를 포함한다. SPS 및 PPS는 모든 AVC, HEVC 및 VVC에서 지원된다. VPS는 HEVC 이후 도입되었으며 HEVC와 VVC에 모두 포함되어 있다. APS는 AVC 또는 HEVC에 포함되지 않았지만 최신 VVC 초안 텍스트에 포함되었다.

SPS는 시퀀스 레벨 헤더 정보를 전달하도록 설계되었으며 PPS는 자주 변경되지 않는 픽처 레벨 헤더 정보를 전달하도록 설계되었다. SPS 및 PPS를 사용하면 각 시퀀스 또는 픽처에 대해 드물게 변경되는 정보를 반복할 필요가 없으므로 이 정보의 중복 시그널링을 피할 수 있다. 또한 SPS 및 PPS를 사용하면 중요한 헤더 정보의 대역 외 전송이 가능하므로 중복 전송의 필요성을 피할 뿐만 아니라 오류 복원력(error resilience)도 개선된다.

VPS는 다층 비트스트림의 모든 계층에 공통적인 시퀀스 레벨 헤더 정보를 전달하기 위해 도입되었다.

APS는 코딩하는 데 상당한 비트가 필요하고 여러 픽처에서 공유할 수 있으며 순서대로 매우 다양한 변형이 있을 수 있는 픽처 레벨 또는 슬라이스 레벨 정보를 전달하기 위해 도입되었다.

4. 개시된 기술 솔루션으로 해결된 기술적 문제의 예

최신 VVC 텍스트(JVET-R2001-vA/v10)에서 폐기 가능한 픽처들 및 AU들을 처리하기 위한 기존 설계에는 다음과 같은 문제들이 있다.

1) 3절(정의)에서 RASL 픽처 정의의 일부로 "RASL 픽처는 비-RASL 픽처(non-RASL picture)들의 디코딩 프로세스를 위한 레퍼런스 픽처로 사용되지 않는다"라는 문장에 문제가 있고, 일부 시나리오에서는 더 이상 사실이 아니므로 혼란과 상호 운용성 문제가 발생할 수 있다.

2) 절 D.4.2(픽처 타이밍 SEI 메시지 시맨틱)에서 pt_cpb_alt_timing_info_present_flag이 0과 동일한 것에 대한 제약 조건은 픽처-특정 방식(picture-specific manner)으로 지정된다. 그러나 HRD 작업은 OLS 기반이므로 시맨틱이 기술적으로 올바르지 않으며 상호 운용성 문제가 발생할 수 있다.

3) delta_poc_msb_cycle_present_flag[ i ][ j ]의 시맨틱과 POC(picture order count)(픽처 순서 카운트)에 대한 디코딩 프로세스에서 prevTid0Pic의 유도는 ph_non_ref_pic_flag의 값을 고려하지 않는다. 이것은 ph_non_ref_pic_flag가 1인 픽처들이 폐기될 때 문제를 일으킬 수 있고, 그러면 픽처 및/또는 시그널링된 레퍼런스 픽처에 대한 유도 POC 값이 잘못될 수 있고 디코더 충돌을 포함하여 예기치 않은 잘못된 디코딩 동작이 발생할 수 있기 때문이다.

4) 절 C.2.3(DU 제거 및 DU 디코딩 타이밍)에서 변수 prevNonDiscardablePic은 픽처 특정 방식으로 지정되고 ph_non_ref_pic_flag 값은 고려되지 않는다. 결과적으로 위와 유사한 문제들이 발생할 수 있다.

5) 문제 4에서와 유사한 문제들이 D.3.2절(버퍼링 주기 SEI 메시지 시맨틱)의 notDiscardablePic 및 prevNonDiscardablePic 및 D.4.2절(픽처 타이밍 SEI 메시지 시맨틱)의 prevNonDiscardablePic에 적용된다.

6) bp_concatenation_flag 및 bp_cpb_removal_delay_delta_minus1의 시맨틱은 픽처 특정 방식으로 지정된다. 그러나 HRD 작업은 OLS 기반이므로 시맨틱이 기술적으로 올바르지 않으며 상호 운용성 문제가 발생할 수 있다.

7) bp_alt_cpb_params_present_flag의 값에 대한 제약 조건에서bp_alt_cpb_params_present_flag의 시맨틱에는 두 가지 문제가 있다: 첫째, 픽처 특정 방식으로 지정되지만 AU 특정이어야 하고, 둘째, IRAP 픽처만 고려되는 반면 GDR 픽처도 고려해야 한다.

8) D.4.2절(픽처 타이밍 SEI 메시지 시맨틱)에서, 변수 BpResetFlag, CpbRemovalDelayMsb[ i ] 및 CpbRemovalDelayVal[ i ], 신택스 요소 pt_dpb_output_delay, pt_dpb_output_du_delay 및 pt_display_elemental_periods_minus1의 시맨틱은 픽처 특정 방식으로 지정된다. 그러나 HRD 작업은 OLS 기반이므로 시맨틱이 기술적으로 올바르지 않으며 상호 운용성 문제가 발생할 수 있다.

9) C.4 절(비트스트림 적합성)에서 maxPicOrderCnt 및 minPicOrderCnt의 유도는 ph_non_ref_pic_flag의 값을 고려하지 않는다. 이것은 ph_non_ref_pic_flag가 1인 픽처들이 폐기될 때 문제를 일으킬 수 있고, 그러면 픽처 및/또는 시그널링된 레퍼런스 픽처에 대한 유도 POC 값이 잘못될 수 있고 디코더 충돌을 포함하여 예기치 않은 잘못된 디코딩 동작이 발생할 수 있기 때문이다.

10) pt_display_elemental_periods_minus1의 시맨틱에서 fixed_pic_rate_within_cvs_flag[ TemporalId ] 신택스 요소가 사용된다. 다만, 시맨틱은 BP, PT 및 DUI SEI 메시지의 다른 시맨틱에서와 같이 타겟 가장 높은(target highest) TemporalId 값의 맥락(context)에서 설명되어야 하기 때문에, fixed_pic_rate_within_cvs_flag[　Htid　]를 대신 사용해야 한다.

11) dui_dpb_output_du_delay의 시맨틱은 픽처-특정 방식으로 지정된다. 그러나 HRD 작업은 OLS 기반이므로 시맨틱이 기술적으로 올바르지 않으며 상호 운용성 문제가 발생할 수 있다.

5. 기술 솔루션 및 실행 목록

상기와 같은 문제점을 해결하기 위해, 아래와 같이 정리한 방법을 개시한다. 아이템은 일반적인 개념을 설명하기 위한 예시로 간주되어야 하고 좁은 의미로 해석되어서는 안 된다. 또한, 이들 아이템은 개별적으로 또는 임의의 방식으로 조합하여 적용될 수 있다.

1) 문제 1을 해결하기 위해, 3절(정의들)에서, RASL 픽처 정의의 일부로 주석의 문장 "RASL 픽처들은 비-RASL 픽처들의 디코딩 프로세스를 위한 레퍼런스 픽처로 사용되지 않는다."를 "RASL 픽처에 있는 RADL 서브픽처가 존재하는 경우 RASL 픽처와 동일한 CRA 픽처와 연관된 RADL 픽처에서 함께 배치된 RADL 서브픽처의 인터 예측에 사용될 수 있다는 점을 제외하고는, RASL 픽처는 비-RASL 픽처의 디코딩 과정을 위한 레퍼런스 픽처로 사용되지 않는다."로 변경한다.

2) 문제 2를 해결하기 위해, 절 D.4.2(픽처 타이밍 SEI 메시지 시맨틱)에서, 0과 동일한 pt_cpb_alt_timing_info_present_flag에 대한 제약 조건의 설명을 픽처 특정에서 AU 특정으로 변경하고, 여기에서 RASL 픽처가 RASL NUT만을 포함한다고 추가한다.

a. 하나의 예에서, 제약 조건은 다음과 같이 지정된다: 연관된 AU의 모든 픽처들이 0과 동일한 pps_mixed_nalu_types_in_pic_flag를 갖는 RASL 픽처들일 경우, pt_cpb_alt_timing_info_present_flag의 값은 0과 동일해야 한다.

b. 다른 예에서 제약 조건은 다음과 같이 지정된다: 연관된 AU의 모든 픽처들이 pps_mixed_nalu_types_in_pic_flag가 0인 RASL 픽처들인 경우, pt_cpb_alt_timing_info_present_flag의 값은 0과 동일해야 한다.

c. 또 다른 예에서, 제약 조건은 다음과 같이 지정된다: 연관된 AU의 모든 픽처들이 모두 RASL_NUT과 동일한 nal_unit_type을 갖는 VCL NAL 유닛을 포함하는 RASL 픽처들인 경우, pt_cpb_alt_timing_info_present_flag의 값은 0과 동일해야 한다.

3) 문제 3을 해결하기 위해 delta_poc_msb_cycle_present_flag[ i ][ j ]의 시맨틱에서 prevTid0Pic의 유도 및 픽처 순서 카운트에 대한 디코딩 프로세스에 ph_non_ref_pic_flag를 추가한다.

4) 문제 4를 해결하려면 C.2.3 절(DU 제거 및 DU 디코딩 타이밍)에서 prevNonDiscardableAu로 이름 바꾸기를 포함하여 prevNonDiscardablePic의 사양(specification)을 픽처 특정에서 AU 특정으로 변경하고 동일한 변수의 유도에 ph_non_ref_pic_flag를 추가한다.

5) 문제 5를 해결하려면 D.3.2절(버퍼링 주기 SEI 메시지 시맨틱)의 notDiscardablePic 및 prevNonDiscardablePic 및 D.4.2절(픽처 타이밍 SEI 메시지 시맨틱)의 prevNonDiscardablePic에 대해, 각각 notDiscardableAu 및 prevNonDiscardableAu로 이름을 변경하고 픽처 특정에서 AU 특정으로 이러한 변수들의 사양을 변경하고 이 두 변수들의 유도에 ph_non_ref_pic_flag를 추가한다.

6) 문제 6을 해결하려면 bp_concatenation_flag 및 bp_cpb_removal_delay_delta_minus1의 시맨틱에 대한 설명을 픽처 특정에서 AU 특정으로 변경한다.

7) 문제 7을 해결하기 위해bp_alt_cpb_params_present_flag의 값에 대한 제약 조건을 AU 특정 방식으로 지정하고, bp_alt_cpb_params_present_flag의 값이 추가로 연관된 AU가 GDR AU인지 여부에 의존하도록 지정된다.

8) 문제 8을 해결하려면, D.4.2절(픽처 타이밍 SEI 메시지 시맨틱)에서 변수 BpResetFlag, CpbRemovalDelayMsb[ i ] 및 CpbRemovalDelayVal[ i ]의 사양과 신택스 요소 pt_dpb_output_delay, pt_dpb_output_du_delay 및 pt_display_elemental_periods_minus1의 시맨틱을 픽처 특정에서 AU 특정으로 변경한다.

9) 문제 9를 해결하려면, C.4(비트스트림 적합성) 절에서, maxPicOrderCnt 및 minPicOrderCnt의 유도에서 "TemporalId가 0이고 RASL 또는 RADL 픽처가 아닌 디코딩 순서의 이전 픽처"에 ph_non_ref_pic_flag를 추가한다.

10) 문제 10을 해결하려면 fixed_pic_rate_within_cvs_flag[ TemporalId ] 대신 fixed_pic_rate_within_cvs_flag[ Htid ]를 사용하여 pt_display_elemental_periods_minus1의 시맨틱을 지정한다.

11) 문제 11을 해결하려면 AU 특정 방식으로 dui_dpb_output_du_delay의 시맨틱을 지정한다.

6. 실시예

다음은, VVC 사양에 적용될 수 있는, 위의 섹션 5에서 요약된 발명 측면 중 일부에 대한 몇 가지 예시적인 실시예이다. 변경된 텍스트는 JVET-R2001-vA/v10의 최신 VVC 텍스트를 기반으로 한다. 추가 또는 수정된 대부분의 관련 부분은 "A 및 B 사용"과 같이 굵게, 밑줄 및 기울임꼴로 표시되며 일부 삭제된 부분은 "

B 기반"과 같이 취소선 및 기울임꼴로 표시된다. 본질적으로 편집적이므로 강조되지 않은 몇 가지 다른 변경 사항이 있을 수 있다.

6.1. 제1 실시예

이 실시예는 아이템 1 내지 9에 대한 것이다.

3 정의

랜덤 액세스 스킵된 리딩(Random Access Skipped Leading)(RASL) 픽처: nal_unit_type이 RASL_NUT인 적어도 하나의 VCL NAL 유닛이 있고 다른 VCL NAL 유닛이 모두 nal_unit_type을 갖는 코딩된 픽처는 RASL_NUT 또는 RADL_NUT와 동일하다.

주석 - 모든 RASL 픽처들은 연관된 CRA 픽처의 선행 픽처이다. 연관된 CRA 픽처가 1과 동일한 NoOutputBeforeRecoveryFlag를 가진 경우, RASL 픽처는 비트스트림에 존재하지 않는 픽처에 대한 레퍼런스들을 포함할 수 있기 때문에 RASL 픽처가 출력되지 않고 올바르게 디코딩되지 않을 수 있다. 단, 존재하는 경우 RASL 픽처에 RADL 서브픽처가 RASL 픽처와 동일한 CRA 픽처와 연관된 RADL 픽처에서 동일 위치 RADL 서브픽처(collocated RADL subpicture)의 인터 예측을 위해 사용될 수 있다는 점을 제외하고는 , RASL 픽처들은 비-RASL 픽처들의 디코딩 과정을 위한 레퍼런스 픽처로 사용되지 않는다. sps_field_seq_flag가 0과 동일할 때, 모든 RASL 픽처들이 존재하는 경우 디코딩 순서에서 동일한 연관된 CRA 픽처의 모든 비선행 픽처(non-leading picture)들보다 선행한다.

7.4.9 레퍼런스 픽처 목록 시맨틱(Reference picture lists semantics)

1과 동일한 delta_poc_msb_cycle_present_flag[ i ][ j ]는 delta_poc_msb_cycle_lt[ i ][ j ]가 존재함을 지정한다. 0과 동일한 delta_poc_msb_cycle_present_flag[ i ][ j ]는 delta_poc_msb_cycle_lt[ i ][ j ]가 존재하지 않음을 지정한다.

prevTid0Pic을 현재 픽처와 동일한 nuh_layer_id를 갖고 TemporalId 및 ph_non_ref_pic_flag 가 모두 0이고 RASL 또는 RADL 픽처가 아닌 디코딩 순서의 이전 픽처라고 한다. 다음으로 구성된 세트(set)를 setOfPrevPocVals로 한다:

- prevTid0Pic의 PicOrderCntVal,

- prevTid0Pic의 RefPicList[ 0 ] 또는 RefPicList[ 1 ]의 항목에 의해 참조되고 현재 픽처와 동일한 nuh_layer_id를 갖는 각 픽처의 PicOrderCntVal,

- prevTid0Pic 이후의 디코딩 순서로 각 픽처의 PicOrderCntVal은 현재 픽처와 동일한 nuh_layer_id를 가지며 디코딩 순서는 현재 픽처보다 선행한다.

modulo MaxPicOrderCntLsb 값이 PocLsbLt[ i ][ j ]와 동일한 setOfPocVals에 둘 이상의 값이 있는 경우, delta_poc_msb_cycle_present_flag[ i ][ j ]의 값은 1과 동일해야 한다.

8.3.1 픽처 순서 카운트 디코딩 과정

ph_poc_msb_cycle_present_flag가 0이고 현재 픽처가 CLVSS 픽처가 아닌 경우, 변수들 prevPicOrderCntLsb 및 prevPicOrderCntMsb는 다음과 같이 유도된다:

prevTid0Pic을 현재 픽처와 동일한 nuh_layer_id를 갖고 TemporalId 및 ph_non_ref_pic_flag가 모두 0이고 RASL 또는 RADL 픽처가 아닌 디코딩 순서의 이전 픽처라고 한다.

변수 prevPicOrderCntLsb는 prevTid0Pic의 ph_pic_order_cnt_lsb와 동일하게 설정된다.

변수 prevPicOrderCntMsb는 prevTid0Pic의 PicOrderCntMsb와 동일하게 설정된다.

C.2.3 DU 디코딩 및 DU 제거의 타이밍

CPB에서 AU n의 명목 제거 시간(nominal removal time)은 다음과 같이 지정된다:

- AU n이 n이 0인 AU(HRD를 초기화하는 AU)인 경우 CPB에서 AU의 명목 제거 시간은 다음과 같이 지정된다:

AuNominalRemovalTime[　0　] = InitCpbRemovalDelay[　Htid　][　ScIdx　] χ 90000 (C.9)

- 그렇지 않으면, 다음이 적용된다:

- AU n이 HRD를 초기화하지 않는 BP의 제1 AU인 경우 다음이 적용된다:

CPB에서 AU n의 명목 제거 시간은 다음과 같이 지정된다:

if( !concatenationFlag ) {

baseTime = AuNominalRemovalTime[　first Au InPrevBuffPeriod　]

tmpCpbRemovalDelay = AuCpbRemovalDelayVal

} else {

baseTime1 = AuNominalRemovalTime[　prevNonDiscardable Au 　]

tmpCpbRemovalDelay1 = (　auCpbRemovalDelayDeltaMinus1　+　1　)

baseTime2 = AuNominalRemovalTime[　n　-　1　]

tmpCpbRemovalDelay2 = (C.10)

Ceil(　(　InitCpbRemovalDelay[　Htid　][　ScIdx　]　χ　90000　+

AuFinalArrivalTime[　n　-　1　]　-　AuNominalRemovalTime[　n　-　1　]　)　χ　ClockTick　)

if( baseTime1　+　ClockTick　*　tmpCpbRemovalDelay1　<

baseTime2　+　ClockTick　*　tmpCpbRemovalDelay2 ) {

baseTime = baseTime2

tmpCpbRemovalDelay = tmpCpbRemovalDelay2

} else {

baseTime = baseTime1

tmpCpbRemovalDelay = tmpCpbRemovalDelay1

}

AuNominalRemovalTime[　n　] = baseTime　+　(　ClockTick　*　tmpCpbRemovalDelay　-　CpbDelayOffset　)

AuNominalRemovalTime[ first Au InPrevBuffPeriod ]는 이전 BP의 제1 AU의 명목 제거 시간이며, AuNominalRemovalTime[ prevNonDiscardable Au ]은 RASL 또는 RADL 픽처가 아닌 0과 동일한 ph_non_ref_pic_flag를 갖는 적어도 하나의 픽처를 갖는 0과 동일한 TemporalId를 갖는 디코딩 순서에서 이전 AU 의 명목 제거 시간이고, AuCpbRemovalDelayVal은 PT SEI 메시지에서 pt_cpb_removal_delay_minus1[ Htid ] 및 pt_cpb_removal_delay_delta_idx[ Htid ]에 따라 유도된 CpbRemovalDelayVal[ Htid ]의 값이고, BP SEI 메시지의 bp_cpb_removal_delay_delta_val[ pt_cpb_removal_delay_delta_idx[ Htid ] ], AU n 및 concatenationFlag 1 및 CpbRemovalDelayDeltaMinus1 inflag 및 CpbRemovalDelayDeltaMinus1 은 각각 신택스 요소들의 값들이고, AU n과 관련된 절 C.1에 명시된 대로 선택된다.

명목 CPB 제거 시간의 유도 후 그리고 액세스 유닛 n의 DPB 출력 시간의 유도 전에 변수들 DpbDelayOffset 및 CpbDelayOffset은 다음과 같이 유도된다:

- 다음 조건들 중 하나 이상이 참이면 DpbDelayOffset은 AU n + 1의 PT SEI 메시지 신택스 요소 dpb_delay_offset[ Htid ]의 값과 동일하게 설정되고 CpbDelayOffset은 AU n + 1의 PT SEI 메시지 신택스 요소 cpb_delay_offset[　Htid　]의 값과 동일하게 설정되며, 신택스 요소들을 포함하는 PT SEI 메시지는 C.1절에 지정된 대로 선택된다:

- AU n에 대한 UseAltCpbParamsFlag는 1과 동일하다.

- DefaultInitCpbParamsFlag는 0과 같다.

- 그렇지 않으면 DpbDelayOffset과 CpbDelayOffset이 모두 0으로 설정된다.

- AU n이 BP의 제1 AU가 아닌 경우 CPB에서 AU n의 명목 제거 시간은 다음과 같이 지정된다:

AuNominalRemovalTime[　n　] = AuNominalRemovalTime[　first Au InCurrBuffPeriod　] +

ClockTick * ( AuCpbRemovalDelayVal - CpbDelayOffset ) (C.11)

AuNominalRemovalTime[ first Au InCurrBuffPeriod ]는 현재 BP의 제1 AU의 명목 제거 시간이고 AuCpbRemovalDelayVal은 PT SEI 메시지의 pt_cpb_removal_delay_minus1[　OpTid　] 및 pt_cpb_removal_delay_delay_delta_idx[　OpTid_]demov_delta_inpt_mov_delta_deval　inpt_delta_deval　에 따라 유도된 CpbRemovalDelayVal[　OpTid　]의 값이고, AU n과 관련된 절 C.1에 명시된 대로 선택된다.

C.4 비트스트림 적합성(Bitstream conformance)

currPicLayerId를 현재 픽처의 nuh_layer_id와 동일하게 한다.

각 현재 픽처에 대해, nuh_layer_id가 currPicLayerId와 동일한 다음 픽처의 PicOrderCntVal 값의 최대 값 및 최소 값과 각각 변수들 maxPicOrderCnt 및 minPicOrderCnt을 동일하게 설정한다:

- 현재 픽처.

- TemporalId 및 ph_non_ref_pic_flag둘 다 0이고 RASL 또는 RADL 픽처가 아닌 디코딩 순서에서 이전 픽처.

- 현재 픽처의 RefPicList[ 0 ]의 모든 항목들과 RefPicList[ 1 ]의 모든 항목들이 참조하는 STRP들.

- PictureOutputFlag가 1과 같고 AuCpbRemovalTime[ n ]이 AuCpbRemovalTime[ currPic ]보다 작으며 DpbOutputTime[ n ]이 AuCpbRemovalTime[ currPic ]보다 크거나 같은 모든 픽처들 n (여기서 currPic은 현재 픽처이다).

D.3.2 버퍼링 주기 SEI 메시지 시맨틱(Buffering period SEI message semantics)

BP SEI 메시지가 존재할 때, AU가 0과 동일한 TemporalId를 갖고 RASL 또는 RADL 픽처가 아닌 0과 동일한 ph_non_ref_pic_flag를 갖는 적어도 하나의 픽처를 가질 때 AU는 notDiscardableAu 라고 한다 .

현재 AU가 디코딩 순서에서 비트스트림의 제1 AU가 아닌 경우 , AU prevNonDiscardableAu가, RASL 또는 RADL 픽처가 아닌 0과 동일한 ph_non_ref_pic_flag를 갖는 적어도 하나의 픽처를 갖는 0과 동일한 TemporalId를 갖는 디코딩 순서에서 이전 AU가 되게 한다.

BP SEI 메시지의 존재는 다음과 같이 지정된다:

- NalHrdBpPresentFlag가 1과 동일하거나 VclHrdBpPresentFlag가 1과 동일한 경우 CVS의 각 AU에 대해 다음이 적용된다:

- AU가 IRAP 또는 GDR AU인 경우, 동작 포인트에 적용 가능한 BP SEI 메시지는 AU와 연관되어야 한다.

- 그렇지 않고, AU가 notDiscardableAu 인 경우, 동작 포인트에 적용 가능한 BP SEI 메시지는 AU와 연관될 수도 있고 연관되지 않을 수도 있다.

- 그렇지 않으면 AU는 동작 포인트에 적용 가능한 BP SEI 메시지와 연관되지 않는다.

- 그렇지 않으면(NalHrdBpPresentFlag 및 VclHrdBpPresentFlag가 둘 다 0과 동일함), CVS의 어떤 AU도 BP SEI 메시지와 연관되지 않는다.

주석 1 - 일부 애플리케이션의 경우 BP SEI 메시지의 빈번한 존재가 바람직할 수 있다(예: IRAP AU 또는 비-IRAP AU에서의 랜덤 액세스 또는 비트스트림 스플라이싱의 경우).

1과 동일한 bp_alt_cpb_params_present_flag는 BP SEI 메시지의 신택스 요소 bp_use_alt_cpb_params_flag의 존재 및 현재 BP의 PT SEI 메시지의 대체 타이밍 정보의 존재를 지정한다. 존재하지 않는 경우, Vps_general_hrd_params_present_flag의 값은 0과 동일한 것으로 추론된다. 연관된 AU가 IRAP 또는 GDR AU가 아닌 경우 , bp_alt_cpb_params_present_flag의 값은 0과 같아야 한다.

bp_concatenation_flag는 현재 AU가 디코딩 순서에서 비트스트림의 제1 AU가 아닌 경우 , 현재 AU의 명목 CPB 제거 시간이 BP SEI 메시지와 연관된 이전 AU의 명목 CPB 제거 시간에 상대적으로 결정되는지 또는 AU prevNonDiscardableAu의 명목 CPB 제거 시간에 상대적으로 결정되는지 여부를 나타낸다.

bp_cpb_removal_delay_delta_minus1 plus 1은 현재 AU가 디코딩 순서에서 비트스트림의 제1 AU가 아닌 경우 , AU prevNonDiscardableAu 의 명목 CPB 제거 시간에 대한 CPB 제거 지연 증분 값을 지정한다. 이 신택스 요소의 길이는 bp_cpb_removal_delay_length_minus1　+　1비트이다.

현재 AU가 BP SEI 메시지와 연관 되고 bp_concatenation_flag가 0이고 현재 AU가 디코딩 순서에서 비트스트림의 제1 AU가 아닌 경우 , 다음 제약 조건이 적용되는 비트스트림 적합성의 요구 사항이다:

- AU prevNonDiscardableAu 가 BP SEI 메시지와 연관되지 않은 경우, 현재 AU의 pt_cpb_removal_delay_minus1은 AU prevNonDiscardableAu 의 pt_cpb_removal_delay_minus1에 bp_cpb_removal_delay_delta_minus1 + 1을 더한 값과 같아야 한다.

- 그렇지 않으면, 현재 AU의 pt_cpb_removal_delay_minus1은bp_cpb_removal_delay_delta_minus1과 동일해야 한다.

주석 2 - 현재 AU가 BP SEI 메시지와 연관 되고 bp_concatenation_flag가 1과 동일한 경우, 현재 AU에 대한 pt_cpb_removal_delay_minus1은 사용되지 않는다. 특정 상황들에서, 위에서 지정된 제약 조건은 스플라이싱 포인트에서 IRAP 또는 GDR AU 에 대한 BP SEI 메시지에서 bp_concatenation_flag의 값을 0에서 1로 간단히 변경하여 비트스트림(적절하게 설계된 레퍼런스 구조를 사용)을 스플라이스하는 것을 가능하게 할 수 있다. bp_concatenation_flag가 0과 동일한 경우, 위에서 지정된 제약 조건은 디코더가 AU prevNonDiscardableAu 의 손실을 감지하는 방법으로 제약 조건이 충족되는지 여부를 디코더가 확인할 수 있도록 한다.

D.4.2 픽처 타이밍 SEI 메시지 시맨틱(Picture timing SEI message semantics)

1과 동일한 pt_cpb_alt_timing_info_present_flag는 신택스 요소들 pt_nal_cpb_alt_initial_removal_delay_delta[ i ][ j ], pt_nal_cpb_alt_initial_removal_offset_delta[ i ][ j ], pt_nal_cpb_delay_offset[ i ], pt_nal_dpb_delay_offset[ i ], pt_vcl_cpb_alt_initial_removal_delay_delta[ i ][ j ], pt_vcl_cpb_alt_initial_removal_offset_delta[ i ][ j ], pt_vcl_cpb_delay_offset[ i ], 및 pt_vcl_dpb_delay_offset[ i ]가 PT SEI 메시지에 존재할 수 있다는 것을 지정한다. 0과 동일한 pt_cpb_alt_timing_info_present_flag는 이러한 신택스 요소들이 PT SEI 메시지에 존재하지 않음을 지정한다. 연관된 AU의 모든 픽처들이 0과 동일한 pps_mixed_nalu_types_in_pic_flag를 갖는 RASL 픽처 인 경우, pt_cpb_alt_timing_info_present_flag의 값은 0과 동일해야 한다.

주석 1 - pt_cpb_alt_timing_info_present_flag의 값은 디코딩 순서에서 IRAP AU 뒤에 오는 둘 이상의 AU에 대해 1과 동일할 수 있다. 그러나 대체 타이밍은 1과 동일한 pt_cpb_alt_timing_info_present_flag를 갖고 디코딩 순서에서 IRAP AU 뒤에 오는 제1 AU에만 적용된다.

VCL HRD에 대한 i 번째 서브계층에 대해, PT SEI 메시지와 연관된 AU가 디코딩 순서에서 BP SEI 메시지와 연관된 IRAP AU을 직접 따르는 경우, pt_vcl_dpb_delay_offset[ i ]는 BP SEI 메시지와 연관된 IRAP AU의 DPB 출력 시간을 유도하기 위해 사용될 오프셋을 지정한다. pt_vcl_dpb_delay_offset[i]의 길이는 bp_dpb_output_delay_length_minus1 + 1비트이다. 존재하지 않을 때, pt_vcl_dpb_delay_offset[ i ]의 값은 0과 동일한 것으로 추론된다.

현재 AU 의 변수 BpResetFlag는 다음과 같이 유도된다:

- 현재 AU 가 BP SEI 메시지와 연관되면 BpResetFlag는 1로 설정된다.

- 그렇지 않으면 BpResetFlag가 0으로 설정된다.

pt_cpb_removal_delay_delta_idx[ i ]는 0에서 bp_num_cpb_removal_delay_deltas_minus1까지 범위의 j에 대한 bp_cpb_removal_delay_delta_val[ j ]의 목록에서 i와 동일한 Htid에 적용되는 CPB 제거 델타의 인덱스를 지정한다. pt_cpb_removal_delay_delta_idx[ i ]의 길이는 Ceil( Log2( bp_num_cpb_removal_delay_deltas_minus1 + 1 ) ) 비트이다. pt_cpb_removal_delay_delta_idx[ i ]가 존재하지 않고 pt_cpb_removal_delay_delta_enabled_flag[ i ]가 1과 동일한 경우, pt_cpb_removal_delay_delta_idx[ i ]의 값은 0과 동일한 것으로 추론된다.

현재 AU 의 변수 CpbRemovalDelayMsb[ i ] 및 CpbRemovalDelayVal[ i ]는 다음과 같이 유도된다:

- 현재 AU가 HRD를 초기화하는 AU인 경우, CpbRemovalDelayMsb[ i ] 및 CpbRemovalDelayVal[ i ]는 모두 0으로 설정되고 cpbRemovalDelayValTmp[ i ]의 값은 pt_cpb_removal_delay_minus1[ i ] + 1와 동일하게 설정된다.

- AU prevNonDiscardableAu가 RASL 또는 RADL 픽처가 아닌 0과 동일한 ph_non_ref_pic_flag가 적어도 하나의 픽처를 갖는 0과 동일한 TemporalId가 디코딩 순서에서 이전 AU가 되도록 하 고, prevCpbRemovalDelayMinus1[ i ], prevCpbRemovalDelayMsb[ i ] 및 prevBpResetFlag가 AU prevNonDiscardablAu 에 대해 각각 cpbRemovalDelayValTmp[ i ] - 1, CpbRemovalDelayMsb[ i ] 및 BpResetFlag의 값과 동일하게 설정되도록 하고, 다음이 적용된다:

pt_dpb_output_delay AU 의 DPB 출력 시간을 계산하는 데 사용된다. AU의 디코딩된 픽처들이 DPB에서 출력되기 전에 CPB에서 AU를 제거한 후 대기할 클록 틱들의 수를 지정한다.

주석 2 - 디코딩된 픽처는 "단기 레퍼런스를 위해 사용됨" 또는 "장기 레퍼런스를 위해 사용됨"으로 여전히 표시되어 있을 때 출력 시간에 DPB에서 제거되지 않는다.

pt_dpb_output_delay의 길이는 bp_dpb_output_delay_length_minus1 + 1비트이다. max_dec_pic_buffering_minus1[ Htid ]이 0과 동일할 때, pt_dpb_output_delay의 값은 0과 동일해야 한다.

디코더를 따르는 출력 타이밍으로부터 출력되는 임의의 픽처의 pt_dpb_output_delay로부터 유도된 출력 시간은 디코딩 순서에서 후속 CVS의 임의의 픽처의 pt_dpb_output_delay로부터 유도된 출력 시간보다 선행해야 한다.

이 신택스 요소의 값에 의해 설정된 픽처 출력 순서는 PicOrderCntVal의 값에 의해 설정된 순서와 동일해야 한다.

디코딩 순서에서 ph_no_output_of_prior_pics_flag가 1과 동일하거나 1과 동일한 것으로 추론되는 CVSS AU 보다 선행하기 때문에 "범핑(bumping)" 프로세스에 의해 출력되지 않은 픽처들의 경우, pt_dpb_output_delay에서 유도된 출력 시간은 동일한 CVS 내의 모든 픽처들에 상대적인 PicOrderCntVal이 증가함에 따라 증가해야 한다.

pt_dpb_output_du_delay는 DecodingUnitHrdFlag가 1일 때 AU 의 DPB 출력 시간을 계산하는 데 사용된다. AU의 디코딩된 픽처들이 DPB에서 출력되기 전에 CPB에서 AU의 마지막 DU를 제거한 후 대기할 서브 클록 틱들의 수를 지정한다.

sps_field_seq_flag가 0과 동일하고 fixed_pic_rate_within_cvs_flag[

]가 1과 동일한 경우, pt_display_elemental_periods_minus1 plus 1은 디스플레이 모델에 대해 현재 AU의 디코딩된 픽처들 이 차지하는 요소 픽처 주기 간격들의 수를 나타낸다.

fixed_pic_rate_within_cvs_flag[

]가 0과 동일하거나 sps_field_seq_flag가 1과 동일한 경우, pt_display_elemental_periods_minus1의 값은 0과 동일해야 한다.

sps_field_seq_flag가 0과 동일하고 fixed_pic_rate_within_cvs_flag[

]가 1과 동일한 경우, 0보다 큰 pt_display_elemental_periods_minus1의 값은 수학식 112에 의해 주어진 바와 같이 DpbOutputElementalInterval[n]과 동일한 고정 프레임 리프레쉬 간격을 사용하는 디스플레이에 대한 프레임 반복 주기(frame repetition period)를 나타내는 데 사용될 수 있다.

D.5.2 DU 정보 SEI 메시지 시맨틱(DU information SEI message semantics)

dui_dpb_output_du_delay는 DecodingUnitHrdFlag가 1과 동일하고 bp_du_dpb_params_in_pic_timing_sei_flag가 0과 동일한 경우, AU 의 DPB 출력 시간을 계산하는 데 사용된다. AU의 디코딩된 픽처들이 DPB에서 출력되기 전에 CPB에서 AU의 마지막 DU를 제거한 후 대기할 서브 클록 틱들의 수를 지정한다. 존재하지 않는 경우, dui_dpb_output_du_delay의 값은 pt_dpb_output_du_delay와 동일한 것으로 추론된다. 신택스 요소 dui_dpb_output_du_delay의 길이는 bp_dpb_output_delay_du_length_minus1 + 1에 의해 비트 단위로 제공된다.

동일한 AU와 연관되고 동일한 동작 포인트에 적용되고 0과 동일한 bp_du_dpb_params_in_pic_timing_sei_flag를 갖는 모든 DU 정보 SEI 메시지는 dui_dpb_output_du_delay의 같은 값을 가져야 하는 것이 비트스트림 적합성의 요구사항이다.

디코더를 따르는 출력 타이밍으로부터 출력되는 임의의 픽처의 dui_dpb_output_du_delay로부터 유도된 출력 시간은 디코딩 순서에서 후속 CVS의 임의의 픽처의 dui_dpb_output_du_delay로부터 유도된 출력 시간보다 선행해야 한다.

디코딩 순서에서 ph_no_output_of_prior_pics_flag가 1과 동일하거나 1과 동일한 것으로 추론되는 CVSS AU 보다 선행하기 때문에 "범핑" 프로세스에 의해 출력되지 않은 픽처의 경우, dui_dpb_output_du_delay에서 유도된 출력 시간은 동일한 CVS 내의 모든 픽처들에 상대적인 PicOrderCntVal이 증가함에 따라 증가해야 한다.

CVS의 임의의 두 픽처들에 대해 DecodingUnitHrdFlag가 1과 동일한 경우, 두 픽처들의 출력 시간들 간의 차이는 DecodingUnitHrdFlag가 0인 경우의 같은 차이와 동일해야 한다.

도 1는 여기에 개시된 다양한 기술들이 실행될 수 있는 예시적인 비디오 처리 시스템(video processing system)(1000)을 도시하는 블록도이다. 다양한 실행에는 시스템(1000)의 컴포넌트의 일부 또는 전부가 포함될 수 있다. 시스템(1000)에는 비디오 콘텐츠를 수신하기 위한 입력(1002)이 포함될 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 포맷, 예를 들어, 8 또는 10비트 다중 컴포넌트 픽셀 값으로 수신될 수 있거나 압축 또는 인코딩된 포맷일 수 있다. 입력(1002)은 네트워크 인터페이스, 주변 버스 인터페이스 또는 저장소 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예로는 이더넷, 수동 광 네트워크(passive optical network; PON) 등과 같은 유선 인터페이스와 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스가 있다.

시스템(1000)은 본 문서에 기재된 다양한 코딩 또는 인코딩 방법을 실행할 수 있는 코딩 컴포넌트(coding component)(1004)을 포함할 수 있다. 코딩 컴포넌트(1004)는 입력(1002)에서 코딩 컴포넌트(1004)의 출력으로 비디오의 평균 비트레이트를 감소시킬 수 있으며, 비디오의 코딩된 표현을 생성할 수 있다. 따라서 코딩 기술은 비디오 압축 또는 비디오 트랜스코딩 기술이라고도 한다. 코딩 컴포넌트(1004)의 출력은 컴포넌트(1006)로 표현되는 바와 같이 연결된 통신을 통해 저장되거나 전송될 수 있다. 입력(1002)에서 수신된 비디오의 저장 또는 통신 비트스트림(또는 코딩) 표현은 디스플레이 인터페이스(display interface)(1010)로 전송되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(1008)에 의해 사용될 수 있다. 비트스트림 표현(bitstream representation)에서 사용자가 볼 수 있는 비디오를 생성하는 프로세스를 비디오 압축 해제(decompression)라고도 한다. 또한, 특정 비디오 처리 동작을 "코딩" 동작(coding operation) 또는 툴(tools)로 지칭하지만, 코딩 툴 또는 동작이 인코더에서 사용되고 코딩 결과를 되돌리는 대응하는 디코딩 툴 또는 동작이 디코더에 의해 수행된다는 점을 이해할 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예로는 범용 직렬 버스(USB) 또는 고화질 멀티미디어 인터페이스(HDMI) 또는 디스플레이포트 등이 포함될 수 있다. 저장 인터페이스의 예로는 SATA(직렬 첨단 기술 첨부 파일(serial advanced technology attachment)), PCI, IDE 인터페이스 등이 있다. 본 문서에 기재된 기술은 휴대전화, 노트북, 스마트폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 기타 장치와 같은 다양한 전자 기기에 실행될 수 있다.

도 2는 비디오 처리 장치(2000)의 블록도이다. 비디오 처리 장치(2000)는 여기에 설명된 하나 이상의 방법을 실행하는 데 사용될 수 있다. 비디오 처리 장치(2000)는 스마트 폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 실행될 수 있다. 비디오 처리 장치(2000)는 하나 이상의 프로세서(2002), 하나 이상의 메모리(2004) 및 비디오 처리 하드웨어(video processing hardware)(2006)를 포함할 수 있다. 프로세서(들)(8002)는 본 문서(예를 들어, 도 6-도9)에 설명된 하나 이상의 방법을 실행하도록 구성될 수 있다. 메모리(메모리들)(2004)는 여기에 설명된 방법 및 기술을 실행하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(2006)는 하드웨어 회로에서 본 문서에 설명된 일부 기술을 실행하는 데 사용될 수 있다. 일부 실시예에서, 하드웨어(2006)는 부분적으로 또는 전체적으로 하나 이상의 프로세서(2002), 예를 들어 그래픽 프로세서에 있을 수 있다.

도 3은 본 개시의 기술을 활용할 수 있는 예제 비디오 코딩 시스템(100)을 예시하는 블록도이다. 도 3에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 장치(source device)(110)와 데스티네이션 장치(destination device)(120)를 포함할 수 있다. 소스 장치(110)는 인코딩된 비디오 데이터를 생성하고, 비디오 인코딩 장치라고 지칭될 수 있다. 데스티네이션 장치(120)는 소스 장치(110)에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수 있고, 비디오 디코딩 장치라고 지칭될 수 있다. 소스 장치(110)에는 비디오 소스(112), 비디오 인코더(114) 및 입력/출력(I/O) 인터페이스(116)가 포함될 수 있다.

비디오 소스(112)에는 비디오 캡처 장치, 비디오 컨텐츠 공급자로부터 비디오 데이터를 수신하는 인터페이스, 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템 또는 이러한 소스의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림에는 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스가 포함될 수 있다. 비트스트림에는 코딩된 픽처 및 연관된 데이터가 포함될 수 있다. 코딩된 픽처는 픽처의 코딩된 표현(representation)이다. 연관된 데이터에는 시퀀스 파라미터 세트, 픽처 파라미터 세트 및 기타 신택스 구조가 포함될 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기(transmitter)를 포함할 수 있다. 인코딩된 비디오 데이터는 네트워크(130a)를 거쳐, I/O 인터페이스(116)를 통해 데스티네이션 장치(120)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 데스티네이션 장치(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수도 있다.

데스티네이션 장치(120)는 I/O 인터페이스(126), 비디오 디코더(124) 및 디스플레이 장치(122)를 포함할 수 있다.

I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 장치(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 획득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 장치(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이 할 수 있다. 디스플레이 장치(122)는 데스티네이션 장치(120)와 통합될 수 있거나, 외부 디스플레이 장치와 인터페이스 하도록 구성된 데스티네이션 장치(120)의 외부에 위치할 수 있다.

비디오 인코더(114) 및 비디오 디코더(124)는 고효율 비디오 코딩(HEVC) 표준, 다목적 비디오 코딩(VVC) 표준 및 기타 현재 및/또는 추가 표준과 같은 비디오 압축 표준에 따라 동작할 수 있다.

도 4는 도 3에 도시된 시스템(100)에서 비디오 인코더(114)일 수 있는 비디오 인코더(200)의 예를 나타내는 블록도이다.

비디오 인코더(200)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 4의 예에서, 비디오 인코더(200)는 복수의 함수 컴포넌트를 포함한다. 본 개시에 기재된 기술은 비디오 인코더(200)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

비디오 인코더(video encoder)(200)의 기능적 컴포넌트는 파티션 유닛(partition unit)(201)와, 모드 선택 유닛(mode select unit)(203), 모션 추정 유닛(motion estimation unit)(204), 모션 보상 유닛(motion compensation unit)(205) 및 인트라 예측 유닛(intra prediction unit)(206)을 포함할 수 있는 예측 유닛(predication unit)(202)과, 잔차 생성 유닛(residual generation unit)(207), 트랜스폼 유닛(transform unit)(208), 양자화 유닛(quantization unit)(209), 역양자화 유닛(inverse quantization unit)(210), 역트랜스폼 유닛(inverse transform unit)(211), 재구성 유닛(reconstruction unit)(212), 버퍼(buffer)(213), 및 엔트로피 인코딩 유닛(entropy encoding unit)(214)를 포함할 수 있다.

다른 예에서, 비디오 인코더(200)에는 더 많거나, 적거나, 다른 기능적 컴포넌트가 포함될 수 있다. 예를 들어, 예측 유닛(202)는 인트라 블록 카피(intra block copy; IBC) 유닛을 포함할 수 있다. IBC 유닛은 적어도 하나의 레퍼런스 픽처가 현재 비디오 블록이 있는 픽처인 경IBC 모드에서 예측을 수행할 수 있다.

더욱이, 모션 추정 유닛(204) 및 모션 보상 유닛(205)과 같은 일부 컴포넌트는 고도로(highly) 통합될 수 있으나, 도 4의 예에서는 설명의 목적을 위해 분리된 것으로 표현되었다.

파티션 유닛(201)는 픽처를 하나 이상의 비디오 블록으로 파티셔닝할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기를 지원할 수 있다.

모드 선택 유닛(203)는 오류 결과에 기초하여 코딩 모드, 예를 들면, 인트라(intra) 또는 인터(inter) 등을 선택하고, 결과인 인트라 또는 인터 코딩된 블록을, 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하고, 재구성 유닛(212)으로 제공하여 레퍼런스 픽처로 사용하기 위한 인코딩된 블록을 재구성한다. 일부 예에서, 모드 선택 유닛(203)는 인트라 및 인터 예측의 조합(combination of intra and inter predication; CIIP) 모드를 선택할 수 있고, 이 모드에서 예측은 인터 예측 시그널 및 인트라 예측 시그널에 기초한다. 모드 선택 유닛(203)는 또한, 인터 예측의 경우, 블록에 대한 모션 벡터의 해상도(예를 들어, 서브 픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.

현재 비디오 블록에서 인터 예측을 수행하기 위해, 모션 추정 유닛(204)는 버퍼(213)에서 현재 비디오 블록에 하나 이상의 레퍼런스 프레임을 비교하여 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 모션 정보 및 디코딩된 픽처 샘플에 기초하여 현재 비디오 블록에 대한 예측 비디오 블록을 결정할 수 있다.

모션 추정 유닛(204) 및 모션 보상 유닛(205)는 현재 비디오 블록이 I 슬라이스, P 슬라이스 또는 B 슬라이스에 있는지 여부에 따라 현재 비디오 블록에 대해 서로 다른 동작을 수행할 수 있다.

일부 예에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 유니-디렉셔널(uni-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 list 0 또는 list 1의 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 현재 비디오 블록과 레퍼런스 비디오 블록 사이의 공간적 변위(spatial displacement)를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0(List 0) 또는 목록 1(List 1)에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스(reference index)를 생성할 수 있다. 모션 추정 유닛(204)는 레퍼런스 인덱스, 예측 디렉션 지시자 및 모션 벡터를 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록의 모션 정보에 의해 지시된 레퍼런스 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.

다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 바이-디렉셔널(bi-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 목록 0(List 0)에서 레퍼런스 픽처를 검색할 수 있으며, 또한 현재 비디오 블록에 대한 다른 레퍼런스 비디오 블록에 대한 목록 1(List 1)에서 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 레퍼런스 비디오 블록과 현재 비디오 블록 사이의 공간적 변위를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0(List 0) 및 목록 1(List 1)에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스를 생성할 수 있다. 모션 추정 유닛(204)는 현재 비디오 블록의 모션 정보로서 현재 비디오 블록의 레퍼런스 인덱스 및 모션 벡터를 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 모션 정보에 의해 지시된 레퍼런스 비디오 블록에 기초하여 현재 비디오 블록의 예측 비디오 블록을 생성할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 디코더의 디코딩 처리를 위한 전체 모션 정보 세트를 출력할 수 있다.

일부 예에서, 모션 추정 유닛(204)은 현재 비디오에 대한 전체 모션 정보 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)는 다른 비디오 블록의 모션 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(motion estimation unit)(204)는 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 모션 정보와 충분히 유사하다고 결정할 수 있다.

하나의 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연관된 신택스 구조에서 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 가지고 있음을 비디오 디코더(300)에 나타내는 값을 지시할 수 있다.

또 다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연관된 신택스 구조에서, 다른 비디오 블록 및 모션 벡터 차이(motion vector difference)(MVD)를 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 지시된 비디오 블록의 모션 벡터 사이의 차이를 나타낸다. 비디오 디코더(300)는 현재 비디오 블록의 모션 벡터를 결정하기 위해 지시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 사용할 수 있다.

위에서 설명한 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 실행될 수 있는 예측 시그널링 기술의 두 가지 예는, 어드밴스드 모션 벡터 예측(advanced motion vector predication; AMVP) 및 병합 모드 시그널링을 포함한다.

인트라 예측 유닛(206)은 현재 비디오 블록에 대한 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대한 인트라 예측을 수행하는 경우, 인트라 예측 유닛(206)는 동일 픽처에서 다른 비디오 블록의 디코딩된 샘플에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터에는 예측된 비디오 블록 및 다양한 신택스 요소가 포함될 수 있다.

잔차 생성 유닛(207)는 현재 비디오 블록으로부터 예측된 비디오 블록(들)의 예측 비디오 블록(예를 들어, 마이너스 기호로 지시)을 빼서 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록에서 샘플의 상이한 샘플 컴포넌트에 대응하는 잔차 비디오 블록을 포함할 수 있다.

다른 예에서, 예를 들어 스킵(skip) 모드에서, 현재 비디오 블록에 대한 현재 비디오 블록에 대한 잔차 데이터가 없을 수 있고, 잔차 생성 유닛(207)는 빼기 동작을 수행하지 않을 수 있다.

트랜스폼 처리 유닛(208)는 현재 비디오 블록과 연관된 잔차 비디오 블록에 하나 이상의 트랜스폼을 적용하여 현재 비디오 블록에 대해 하나 이상의 트랜스폼 계수 비디오 블록을 생성할 수 있다.

트랜스폼 처리 유닛(208)는 현재 비디오 블록과 연관된 트랜스폼 계수 비디오 블록을 생성한 후, 양자화 유닛(209)는 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값에 기초하여 현재 비디오 블록과 연관된 트랜스폼 계수 비디오 블록을 양자화할 수 있다.

역양자화 유닛(210)와 역트랜스폼 유닛(211)는 트랜스폼 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성하기 위해, 트랜스폼 계수 비디오 블록에 역양자화 및 역트랜스폼을 각각 적용할 수 있다. 재구성 유닛(212)은, 버퍼(213)에 저장하기 위한 현재 블록과 연관된 재구성된 비디오 블록을 생성하도록, 예측 유닛(202)에 의해 생성된 하나 또는 그 이상의 예측된 비디오 블록으로부터 대응하는 샘플에 재구성된 잔차 비디오 블록을 추가할 수 있다.

재구성 유닛(212)이 비디오 블록을 재구성한 후, 비디오 블록에서 비디오 차단 아티팩트를 줄이기 위해 루프 필터링 동작이 수행된다.

엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 함수 컴포넌트로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)가 데이터를 수신하는 경우, 엔트로피 인코딩 유닛(214)은 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력하기 위해 하나 이상의 엔트로피 인코딩 동작을 수행할 수 있다.

도 5는 도 3에 도시된 시스템(100)에서 비디오 디코더(114)일 수 있는 비디오 디코더(300)의 예를 보여주는 블록 다이어그램이다.

비디오 디코더(300)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 5의 예에서, 비디오 디코더(300)는 복수의 기능성 컴포넌트를 포함한다. 본 개시에 기재된 기술은 비디오 디코더(300)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

도 5의 예에서, 비디오 디코더(video decoder)(300)는 엔트로피 디코딩 유닛(entropy decoding unit)(301), 모션 보상 유닛(motion compensation unit)(302), 인트라 예측 유닛(intra prediction unit)(303), 역양자화 유닛(inverse quantization unit)(304), 역트랜스폼 유닛(inverse transformation unit)(305), 및 재구성 유닛(reconstruction unit)(306) 및 버퍼(buffer)(307)를 포함한다. 비디오 디코더(300)는, 일부 예에서, 비디오 인코더(200)에 대하여 기술된 인코딩 패스(pass)와 일반적으로 서로 주고 받는(reciprocal) 디코딩 패스를 수행할 수 있다(도 4).

엔트로피 디코딩 유닛(301)은 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림에는 엔트로피 코딩된 비디오 데이터(예를 들어, 비디오 데이터의 인코딩된 블록)가 포함될 수 있다. 엔트로피 디코딩 유닛(301)는 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터 모션 보상 유닛(302)은 모션 벡터, 모션 벡터 정밀도, 레퍼런스 픽처 목록 인덱스 및 기타 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상 유닛(302)는, 예를 들어 AMVP 및 병합 모드를 수행하여 이러한 정보를 결정할 수 있다.

모션 보상 유닛(302)은 보간 필터에 기초하여 보간(interpolation)을 수행하여 모션 보상 블록을 생성할 수 있다. 서브 픽셀 정밀도와 함께 사용되는 보간 필터에 대한 식별자가 신택스 요소에 포함될 수 있다.

모션 보상 유닛(302)은 비디오 블록을 인코딩하는 동안 비디오 인코더(20)에서 사용하는 보간 필터를 사용하여 레퍼런스 블록의 서브 정수 픽셀에 대한 보간 값을 계산할 수 있다. 모션 보상 유닛(302)은 수신된 신택스 정보에 따라 비디오 인코더(200)에서 사용하는 보간 필터를 결정하고 보간 필터를 사용하여 예측 블록을 생성할 수 있다.

모션 보상 유닛(302)는 인코딩된 비디오 시퀀스의 프레임(들) 및/또는 슬라이스(들)를 인코딩하는 데 사용되는 블록의 크기, 인코딩된 비디오 시퀀스의 각 매크로 블록이 파티셔닝되는 방식을 설명하는 파티션 정보, 각 파티션이 인코딩된 방법, 각 파티션이 인코딩되는 방식을 나타내는 모드, 각 인터-인코딩된 블록에 대한 하나 이상의 레퍼런스 프레임(및 레퍼런스 프레임 목록) 및 인코딩된 비디오 시퀀스를 디코딩하는 다른 정보들을 결정하기 위해 일부 신택스 정보를 사용할 수 있다.

인트라 예측 유닛(303)은, 공간적으로 인접한 블록(adjacent block)으로부터 예측 블록을 형성하기 위해 예를 들어 비트스트림에서 수신된 인트라 예측 모드를 사용할 수 있다. 역양자화 유닛(303)은 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에서 디코딩된 양자화된 비디오 블록 계수를 역양자화(예를 들어, 비양자화(de-quantize))한다. 역트랜스폼 유닛(Inverse transform unit)(303)은 역트랜스폼을 적용한다.

재구성 유닛(reconstruction unit)(306)은 모션 보상 유닛(202) 또는 인트라 예측 유닛(303)에 의해 생성된 대응하는 예측 블록과 잔차 블록을 합산하여 디코딩된 블록을 형성할 수 있다. 원하는 경우, 디블로킹 필터(deblocking filter)를 적용하여 차단 아티팩트를 제거하기 위해 디코딩된 블록을 필터링할 수도 있다. 디코딩된 비디오 블록은 버퍼(307)에 저장되고, 이는 이후의 모션 보상/인트라 예측에 대한 레퍼런스 블록을 제공하고, 디스플레이 장치에서 재생하기 위한 디코딩된 비디오를 생성한다.

도 6-도 10은 예를 들어, 도 1 내지 5에 도시된 실시예에서 위에서 설명된 기술적 솔루션을 실행할 수 있는 예시적인 방법들을 도시한다.

도 6은 비디오 처리의 예시적인 방법(600)에 대한 흐름도를 도시한다. 방법(600)은, 동작(610)에서, 하나 이상의 픽처를 포함하는 비디오(video)와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 픽처 타이밍(PT) 보충 향상 정보(SEI) 메시지가, 비트스트림에 포함되는 경우에, 액세스 유닛(AU) 특정임을 지정하고, 랜덤 액세스 스킵된 리딩(RASL) 픽처인 하나 이상의 픽처의 각 픽처는 RASL 네트워크 추상화 계층 유닛 유형(NUT)만을 포함한다.

도 7은 비디오 처리의 예시적인 방법(700)에 대한 흐름도를 도시한다. 방법(700)은 동작(710)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 랜덤 액세스 스킵된 리딩(RASL) 픽처와 동일한 클린 랜덤 액세스(CRA) 픽처와 연관된 랜덤 액세스 디코딩가능 리딩(RADL) 픽처에서 동일 위치 RADL 픽처를 예측하기 위한 레퍼런스 서브픽처로서 RASL 픽처 내의 RADL 서브픽처의 사용을 허용한다.

도 8은 비디오 처리의 예시적인 방법(800)에 대한 흐름도를 도시한다. 방법(800)은 동작(810)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 픽처 순서 카운트에 대한 디코딩 프로세스에서 제1 플래그와 연관된 픽처의 유도가 제2 플래그에 기초함을 지정하고, 제1 플래그와 연관된 픽처는 (i) 레퍼런스 픽처 목록 신택스 구조를 참조하는 슬라이스 또는 픽처 헤더와 동일한 제1 식별자, (ii) 0과 동일한 제2 플래그 및 제2 식별자, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 및 랜덤 액세스 디코딩가능 리딩(RADL) 픽처와 다른 픽처 유형을 가지는 디코딩 순서에서의 이전 픽처이고, 제1 플래그는 제3 플래그가 비트스트림에 존재하는지 여부를 나타내고, 제2 플래그는 현재 픽처가 레퍼런스 픽처로서 사용되는지 여부를 나타내고, 제3 플래그는 장기 레퍼런스 픽처의 픽처 순서 카운트 값의 하나 이상의 최상위 비트의 값을 결정하기 위해 사용된다.

도 9는 비디오 처리의 예시적인 방법(900)에 대한 흐름도를 도시한다. 방법(900)은, 동작(910)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 디코딩 유닛(DU)의 디코딩 또는 디코딩 유닛(DU)의 제거의 타이밍을 결정하기 위해 사용되는 변수가, 액세스 유닛(AU) 특정이고, 현재 픽처가 레퍼런스 픽처로서 사용되도록 허용되는지 여부를 나타내는 플래그에 기초하여 유도된다는 것을 지정한다.

도 10은 비디오 처리의 예시적인 방법(1000)에 대한 흐름도를 도시한다. 방법(1000)은 동작(1010)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 비트스트림에 포함되는 경우, 버퍼링 주기 보충 향상 정보(SEI) 메시지 및 픽처 타이밍 SEI 메시지가 액세스 유닛(AU) 특정임을 지정하고, 버퍼링 주기 SEI 메시지와 연관된 제1 변수 및 버퍼링 주기 SEI 메시지 및 픽처 타이밍 SEI 메시지와 연관된 제2 변수는, 현재 픽처를 레퍼런스 픽처로서 사용될 수 있는지 여부를 나타내는 플래그에 기초하여 유도되고, 제1 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하는 액세스 유닛을 나타내고, 제2 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하고, 디코딩 순서에서의 이전 AU 및 디코딩 순서에서의 제1 AU가 아닌 현재 AU를 나타낸다.

도 11은 비디오 처리의 예시적인 방법(1100)에 대한 흐름도를 도시한다. 방법(1100)은, 동작(1110)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 제1 픽처 및 제2 픽처와 연관된 제1 변수 및 제2 변수의 유도가 플래그에 기초함을 지정하고, 디코딩 순서에서 제1 픽처는 현재 픽처이고, 제2 픽처는 이전 픽처이고, 디코딩 순서는, (i) 0과 동일한 제1 식별자를 포함하고, (ii) 0과 동일한 플래그를 포함하고, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고, 제1 변수 및 제2 변수는, 각각 제1 픽처와 동일한 제2 식별자를 가지는 다음의 픽처들 각각의 픽처 순서 카운트의 최대 값 및 최소 값이고, 다음의 픽처들은, (i) 제1 픽처, (ii) 제2 픽처, (iii) 제1 픽처의 레퍼런스 픽처 목록들의 모든 항목들이 참조하는 하나 이상의 단기 레퍼런스 픽처들, 및 (iv) 제1 픽처의 코딩된 픽처 버퍼(CPB) 제거 시간보다 작은 CPB 제거 시간 및 제1 픽처의 CPB 제거 시간보다 크거나 같은 디코딩된 픽처 버퍼(DPB) 출력 시간으로 출력된 각 픽처를 포함한다.

도 12는 비디오 처리의 예시적인 방법(1200)에 대한 흐름도를 도시한다. 방법(1200)은 동작(1210)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 플래그 및 신택스 요소가 비트스트림에 포함되는 경우, 액세스 유닛(AU) 특정임을 지정하고, 플래그는, 현재 AU가 디코딩 순서에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼(CPB) 제거 시간이 (a) 버퍼링 주기 보충 향상 정보(SEI) 메시지와 연관된 이전 AU의 명목 코딩된 픽처 버퍼 제거 시간 또는 (b) 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대해 결정되는지 여부를 나타내고, 신택스 요소는, 현재 AU가 디코딩 순서에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대한 CPB 제거 지연 증분 값을 지정한다.

도 13은 비디오 처리의 예시적인 방법(1300)에 대한 흐름도를 도시한다. 방법(1300)은, 동작(1310)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 복수의 변수들 및 픽처 타이밍 보충 향상 정보(SEI) 메시지가 비트스트림에 포함되는 경우, AU 특정임을 지정하고, 픽처 타이밍 SEI 메시지는 복수의 신택스 요소들을 포함하고, 복수의 변수들 중 제1 변수는 현재 AU가 버퍼링 주기 SEI 메시지와 연관되는지 여부를 나타내고, 복수의 변수들 중 제2 변수 및 제3 변수는 현재 AU가 가상 레퍼런스 디코더(HRD)를 초기화하는 AU인지 여부에 대한 지시와 연관되고, 복수의 신택스 요소들 중 제1 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 디코딩된 픽처 버퍼(DPB)로부터 출력되기 전에 코딩된 픽처 버퍼(CPB)로부터 AU의 제거 후 대기할 클록 틱들의 수를 지정하고, 복수의 신택스 요소들 중 제2 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 AU의 마지막 디코딩 유닛(DU)의 제거 후 대기할 서브 클록 틱들의 수를 지정하고, 복수의 신택스 요소들 중 제3 신택스 요소는 현재 AU의 하나 이상의 디코딩된 픽처가 디스플레이 모델에 대해 점유하는 요소 픽처 주기 간격들의 수를 지정한다.

도 14는 비디오 처리의 예시적인 방법(1400)에 대한 흐름도를 도시한다. 방법(1400)은 동작(1410)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 디코딩된 픽처 버퍼(DPB)와 연관된 신택스 요소가 비트스트림에 포함되는 경우, 액세스 유닛(AU) 특정임을 지정하고, 신택스 요소는, AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 코딩된 픽처 버퍼(CPB)로부터 AU의 마지막 디코딩 유닛(DU)의 제거 후 대기할 서브 클록 틱들의 수를 지정한다.

도 15는 비디오 처리의 예시적인 방법(1500)에 대한 흐름도를 도시한다. 방법(1500)은 동작(1510)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 플래그가 비트스트림에 포함되는 경우에, 액세스 유닛(AU) 특정임을 지정하고, 플래그의 값은, 연관된 AU가 인트라 랜덤 액세스 포인트(IRAP) AU인지 또는 점진적 디코딩 리프레쉬(GDR) AU인지 여부에 기초하고, 플래그의 값은, (i) 신택스 요소가 버퍼링 주기 보충 향상 정보(SEI) 메시지에 존재하는지 여부 및 (ii) 대체 타이밍 정보가 현재 버퍼링 주기 내에 픽처 타이밍 SEI 메시지에 존재하는지 여부를 지정한다.

도 16은 비디오 처리의 예시적인 방법(1600)에 대한 흐름도를 도시한다. 방법(1600)은, 동작(1610)에서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 제1 신택스 요소의 값이 가상 레퍼런스 디코더(HRD)의 연속 픽처들의 출력 시간 사이의 시간적 거리가 제한되는지 여부를 나타내는 플래그와 디코딩될 가장 높은 시간적 서브계층을 식별하는 변수에 기초하는 것임을 지정하고, 제1 신택스 요소는 현재 AU 중 하나 이상의 디코딩된 픽처가 디스플레이 모델에 대해 점유하는 요소 픽처 주기 간격의 수를 지정한다.

일부 실시예에서, 선호하는 솔루션 목록이 다음에 제공된다.

A1. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오(video)와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 픽처 타이밍(PT) 보충 향상 정보(SEI) 메시지가, 비트스트림에 포함되는 경우에, 액세스 유닛(AU) 특정임을 지정하고, 랜덤 액세스 스킵된 리딩(RASL) 픽처인 하나 이상의 픽처의 각 픽처는 RASL 네트워크 추상화 계층 유닛 유형(NUT)만을 포함한다.

A2. 솔루션 A1의 방법에서, 연관된(associated) AU의 각각의 픽처가 0과 동일한 제1 플래그(flag)를 가지는 RASL 픽처인 것에 응답하여, 제2 플래그는 0과 동일하고, 제1 플래그는, 픽처 파라미터 세트(picture parameter set; PPS)를 참조하는 각 픽처가 두 개 이상의 비디오 코딩 계층(video coding layer; VCL) 네트워크 추상화 계층(network abstraction layer; NAL) 유닛을 가지는지 여부 및 두 개 이상의 VCL NAL 유닛 중 적어도 두개가 서로 다른 유형들인지 여부를 나타내고, 제2 플래그는, 타이밍 정보와 관련된 하나 이상의 신택스 요소(syntax element)가 픽처 타이밍 SEI 메시지에 존재하도록 허용되는지 여부를 나타낸다.

A3. 솔루션 A2의 방법에서, 제1 플래그는 pps_mixed_nalu_types_in_pic_flag이고 제2 플래그는 pt_cpb_alt_timing_info_present_flag이다.

A4. 솔루션 A2의 방법에서, 하나 이상의 신택스 요소는, NAL 가상 레퍼런스 디코더(hypothetical reference decoder; HRD)에 대한 j번째 코딩된 픽처 버퍼(coded picture buffer; CPB)에 대한 i번째 서브계층(sublayer)에 대한 대체 초기(alternative initial) CPB 제거 지연 델타(removal delay delta)를 90kHz 클록 유닛(in units of)으로 나타내는 제1 신택스 요소, NAL HRD에 대한 j번째 CPB에 대한 i번째 서브계층에 대한 초기 CPB 제거 오프셋 델타(alternative initial CPB removal offset delta)를 90kHz 클록 유닛으로 나타내는 제2 신택스 요소, PT SEI 메시지와 연관된 AU가 디코딩 순서에서 버퍼링 주기(buffering period; BP) SEI 메시지와 연관된 AU를 직접 따르는 경우에, NAL HRD에 대한 i 번째 서브계층에 대해, PT SEI 메시지와 연관된 AU 및 디코딩 순서에서 하나 이상의 후속 AU들의 명목 CPB 제거 시간(nominal CPB removal time)의 유도에 사용될 오프셋을 나타내는 제3 신택스 요소, PT SEI 메시지와 연관된 AU가 디코딩 순서에서 BP SEI 메시지와 연관된 인트라 랜덤 액세스 포인트(intra random access point; IRAP) AU를 직접 따르는 경우에, NAL HRD에 대한 i번째 서브계층에 대해, BP SEI 메시지와 연관된 IRAP AU의 디코딩된 픽처 버퍼(decoded picture buffer; DPB) 출력 시간의 유도에 사용될 오프셋을 나타내는 제4 신택스 요소, VCL HRD에 대한 j번째 CPB에 대한 i번째 서브계층에 대한 대체 초기 CPB 제거 지연 델타를 90kHz 클록 유닛으로 나타내는 제5 신택스 요소, VCL HRD에 대한 j번째 CPB에 대한 i번째 서브계층에 대한 대체 초기 CPB 제거 오프셋 델타를 90kHz 클록 유닛으로 나타내는 제6 신택스 요소, PT SEI 메시지와 연관된 AU가 디코딩 순서에서 BP SEI 메시지와 연관된 AU를 직접 따르는 경우, VCL HRD에 대한 i번째 서브계층에 대해, PT SEI 메시지와 연관된 AU 및 디코딩 순서에서 하나 이상의 후속 AU들의 명목 CPB 제거 시간의 유도에 사용될 오프셋을 나타내는 제7 신택스 요소, 및 PT SEI 메시지와 연관된 AU가 디코딩 순서에서 BP SEI 메시지와 연관된 IRAP AU를 직접 따르는 경우, VCL HRD에 대한 i번째 서브계층에 대해, BP SEI 메시지와 연관된 IRAP AU의 DPB 출력 시간의 유도에 사용될 오프셋을 나타내는 제8 신택스 요소 중 적어도 하나를 포함한다.

A5. 솔루션 A1의 방법에서, 연관된 AU의 각 픽처가 비디오 코딩 계층(video coding layer; VCL) 네트워크 추상화 계층(network abstraction layer; NAL) 유닛들을 포함하는 RASL 픽처이고 각 VCL NAL 유닛이 RASL NUT인 것에 응답하여, 플래그는 0과 동일하고, 플래그는 타이밍 정보와 관련된 하나 이상의 신택스 요소가 픽처 타이밍 SEI 메시지에 존재하는지 여부를 나타낸다.

A6. 솔루션 A5의 방법에서, 플래그는 pt_cpb_alt_timing_info_present_flag이다.

A7. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 랜덤 액세스 스킵된 리딩(RASL) 픽처와 동일한 클린 랜덤 액세스(CRA) 픽처와 연관된 랜덤 액세스 디코딩가능 리딩(RADL) 픽처에서 동일 위치 RADL 픽처를 예측하기 위한 레퍼런스 서브픽처로서 RASL 픽처 내의 RADL 서브픽처의 사용을 허용한다.

일부 실시예에서, 선호하는 솔루션의 다른 목록이 다음에 제공된다.

B1. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 픽처 순서 카운트에 대한 디코딩 프로세스에서 제1 플래그와 연관된 픽처의 유도가 제2 플래그에 기초함을 지정하고, 제1 플래그와 연관된 픽처는 (i) 레퍼런스 픽처 목록 신택스 구조를 참조하는 슬라이스 또는 픽처 헤더와 동일한 제1 식별자, (ii) 0과 동일한 제2 플래그 및 제2 식별자, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 및 랜덤 액세스 디코딩가능 리딩(RADL) 픽처와 다른 픽처 유형을 가지는 디코딩 순서에서의 이전 픽처이고, 제1 플래그는 제3 플래그가 비트스트림에 존재하는지 여부를 나타내고, 제2 플래그는 현재 픽처가 레퍼런스 픽처로서 사용되는지 여부를 나타내고, 제3 플래그는 장기 레퍼런스 픽처의 픽처 순서 카운트 값의 하나 이상의 최상위 비트의 값을 결정하기 위해 사용된다.

B2. 솔루션 B1의 방법에서, 제1 식별자는 계층(layer)의 식별자이고, 제2 식별자는 시간적 식별자(temporal identifier)이다.

B3. 솔루션 B1의 방법에서, 제1 식별자는 신택스 요소(syntax element)이고, 제2 식별자는 변수(variable)이다.

B4. 솔루션 B1 내지 B3 중 어느 하나에 있어서, 제1 플래그는 delta_poc_msb_cycle_present_flag이고, 제2 플래그는 ph_non_ref_pic_flag이고, 제3 플래그는 delta_poc_msb_cycle_present_flag이고, 제1 식별자는 nuh_layer_id이고, 제2 식별자는 TemporalId이다.

B5. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 디코딩 유닛(DU)의 디코딩 또는 디코딩 유닛(DU)의 제거의 타이밍을 결정하기 위해 사용되는 변수가, 액세스 유닛(AU) 지정이고, 현재 픽처가 레퍼런스 픽처로서 사용되도록 허용되는지 여부를 나타내는 플래그에 기초하여 유도된다는 것을 지정한다.

B6. 솔루션 B5의 방법에서, 변수는 prevNonDiscardableAu이고, 플래그는 ph_non_ref_pic_flag이다.

B7. 솔루션 B6의 방법에서, ph_non_ref_pic_flag가 1과 동일한 것은 현재 픽처가 레퍼런스 픽처로서 절대 사용되지 않는다는 것을 지정한다.

B8. 솔루션 B6의 방법에서, ph_non_ref_pic_flag가 0과 동일한 것은 현재 픽처가 레퍼런스 픽처로서 사용될 수도 있고 사용되지 않을 수도 있다는 것을 지정한다.

B9. 비디오 처리 방법은 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 비트스트림에 포함되는 경우, 버퍼링 주기 보충 향상 정보(SEI) 메시지 및 픽처 타이밍 SEI 메시지가 액세스 유닛(AU) 특정임을 지정하고, 버퍼링 주기 SEI 메시지와 연관된 제1 변수 및 버퍼링 주기 SEI 메시지 및 픽처 타이밍 SEI 메시지와 연관된 제2 변수는, 현재 픽처를 레퍼런스 픽처로서 사용될 수 있는지 여부를 나타내는 플래그에 기초하여 유도되고, 제1 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하는 액세스 유닛을 나타내고, 제2 변수는, (i) 0과 동일한 식별자 및 (ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 플래그가 0과 동일한 픽처를 포함하고, 디코딩 순서에서의 이전 AU 및 디코딩 순서에서의 제1 AU가 아닌 현재 AU를 나타낸다.

B10. 솔루션 B9의 방법에서, 식별자는 시간적 식별자이다.

B11. 솔루션 B9의 방법에서, 제1 변수는 notDiscardableAu이고, 제2 변수는 prevNonDiscardableAu이고, 플래그는 ph_non_ref_pic_flag이고, 식별자는 TemporalId이다.

B12. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은, 포맷 규칙을 따르고, 포맷 규칙은, 제1 픽처 및 제2 픽처와 연관된 제1 변수 및 제2 변수의 유도가 플래그에 기초함을 지정하고, 디코딩 순서에서 제1 픽처는 현재 픽처이고, 제2 픽처는 이전 픽처이고, 디코딩 순서는, (i) 0과 동일한 제1 식별자를 포함하고, (ii) 0과 동일한 플래그를 포함하고, 및 (iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고, 제1 변수 및 제2 변수는, 각각 제1 픽처와 동일한 제2 식별자를 가지는 다음의 픽처들 각각의 픽처 순서 카운트의 최대 값 및 최소 값이고, 다음의 픽처들은, (i) 제1 픽처, (ii) 제2 픽처, (iii) 제1 픽처의 레퍼런스 픽처 목록들의 모든 항목들이 참조하는 하나 이상의 단기 레퍼런스 픽처들, 및 (iv) 제1 픽처의 코딩된 픽처 버퍼(CPB) 제거 시간보다 작은 CPB 제거 시간 및 제1 픽처의 CPB 제거 시간보다 크거나 같은 디코딩된 픽처 버퍼(DPB) 출력 시간으로 출력된 각 픽처를 포함한다.

B13. 솔루션 B12의 방법에서, 제1 변수는 픽처 순서 카운트의 최대 값을 나타내고, 제2 변수는 픽처 순서 카운트의 최소 값을 나타낸다.

B14. 솔루션 B12의 방법에서, 플래그는 현재 픽처가 레퍼런스 픽처로서 사용 가능한지 여부를 나타낸다.

B15. 솔루션 B12의 방법에서, 제1 식별자는 시간적 식별자이고, 제2 식별자는 계층의 식별자이다.

B16. 솔루션 B12 내지 B15 중 어느 하나의 방법에서, 제1 변수는 maxPicOrderCnt이고, 제2 변수는 minPicOrderCnt이고, 제1 식별자는 TemporalId이고, 제2 식별자는 nuh_layer_id이고, 플래그는 ph_non_ref_pic_flag이다.

일부 실시예에 의해 선호되는 또 다른 솔루션 목록이 다음에 제공된다.

C1. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 플래그 및 신택스 요소가 비트스트림에 포함되는 경우, 액세스 유닛(AU) 특정임을 지정하고, 플래그는, 현재 AU가 디코딩 순서에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼(CPB) 제거 시간이 (a) 버퍼링 주기 보충 향상 정보(SEI) 메시지와 연관된 이전 AU의 명목 코딩된 픽처 버퍼 제거 시간 또는 (b) 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대해 결정되는지 여부를 나타내고, 신택스 요소는, 현재 AU가 디코딩 순서에서 비트스트림 내 제1 AU가 아닌 것에 응답하여, 현재 AU의 명목 코딩된 픽처 버퍼 제거 시간에 대한 CPB 제거 지연 증분 값을 지정한다.

C2. 솔루션 C1의 방법에서, 신택스 요소의 길이는 버퍼링 주기 SEI 메시지의 신택스 구조(syntax structure)에 나타난다.

C3. 솔루션 C1의 방법에서, 신택스 요소의 길이는, (bp_cpb_removal_delay_length_minus1 + 1) 비트이다.

C4. 솔루션 C1 내지 C3 중 어느 하나의 방법에서, 플래그는 bp_concatenation_flag이고, 신택스 요소는 bp_cpb_removal_delay_delta_minus1이다.

C5. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 복수의 변수들 및 픽처 타이밍 보충 향상 정보(SEI) 메시지가 비트스트림에 포함되는 경우, AU 특정임을 지정하고, 픽처 타이밍 SEI 메시지는 복수의 신택스 요소들을 포함하고, 복수의 변수들 중 제1 변수는 현재 AU가 버퍼링 주기 SEI 메시지와 연관되는지 여부를 나타내고, 복수의 변수들 중 제2 변수 및 제3 변수는 현재 AU가 가상 레퍼런스 디코더(HRD)를 초기화하는 AU인지 여부에 대한 지시와 연관되고, 복수의 신택스 요소들 중 제1 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 디코딩된 픽처 버퍼(DPB)로부터 출력되기 전에 코딩된 픽처 버퍼(CPB)로부터 AU의 제거 후 대기할 클록 틱들의 수를 지정하고, 복수의 신택스 요소들 중 제2 신택스 요소는 AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 AU의 마지막 디코딩 유닛(DU)의 제거 후 대기할 서브 클록 틱들의 수를 지정하고, 복수의 신택스 요소들 중 제3 신택스 요소는 현재 AU의 하나 이상의 디코딩된 픽처가 디스플레이 모델(display model)에 대해 점유하는 요소 픽처 주기 간격들의 수를 지정한다.

C6. 솔루션 C5의 방법에서, 제1 변수는 BpResetFlag이고, 제2 변수는 CpbRemovalDelayMsb이고, 및 제3 변수는 CpbRemovalDelayVal이다.

C7. 솔루션 C5의 방법에서, 제1 신택스 요소는 pt_dpb_output_delay이고, 제2 신택스 요소는 pt_dpb_output_du_delay이고, 및 제3 신택스 요소는 pt_display_elemental_periods_minus1이다.

C8. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 디코딩된 픽처 버퍼(DPB)와 연관된 신택스 요소가 비트스트림에 포함되는 경우, 액세스 유닛(AU) 특정임을 지정하고, 신택스 요소는, AU의 하나 이상의 디코딩된 픽처가 DPB로부터 출력되기 전에 코딩된 픽처 버퍼(CPB)로부터 AU의 마지막 디코딩 유닛(DU)의 제거 후 대기할 서브 클록 틱들의 수를 지정한다.

C9. 솔루션 C8의 방법에서, 신택스 요소는 DPB 출력 시간을 계산하는 데 사용되는 것이다.

C10. 솔루션 C8의 방법에서, 신택스 요소는 dui_dpb_output_du_delay이다.

D1. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은 플래그가 비트스트림에 포함되는 경우에, 액세스 유닛(AU) 특정임을 지정하고, 플래그의 값은, 연관된 AU가 인트라 랜덤 액세스 포인트(IRAP) AU인지 또는 점진적 디코딩 리프레쉬(GDR) AU인지 여부에 기초하고, 플래그의 값은, (i) 신택스 요소가 버퍼링 주기 보충 향상 정보(SEI) 메시지에 존재하는지 여부 및 (ii) 대체 타이밍 정보가 현재 버퍼링 주기 내에 픽처 타이밍 SEI 메시지에 존재하는지 여부를 지정한다.

D2. 솔루션 D1의 방법에서, 플래그의 값은, 연관된 AU가 IRAP AU 또는 GDR AU가 아닌 것에 응답하여 0과 동일한 것이다.

D3. 솔루션 D1의 방법에서, 플래그의 값은 플래그가 비트스트림에 포함되지 않은 것에 응답하여 0인 것으로 추론(infer)된다.

D4. 솔루션 D1의 방법에서, 플래그의 값이 1인 것은 신택스 요소가 버퍼링 주기 SEI 메시지에 존재한다는 것을 지정한다.

D5. 솔루션 D1 내지 D4 중 어느 하나의 방법에서, 플래그는 bp_alt_cpb_params_present_flag이고, 신택스 요소는 bp_use_alt_cpb_params_flag이다.

E1. 비디오 처리 방법에 있어서, 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 포맷 규칙을 따르고, 포맷 규칙은, 제1 신택스 요소의 값이 가상 레퍼런스 디코더(HRD)의 연속 픽처들의 출력 시간 사이의 시간적 거리가 제한되는지 여부를 나타내는 플래그와 디코딩될 가장 높은 시간적 서브계층을 식별하는 변수에 기초하는 것임을 지정하고, 제1 신택스 요소는 현재 AU 중 하나 이상의 디코딩된 픽처가 디스플레이 모델에 대해 점유하는 요소 픽처 주기 간격의 수를 지정한다.

E2. 솔루션 E1의 방법에서, 변수는 디코딩될 가장 높은 시간적 서브계층을 식별한다.

E3. 솔루션 E1 또는 E2의 방법에서, 변수가 Htid이다.

E4. 솔루션 E1의 방법에서, 플래그는 출력 계층 세트(output layer set; OLS) 타이밍 및 HRD 파라미터 신택스 구조에 포함된 제2 신택스 요소이다.

E5. 솔루션 E1의 방법에서, 제1 신택스 요소는 픽처 타이밍 보충 향상 정보(SEI) 메시지에 포함된다.

E6. 솔루션 E1 내지 E5 중 어느 하나의 방법에서, 플래그는 fixed_pic_rate_within_cvs_flag이고, 제1 신택스 요소는 pt_display_elemental_periods_minus1이고, 변수는 Htid이다.

다음은 앞서 언급한 솔루션들 중 하나 이상에 적용된다.

O1. 이전 솔루션들 중 어느 하나의 방법에서, 변환은 비트스트림으로부터 비디오를 디코딩하는 것을 포함한다.

O2. 이전 솔루션들 중 어느 하나의 방법에서, 변환은 비디오를 비트스트림으로 인코딩하는 것을 포함한다.

O3. 비디오를 표현하는 비트스트림을 컴퓨터-판독 가능 기록 매체(computer-readable recording medium)에 저장하는 방법에서, 이전 솔루션들 중 어느 하나 이상에 기술된 방법에 따라 비디오로부터 비트스트림을 생성하는 단계; 및 비트스트림을 컴퓨터-판독 가능 기록 매체에 저장하는 단계를 포함한다.

O4. 이전 솔루션들 중 어느 하나 이상에 기재된 방법을 실행하도록 구성된 프로세서를 포함하는 비디오 처리 장치(video processing apparatus).

O5. 실행되는 경우, 프로세서로 하여금 이전 솔루션들 중 하나 이상에 기재된 방법을 실행하게 하는 명령어들이 저장된 컴퓨터 판독 가능 매체.

O6. 이전 솔루션들 중 어느 하나 이상에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능 매체.

O7. 비트스트림을 저장하기 위한 비디오 처리 장치(video processing apparatus)로서, 상기 비디오 처리 장치(video processing apparatus)는 이전 솔루션들 중 어느 하나 이상에 기재된 방법을 실행하도록 구성된다.

P1. 비디오 처리 방법에 있어서, 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현(representation) 간의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 포맷 규칙을 따르고, 포맷 규칙은, RASL 픽처와 동일한 클린 랜덤 액세스 픽처와 연관된 RADL 픽처에서 동일 위치 RADL 픽처를 예측하기 위한 레퍼런스 서브픽처로서 RASL 픽처에서 RADL 서브픽처의 사용을 허용한다.

P2. 비디오 처리 방법에 있어서, 하나 이상의 비디오 픽처를 포함하는 비디오와 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 포맷 규칙을 따르고, 포맷 규칙은, 픽처 타이밍 보충 향상 정보 메시지가 코딩된 표현에 포함되는 경우, 액세스 유닛 특정임을 지정하고, 대응하는 RASL 픽처는 RASL 네트워크 추상과 계층 유닛 유형(NUT)을 포함해야 한다.

P3. 솔루션 P1 또는 P2의 방법에서, 변환을 수행하는 단계는 코딩된 표현을 파싱(parsing)하고 디코딩하여 비디오를 생성하는 단계를 포함한다.

P4. 솔루션 P1 내지 P14 중 어느 방법에서, 변환을 수행하는 단계는 비디오를 코딩된 표현으로 인코딩하는 단계를 포함한다.

P5. 솔루션 P1 내지 P4 중 어느 하나 이상에서 기재된 방법을 실행하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치(video decoding apparatus).

P6. 솔루션 P1 내지 P4 중 어느 하나 이상에서 기재된 방법을 실행하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치(video encoding apparatus).

P7. 컴퓨터 코드(computer code)가 저장되어 있는 컴퓨터 프로그램 제품(computer program product)에서, 코드는, 프로세서에 의해 실행 시, 프로세서로 하여금 솔루션 P1 내지 P4 중 어느 하나 이상에 기재된 방법을 실행하도록 한다.

본 문서에서 "비디오 처리(video processing)"라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축 해제(decompression)를 의미할 수 있다. 예를 들어, 비디오 압축 알고리즘은 비디오의 픽셀 표현에서 대응하는 비트스트림 표현으로 또는 그 반대로 변환 동안 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현(또는 간단히 비트스트림)은, 예를 들어, 신택스에 의해 정의된 바와 같이 비트스트림 내의 다른 위치에 함께 배치되거나 확산되는 비트에 대응할 수 있다. 예를 들어, 매크로블록(macroblock)은 트랜스폼 및 코딩된 오류 잔차 값의 관점에서, 그리고 또한 비트스트림의 헤더 및 기타 필드에 비트를 사용하여 인코딩 될 수 있다.

본 문서에 기재된 개시 및 기타 솔루션, 예, 실시예, 모듈 및 기능적 동작(operation)은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 실행될 수 있으며, 여기에는 이 문서 및 그 구조적 등가물 또는 그 중 하나 이상의 조합으로 실행될 수 있다. 개시된 및 기타 실시예는 하나 이상의 컴퓨터 프로그램 제품으로 실행될 수 있고, 즉, 컴퓨터 프로그램 명령어들의 하나 이상의 모듈을 컴퓨터 판독 가능한 매체에 인코딩 하여 실행하거나, 데이터 처리 장치의 작동을 제어할 수 있다. 컴퓨터 판독 가능 매체는 기계 판독 가능 저장 장치, 기계 판독 가능 저장 기판, 메모리 장치, 기계 판독 가능 전파 신호에 영향을 미치는 물질의 조성 또는 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치"는 예를 들어, 프로그래밍 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 장치, 장치 및 컴퓨터를 포함한다. 장치는 하드웨어에 추가하여 대응 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파된 신호는 인위적으로 생성된 신호, 예를 들어, 기계에서 생성된 전기, 광학 또는 전자기 신호이고, 이는 적합한 수신기 장치로 전송하기 위한 정보를 인코딩 하기 위해 생성된다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은 컴파일 된 언어를 비롯한 모든 형태의 프로그래밍 언어로 작성할 수 있으며 독립 실행형 프로그램 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 컴포넌트, 서브루틴 또는 기타 유닛으로 모든 형태로 배포할 수 있다. 컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일부, 해당 프로그램 전용 단일 파일, 또는 여러 조정된 파일들(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은 한 컴퓨터 또는 한 사이트에 위치하거나 여러 사이트에 분산되고 통신 네트워크에 의해 상호 연결된 여러 컴퓨터에서 실행하도록 배포할 수 있다.

이 문서에 설명된 프로세스 및 논리 흐름은 하나 이상의 프로그래밍 가능한 프로세서로 하여금 하나 이상의 프로그래밍 가능한 프로세서에서 수행하여 입력 데이터에서 작동하고 출력을 생성하여 기능을 수행할 수 있다. 프로세스 및 로직 흐름도 수행될 수 있으며, 장치는 특수 목적 논리 회로, 예를 들어, FPGA(필드 프로그래밍 가능한 게이트 어레이) 또는 ASIC(애플리케이션 별 집적 회로)로 실행될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서에는 예를 들어, 일반 및 특수 목적 마이크로프로세서와 모든 종류의 디지털 컴퓨터의 하나 이상의 프로세서가 포함된다. 일반적으로 프로세서는 읽기 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 명령어들과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령어들과 데이터를 저장하기 위한 하나 이상의 메모리 장치를 수행하기 위한 프로세서이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어, 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 전체를 포함하거나 작동 가능하게 연결된다. 그러나, 컴퓨터에 이러한 장치가 필요하지 않다. 컴퓨터 프로그램 명령어 및 데이터를 저장하는 데 적합한 컴퓨터 판독 가능한 미디어에는 반도체 메모리 장치, 예를 들어, EPROM, EEPROM 및 플래시 메모리 장치, 자기 디스크, 예를 들어, 내부 하드 디스크 또는 이동식 디스크; 마그네토 광학 디스크; 및 CD ROM 및 DVD-ROM 디스크를 비롯한 모든 형태의 비휘발성 메모리, 미디어 및 메모리 장치가 포함된다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보충되거나 통합될 수 있다.

이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 어떤 주제의 범위나 청구될 수 있는 것에 대한 제한으로 해석되어서는 안 되고, 오히려 특정 기술의 특정 실행예에 특정할 수 있는 특징에 대한 설명으로 해석되어서는 안 된다. 이 특허 문서에 기재된 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 실행될 수 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합으로 다중 실시예들에서도 실행될 수 있다. 더욱이, 앞에서와 같이 특징들은 특정 조합으로 작용하는 것으로 설명될 수 있고 심지어 처음에 그렇게 주장될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징은 어떤 경우에는 조합으로부터 제외될 수 있고, 주장된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.

마찬가지로, 동작은 특정 순서로 도면에 묘사되어 있지만, 바람직한 결과를 달성하기 위하여, 이러한 동작이 표시된 특정 순서 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 더욱이, 본 특허 문서에 기재된 실시예들에서, 다양한 시스템 컴포넌트들의 분리가 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.

단지 몇 가지 실행 및 예제만 설명되며, 이 특허 문서에서 기술되고 예시되는 내용에 기초하여 다른 실행들, 개선 및 변형들을 만들 수 있다.

Claims

비디오 처리 방법에 있어서,
하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림) 사이의 변환을 수행하는 단계
를 포함하고,
상기 비트스트림은,
포맷 규칙을 따르고,
상기 포맷 규칙은,
픽처 순서 카운트에 대한 디코딩 프로세스에서 제1 플래그와 연관된 픽처의 유도가 제2 플래그에 기초함을 지정하고,
상기 제1 플래그와 연관된 상기 픽처는,
(i) 레퍼런스 픽처 목록 신택스 구조를 참조하는 슬라이스 또는 픽처 헤더와 동일한 제1 식별자,
(ii) 0과 동일한 상기 제2 플래그 및 제2 식별자, 및
(iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 및 랜덤 액세스 디코딩가능 리딩(RADL) 픽처와 다른 픽처 유형
을 가지는 디코딩 순서에서의 이전 픽처이고,
상기 제1 플래그는,
제3 플래그가 상기 비트스트림에 존재하는지 여부를 나타내고,
상기 제2 플래그는,
현재 픽처가 레퍼런스 픽처로서 사용되는지 여부를 나타내고,
상기 제3 플래그는,
장기 레퍼런스 픽처의 픽처 순서 카운트 값의 하나 이상의 최상위 비트의 값을 결정하기 위해 사용되는,
비디오 처리 방법.
제1항에 있어서,
상기 제1 식별자는,
계층의 식별자이고,
상기 제2 식별자는,
시간적 식별자인,
비디오 처리 방법.
제1항에 있어서,
상기 제1 식별자는,
신택스 요소이고,
상기 제2 식별자는,
변수인
비디오 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 플래그는,
delta_poc_msb_cycle_present_flag이고,
상기 제2 플래그는,
ph_non_ref_pic_flag이고,
상기 제3 플래그는,
delta_poc_msb_cycle_present_flag이고,
상기 제1 식별자는,
nuh_layer_id이고,
상기 제2 식별자는,
TemporalId인,
비디오 처리 방법.
비디오 처리 방법에 있어서,
하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계
를 포함하고,
상기 비트스트림은,
포맷 규칙을 따르고,
상기 포맷 규칙은,
디코딩 유닛(DU)의 디코딩 또는 상기 디코딩 유닛(DU)의 제거의 타이밍을 결정하기 위해 사용되는 변수가,
액세스 유닛(AU) 특정이고,
현재 픽처가 레퍼런스 픽처로서 사용되도록 허용되는지 여부를 나타내는 플래그에 기초하여 유도된다는
것을 지정하는,
비디오 처리 방법.
제5항에 있어서,
상기 변수는,
prevNonDiscardableAu이고,
상기 플래그는,
ph_non_ref_pic_flag인,
비디오 처리 방법.
제6항에 있어서,
ph_non_ref_pic_flag가 1과 동일한 것은,
상기 현재 픽처가 상기 레퍼런스 픽처로서 절대 사용되지 않는다는 것을 지정하는,
비디오 처리 방법.
제6항에 있어서,
ph_non_ref_pic_flag가 0과 동일한 것은,
상기 현재 픽처가 상기 레퍼런스 픽처로서 사용될 수도 있고 사용되지 않을 수도 있다는 것을 지정하는,
비디오 처리 방법.
비디오 처리 방법에 있어서,
하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계
를 포함하고,
상기 비트스트림은,
포맷 규칙을 따르고,
상기 포맷 규칙은,
상기 비트스트림에 포함되는 경우, 버퍼링 주기 보충 향상 정보(SEI) 메시지 및 픽처 타이밍 SEI 메시지가 액세스 유닛(AU) 특정임을 지정하고,
상기 버퍼링 주기 SEI 메시지와 연관된 제1 변수 및 상기 버퍼링 주기 SEI 메시지 및 상기 픽처 타이밍 SEI 메시지와 연관된 제2 변수는,
현재 픽처를 레퍼런스 픽처로서 사용될 수 있는지 여부를 나타내는 플래그에 기초하여 유도되고,
상기 제1 변수는,
(i) 0과 동일한 식별자 및
(ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 상기 플래그가 0과 동일한 픽처
를 포함하는 액세스 유닛을 나타내고,
상기 제2 변수는,
(i) 0과 동일한 식별자 및
(ii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고 상기 플래그가 0과 동일한 픽처
를 포함하고,
상기 디코딩 순서에서의 이전 AU 및 디코딩 순서에서의 제1 AU가 아닌 현재 AU를 나타내는,
비디오 처리 방법.
제9항에 있어서,
상기 식별자는,
시간적 식별자인,
비디오 처리 방법.
제9항에 있어서,
상기 제1 변수는,
notDiscardableAu이고,
상기 제2 변수는,
prevNonDiscardableAu이고,
상기 플래그는,
ph_non_ref_pic_flag이고,
상기 식별자는 TemporalId인,
비디오 처리 방법.
비디오 처리 방법에 있어서,
하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계
를 포함하고,
상기 비트스트림은,
포맷 규칙을 따르고,
상기 포맷 규칙은,
제1 픽처 및 제2 픽처와 연관된 제1 변수 및 제2 변수의 유도가 플래그에 기초함을 지정하고,
디코딩 순서에서 상기 제1 픽처는 현재 픽처이고, 상기 제2 픽처는 이전 픽처이고,
상기 디코딩 순서는,
(i) 0과 동일한 제1 식별자를 포함하고,
(ii) 0과 동일한 플래그를 포함하고, 및
(iii) 랜덤 액세스 스킵된 리딩(RASL) 픽처 또는 랜덤 액세스 디코딩가능 리딩(RADL) 픽처가 아니고,
상기 제1 변수 및 상기 제2 변수는,
각각 상기 제1 픽처와 동일한 제2 식별자를 가지는 다음의 픽처들 각각의 픽처 순서 카운트의 최대 값 및 최소 값이고,
상기 다음의 픽처들은,
(i) 제1 픽처,
(ii) 제2 픽처,
(iii) 상기 제1 픽처의 레퍼런스 픽처 목록들의 모든 항목들이 참조하는 하나 이상의 단기 레퍼런스 픽처들, 및
(iv) 상기 제1 픽처의 코딩된 픽처 버퍼(CPB) 제거 시간보다 작은 CPB 제거 시간 및 상기 제1 픽처의 상기 CPB 제거 시간보다 크거나 같은 디코딩된 픽처 버퍼(DPB) 출력 시간으로 출력된 각 픽처
를 포함하는,
비디오 처리 방법.
제12항에 있어서,
상기 제1 변수는,
상기 픽처 순서 카운트의 최대 값을 나타내고,
상기 제2 변수는,
상기 픽처 순서 카운트의 최소 값을 나타내는,
비디오 처리 방법.
제12항에 있어서,
상기 플래그는,
상기 현재 픽처가 레퍼런스 픽처로서 사용 가능한지 여부를 나타내는,
비디오 처리 방법.
제12항에 있어서,
상기 제1 식별자는,
시간적 식별자이고,
상기 제2 식별자는,
계층의 식별자인,
비디오 처리 방법.
제12항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 변수는,
maxPicOrderCnt이고,
상기 제2 변수는,
minPicOrderCnt이고,
상기 제1 식별자는,
TemporalId이고,
상기 제2 식별자는,
nuh_layer_id이고,
상기 플래그는,
ph_non_ref_pic_flag인,
비디오 처리 방법.
제1항 내지 제16항 중 어느 한 항에 있어서,
상기 변환은,
상기 비트스트림으로부터 상기 비디오를 디코딩하는 것을 포함하는,
비디오 처리 방법.
제1항 내지 제16항 중 어느 한 항에 있어서,
상기 변환은,
상기 비디오를 상기 비트스트림으로 인코딩하는 것을 포함하는,
비디오 처리 방법.
비디오를 나타내는 비트스트림을 컴퓨터-판독 가능 기록 매체에 저장하는 방법에 있어서,
제1항 내지 제16항 중 어느 한 항에 기재된 방법에 따라 상기 비디오로부터 상기 비트스트림을 생성하는 단계; 및
상기 컴퓨터-판독 가능 기록 매체에 상기 비트스트림을 저장하는 단계
를 포함하는,
방법.
제1항 내지 제19항 중 어느 하나 이상의 항에 기재된 방법을 실행하도록 구성된 프로세서를 포함하는 비디오 처리 장치.
실행되는 경우, 프로세서로 하여금 제1항 내지 제19항 중 어느 하나 이상의 항에 기재된 방법을 실행하게 하는 명령들이 저장된 컴퓨터 판독 가능 매체.
제1항 내지 제19항 중 어느 하나 이상의 항에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능 매체.
비트스트림을 저장하는 비디오 처리 장치에 있어서,
상기 비디오 처리 장치는,
제1항 내지 제19항 중 어느 하나 이상의 항에 기재된 방법을 실행하도록 구성되는,
비디오 처리 장치.