KR20220065804A

KR20220065804A - 세그먼트 존재 정보 제공

Info

Publication number: KR20220065804A
Application number: KR1020227012480A
Authority: KR
Inventors: 마르틴 페테르손; 미트라 담가니안; 리카르드 셰베르그
Original assignee: 텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date: 2019-09-23
Filing date: 2020-08-19
Publication date: 2022-05-20
Also published as: CN114556961A; MA56081A1; WO2021061035A1; MA56081B1; EP4035413A1; US20220368922A1; JP7411787B2; EP4035413A4; JP2022549799A

Abstract

디코더에 의해 수행되는 메커니즘이 제공된다. 방법은 비트스트림을 수신하는 단계를 포함한다. 상기 방법은 수신된 비트스트림을 처리하는 단계를 포함하고, 여기서: 상기 비트스트림은 비트스트림의 제1부분을 포함하고, 상기 비트스트림의 제1부분은 세그먼트 존재 정보를 제공하며, 또한 i) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내거나, 또는 ii) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타낸다.

Description

세그먼트 존재 정보 제공

본 개시는 비디오 코딩 및 디코딩에 관한 것이다.

1. HEVC 및 VVC

고효율 비디오 코딩(HEVC)은 시간 및 공간 예측을 모두 활용하는 ITU-T 및 MPEG에 의해 표준화된 블록-기반 비디오 코덱이다. 공간 예측은 현재 픽처 내에서 인트라(I) 예측을 사용하여 달성된다. 시간 예측은 이전에 디코딩된 참조 픽처로부터 블록 레벨에 대한 단방향(P) 또는 양방향 인터(B) 예측을 사용하여 달성된다. 인코더에서, 잔차라고 하는 예측 픽셀 데이터와 원래 픽셀 데이터 간의 차이는 주파수 영역으로 변환되고, 양자화된 다음 엔트로피 코딩된 예측 모드 및 모션 벡터와 같은 필요한 예측 파라미터와 함께 전송되기 전에 엔트로피 코딩된다. 디코더는 엔트로피 디코딩, 역양자화 및 역변환을 수행하여 잔차를 얻은 다음, 그 잔차를 인트라 또는 인터 예측에 더하여 픽처를 복원한다.

MPEG 및 ITU-T는 JVET(Joint Video Exploratory Team) 내에서 HEVC의 후속 제품 개발을 착수하고 있다. 개발 중인 이러한 비디오 코덱의 이름은 다목적 비디오 코딩(VVC)이다. 작성 당시, VVC 드래프트(draft) 사양의 현재 버전은 "다목적 비디오 코딩(Draft 6)", JVET-O2001-vE였다. 이러한 문서에서 VVC를 참조할 경우 VVC 사양의 Draft 6을 참조한다.

2. 요소

비디오 시퀀스는 각각의 픽처가 하나 이상의 요소로 구성된 일련의 픽처로 구성된다. 각각의 요소는 샘플 값들의 2차원 직사각형 어레이로 설명될 수 있다. 비디오 시퀀스의 픽처는 3개의 요소, 즉 샘플 값이 루마 값인 루마 요소(Y)와, 샘플 값이 크로마 값인 2개의 크로마 요소(Cb) 및 (Cr)로 구성되는 것이 일반적이다. 상기 크로마 요소들의 크기는 각각의 크기에서 2배만큼 루마 요소보다 작은 것이 일반적이다. 예를 들어, HD 픽처의 루마 요소의 크기는 1920×1080이고 크로마 요소는 각각 960×540의 크기를 갖는다. 요소를 색상 요소라고도 한다. 이 문서에서는 비디오 시퀀스의 인코딩 및 디코딩에 유용한 방법들을 설명한다. 그러나, 설명된 기술들은 정지 이미지의 인코딩 및 디코딩에도 사용될 수 있음을 이해해야 한다.

3. 블록 및 유닛

블록은 샘플들의 2차원 어레이이다. 비디오 코딩에서, 각각의 요소는 하나 이상의 블록으로 분할되고 코딩된 비디오 비트스트림은 일련의 블록이다.

비디오 코딩에서는 픽처가 특정 영역을 커버하는 유닛으로 분할되는 것이 일반적이다. 각각의 유닛은 해당 특정 영역을 구성하는 모든 블록으로 구성되며, 각각의 블록은 완전히 하나의 유닛에만 속한다. HEVC 및 VVC의 코딩 유닛(CU)은 그와 같은 유닛의 예이다. 코딩 트리 유닛(CTU)은 여러 CU로 분할될 수 있는 논리 유닛이다.

HEVC에서, CU는 정사각형, 즉 N×N 루마 샘플의 크기를 가지며, 여기서 N은 64, 32, 16 또는 8의 값을 가질 수 있다. 현재 H.266 테스트 모델 다목적 비디오 코딩(VVC)에서, CU는 직사각형일 수도 있는 데, 즉 N이 M과 다른 N×M 루마 샘플의 크기를 가질 수도 있다.

4. NAL 유닛

HEVC와 VVC는 모두 네트워크 추상화 계층(NAL)을 정의한다. 모든 데이터, 즉 HEVC 및 VVC의 비디오 코딩 계층(VCL) 또는 비-VCL 데이터는 모두 NAL 유닛으로 캡슐화된다. VCL NAL 유닛은 픽처 샘플 값들을 나타내는 데이터를 포함한다. 비-VCL NAL 유닛에는 파라미터 세트 및 보충 강화 정보(SEI) 메시지와 같은 추가 관련 데이터가 포함된다. HEVC의 NAL 유닛과 VVC의 현재 버전은 NAL 유닛 헤더라는 헤더로 시작한다. HEVC에 대한 NAL 유닛 헤더에 대한 구문은 표 1에 나타나 있으며 시작 코드 에뮬레이션을 방지하기 위해 항상 0과 같아야 하는 forbidden_zero_bit로 시작한다. 이것이 없으면, 일부의 MPEG 시스템은 HEVC 비디오 비트스트림을 다른 데이터와 혼동할 수 있지만, NAL 유닛 헤더의 0 비트는 가능한 모든 HEVC 비트스트림을 HEVC 비트스트림으로 고유하게 식별할 수 있도록 한다. nal_unit_type, nuh_layer_id 및 nuh_temporal_id_plus1 코드 워드는 NAL 유닛에서 어떤 타입의 데이터가 이송되는지를 식별하는 NAL 유닛의 NAL 유닛 타입, 계층 ID, 및 NAL 유닛이 속하는 시간 ID를 각각 명시한다. NAL 유닛 타입은 NAL 유닛이 어떻게 파싱되고 디코딩되어야 하는지를 나타내고 명시한다. 현재 버전의 VVC에 있는 NAL 유닛 헤더는 HEVC에 있는 것과 매우 유사하지만, nal_unit_type에 대해 1비트를 덜 사용하고 대신 나중에 사용하기 위해 이 비트를 예약한다.

NAL 유닛의 나머지 바이트는 NAL 유닛 타입이 나타내는 타입의 페이로드이다. 비트스트림은 일련의 연결된 NAL 유닛으로 구성된다

표 1 - HEVC NAL 유닛 헤더 구문

표 1 - VVC의 현재 버전의 NAL 유닛 헤더 구문

디코더 또는 비트스트림 파서는 NAL 유닛이 어떻게 처리되어야 하는지, 예컨대 NAL 유닛 헤더를 살펴본 후 파싱 및 디코딩되어야 하는지 결론을 내릴 수 있다. NAL 유닛의 나머지 바이트는 NAL 유닛 타입에 의해 나타내는 타입의 페이로드이다. 비트스트림은 일련의 연결된 NAL 유닛으로 구성된다.

NAL 유닛 타입은 NAL 유닛이 어떻게 파싱되고 디코딩되어야 하는지를 나타내고 정의한다. VCL NAL 유닛은 현재 픽처의 픽처 타입에 대한 정보를 제공한다. VVC 드래프트의 현재 버전의 NAL 유닛 타입은 표 3에 나타나 있다.

그러한 디코딩 순서는 NAL 유닛들이 디코딩되어야 하는 순서이며, 비트스트림 내의 NAL 유닛들의 순서와 동일하다. 상기 디코딩 순서는, 디코딩된 픽처들이 예를 들어 디스플레이를 위해 디코더에 의해 출력되어야 하는 순서인 출력 순서와 다를 수 있다.

표 3 - VVC 드래프트의 현재 버전에서 NAL 유닛 타입

시간 계층

HEVC 및 VVC의 현재 버전에서, 모든 픽처는 픽처가 속하는 시간 계층을 명시하는 TemporalId 값과 연관된다. TemporalId 값들은 NAL 유닛 헤더의 nuh_temporal_id_plus1 구문 요소로부터 디코딩된다. HEVC에서, 인코더는 상위 시간 계층이 폐기될 때 하위 계층에 속하는 픽처가 완벽하게 디코딩될 수 있도록 TemporalId 값들을 설정해야 한다. 예를 들어, 인코더가 시간 계층 0, 1 및 2를 사용하여 비트스트림을 출력했다고 가정한다. 그런 다음, 모든 계층 2 NAL 유닛을 제거하거나 모든 계층 1 및 2 NAL 유닛을 제거하면 문제 없이 디코딩될 수 있는 비트스트림이 생성된다. 이는 인코더가 준수해야 하는 HEVC/VVC 사양의 제한 사항에 의해 보장된다. 예를 들어, 시간 계층의 픽처가 상위 시간 계층의 픽처를 참조하는 것은 허용되지 않는다.

6. 계층, 종속 및 독립 계층

VVC에서 계층들은 모두 nuh_layer_id의 특정 값 및 연관된 비-VCL NAL 유닛을 갖는 VCL NAL 유닛의 세트로 정의된다.

VVC의 계층 액세스 유닛은, VCL NAL 유닛이 모두 nuh_layer_id의 특정 값을 갖고, 명시된 분류 규칙에 따라 서로 연관되고, 디코딩 순서가 연속적이며, 정확히 하나의 코딩된 픽처를 포함하는 NAL 유닛의 세트로 정의된다.

VVC의 현재 버전에서 코딩된 계층 비디오 시퀀스(CLVS)는, 디코딩 순서에서, 모든 후속 계층 액세스 유닛을 포함하지만 CLVS 계층 액세스 유닛인 임의의 후속 계층 액세스 유닛은 포함하지 않는 CLVS 계층 액세스 유닛이 아닌 0개 이상의 계층 액세스 유닛이 뒤따르는 CLVS 계층 액세스 유닛으로 구성된 계층 액세스 유닛(LAU)의 시퀀스로 정의된다.

계층 액세스 유닛과 코딩된 계층 비디오 시퀀스 사이의 관계가 도 5에 예시되어 있다.

VVC의 현재 버전에서, 계층들은 독립적으로 또는 서로 의존적으로 코딩될 수 있다. 계층이 독립적으로 코딩될 때, 예를 들어 nuh_layer_id 0을 갖는 계층은, 예를 들어 nuh_layer_id 1를 갖는 다른 계층으로부터 비디오 데이터를 예측하지 못할 수 있다. VVC의 현재 버전에서는 계층들 간의 종속 코딩이 사용될 수 있으며, 이는 SNR, 공간 및 뷰 확장성을 사용하여 확장 가능한 코딩을 지원할 수 있다.

7. 액세스 유닛 및 액세스 유닛 구분자

HEVC 및 현재 VVC 드래프트의 단일 계층 코딩의 경우, 액세스 유닛(AU)은 단일 픽처의 코딩된 표현이다. AU는 여러 비디오 코딩 계층(VCL) NAL 유닛 및 비-VCL NAL 유닛으로 구성될 수 있다. VVC의 현재 버전에서, 액세스 유닛은 액세스 유닛의 시작과 픽처에서 허용되는 슬라이스의 타입, 즉 I, I-P 또는 I-P-B를 나타내는 액세스 유닛 구분자(AUD) NAL 유닛으로 시작해야 한다. HEVC에서, AU가 AUD로 시작하는 것은 선택 사항이다. VVC 드래프트의 현재 버전에서 액세스 유닛 구분자 NAL 유닛에 대한 구문 및 의미는 아래에 나타냈다.

표 2 - VVC 드래프트의 현재 버전에서 액세스 유닛 구분자 원시 바이트 시퀀스 페이로드(RBSP) 구문

7. 1 액세스 유닛 구분자 RBSP 의미

액세스 유닛 구분자는 액세스 유닛의 시작 및 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛의 코딩된 픽처에 존재하는 슬라이스의 타입을 표시하는 데 사용된다. 액세스 유닛 구분자와 관련된 규범적인 디코딩 프로세스는 없다.

pic_type은 액세스 유닛 구분자 NAL 유닛을 포함하는 액세스 유닛의 코딩된 픽처의 모든 슬라이스에 대한 slice_type 값들이 pic_type의 주어진 값에 대해 표 5에 리스트된 세트의 멤버임을 표시한다. 그러한 pic_type의 값은 이러한 사양의 이러한 버전을 따르는 비트스트림에서 0, 1 또는 2와 같아야 한다. pic_type의 다른 값들은 ITU T|ISO/IEC에서 향후 사용하기 위해 예약되어 있다. 이러한 사양의 이러한 버전을 따르는 디코더는 pic_type의 예약된 값들을 무시해야 한다.

표 5 - pic_type의 해석

8. 인트라 랜덤 액세스 포인트(IRAP) 픽처 및 코딩된 비디오 시퀀스(CVS)

HEVC에서 인트라 랜덤 액세스 포인트(IRAP) 픽처는 디코딩 프로세스에서 예측을 위해 자신 이외의 임의의 픽처를 참조하지 않는 픽처이다. HEVC의 디코딩 순서에서 비트스트림의 첫 번째 픽처는 IRAP 픽처여야 하지만 IRAP 픽처는 추가적으로 비트스트림에서 나중에 나타날 수도 있다. HEVC는 3가지 타입의 IRAP 픽처, 즉 브로큰 링크 액세스(BLA) 픽처, 순시 디코더 리프레시(IDR) 픽처 및 클린 랜덤 액세스(CRA) 픽처를 명시한다.

HEVC의 코딩된 비디오 시퀀스(CVS)는 IRAP 액세스 유닛에서 시작하지만 디코딩 순서에서 다음 IRAP 액세스 유닛을 포함하지 않는 일련의 액세스 유닛이다.

IDR 픽처는 항상 새로운 CVS를 시작한다. IDR 픽처는 연관된 랜덤 액세스 디코딩 가능 리딩(RADL) 픽처를 가질 수 있다. IDR 픽처에는 연관된 랜덤 액세스 스킵된 리딩(RASL) 픽처가 없다.

HEVC의 BLA 픽처 역시 새로운 CVS를 시작하고 IDR 픽처와 동일한 디코딩 과정에 영향을 미친다. 그러나, HEVC의 BLA 픽처는 비어 있지 않은 참조 픽처 세트를 명시하는 구문 요소를 포함할 수 있다. BLA 픽처는 비트스트림에 없을 수 있는 픽처에 대한 참조를 포함할 수 있기 때문에 디코더에 의해 출력되지 않고 디코딩될 수 없는 연관된 RASL 픽처를 가질 수 있다. BLA 픽처는 또한 디코딩되는 연관된 RADL 픽처를 가질 수 있다.

CRA 픽처는 연관된 RADL 또는 RASL 픽처를 가질 수 있다. BLA 픽처와 마찬가지로, CRA 픽처는 비어 있지 않은 참조 픽처 세트를 명시하는 구문 요소를 포함할 수 있다. CRA 픽처의 경우, 비트스트림에 존재하지 않는 픽처에 대한 참조를 포함할 수 있어 디코딩 불가능할 수 있기 때문에 연관된 RASL 픽처가 디코더에 의해 출력되지 않도록 명시하기 위해 플래그가 설정될 수 있다. CRA는 CVS를 시작할 수 있다.

VVC 드래프트의 현재 버전에서, CVS는 IRAP 픽처, 즉 IDR 또는 CRA 픽처, 또는 점진적 디코딩 리프레시(GDR) 픽처를 포함할 수 있는 CVS 시작(CVSS) 액세스 유닛에서 시작된다.

GDR 픽처는 본질적으로 전체 IRAP 픽처가 너무 많은 지연을 야기하는 저지연 코딩을 위해 인코딩된 비트스트림에서 랜덤 액세스에 사용된다. GDR 픽처는 각각의 픽처가 부분적으로만 인트라 코딩되는 픽처별로 비디오를 업데이트하는 점진적 인트라 리프레시를 사용할 수 있다. 비트스트림이 GDR 픽처에서 튜닝된 경우, 비디오가 완전히 완전히 리프레시되어 출력할 준비가 되었을 때 GDR 픽처로 시그널링된다.

9. STSA 픽처

HEVC(및 현재 VVC 드래프트)에는 단계적 시간 서브-계층 액세스( STSA) 픽처라고 하는 픽처 타입이 있다. HEVC에서 STSA 픽처에는 두 가지 타입이 있는데, STSA_R은 참조 픽처이기도 한 STSA 픽처이고, STSA_N은 비-참조 픽처인 STSA 픽처이다. 현재 VVC 드래프트에서는 한 가지 타입의 STSA 픽처만 명시되며, STSA 픽처가 참조 또는 비-참조 픽처인지 구분하지 않는다.

STSA 픽처는 하위 시간 계층에서 상위 시간 계층으로 스위칭 업할 수 있는 비트스트림의 위치를 나타내기 위한 것이다. 예를 들어, 디코더는 N 이하의 TemporalId를 갖는 모든 NAL 유닛이 디코딩되고 N보다 높은 TemporalId를 갖는 모든 NAL 유닛이 무시된다는 것을 의미하는 시간 계층 N을 디코딩할 수 있다. N+1의 TemporalId를 갖는 STSA 픽처가 있는 경우, 디코더는 해당 STSA 픽처 및 N+1 이하의 TemporalId를 갖는 디코딩 순서로 STSA 픽처를 따르는 모든 NAL 유닛을 디코딩할 수 있도록 보장된다.

10. 보충 강화 정보(SEI) 메시지

SEI 메시지는 디코더에 유용할 수 있지만 디코딩 프로세스에는 필요하지 않은 정보를 제공한다. VVC의 현재 버전은 다음과 같은 SEI 메시지를 명시한다:

표 6 - VVC의 현재 버전에서 SEI 메시지

10.1 종속 RAP 표시 SEI 메시지

종속 RAP 표시 SEI 메시지는 픽처를 비트스트림에서 종속 랜덤 액세스 포인트(DRAP) 픽처로 표시하는 데 사용된다. DRAP 표시 SEI 메시지의 존재는 이 하위절에 명시된 픽처 순서 및 픽처 참조에 대한 제약 조건이 적용됨을 나타낸다. 이러한 제약 조건은 디코더가 관련 IRAP 픽처를 제외한 임의의 다른 픽처를 디코딩할 필요 없이 디코딩 순서와 출력 순서 모두에서 DRAP 픽처와 그에 뒤따르는 픽처를 적절하게 디코딩할 수 있게 한다.

DRAP 표시 SEI 메시지의 존재에 의해 표시되는 제약 조건은 다음과 같다:

a) DRAP 픽처는 후행 픽처여야 한다.

b) DRAP 픽처는 0과 동일한 시간 서브계층 식별자를 가져야 한다.

c) DRAP 픽처는 디코딩 순서에서 선행 IRAP 픽처를 제외하고 참조 픽처 리스트의 활성 엔트리에 어떠한 픽처도 포함하지 않아야 한다.

d) 디코딩 순서와 출력 순서 모두에서 DRAP 픽처를 뒤따르는 모든 픽처는, 디코딩 순서에서 선행 IRAP 픽처를 제외하고, 참조 픽처 리스트의 활성 엔트리에 디코딩 순서나 출력 순서에서 DRAP 픽처보다 선행하는 임의의 픽처를 포함하지 않아야 한다.

VVC에서, 참조 픽처 리스트(RPL)는 디코더가 현재 및 미래 픽처를 디코딩하기 위해 참조용으로 어떤 이전에 디코딩된 픽처를 유지해야 하는지를 나타기 위해 현재 픽처에 대해 시그널링된다. 각각의 픽처에 대해 2개의 RPL이 있다. 하나의 픽처로부터의 인터 예측(P-예측)의 경우에만 첫 번째 RPL이 사용되며, 2개의 픽처로부터의 인터 예측(B-예측)의 경우 첫 번째 및 두 번째 RPL이 모두 사용된다. RPL에서 엔트리가 활성화되어 있다는 것은 엔트리의 참조 픽처가 현재 픽처를 디코딩하는 데 사용된다는 것을 의미한다. 엔트리의 참조 픽처가 현재 픽처를 예측하는 데 사용되지 않고 이후 픽처를 예측하는 데 사용되는 경우, 그 엔트리는 RPL에 유지되어야 하지만 현재 픽처의 RP에서는 비활성화되어야 한다.

11. 파라미터 세트

HEVC 및 VVC는 3가지 타입의 파라미터 세트, 즉 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 및 비디오 파라미터 세트(VPS)를 명시한다. PPS는 전체 픽처에 공통적인 데이터를 포함하고, SPS는 코딩된 비디오 시퀀스(CVS)에 대해 공통적인 데이터를 포함하고, VPS는 다중 CVS에 공통적인 데이터, 예컨대 비트스트림의 다중 계층에 대한 데이터를 포함한다.

VVC의 현재 버전은 또한 2개의 추가 파라미터 세트, 즉 적응 파라미터 세트(APS) 및 디코더 파라미터 세트(DPS)를 명시한다.

11. 1 적응 파라미터 세트(APS)

APS는 다른 파라미터 세트에 비해 비교할 수 있는 많은 양의 데이터로 구성된다. APS의 개념은 슬라이스와 픽처 간에 자주 변경되지는 않지만 SPS 또는 PPS에 잘 맞지 않을 정도로 자주 변경되는 데이터에 대해 슬라이스 헤더의 특정 데이터 그룹을 반복할 필요가 없다는 것이다. 현재 버전의 VVC에는 3가지 타입의 APS가 있다. 즉, 적응 루프 필터(ALF) 코딩 툴에 필요한 파라미터를 이송하는 첫 번째 APS 타입, 루마 맵핑 및 크로마 스케일링(LMCS) 코딩 툴에 필요한 파라미터를 이송하는 두 번째 APS 타입, 및 스케일링 리스트 파라미터를 이송하는 데 사용되는 세 번째 APS 타입. 스케일링 리스트는 각각의 주파수 인덱스를 스케일링 프로세스의 스케일 팩터와 연관시키는 리스트이다.

11.2 디코딩 파라미터 세트(DPS)

DPS는 디코딩 세션 동안 변경되지 않을 수 있고 디코더가 알기에 좋은 정보(예컨대, 허용되는 최대 서브계층의 수)를 명시한다. DPS의 정보는 디코딩 프로세스의 동작에 필요치 않다.

디코더 파라미터 세트는 또한 비트스트림에 대한 일반적인 제약 세트를 포함하는 데, 이는 비트스트림으로부터 무엇을 예상해야 하는지에 대한 디코더 정보를 제공한다. VVC의 현재 버전에서, 일반 제약 정보는 VPS에서 시그널링될 수도 있다:

특정 과제가 존재한다. 예를 들어, VVC의 현재 버전에서는 특정 NAL 유닛 타입을 가진 NAL 유닛이 비트스트림에 존재할 수 있는지의 여부를 미리 표시할 수 없다. 또한, 비트스트림에 특정 SEI 메시지가 존재할 수 있는지의 여부를 미리 표시하는 것은 불가능하다. 그런 다음, 디코더는 모든 타입의 NAL 유닛 타입 및 SEI 메시지를 처리할 수 있도록 준비되어야 한다. 일부 NAL 유닛 타입 및 SEI 메시지에 있어서, 디코더는 이러한 NAL 유닛 타입 및 SEI 메시지가 비트스트림에 나타날 경우 일부 리소스를 소비해야 할 수 있는 데, 즉 미리 메모리를 할당하고, 특정 데이터를 저장하고, 비트스트림의 특정 부분을 파싱한다. 이러한 NAL 유닛 타입 또는 SEI 메시지가 비트스트림에 나타나지 않으면, 이러한 리소스가 불필요하게 소비된 것이다.

본 개시는 해결책을 제공한다. 예를 들어, 하나의 특정 실시예에서, 파라미터(예컨대, 플래그)가 파라미터 세트(예컨대, DPS, VPS, SPS 또는 PPS)에 포함되고 이러한 파라미터가 타입 A의 세그먼트(예컨대, NAL 유닛 또는 SEI 메시지)가 비트스트림에 존재할 수 있는지의 여부를 명시하는 것이 제안된다. 따라서 플래그는 세그먼트 존재 정보의 일 예이다.

본 개시의 제1양태에 따르면, 디코더에 의해 수행되는 방법이 제공된다. 상기 방법은 비트스트림을 수신하는 단계를 포함한다. 상기 방법은 수신된 비트스트림을 처리하는 단계를 포함하며, 여기서: 상기 비트스트림은 비트스트림의 제1부분을 포함하고, 상기 비트스트림의 제1부분은 세그먼트 존재 정보를 제공하며, 또한 i) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내거나, 또는 ii) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타낸다.

본 개시의 제2양태에 따르면, 인코더에 의해 수행되는 방법이 제공된다. 상기 방법은 비트스트림을 생성하는 단계를 포함하고, 여기서 상기 비트스트림은 상기 비트스트림의 제1부분을 포함하고, 상기 비트스트림의 제1부분은 세그먼트 존재 정보를 제공하며, 또한 i) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내거나, 또는 ii) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타낸다.

본 개시의 제3양태에 따르면, 처리 회로에 의해 실행될 때, 상기 처리 회로가 제1 또는 제2양태 중 어느 하나의 방법을 수행하게 하는 명령을 포함하는 컴퓨터 프로그램이 제공된다.

본 개시의 제4양태에 따르면, 제3양태에 따른 컴퓨터 프로그램을 포함하는 캐리어가 제공되며, 여기서 상기 캐리어는 전자 신호, 광 신호, 무선 신호, 및 컴퓨터 판독가능 저장 매체 중 하나이다.

본 개시의 제5양태에 따르면, 제1양태에 따른 방법을 수행하도록 구성된 디코딩 장치가 제공된다.

본 개시의 제6양태에 따르면, 제2양태에 따른 방법을 수행하도록 구성된 인코딩 장치가 제공된다.

장점

타입 A의 세그먼트(예컨대, NAL 유닛, SEI 메시지 등)가 비트스트림에 존재할 수 있는지의 여부에 관한 정보(세그먼트 존재 정보)는 디코더가 예를 들어 사용되지 않을 메모리를 할당할 필요가 없거나 비트스트림의 특정 부분을 파싱할 필요가 없다는 것을 알게 하는데 유용하다. 따라서, 디코더가 비트스트림에 나타나지 않을 수 있는 NAL 유닛 타입, 픽처 타입, 및 SEI 메시지에 대한 자원을 할당하지 않을 것이라는 장점이 있다.

예를 들어, 디코더가 비트스트림에서 STSA 픽처가 예상되지 않는다는 것을 알고 있다면, PPS를 저장할 필요가 없고 심지어 STSA 픽처에 대한 시간 계층을 스캔할 필요도 없다. 디코딩되지 않는 상위 계층을 단순히 무시할 수 있다. 또 다른 예는 DRAP SEI 메시지이다. 디코더가 비트스트림에서 임의의 DRAP SEI 메시지를 만나지 않을 것이라는 것을 알고 있으면, 나중에 DRAP 픽처를 사용하여 튜닝하기를 원하는 채널에 대해 IRAP 픽처를 저장할 필요가 없다.

도 1은 일 실시예에 따른 시스템을 예시한다.
도 2는 일 실시예에 따른 비디오 인코더의 개략적인 블록도이다.
도 3은 일 실시예에 따른 비디오 디코더의 개략적인 블록도이다.
도 4는 일 실시예에 따른 인코딩된 비디오 비트스트림을 예시한다.
도 5는 계층 액세스 유닛과 코딩된 계층 비디오 시퀀스 사이의 관계를 예시한다.
도 6은 일 실시예에 따른 비디오 디코딩 프로세스를 예시하는 흐름도이다.
도 7은 일 실시예에 따른 비디오 인코딩 프로세스를 예시하는 흐름도이다.
도 8은 일 실시예에 따른 장치의 블록도이다.

도 1은 예시의 실시예에 따른 시스템(100)을 예시한다. 시스템(200)은 네트워크(110; 예컨대, 인터넷 또는 다른 네트워크)를 통해 디코더(204)와 통신하는 인코더(202)를 포함한다. 디블록킹은 인코더(202) 및 디코더(204) 모두에서 수행될 수 있다. 여기에 설명된 실시예들은 비디오 인코더(102) 또는 비디오 디코더(104)에서 사용될 수 있다.

도 2는 일 실시예에 따른 비디오 인코더(102)의 개략적인 블록도이다. 현재 픽셀 블록은 동일한 프레임 또는 이전 프레임에서 이미 제공된 픽셀 블록으로부터 모션 추정기(250)를 사용하여 모션 추정을 수행함으로써 예측된다. 그러한 모션 추정의 결과는, 인터 예측의 경우, 참조 블록과 연관된 모션 또는 변위 벡터이다. 상기 모션 벡터는 픽셀 블록의 인터 예측을 출력하기 위해 모션 보상기(250)에 의해 사용될 수 있다. 인트라 예측기(249)는 현재 픽셀 블록의 인트라 예측을 계산한다. 모션 추정기/보상기(250) 및 인트라 예측기(249)로부터의 출력은 현재 픽셀 블록에 대한 인트라 예측 또는 인터 예측을 선택하는 선택기(251)에 입력된다. 선택기(251)로부터의 출력은 또한 현재 픽셀 블록의 픽셀 값들을 수신하는 가산기(241) 형태의 에러 계산기에 입력된다. 가산기(241)는 픽셀 블록과 그 예측 사이의 픽셀 값들의 차이로서 잔차 에러를 계산하고 출력한다. 상기 에러는 이산 코사인 변환과 같은 변환기(242)에서 변환되고 양자화기(243)에 의해 양자화되고 엔트로피 인코더와 같은 인코더(244)에서 코딩이 뒤따른다. 인터 코딩에서, 추정된 모션 벡터는 또한 현재 픽셀 블록의 코딩된 표현을 생성하기 위해 인코더(244)로 보내진다. 현재 픽셀 블록에 대한 변환 및 양자화된 잔차 에러는 또한 원래의 잔차 에러를 검색하기 위해 역양자화기(245) 및 역변환기(246)에 제공된다. 이러한 에러는 다음 픽셀 블록의 예측 및 코딩에 사용될 수 있는 픽셀의 참조 블록을 생성하기 위해 모션 보상기(250) 또는 인트라 예측기(249)로부터의 블록 예측 출력에 가산기(247)에 의해 추가된다. 이러한 새로운 참조 블록은 먼저 디블로킹 필터(200)에 의해 처리된다. 그러한 처리된 새로운 참조 블록은 프레임 버퍼(248)에 일시적으로 저장되며, 이는 인트라 예측기(249) 및 모션 추정기/보상기(250)에서 사용할 수 있다.

도 3은 일부의 실시예에 따른 비디오 디코더(104)의 블록도이다. 디코더(104)는 엔트로피 디코더와 같은 디코더(361)를 포함하여 픽셀 블록의 인코딩된 표현을 디코딩하여 양자화되고 변환된 잔차 에러 세트를 얻는다. 이들 잔차 에러는 역양자화기(362)에 의해 역양자화되고 역변환기(363)에 의해 역변환되어 잔차 에러 세트를 제공한다. 이들 잔차 에러는 가산기(364)에 의해 픽셀의 참조 블록의 픽셀 값들에 가산된다. 그러한 참조 블록은 인터 또는 인트라 예측이 수행되는지의 여부에 따라 모션 추정기/보상기(367) 또는 인트라 예측기(366)에 의해 결정된다. 선택기(368)는 그에 의해 가산기(364), 모션 추정기/보상기(367) 및 인트라 예측기(366)에 상호 연결된다. 가산기(364)로부터 출력된 결과의 디코딩된 픽셀 블록은 디블로킹 필터(300)에 입력된다. 필터링된 픽셀 블록은 디코더(104)로부터 출력되고 또한 일시적으로 프레임 버퍼(365)에 제공되어 디코딩될 후속 픽셀 블록에 대한 픽셀의 참조 블록으로서 사용된다. 프레임 버퍼(365)는 그에 의해 모션 추정기/보상기(367)에 이용 가능한 저장된 픽셀 블록을 만들기 위해 모션 추정기/보상기(367)에 연결된다. 가산기(364)로부터의 출력은 또한 필터되지 않은 픽셀의 참조 블록으로서 사용되도록 인트라 예측기(366)에 입력될 수 있다.

도 4는 비디오 비트스트림(400)의 일부의 예를 예시한다. 예시의 비트스트림 부분(400)은 파라미터 세트(PS) 및 다수의 VCL NAL 유닛을 포함하는 비-VCL NAL 유닛을 포함하는 CVS(401)를 포함한다. VCL NAL 유닛(412a, 412b)이 나타나 있다.

본 개시에서 "세그먼트(segment)"라는 용어는 NAL 유닛 뿐만 아니라 메시지(예컨대, SEI 메시지)를 포함하는 것으로 광범위하게 사용된다. 아래의 실시예들은 명시적으로 정의되지는 않았지만 본 개시에 의해 여전히 커버되는 솔루션을 형성하기 위해 결합될 수 있다는 것이 당업자에 의해 이해되어야 한다.

1. 파라미터 세트에서 NAL 유닛 타입 및/또는 SEI 메시지 타입의 신호 존재

본 실시예에서, 파라미터 세트는 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있는지의 여부를 명시하는 파라미터(일명, 코드워드; 즉, 하나 이상의 비트 세트)를 포함한다. 따라서, 그러한 파라미터는 세그먼트 존재 정보의 예이다.

이러한 실시예의 한 버전에서, 상기 파라미터는 플래그(즉, 1비트 값)이며, 그 파라미터가 제1값(예컨대, 0)을 가지면 비트스트림에 세그먼트 타입 A의 세그먼트가 없어야 한다. 상기 파라미터가 제2값(예컨대, 1)을 가지면 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있다. 이는 파라미터가 플래그인 아래의 구문 및 의미로 예시된다:

표 7

이러한 실시예의 다른 버전에서, 파라미터가 제1값(예컨대, 0)을 가지면 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있다. 플래그가 제2값(예컨대, 1)을 가지면 세그먼트 타입 A의 세그먼트는 비트스트림에 존재하지 않아야 한다. 이는 파라미터가 플래그인 아래의 구문 및 의미로 예시된다:

표 8

한 버전에서, 비트스트림이 유효한지 또는 무효한지의 여부는 디코딩된 타입의 세그먼트 타입 및 파라미터 값에 기초하여 디코더에 의해 결정된다. 예를 들어, 일 실시예에서, 디코더는 타입 A의 세그먼트가 비트스트림에 존재하는 경우 비트스트림을 무효한 것으로 선언하지만, 파라미터 세트의 파라미터는 세그먼트 타입의 세그먼트가 존재하지 않아야 한다고 명시한다. 비트스트림이 무효한 것으로 결정되면, 디코더는 이를 비트-에러 또는 데이터 손실로 해석하거나 비트스트림 및/또는 인코더가 비준수임을 해석하고 에러를 리포트하거나, 에러 은닉을 수행하거나, 비트스트림이 준수되지 않는다는 지식에 기초하여 다른 액션을 취할 수 있다.

디코더는 비트스트림으로부터 하나 이상의 픽처를 디코딩하기 위해 이 실시예에 대한 다음 단계들의 서브세트 또는 모두를 수행할 수 있으며, 여기서 비트스트림은 적어도 하나의 파라미터 세트와 디코딩 순서로 상기 파라미터 세트를 뒤따르는 하나 이상의 세그먼트를 포함하고, 각각의 세그먼트는 세그먼트 타입을 갖는다:

1) 비트스트림의 파라미터 세트의 코드워드의 값(이 값을 "표시자 값"이라고 함)을 디코딩한 다음, 그러한 표시자 값에 기초하여, 세그먼트 타입 S의 세트에서 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있는지, 또는 세그먼트 타입 S 세트에서 세그먼트 타입 A의 세그먼트가 비트스트림에 존재하지 않아야 하는지의 여부를 결정한다. 따라서, 상기 표시자 값은 세그먼트 존재 정보의 일 예이다.

2) 비트스트림에서 세그먼트 타입 T의 세그먼트의 존재를 검출한다(예컨대, 비트스트림의 코드워드가 세그먼트 타입 T의 세그먼트가 비트스트림에 존재함을 표시하는 것을 검출한다).

3) 비트스트림이 유효한지 또는 무효한지의 여부를 표시자 값 및 디코딩된 세그먼트 타입 T에 기초하여 결정한다.

4) 세그먼트 타입 T가 세그먼트 타입 A와 동일하고 표시자 값이 세그먼트 타입 S의 세트에서 세그먼트 타입 A의 세그먼트가 비트스트림에 존재하지 않아야 함을 명시한다는 것을 결정함으로써 비트스트림이 무효임을 결정한다.

5) 비트스트림이 무효한 것으로 결정되는 경우, 비트-에러, 데이터 손실로 또는 비트스트림 및/또는 인코더가 비준수라고 해석하고, 에러를 리포트하거나, 에러 은닉을 수행하거나, 비트스트림이 준수되지 않는다는 지식에 기초하여 다른 액션을 취한다.

인코더는 하나 이상의 픽처를 비트스트림으로 인코딩하기 위해 이 실시예에 대한 다음 단계들의 서브세트 또는 모두를 수행할 수 있으며, 여기서 상기 비트스트림은 적어도 하나의 파라미터 세트 및 디코딩 순서로 상기 파라미터 세트를 뒤따르는 하나 이상의 세그먼트를 포함하며, 각각의 세그먼트는 세그먼트 타입을 갖는다:

1) 비트스트림의 파라미터 세트의 코드워드의 표시자 값을 인코딩하며, 상기 표시자 값은 세그먼트 타입 A의 임의의 세그먼트가 비트스트림에 존재할 수 있는지의 여부를 명시한다.

2) 상기 표시자 값이 세그먼트 타입 A의 세그먼트가 비트스트림에 존재하지 않아야 한다고 명시하면 비트스트림의 세그먼트 타입 A의 임의의 세그먼트가 포함되지 않고, 그렇지 않으면 세그먼트 타입 A를 갖는 세그먼트가 비트스트림에 포함될 수 있다.

대안적으로, 인코더는 하나 이상의 픽처를 비트스트림으로 인코딩하기 위해 이 실시예에 대한 다음 단계들의 서브세트 또는 모두를 수행할 수 있다:

1) 적어도 하나의 요소를 포함하는 세그먼트 타입의 리스트를 검색하고, 그러한 요소는 비트스트림에서 사용되지 않는 것으로 적어도 하나의 세그먼트 타입을 식별한다.

2) 사용되지 않는 것으로 식별된 리스트의 적어도 하나의 세그먼트 타입에 대해, 비트스트림의 파라미터 세트의 코드워드의 표시자 값을 인코딩하며, 그러한 표시자 값은 사용되지 않는 세그먼트 타입의 세그먼트가 비트스트림에 존재하지 않아야 함을 명시한다.

3) 리스트가 비트스트림에서 사용될 가능성이 있는 적어도 하나의 세그먼트 타입을 식별하는 요소를 포함하는 경우, 그 비트스트림의 파라미터 세트의 코드워드에 표시자 값을 인코딩하고, 그 표시자 값은 세그먼트 타입의 세그먼트가 비트스트림에 존재할 수 있음을 명시한다.

대안적으로, 인코더는 세그먼트 타입의 리스트를 반복할 수 있고 각각의 세그먼트 타입에 대해 타입을 사용되거나 사용되지 않을 세그먼트 타입의 세트와 비교할 수 있다. 사용될 수 있는 리스트의 세그먼트 타입에 대해, 인코더는 세그먼트 타입이 사용될 수 있음을 명시하는 값을 사용하여 파라미터 세트의 대응하는 코드워드를 인코딩한다. 사용되지 않을 리스트의 세그먼트 타입에 대해, 인코더는 세그먼트 타입이 사용되지 않도록 명시하는 값을 사용하여 파라미터 세트의 대응하는 코드워드를 인코딩한다.

2. 타입의 그룹화

다른 실시예에서, 파라미터 세트의 파라미터는 그룹이 적어도 하나의 타입을 포함하는 비트스트림에 세그먼트 타입의 그룹이 존재할 수 있거나 존재하지 않아야 함을 명시한다. 이러한 실시예의 한 버전에서, 파라미터가 제1값(예컨대, 0)을 가지면 세그먼트 타입 A, B, ... 또는 N의 세그먼트는 비트스트림에 존재하지 않아야 한다. 플래그가 제2값(예컨대, 1)을 가지면 세그먼트 타입 A, B, ... 또는 N의 세그먼트가 비트스트림에 존재할 수 있다.

아래는 이러한 실시예에 대한 예시의 구문 및 의미이다.

표 9

이러한 실시예의 다른 버전에서, 파라미터가 제1값(예컨대, 0)을 가지면 세그먼트 타입 A, B, … 및 N의 세그먼트가 비트스트림에 존재할 수 있다. 플래그가 제2값(예컨대, 1)을 가지면 세그먼트 타입 A, B, … 및 N의 세그먼트는 비트스트림에 존재하지 않아야 한다. 아래는 실시예 1의 제2예를 확장하는 실시예 2에 대한 구문 및 의미의 예이다.

표 10

3. NAL 유닛 타입에 대한 세부사항

본 실시예에서, 세그먼트는 NAL 유닛이고 어떤 NAL 유닛 타입에 대해 존재가 이전 실시예들 중 임의의 것에 따른 파라미터 세트에서 시그널링될 수 있다는 것이 더 설명된다.

표 11에 리스트된 모든 NAL 유닛 타입은 잠재적으로 그 존재가 파라미터 세트에서 시그널링될 수 있다. 또한, 미래의 모든 NAL 유닛 타입은 잠재적으로 그 존재가 파라미터 세트에서 시그널링될 수도 있다.

아래는 VVC의 현재 버전에서 사용되는 NAL 유닛 타입의 구문 및 의미의 예이며, 이는 파라미터 세트의 비트스트림에서 그 존재를 시그널링하는 것이 가장 적절하다.

표 11

의미:

1과 동일한 no_trail_constraint_flag는 NAL 유닛 타입 TRAIL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_trail_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_stsa_constraint_flag는 NAL 유닛 타입 STSA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_stsa_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_rasl_constraint_flag는 NAL 유닛 타입 RASL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_rasl_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_radl_constraint_flag는 NAL 유닛 타입 RADL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_radl_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_idr_w_radl_constraint_flag는 NAL 유닛 타입 IDR_W_RADL의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_idr_w_radl_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_idr_n_lp_constraint_flag는 NAL 유닛 타입 IDR_N_LP의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_idr_n_lp_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_cra_constraint_flag는 NAL 유닛 타입 CRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_cra_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_gdr_constraint_flag는 NAL 유닛 타입 GDR_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_gdr_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_aps_constraint_flag는 NAL 유닛 타입 APS_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_aps_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_aud_constraint_flag는 NAL 유닛 타입 AUD_NUT의 NAL 유닛이 현재 액세스 유닛과 별도로 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_aud_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_prefix_sei_constraint_flag는 NAL 유닛 타입 PREFIX_SEI_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_PREFIX_SEI_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_suffix_sei_constraint_flag는 NAL 유닛 타입 SUFFIX_SEI_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_SUFFIX_SEI_constraint_flag는 제약 조건을 부과하지 않는다.

위에서 언급한 NAL 유닛 타입의 NAL 유닛의 잠재적 존재 또는 특정 부재를 디코더가 알고 있는 것은 아래 표 12에 리스트된 이유로 유용할 수 있다:

표 12

대안적인 버전에서, 위에서 설명된 NAL 유닛 타입 중 일부는 그룹화된다. 이것은 아래의 구문 및 의미에 의해 더 잘 예시된다:

표 13

의미:

1과 동일한 no_trailing_pics_constraint_flag는 NAL 유닛 타입 TRAIL_NUT 또는 STSA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_trailing_pics_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_leading_pics_constraint_flag는 NAL 유닛 타입 RASL_NUT 또는 RADL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_lead_pics_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_idr_constraint_flag는 NAL 유닛 타입 IDR_W_RADL 또는 IDR_N_LP의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_idr_constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_irap_constraint_flag는 NAL 유닛 타입 IDR_W_RADL, IDR_N_LP 또는 CRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_irap _constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_rap_constraint_flag는 현재 액세스 유닛을 제외하고는 NAL 유닛 타입 IDR_W_RADL, IDR_N_LP, CRA_NUT 또는 GRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_rap _constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_sei_messages_constraint_flag는 NAL 유닛 타입 PREFIX_SEI_NUT 또는 SUFFIX_SEI_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_sei_messages_constraint_flag는 제약 조건을 부과하지 않는다.

no_idr _constraint_flag 및 no_irap _constraint_flag에 대한 대체 의미는 다음과 같을 수 있다:

1과 동일한 no_idr_constraint_flag는, 현재 액세스 유닛을 제외하고, NAL 유닛 타입 IDR_W_RADL 또는 IDR_N_LP의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_idr _constraint_flag는 제약 조건을 부과하지 않는다.

1과 동일한 no_irap_constraint_flag는, 현재 액세스 유닛을 제외하고, NAL 유닛 타입 IDR_W_RADL, IDR_N_LP 또는 CRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_irap _constraint_flag는 제약 조건을 부과하지 않는다.

4. SEI 메시지 타입에 대한 세부사항

본 실시예에서, 세그먼트는 SEI 메시지이고 어떤 타입의 SEI 메시지에 대해 존재가 이전의 실시예들 중 임의의 것에 따른 파라미터 세트에서 시그널링될 수 있다는 것이 더 설명된다.

표 14에 리스트된 SEI 메시지 타입 또는 HEVC에 정의된 SEI 메시지 중 하나는 잠재적으로 파라미터 세트에서 그들 존재가 시그널링될 수 있다. 또한, 일부가 HEVC로부터 카피될 수 있는 미래의 모든 SEI 메시지 타입은 잠재적으로 파라미터 세트에서 그들 존재가 시그널링될 수 있다.

아래는 VVC의 현재 버전에서 SEI 메시지 타입 중 두 가지에 대한 구문 및 의미의 예이다:

표 14

디코더가 비트스트림에 DRAP SEI 메시지가 없다는 것을 아는 것이 유용할 수 있다. 예를 들어, 디코더가 현재 디코딩하고 있지 않은 별도의 채널로 튜닝할 수 있기를 원하는 경우, DRAP 픽처가 존재하면 그렇게 할 수 있고, DRAP 픽처에서 더 빨리 튜닝할 수 있도록 가장 최근의 IRAP 픽처를 저장한다. 그러나, 디코더가 DRAP 픽처가 비트스트림에 존재하지 않음을 알고 있다면, 디코더는 별도 채널의 가장 최근 IRAP 픽처를 저장할 필요가 없지만, 튜닝을 원할 때 다음 IRAP 픽처를 기다릴 수 있다.

대안적인 버전에서, 파라미터 세트는 다음 의미를 갖는 no_rap_constraint_flag 파라미터를 포함할 수 있다:

1과 동일한 no_rap_constraint_flag는, 현재 액세스 유닛을 제외하고, NAL 유닛 타입 IDR_W_RADL, IDR_N_LP, CRA_NUT 또는 GRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 또한, 종속 랜덤 액세스 포인트 표시 SEI 메시지가 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항이다. 0과 동일한 no_rap_constraint_flag는 제약 조건을 부과하지 않는다.

5. 파라미터 세트에 대한 세부사항

본 실시예에서, 비트스트림에서 세그먼트 타입의 존재가 시그널링되는 파라미터 세트가 무엇인지가 추가로 정의된다.

한 버전에서, 파라미터 세트는 DPS이다. 다른 버전에서, 파라미터 세트는 VPS이다. 한 버전에서, 세그먼트 타입의 존재는 현재 버전의 VVC에서 DPS와 VPS 모두에 존재할 수 있는 general_constraint_info() 구조에서 시그널링된다. 다른 두 버전에서, 파라미터 세트는 각각 SPS 또는 PPS이다. 또 다른 버전에서, 파라미터 세트는, 예컨대 DVB, ATSC, ISOBMFF, DASH 또는 MMT로 명시된, 시스템 계층에서 시그널링되는 엔티티, 박스 또는 필드이다.

6. 시간 서브계층이 NAL 유닛 타입을 가질 수 있는 신호

일 실시예에서, 파라미터 세트는 세그먼트 타입 A를 갖는 세그먼트가 존재할 수 있거나 존재하지 않을 하나 이상의 시간 서브계층를 식별한다. 예를 들어, 하나의 예에서, 그러한 파라미터 세트는 NAL 유닛 타입 A(예컨대, STSA_NUT)를 갖는 NAL 유닛이 비트스트림의 시간 서브계층 1에만 존재할 수 있고 1보다 높은 시간 서브계층에는 존재하지 않아야 함을 나타낸다.

7. 계층(예컨대, 확장 가능한 계층)이 NAL 유닛 타입을 가질 수 있는 신호

일 실시예에서, 파라미터 세트는 세그먼트 타입 A를 갖는 세그먼트가 존재할 수 있거나 존재하지 않을 하나 이상의 계층을 식별한다. 예를 들어, 하나의 예에서, 그러한 파라미터 세트는 NAL 유닛 타입 A(예컨대, STSA_NUT)를 갖는 NAL 유닛이 비트스트림의 계층 0, 4 및 34에만 존재할 수 있고 비트스트림의 계층 5, 7 및 23에는 존재하지 않아야 함을 나타낸다.

8. 제3자 사양은 파라미터가 명시된 값을 가져야 하거나 가져야 한다고 규정한다.

다른 실시예에서, 제3자 사양(예컨대, DVB 또는 ATSC)은 세그먼트 타입의 존재를 나타내고 파라미터 세트에서 시그널링되는 파라미터가 명시된 값을 가져야 하거나 가져야 한다고 규정한다. 예를 들어, DVB 또는 ATSC는 no_gdr_constraint_flag가 값 1을 가져야 한다고 명시할 수 있다. 이것은 NAL 유닛 타입 GDR_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 함을 의미할 수 있다.

9. 파라미터의 비트스트림 및 범위.

일 실시예에서, 용어 비트스트림은 세그먼트가 파라미터를 포함하는 파라미터 세트를 참조하는 전체 비트스트림의 부분을 지칭한다. HEVC 및 VVC에서, 그러한 전체 비트스트림은 비트스트림 끝 NAL 유닛이 뒤따르는 하나 이상의 CVS의 연속 시리즈일 수 있다. 예를 들어, 파라미터가 DPS 또는 VPS에 존재하는 경우, 그 비트스트림은 파라미터를 포함하는 DPS 또는 VPS를 각각 참조하는 CVS들만을 포함할 수 있다.

다른 실시예에서, 파라미터는 SPS에 존재하고 비트스트림은 해당 SPS를 참조하는 단일 CVS만을 포함한다. 대안적으로, 이 경우, 비트스트림은 SPS가 참조하는 DPS 또는 VPS를 참조하는 CVS들로 구성된다.

다른 실시예들에서, 파라미터는 PPS에 존재하고 비트스트림은 다음 중 하나로 구성된다: 1) 해당 PPS를 참조하는 세그먼트들(또는 NAL 유닛들); 2) PPS가 존재하거나 활성화된 CVS들; 3) PPS가 참조하는 DPS를 참조하는 CVS; 4) PPS가 참조하는 VPS를 참조하는 CVS들.

본 개시에서 "비트스트림"이라는 용어는 위의 실시예들에서 설명된 임의의 의미를 가질 수 있다.

10. 오버라이트(overwrite)

다른 실시예에서, 예를 들어 표시자는 특정 NAL 유닛 타입이 비트스트림의 일부에 존재할 수 있고 특정 NAL 유닛 타입이 비트스트림의 나중 부분에 존재하지 않을 수 있음을 나타내도록, 표시자 값은 전체 비트스트림의 미래 부분에서 변경될 수 있다. 이러한 실시예에서, 표시자 값은 표시자가 오버라이트되거나 새로운 값으로 설정될 때까지 비트스트림의 일부에 적용되고 비트스트림의 해당 지점부터 표시자의 새로운 값이 적용된다.

이러한 실시예의 변형에서, 표시자 값들은 결과적인 비트스트림이 특정 NAL 유닛 타입의 하나 또는 그룹을 가지거나 가지지 않을 수 있도록 서브-비트스트림 추출 또는 병합 프로세스에서 오버라이트될 수 있으며, 결과 비트스트림의 표시자 값들은 원래 비트스트림 또는 비트스트림들의 표시자 값 또는 값들에 기초하여 정의될 수 있다.

11. 다중 값 표시자

다른 실시예에서, 표시자 값은 2개 이상의 비트 세트로부터 결정될 수 있다(즉, 3개 값과 같은 2개 이상의 값을 가짐). 예를 들어, 표시자 값이 파라미터 세트에 포함된 2개 이상의 비트를 디코딩하여 결정되는 경우, 표시자 값은 0, 1, 2, 및 3 중 어느 하나의 값을 가질 수 있다. 하나의 그와 같은 표시자 값(예컨대, 0)은 특정 NAL 유닛 타입이 비트스트림에 존재할 수 있음을 나타낼 수 있고, 그와 같은 다른 값(예컨대, 1)은 특정 NAL 유닛 타입이 비트스트림에 존재하지 않을 수 있음을 나타낼 수 있으며, 그와 같은 세 번째 값(예컨대, 2)은 특정 NAL 유닛 타입이 비트스트림에 존재해야 함을 나타낼 수 있다.

12. 조건부 표시자

다른 실시예에서, 하나 이상의 비트(예컨대, 1비트 플래그)의 첫 번째 세트는 파라미터 세트에서 시그널링되며, 이러한 비트의 첫 번째 세트의 값은 동일한 파라미터 세트 또는 비트스트림의 다른 파라미터 세트에서 하나 이상의 다른 파라미터의 값 또는 값들과 함께 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있는지의 여부를 명시한다. 일 예에서, 표시자는 SPS의 파라미터 P의 값이 1과 동일한 경우에만 세그먼트 타입 A의 세그먼트가 비트스트림에 존재할 수 있는지의 여부를 명시한다.

도 8은 일부의 실시예에 따른 비디오 인코더(102) 또는 비디오 디코더(104)를 구현하기 위한 장치(800)의 블록도이다. 즉, 장치(800)는 프로세스 600 및/또는 프로세스 700을 수행하도록 동작한다. 장치(800)가 비디오 인코더(102)를 구현하는 실시예에서 장치(800)는 "인코딩 장치(800)"로 지칭될 수 있고, 장치(800)가 비디오 디코더(104)를 구현하는 실시예에서 장치(800)는 "디코딩 장치(800)"로 지칭될 수 있다. 도 8에 나타낸 바와 같이, 장치(800)는 다음의 구성을 포함할 수 있다: 하나 이상의 프로세서(P)(855; 예컨대, 범용 마이크로프로세서 및/또는 주문형 집적 회로(ASIC), 필드-프로그램 가능 게이트 어레이(FPGA) 등과 같은 하나 이상의 다른 프로세서)를 포함할 수 있는 처리 회로(PC)(802), 여기서 상기 프로세서들은 단일 하우징 또는 단일 데이터 센터에 함께 위치하거나 지리적으로 분산될 수 있음(즉, 장치(800)는 분산 컴퓨팅 장치일 수 있음); 장치(800)가 네트워크(110; 예컨대, 인터넷 프로토콜(IP) 네트워크)에 연결된 다른 노드들로 데이터를 전송하고 그로부터 데이터를 수신할 수 있게 하는 전송기(Tx)(845) 및 수신기(Rx)(847)를 포함하는 네트워크 인터페이스(848), 여기서 상기 네트워크 인터페이스(848)는 (직접적으로 또는 간접적으로) 네트워크(110)에 연결됨(예컨대, 네트워크 인터페이스(848)는 네트워크(110)에 무선으로 연결될 수 있으며, 이 경우 상기 네트워크 인터페이스(848)는 안테나 장치에 연결됨); 및 하나 이상의 비휘발성 저장 장치 및/또는 하나 이상의 휘발성 저장 장치를 포함할 수 있는 로컬 저장 유닛(일명 "데이터 저장 시스템")(808). PC(802)가 프로그램 가능 프로세서를 포함하는 실시예에서, 컴퓨터 프로그램 제품(CPP)(841)이 제공될 수 있다. CPP(841)는 컴퓨터 판독가능 명령(CRI)(844)를 포함하는 컴퓨터 프로그램(CP)(843)을 저장하는 컴퓨터 판독가능 매체(CRM)(842)를 포함한다. CRM(842)은 자기 매체(예컨대, 하드 디스크), 광학 매체, 메모리 장치(예컨대, 랜덤 액세스 메모리, 플래시 메모리) 등과 같은 비일시적 컴퓨터 판독가능 매체일 수 있다. 일부의 실시예에서, 컴퓨터 프로그램(843)의 CRI(844)는, PC(802)에 의해 실행될 때, 장치(800)가 여기에 설명된 단계들(예컨대, 흐름도를 참조하여 여기에 설명된 단계들)을 수행하게 하도록 구성된다. 다른 실시예들에서, 장치(800)는 코드 필요 없이 여기에 설명된 단계들을 수행하도록 구성될 수 있다. 즉, 예를 들어, PC(802)는 단지 하나 이상의 ASIC으로 구성될 수 있다. 따라서, 여기에 설명된 실시예들의 특징은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.

다양한 실시예가 여기에 설명되어 있지만(부록을 포함하여), 그것들은 단지 예로서 제시되었고 제한이 아님을 이해해야 한다. 따라서, 본 개시의 폭 및 범위는 위에서 설명된 예시의 실시예들 중 어느 것에 의해 제한되어서는 안된다. 더욱이, 여기에서 달리 나타내지 않거나 달리 문맥상 명백하게 모순되지 않는 한, 모든 가능한 변형에서 앞서 기술한 요소들의 임의의 조합은 본 개시에 포함된다.

추가로, 위에서 설명되고 도면에 예시된 프로세스들이 일련의 단계로 나타나 있지만, 이는 단지 예시를 위해 수행되었을 뿐이다. 따라서, 일부 단계가 추가될 수 있고, 일부 단계가 생략될 수 있으며, 단계들의 순서가 재배열될 수 있고, 일부 단계가 병렬로 수행될 수 있음이 고려된다.

약어 설명
ATSC 진화된 텔레비전 시스템 위원회
AU 액세스 유닛
AUD 액세스 유닛 구분자
ALF 적응 루프 필터
APS 적응 파라미터 세트
BLA 브로큰 링크 액세스
CLVS 코딩된 계층 비디오 시퀀스
CRA 클린 랜덤 액세스
CVS 코딩된 비디오 스트림
CVSS CVS 시작
CU 코딩 유닛
DASH HTTP를 통한 동적 적응 스트리밍 DASH
DPS 디코딩 파라미터 세트
DVB 디지털 비디오 브로드캐스팅
DRAP 종속 랜덤 액세스 포인트
GDR 점진적 디코딩 리프레시
HEVC 고효율 비디오 코딩
IDR 순시 디코딩 리프레시
IRAP 인트라 랜덤 액세스 포인트
ISO 국제 표준화 기구
ISOBMFF ISO 기본 미디어 파일 형식
LMCS 루마 맵핑 및 크로마 스케일링
MPEG 동영상 전문가 그룹
MMT MPEG 미디어 전송
NAL 네트워크 추상화 계층
NALU NAL 유닛
NUT NAL 유닛 타입
PPS 픽처 파라미터 세트
RADL 랜덤 액세스 디코딩 가능 리딩
RAP 랜덤 액세스 포인트
RASL 랜덤 액세스 스킵된 리딩
RBSP 원시 바이트 시퀀스 페이로드
RPL 참조 픽처 리스트
SEI 보충 강화 계층
SPS 시퀀스 파라미터 세트
STSA 단계적 시간 계층 액세스
VCL 비디오 코딩 계층
VPS 비디오 파라미터 세트
VVC 다목적 비디오 코딩
부록
다음 텍스트는 현재 버전의 VVC에 대한 변경 사항을 제안하는 논문에서 가져온 것이다.
텍스트 시작
요약
이러한 논문은 DPS 및 VPS의 general_constraint_info() 구조의 비트스트림에서 일부의 NAL 유닛 타입의 잠재적인 존재를 시그널링하는 것을 제안한다. 또한 general_constraint_info() 구조의 비트스트림에서 DRAP 픽처의 잠재적인 존재를 시그널링하는 것도 제안된다. 첫 번째 옵션에서, 다음의 제약 조건 플래그가 제안된다:
- no_trail_constraint_flag
- no_stsa_constraint_flag
- no_rasl_constraint_flag
- no_radl_constraint_flag
- no_idr_constraint_flag
- no_cra_constraint_flag
- no_gdr_constraint_flag
- no_aps_constraint_flag
- no_dependent_rap_indication_sei_constraint_flag
두 번째 더 슬림한 옵션에서, 제약 조건 플래그는 NAL 유닛 및 제안자들이 가장 유용하다고 평가하는 픽처 타입에 대해서만 제안된다. 첫 번째 옵션과 다른 차이점은 no_idr_constraint_flag와 no_cra_constraint_flag가 no_irap_constraint_flag로 그룹화된다는 것이다. 두 번째 옵션에서는 다음의 제약 조건 플래그가 제안된다:
- no_stsa_constraint_flag
- no_irap_constraint_flag
- no_gdr_constraint_flag
- no_aps_constraint_flag
- no_dependent_rap_indication_sei_constraint_flag
VVC 사양에 옵션 1 또는 옵션 2 중 하나를 추가하거나 그 둘을 혼합하여 추가하는 것이 제안된다.
1 소개
현재 버전의 VVC는 DPS 및/또는 VPS의 general_constraint_info() 구조에서 제약 조건 세트의 시그널링을 제공한다. 그러한 제약 조건은 비트스트림에서 특정 코딩 툴이 활성화되었는지의 여부, 비트스트림에 대한 최대 비트 깊이 및 크로마 형식 등을 포함하여, 비트스트림으로부터 무엇을 예상해야 하는지를 디코더에 알려준다. 이러한 제한 사항이 주어지면, 디코더는 자원 할당 및 사용을 조정할 수 있다. 그러나, 이러한 제약 조건에는 비트스트림에서 예상할 수 있는 NAL 유닛 타입에 대한 정보가 포함되어 있지 않다. 아래는 디코더가 특정 NAL 유닛 타입이 비트스트림에 존재하지 않을 것임을 아는 것이 유용할 수 있는 몇 가지 예이다:
- 비트스트림에 STSA 픽처가 존재하지 않을 것이라는 것이 알려진 경우, 디코더는 현재 디코딩하고 있는 것보다 상위 시간 서브계층를 스캔할 필요가 없고, STSA 픽처에서 스위칭 업할 때 필요할 수 있는 상위 서브계층에 임의의 PPS 또는 APS를 저장할 필요가 없다.
- 제1액세스 유닛을 제외하고, 비트스트림에 CRA 또는 IDR 픽처가 존재하지 않을 것이라는 것이 알려진 경우, 디코더는 IRAP 픽처에서 비트레이트 스파이크가 없을 수 있다고 결론지을 수 있으며, 그에 따라 출력 타이밍을 조정할 수 있다.
- 비트스트림에 GDR 픽처가 존재하지 않는다는 것이 알려진 경우, 디코더는 스트림을 디코딩하기 위해 사용 불가능한 픽처를 생성할 필요가 없다(RASL 픽처는 폐기 때문에 사용 불가능한 픽처를 생성하지 않고 CRA 랜덤 액세스가 행해질 수 있다는 것은 잘 알려져 있다).
- 비트스트림에 APS가 없는 것으로 알려진 경우, 디코더는 임의의 잠재적인 APS를 저장하기 위해 메모리를 할당할 필요가 없다.
- 디코더가 비트스트림에 DRAP SEI 메시지가 없다는 것을 아는 것이 유용할 수 있다. 예를 들어, 디코더가 한 브로드캐스팅 채널에서 현재 디코딩하고 있지 않은 다른 채널로 스위칭할 수 있기를 원하는 경우, DRAP 픽처가 있으면 다음의 DRAP 픽처에서 더 빠르게 튜닝할 수 있도록 다른 채널의 가장 최근 IRAP 픽처를 저장할 수 있다. 스위칭할 때, 디코더는 먼저 그 저장된 IRAP 픽처를 디코딩하고, 이후 DRAP 픽처와 다음의 픽처를 디코딩한다. 그러나, 디코더가 DRAP 픽처가 비트스트림에 존재하지 않아야 한다는 것을 알고 있다면, 디코더는 별도 채널의 가장 최근 IRAP 픽처를 저장할 필요가 없지만 다른 채널로 스위칭하기를 원할 때 다음 IRAP 픽처를 기다려야 할 것이다.
2 제안
DPS 및 VPS의 general_constraint_info() 구조의 비트스트림에서 일부 NAL 유닛 타입의 잠재적인 존재를 알리는 것이 제안된다. 또한, general_constraint_info() 구조의 비트스트림에서 DRAP 픽처의 잠재적인 존재를 시그널링하는 것도 제안된다. 첫 번째 옵션에서, 다음의 제약 조건 플래그가 제안된다:
- no_trail_constraint_flag
- no_stsa_constraint_flag
- no_rasl_constraint_flag
- no_radl_constraint_flag
- no_idr_constraint_flag
- no_cra_constraint_flag
- no_gdr_constraint_flag
- no_aps_constraint_flag
- no_dependent_rap_indication_sei_constraint_flag
두 번째 더 슬림한 옵션에서, 제약 조건 플래그는 NAL 유닛 및 제안자가 가장 유용하다고 평가한 픽처 타입에 대해서만 제안된다. 첫 번째 옵션과 다른 차이점은 no_idr_constraint_flag와 no_cra_constraint_flag가 no_irap_constraint_flag로 그룹화된다는 것이다. 두 번째 옵션에서는 다음의 제약 조건 플래그가 제안된다:
- no_stsa_constraint_flag
- no_irap_constraint_flag
- no_gdr_constraint_flag
- no_aps_constraint_flag
- no_dependent_rap_indication_sei_constraint_flag
VVC 사양에 옵션 1 또는 옵션 2 중 하나를 추가하거나 둘을 혼합하여 추가하는 것이 제안된다.
2.1 VVC 사양에 제안된 변경 사항
옵션 1 및 옵션 2에 대한 현재 VVC 드래프트(JVET-O2001vE) 위에 제안된 변경 사항은 다음과 같다.
2.1.1 옵션 1

1과 동일한 no_trail_constraint_flag는 NAL 유닛 타입 TRAIL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_trail_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_stsa_constraint_flag는 NAL 유닛 타입 STSA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_stsa_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_rasl_constraint_flag는 NAL 유닛 타입 RASL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_rasl_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_radl_constraint_flag는 NAL 유닛 타입 RADL_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_radl_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_idr_constraint_flag는, 현재 액세스 유닛을 제외하고, NAL 유닛 타입 IDR_W_RADL 또는 IDR_N_LP의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_idr _constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_cra_constraint_flag는 NAL 유닛 타입 CRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_cra_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_gdr_constraint_flag는 NAL 유닛 타입 GDR_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_gdr_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_aps_constraint_flag는 NAL 유닛 타입 APS_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_aps_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_dependent_rap_indication_sei_constraint_flag는 종속 랜덤 액세스 포인트 표시 SEI 메시지가 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_dependent_rap_indication_sei_constraint_flag는 제약 조건을 부과하지 않는다.
2.1.2 옵션 2 - 슬림 버전

1과 동일한 no_stsa_constraint_flag는 NAL 유닛 타입 STSA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_stsa_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_irap_constraint_flag는, 현재 액세스 유닛을 제외하고, NAL 유닛 타입 IDR_W_RADL, IDR_N_LP 또는 CRA_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_irap _constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_gdr_constraint_flag는 NAL 유닛 타입 GDR_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_gdr_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_aps_constraint_flag는 NAL 유닛 타입 APS_NUT의 NAL 유닛이 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_aps_constraint_flag는 제약 조건을 부과하지 않는다.
1과 동일한 no_dependent_rap_indication_sei_constraint_flag는 종속 랜덤 액세스 포인트 표시 SEI 메시지가 비트스트림에 존재하지 않아야 한다는 것이 비트스트림 적합성의 요구사항임을 명시한다. 0과 동일한 no_dependent_rap_indication_sei_constraint_flag는 제약 조건을 부과하지 않는다.
텍스트 종료

Claims

디코더(104)에 의해 수행되는 방법(600)으로서, 상기 방법은:
비트스트림을 수신하는 단계(s602); 및
상기 수신된 비트스트림을 처리하는 단계(s604)를 포함하며,
상기 비트스트림은 비트스트림의 제1부분을 포함하고,
상기 비트스트림의 제1부분은 세그먼트 존재 정보를 제공하며, 또한
i) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내거나, 또는
ii) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타내는, 방법.
제1항에 있어서,
비트스트림의 제1부분은 일반 제약 정보 구문 요소를 포함하는, 방법.
제1항 또는 제2항에 있어서,
비트스트림의 제1부분은 하나 이상의 파라미터 세트를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
제1세그먼트 타입의 세그먼트가 비트스트림의 적어도 일부에 존재하지 않아야 함을 세그먼트 존재 정보가 나타내는지를 결정하는 단계;
비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하는지를 검출하는 단계; 및
상기 결정 및 검출의 결과로서, 비트스트림의 적어도 일부가 무효임을 선언하는 단계를 더 포함하는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
세그먼트 존재 정보는:
i) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 시간 서브계층 값 또는 값들의 범위, 또는
ii) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함할 수 있는 시간 서브계층 값 또는 값들의 범위, 중 하나를 나타내며, 또한
상기 방법은:
비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 시간 서브계층 값 또는 값들의 범위를 세그먼트 존재 정보가 나타내는지를 결정하는 단계;
시간 서브계층 값 또는 값들의 범위에 의해 식별된 시간 서브계층이 제1세그먼트 타입의 세그먼트를 포함하는지를 검출하는 단계; 및
상기 결정 및 검출의 결과로서, 비트스트림의 일부가 무효임을 선언하는 단계를 더 포함하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
세그먼트 존재 정보는:
i) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 계층 값 또는 값들 범위, 또는
ii) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함할 수 있는 계층 값 또는 값들 범위, 중 하나를 나타내는, 방법.
제6항에 있어서,
상기 방법은:
비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 계층 값 또는 값들의 범위를 세그먼트 존재 정보가 나타내는지를 결정하는 단계;
계층 값 또는 값들의 범위에 의해 식별된 계층이 제1세그먼트 타입의 세그먼트를 포함하는지를 검출하는 단계; 및
상기 결정 및 검출의 결과로서, 비트스트림의 일부가 무효임을 선언하는 단계를 더 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
비트스트림의 제1부분은 제1파라미터 세트 및 제2파라미터 세트를 포함하고,
상기 방법은 상기 제1파라미터 세트에 포함된 정보에 기초하여 제1값을 결정하고 상기 제2파라미터 세트에 포함된 정보에 기초하여 제2값을 결정하는 단계를 더 포함하며,
세그먼트 존재 정보는 상기 제1값 및 제2값을 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
비트스트림의 제1부분은 제1파라미터 세트를 포함하고,
상기 방법은 상기 제1파라미터 세트에 포함된 정보에 기초하여 제1값을 결정하고 상기 제1파라미터 세트에 포함된 정보에 기초하여 제2값을 결정하는 단계를 더 포함하며,
세그먼트 존재 정보는 상기 제1값 및 제2값을 포함하는, 방법.
제4항, 제5항 또는 제7항 중 어느 한 항에 있어서,
비트스트림의 적어도 일부가 무효임을 선언하는 단계는: 비트-에러가 발생했음을 선언하는 단계, 데이터 손실이 발생했다고 선언하는 단계, 비트스트림의 적어도 일부가 비준수임을 선언하는 단계, 비트스트림을 생성한 인코더가 비준수임을 선언하는 단계, 에러를 리포트하는 단계, 에러 은닉을 수행하는 단계, 및/또는 비트스트림의 적어도 일부가 준수되지 않는다는 지식에 기초하여 다른 액션을 취하는 단계를 포함하는, 방법.
인코더(102)에 의해 수행되는 방법(700)으로서, 상기 방법은:
비트스트림을 생성하는 단계(s702)를 포함하며,
상기 비트스트림은 비트스트림의 제1부분을 포함하고,
상기 비트스트림의 제1부분은 세그먼트 존재 정보를 제공하며, 또한
i) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내거나, 또는
ii) 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타내는, 방법.
제11항에 있어서,
비트스트림을 출력하는 단계(s704)를 더 포함하는, 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
비트스트림의 제1부분은 제1파라미터 세트로 구성되고,
상기 제1파라미터 세트는 비트 세트를 포함하며,
상기 제1파라미터 세트에 포함된 비트 세트는 세그먼트 존재 정보를 제공하는, 방법.
제13항에 있어서,
비트 세트는 제1파라미터 세트의 일련의 비트 세트로 구성되는, 방법.
제13항에 있어서,
비트 세트는 제1파라미터 세트의 단일 비트로 구성되는, 방법.
선행 청구항들 중 어느 한 항에 있어서,
적어도 제1세그먼트 타입의 세그먼트는 TRAIL 세그먼트, STSA 세그먼트, RASL 세그먼트, RADL 세그먼트, IDR 세그먼트, CRA 세그먼트, GDR 세그먼트, APS 세그먼트, AUD 세그먼트 또는 SEI 세그먼트 중 하나를 포함하는, 방법.
선행 청구항들 중 어느 한 항에 있어서,
제1세그먼트 타입은 NAL 유닛 타입인, 방법.
제17항에 있어서,
NAL 유닛 타입은 TRAIL_NUT, STSA_NUT, RASL_NUT, RADL_NUT, IDR_W_RADL, IDR_N_LP, CRA_NUT, GDR_NUT, APS_NUT, AUD_SUNUT, PREFIX_SEI_NUT 또는 SUFFIX_SEI_NUT 중 하나인, 방법.
제1항 내지 제18항 중 어느 한 항에 있어서,
제1세그먼트 타입은 SEI 메시지 타입인, 방법.
제19항에 있어서,
SEI 메시지 타입은 버퍼링 주기, 픽처 타이밍, 디코딩 유닛 정보, 종속 RAP 표시, 프레임 필드 정보, 또는 디코딩된 픽처 해시인, 방법.
제13항 내지 제20항 중 어느 한 항에 있어서,
제1파라미터 세트는 DPS, VPS, SPS 또는 PPS인, 방법.
제13항 내지 제20항 중 어느 한 항에 있어서,
제1파라미터 세트는 시스템 계층에서 시그널링된 엔티티인, 방법.
제1항 내지 제22항 중 어느 한 항에 있어서,
세그먼트 존재 정보는:
i) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 시간 서브계층 값 또는 값들의 범위, 또는
ii) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함할 수 있는 시간 서브계층 값 또는 값들의 범위, 중 하나를 나타내는, 방법.
제1항 내지 제23항 중 어느 한 항에 있어서,
세그먼트 존재 정보는:
i) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함하지 않아야 하는 계층 값 또는 값들 범위, 또는
ii) 비트스트림의 일부가 제1세그먼트 타입의 세그먼트를 포함할 수 있는 계층 값 또는 값들 범위, 중 하나를 나타내는, 방법.
제1항 내지 제24항 중 어느 한 항에 있어서,
사양은 비트스트림의 제1부분의 세그먼트 존재 정보가 특정 값을 가져야 하거나 가져야 한다고 규정하는, 방법.
제13항 내지 제25항 중 어느 한 항에 있어서,
비트스트림의 일부는 제1파라미터 세트를 참조하는 세그먼트로 구성되는, 방법.
제26항에 있어서,
비트스트림은 하나 이상의 CVS의 연속 시리즈인, 방법.
제27항에 있어서,
제1파라미터 세트는 DPS 또는 VPS이고,
비트스트림의 일부는 상기 제1파라미터 세트를 참조하는 CVS들만을 포함하는, 방법.
제27항에 있어서,
제1파라미터 세트는 SPS이고,
비트스트림의 일부는 SPS를 참조하는 단일 CVS만을 포함하는, 방법.
제27항에 있어서,
제1파라미터 세트는 제2파라미터 세트를 참조하는 SPS이고,
비트스트림의 일부는 상기 SPS가 참조하는 제2파라미터 세트를 참조하는 CVS들만을 포함하는, 방법.
제27항에 있어서,
제1파라미터 세트는 제2파라미터를 참조하는 PPS이며, 비트스트림의 일부는:
1) 상기 PPS를 참조하는 세그먼트들;
2) 상기 PPS가 존재하거나 활성화된 CVS; 또는
3) 제2파라미터 세트를 참조하는 CVS들로 구성되는, 방법.
제1항 내지 제31항 중 어느 한 항에 있어서,
세그먼트 존재 정보는 비트스트림의 일부로부터 계속해서 오버라이트되거나 또는 서브-비트스트림 추출 또는 병합 프로세스에서 오버라이트될 수 있는, 방법.
선행 청구항들 중 어느 한 항에 있어서,
비트스트림의 제1부분은 제1값을 인코딩하는 제1파라미터 세트 및 제2값을 인코딩하는 제2파라미터 세트를 포함하고,
세그먼트 존재 정보는 상기 제1값 및 제2값을 포함하는, 방법.
선행 청구항들 중 어느 한 항에 있어서,
비트스트림의 제1부분은 제1값 및 제2값을 인코딩하는 제1파라미터 세트를 포함하고,
세그먼트 존재 정보는 상기 제1값 및 제2값을 포함하는, 방법.
선행 청구항들 중 어느 한 항에 있어서,
비트스트림을 처리하는 단계는 상기 비트스트림의 제1부분으로부터 세그먼트 존재 정보를 디코딩하는 단계를 포함하는, 방법.
제35항에 있어서,
비트스트림의 제1부분으로부터 세그먼트 존재 정보를 디코딩하는 단계는:
비트스트림의 제1부분의 구문 요소로부터 표시자 값을 디코딩하는 단계를 포함하며,
- 상기 표시자 값이 제1값과 동일한 것에 응답하여, 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재하지 않아야 함을 나타내고,
- 상기 표시자 값이 제2값과 동일한 것에 응답하여, 상기 세그먼트 존재 정보는 적어도 제1세그먼트 타입의 세그먼트가 상기 비트스트림의 적어도 일부에 존재할 수 있음을 나타내는, 방법.
처리 회로(802)에 의해 실행될 때, 상기 처리 회로(802)가 상기 청구항들 중 어느 한 항의 방법을 수행하게 하는 명령(844)을 포함하는 컴퓨터 프로그램(843).
제37항의 컴퓨터 프로그램을 포함하는 캐리어로서, 상기 캐리어는 전자 신호, 광 신호, 무선 신호, 및 컴퓨터 판독가능 저장 매체(842) 중 하나인, 캐리어.
제1항 내지 제10항 또는 제13항 내지 제36항 중 어느 한 항의 방법을 수행하도록 구성된 디코딩 장치(800).
실시예 11 내지 34 중 어느 하나의 방법을 수행하도록 구성된 인코딩 장치(800).