KR20220155277A

KR20220155277A - 스케일러블 비디오 코딩의 랜덤 액세스 포인트 액세스 유닛

Info

Publication number: KR20220155277A
Application number: KR1020227030696A
Authority: KR
Inventors: 예-쿠이 왕
Original assignee: 바이트댄스 아이엔씨
Priority date: 2020-03-16
Filing date: 2021-03-15
Publication date: 2022-11-22
Also published as: JP2023518046A; US20230007309A1; US11863795B2; EP4104428A1; WO2021188453A1; US11800153B2; BR112022018069A2; US20230412847A1; CN115299053A; EP4304168A2; CN115299054A; WO2021188451A1; MX2022011207A; US20230012183A1; EP4304168A3; JP7457151B2; EP4104428A4

Abstract

스케일러블 비디오 코딩에서 상이한 액세스 유닛을 구성하기 위한 방법, 디바이스 및 시스템이 설명된다. 하나의 실시예 측면에서, 비디오 처리 방법은, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 액세스 유닛이 코딩된 비디오 시퀀스를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타내는 제1 신택스 요소를 더 포함한다.

Description

스케일러블 비디오 코딩의 랜덤 액세스 포인트 액세스 유닛

이 특허 문서는 이미지 및 비디오 코딩(video coding) 및 디코딩(decoding)에 관한 것이다.

파리협약에 따른 대응하는 특허법 및/또는 규칙에 따라, 이 출원은 2020년 3월 16일에 출원된 미국 가특허 출원 번호 US 62/990,387의 우선권과 이익을 적시에 주장하기 위해 이루어진다. 법에 따른 모든 목적을 위해, 상기 출원의 전체 개시는 본 출원의 개시의 일부로 참조에 의해 통합된다.

디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크에서 가장 많은 대역폭을 사용한다. 비디오(video)를 수신하고 나타낼 수 있는 연결된 사용자 장치(connected user device)의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 수요가 계속 증가할 것으로 예상된다.

본 문서는 코딩된 표현(coded representation)의 디코딩에 유용한 제어 정보를 사용하여 비디오의 코딩된 표현(coded representation)을 처리하기 위해 비디오 인코더 및 디코더에 의해 사용될 수 있는 스케일러블 비디오 코딩(scalable video coding)에서 상이한 액세스 유닛(access unit)을 구성하는 것을 포함하는 기술을 개시한다.

하나의 예시적인 측면에서, 비디오 처리 방법(video processing method)이 개시된다. 방법은 하나 이상의 비디오 계층(video layer)의 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림(bitstream) 사이에서 변환(conversion)을 수행하는 단계를 포함하고, 여기서 비트스트림은 액세스 유닛(access unit)이 코딩된 비디오 시퀀스(coded video sequence)를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타내는 제1 신택스 요소(first syntax element)를 더 포함한다.

다른 예시적인 측면에서, 비디오 처리 방법(video processing method)이 개시된다. 방법은 하나 이상의 비디오 계들의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 주어진 액세스 유닛의 각각의 픽처가 하나 이상의 비디오 계층을 포함하는 코딩된 비디오 시퀀스의 제1 액세스 유닛의 계층 식별자(layer identifier)와 동일한 계층 식별자를 포함함을 지정하는 포맷 규칙(format rule)을 따른다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및 여기서 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 하나 이상의 액세스 유닛의 액세스 유닛을 나타내는 제1 신택스 요소를 더 포함한다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은 하나 이상의 비디오 계층들의 하나 이상의 픽처들을 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 코딩된 비디오 시퀀스 시작 액세스 유닛이 비디오 파라미터 세트에 지정된 각각의 비디오 계층에 대한 픽처를 포함하는 것을 지정하는 포맷 규칙을 따른다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 상기 비트스트림은 주어진 액세스 유닛은 비트스트림의 제1 액세스 유닛인 주어진 액세스 유닛 또는 시퀀스 네트워크 추상화 계층 유닛의 끝을 포함하는 주어진 액세스 유닛 이전의 액세스 유닛인 것에 기초하여 코딩된 비디오 시퀀스 시작 액세스 유닛으로서 식별되는 것을 지정하는 포맷 규칙을 따른다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은, 규칙에 기초하여, 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 규칙은 하나 이상의 액세스 유닛의 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛인지를 표시하기 위해 부가 정보(side information)가 사용되는 것을 지정한다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 점진적 디코딩 리프레시 액세스 유닛(gradual decoding refresh access unit)인 하나 이상의 액세스 유닛의 각각의 액세스 유닛이 코딩된 비디오 시퀀스에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함함을 지정하는 포맷 규칙을 따른다.

또 다른 예시적인 측면에서, 비디오 처리 방법이 개시된다. 방법은 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 인트라 랜덤 액세스 포인트 액세스 유닛(intra random access points access unit)인 하나 이상의 액세스 유닛의 각각의 액세스 유닛이 코딩된 비디오 시퀀스에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함함을 지정하는 포맷 규칙을 따른다.

또 다른 예시적인 측면에서, 비디오 인코더 장치(video encoder apparatus)가 개시된다. 비디오 인코더는 전술한 방법을 구현하도록 구성된 프로세서(processor)를 포함한다.

또 다른 예시적인 측면에서, 비디오 디코더 장치(video decoder apparatus)가 개시된다. 비디오 디코더는 전술한 방법을 구현하도록 구성된 프로세서를 포함한다.

또 다른 실시예 측면에서, 코드(code)가 저장된 컴퓨터 판독 가능 매체(computer readable medium)가 개시된다. 코드는 프로세서 실행 가능 코드의 형태로 여기에 설명된 방법 중 하나를 구현한다.

이러한 기능 및 기타 기능은 본 문서 전체에 걸쳐 설명되어 있다.

도 1은 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 처리 시스템을 도시한 블록도이다.
도 2는 비디오 처리에 사용되는 예시적인 하드웨어 플랫폼의 블록도이다.
도 3은 본 개시의 일부 실시예를 구현할 수 있는 예시적인 비디오 코딩 시스템을 예시하는 블록도이다.
도 4는 본 개시의 일부 실시예를 구현할 수 있는 인코더의 예를 예시하는 블록도이다.
도 5는 본 개시의 일부 실시예를 구현할 수 있는 디코더의 예를 예시하는 블록도이다.
도 6 내지 13은 비디오 처리의 예시적인 방법에 대한 흐름도를 도시한다.

이 문서는 비디오 코딩 기술(video coding technologies)과 관련이 있다. 구체적으로, 스케일러블 비디오 코딩에서 랜덤 액세스 포인트 액세스 유닛의 지정 및 시그널링에 관한 것이며, 여기서 비디오 비트스트림은 하나 이상의 계층을 포함할 수 있다. 아이디어는 다중 계층 비디오 코딩(multi-layer video coding), 예를 들어 개발 중인 범용 비디오 코딩(Versatile Video Coding)(VVC)을 지원하는 임의의 비디오 코딩 표준 또는 비표준 비디오 코덱에 개별적으로 또는 다양한 조합으로 적용될 수 있다.

2. 약어

APS 적응형 파라미터 세트(Adaptation Parameter Set)

AU 액세스 유닛(Access Unit)

AUD 액세스 유닛 구분 기호(Access Unit Delimiter)

AVC 고급 비디오 코딩(Advanced Video Coding)

CLVS 코딩된 계층 비디오 시퀀스(Coded Layer Video Sequence)

CPB 코딩된 픽처 버퍼Coded Picture Buffer()

CRA 클린 랜덤 액세스(Clean Random Access)

CTU 코딩 트리 유닛(Coding Tree Unit)

CVS 코딩된 비디오 시퀀스(Coded Video Sequence)

DCI 디코딩 기능 정보(Decoding Capability Information)

DPB 디코딩된 픽처 버퍼(Decoded Picture Buffer)

EOB 비트스트림 끝(End Of Bitstream)

EOS 시퀀스 끝(End Of Sequence)

GDR 점진적 디코딩 리프레시(Gradual Decoding Refresh)

HEVC 고효율 비디오 코딩(High Efficiency Video Coding)

HRD 가상 레퍼런스 디코더(Hypothetical Reference Decoder)

IDR 즉시 디코딩 리프레시(Instantaneous Decoding Refresh)

JEM 공동 연구 모델(Joint Exploration Model)

MCTS 모션 제약 타일 세트(Motion-Constrained Tile Set)

NAL 네트워크 추상화 계층(Network Abstraction Layer)

OLS 출력 계층 세트(Output Layer Set)

PH 픽처 헤더(Picture Header)

PPS 픽처 파라미터 세트(Picture Parameter Set)

PTL 프로필, 계층 및 레벨(Profile, Tier and Level)

PU 픽처 유닛(Picture Unit)

RAP 랜덤 액세스 포인트(Random Access Point)

RBSP 원시 바이트 시퀀스 페이로드(Raw Byte Sequence Payload)

SEI 추가 개선 정보(Supplemental Enhancement Information)

SPS 시퀀스 파라미터 세트(Sequence Parameter Set)

SVC 스케일러블 비디오 코딩(Scalable Video Coding)

VCL 비디오 코딩 계층(Video Coding Layer)

VPS 비디오 파라미터 세트(Video Parameter Set)

VTM VVC 테스트 모델(VVC Test Model)

VUI 비디오 사용성 정보(Video Usability Information)

VVC 다목적 비디오 코딩(Versatile Video Coding)

3. 비디오 코딩 소개

비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해 왔다. ITU-T는 H.261및 H.263을 제작했으며, ISO/IEC는 MPEG-1 및 MPEG-4 비주얼을 제작했으며, 두 조직은 H.262/MPEG-2 비디오 및 H.264/MPEG-4 고급 비디오 코딩(AVC) 및 H.265/HEVC 표준을 공동 제작했다. H.262 이후, 비디오 코딩 표준은 시간적 예측(temporal prediction)과 트랜스폼 코딩(transform coding)이 사용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC를 넘어 미래의 비디오 코딩 기술을 연구하기 위해, 공동 비디오 연구팀(JVET: Joint Video Exploration Team)이 2015년에 VCEG와 MPEG의 공동으로 설립되었다. 그 이후로, JVET에 의해 많은 새로운 방법들이 채택되었고, 공동 연구 모델(JEM: Joint Exploration Model)이라고 명명된 레퍼런스 픽처소프트웨어(reference software)에 적용되었다.

JVET 회의는 분기마다 한번 동시 개최되며, 새로운 코딩 표준은 HEVC 대비 비트레이트 50% 감소를 목표로 하고 있다. 새로운 비디오 코딩 표준은 2018년 4월 JVET 회의에서 공식적으로 다목적 비디오 코딩(Versatile Video Coding; VVC)로 명명되었으며, 당시 VVC 테스트 모델(VTM)의 제1 버전이 출시되었다. VVC 표준화에 기여하는 지속적인 노력이 있기 때문에 모든 JVET 회의에서 새로운 코딩 기술이 VVC 표준에 채택되고 있다. VVC 작업 드래프트와 테스트 모델 VTM은 모든 회의 후에 업데이트된다. VVC 프로젝트는 현재 2020년 7월 회의에서 기술 완료(FDIS)를 목표로 하고 있다.

3.1. HEVC 및 VVC에서의 랜덤 액세스 및 지원

랜덤 액세스는 디코딩 순서에서 비트스트림의 제1 픽처가 아닌 픽처에서 비트스트림의 액세스 및 디코딩을 시작하는 것을 말한다. 로컬 재생 및 스트리밍뿐만 아니라 스트리밍에서 스트림 적응을 요구하는, 브로드캐스트/멀티캐스트 및 다자간 화상 회의에서 튜닝 및 채널 전환을 지원하려면, 비트스트림은 빈번한 랜덤 액세스 포인트를 포함해야 하는데, 이는 일반적으로 인트라 코딩된 픽처이지만 인터 코딩된 픽처일 수도 있다(예를 들어, 점진적 디코딩 리프레시의 경우).

HEVC는 NAL 유닛 유형을 통해 NAL 유닛 헤더에 인트라 랜덤 액세스 포인트(IRAP) 픽처의 시그널링을 포함한다. 순간 디코더 리프레시(IDR), CRA(클린 랜덤 액세스) 및 BLA(끊어진 링크 액세스) 픽처의 세 가지 유형의 IRAP 픽처가 지원된다. IDR 픽처는 일반적으로 폐쇄 GOP 랜덤 액세스 포인트라고 하는 현재 픽처의 그룹(Group of Picture)(GOP) 이전의 픽처를 참조하지 않도록 인터-픽처 예측 구조(inter-picture prediction structure)를 제한한다. CRA 픽처는 특정 픽처가 현재 GOP 이전의 픽처를 참조하도록 허용함으로써 덜 제한적이며, 임의 액세스의 경우 모두 삭제된다. CRA 픽처는 일반적으로 개방형 GOP 랜덤 액세스 포인트라고 한다. BLA 픽처는 일반적으로 스트림 스위칭 중에 CRA 픽처에서 두 비트스트림 또는 그 일부를 스플라이싱(splicing)하여 발생한다. 시스템에서 IRAP 사진을 더 잘 사용할 수 있도록 하려면, IRAP 픽처의 속성을 시그널링하기 위해 총 6개의 상이한 NAL 유닛이 정의되며, 이는 ISO 기본 미디어 파일 포맷(ISOBMFF)에 정의된 스트림 액세스 포인트 유형들을 더 잘 매칭하는데 사용될 수 있으며, 이는 HTTP(DASH)를 통한 동적 적응적 스트리밍에서 랜덤 액세스 지원에 활용된다.

VVC는 세 가지 유형의 IRAP 픽처, 두 가지 유형의 IDR 픽처(연결된 RADL 픽처가 있거나 없는 다른 유형)과 한 유형의 CRA 픽처를 지원한다. 이는 기본적으로 HEVC와 동일하다. HEVC의 BLA 픽처 유형은, 주로 두 가지 이유로 인해 VVC에 포함되지 않는다: i) BLA 픽처의 기본 기능은 CRA 픽처와 시퀀스 NAL 유닛의 끝을 더하여 실현될 수 있으며, 그 존재는 후속 픽처가 단일 계층 비트스트림에서 새로운 CVS를 시작한다는 것을 나타낸다. Ii) NAL 유닛 헤더의 NAL 유닛 유형 필드에 6 비트 대신 5 비트의 사용에 의해 나타나 듯이, VVC를 개발하는 동안 HEVC보다 적은 NAL 유닛 유형을 지정하려는 욕구가 있었다.

VVC와 HEVC 사이의 랜덤 액세스 지원의 또 다른 주요 차이점은 VVC에서 보다 규범적인 방식으로 GDR을 지원한다는 것이다. GDR에서, 비트스트림의 디코딩은 인터 코딩 된 픽처에서 시작할 수 있으며 처음에는 전체 픽처 영역을 올바르게 디코딩 할 수는 없지만 여러 픽처 후에 전체 픽처 영역이 올바르게 된다. AVC 및 HEVC는, GDR 랜덤 액세스 포인트 및 복구 지점(recovery point)의 시그널링에 대한 복구 지점 SEI 메시지를 사용하여, GDR을 지원한다. VVC에서, GDR 픽처를 표시하기 위해 새로운 NAL 유닛 유형이 지정되고 복구 지점은 픽처 헤더 신택스 구조에서 시그널링 된다. CVS 및 비트스트림은 GDR 픽처로 시작할 수 있다. 즉, 전체 비트스트림에 인트라 코딩된 단일 픽처 없이 인터-코딩된 픽처만 포함할 수 있다. 이러한 방식으로 GDR 지원을 지정할 때의 주요 이점은 GDR에 적합한 행동을 제공하는 것이다. GDR을 사용하면 인코더가 전체 픽처를 인트라 코딩하는 것과는 대조적으로 인트라 코딩 된 슬라이스 또는 블록을 여러 픽처에 배포하여 비트스트림의 비트 전송률을 부드럽게 할 수 있으며, 따라서 엔드-투-엔드 지연을 크게 줄일 수 있고, 이는 무선 디스플레이, 온라인 게임, 드론 기반 애플리케이션과 같은 초저 지연 애플리케이션이 대중화됨에 따라 요즘은 이전보다 더 중요하다고 간주된다.

VVC의 또 다른 GDR 관련 기능은 가상 경계 시그널링이다. GDR 픽처와 그 복구 포인트 사이의 픽처에서 리프레쉬된 영역(즉, 올바르게 디코딩된 영역)과 리프레쉬 되지 않은 영역 사이의 경계는 가상 경계로서 시그널링될 수 있으며, 시그널링될 때, 경계를 가로지르는 인루프 필터링이 적용되지 않으므로, 경계 또는 경계 근처에서 일부 샘플에 대해 디코딩 미스매치가 발생하지 않는다. 이는 애플리케이션이 GDR 프로세스 중에 올바르게 디코딩된 영역을 표시하기로 결정할 때 유용할 수 있다. IRAP 픽처 및 GDR 픽처를 총칭하여 RAP(랜덤 액세스 포인트) 픽처이라고 할 수 있다.

3.2. 스케일러블 비디오 코딩(SVC)(일반 및 VVC)

스케일러블 비디오 코딩(Scalable video coding)(SVC, 때로는 비디오 코딩에서 스케일러빌리티라고도 함)은 레퍼런스 계층(RL)이라고도 하는 기본 계층(base layer)(BL)과 하나 이상의 스케일러블 강화 계층(scalable enhancement layer)(ELs)이 사용되는 비디오 코딩을 말한다. SVC에서 기본 계층은 기본 레벨(base level)의 품질로 비디오 데이터를 전달할 수 있다. 하나 이상의 강화 계층은 예를 들어 더 높은 공간, 시간 및/또는 신호 대 잡음(SNR) 레벨을 지원하기 위해 부가적인 비디오 데이터를 반송할 수 있다. 강화 계층은 이전에 인코딩된 계층에 대해 정의될 수 있다. 예를 들어, 하부 계층(bottom layer)는 BL의 역할을 할 수 있고 상부 계층(top layer)는 EL의 역할을 할 수 있다. 중간 계층(middle layer)은 ELs 또는 RL 또는 둘 다로 사용될 수 있다. 예를 들어, 중간 계층(예를 들어, 최저 서브 계층도 아니고 최상위 계층도 아닌 계층)은 기본 계층 또는 임의의 중간 강화 계층과 같은 중간 계층 아래의 계층에 대한 EL일 수 있으며, 동시에 중간 계층 위의 하나 이상의 강화 계층에 대한 RL로서 기능한다. 유사하게, HEVC 표준의 멀티뷰 또는 3D 확장에서, 다수의 뷰가 존재할 수 있고, 하나의 뷰의 정보는 다른 뷰의 정보(예를 들어, 모션 추정, 모션 벡터 예측 및/또는 다른 리던던시)를 코딩(예를 들어, 인코딩 또는 디코딩) 하는데 이용될 수 있다.

SVC에서, 인코더 또는 디코더에 의해 사용되는 파라미터들은 이들이 이용될 수 있는 코딩 레벨(예를 들어, 비디오-레벨, 시퀀스-레벨, 픽처-레벨, 슬라이스 레벨 등)에 기초하여 파라미터 세트로 그룹화된다. 예를 들어, 비트스트림의 상이한 계층들의 하나 이상의 코딩된 비디오 시퀀스에 의해 이용될 수 있는 파라미터들은 비디오 파라미터 세트(VPS)에 포함될 수 있고, 코딩된 비디오 시퀀스에서 하나 이상의 픽처들에 의해 이용되는 파라미터들은 시퀀스 파라미터 세트(SPS)에 포함될 수 있다. 유사하게, 픽처에서 하나 이상의 슬라이스에 의해 사용되는 파라미터가 픽처 파라미터 세트(PPS)에 포함될 수 있고, 단일 슬라이스에 지정되는 다른 파라미터가 슬라이스 헤더에 포함될 수 있다. 유사하게, 특정 계층이 주어진 시간에 어느 파라미터 세트(들)를 사용하고 있는지의 표시는 다양한 코딩 레벨에서 제공될 수 있다.

VVC에서 참조 픽처 리샘플링(RPR) 지원 덕분에, 다중 계층, 예를 들어, VVC에서 SD 및 HD 해상도의 두 계층을 포함하는 비트스트림의 지원을 업 샘플링과 같은 추가 신호 처리 레벨 코딩 툴 없이도 설계될 수 있으며, 공간 스케일러빌리티 지원에 필요한 업샘플링은 RPR 업샘플링 필터만 사용할 수 있다.

그럼에도 불구하고 스케일러빌리티 지원을 위해서는 높은 레벨의 신택스 변경(스케일러빌리티을 지원하지 않는 것과 비교)이 필요하다. 스케일러빌리티 지원은 VVC 버전 1에 명시되어 있다. AVC 및 HEVC의 확장성(extension)을 포함하여 이전 비디오 코딩 표준의 스케일러빌리티 지원과는 달리 VVC 스케일러빌리티 설계는 가능한 한 단일 계층 디코더 설계에 친숙하게 만들어졌다. 다중 계층 비트스트림에 대한 디코딩 기능은 비트스트림에 단일 계층에만 있는 것처럼 지정된다. 예를 들어, DPB 크기와 같은 디코딩 기능은 디코딩될 비트스트림의 계층들의 수에 독립적인 방식으로 지정된다. 기본적으로 단일 계층 비트스트림용으로 설계된 디코더는 다중 계층 비트스트림을 디코딩하기 위해 많은 변경이 필요하지 않다. AVC 및 HEVC의 다층 확장 설계와 비교할 때 HLS 측면은 일부 유연성을 희생하면서 크게 단순화되었다. 예를 들어, CVS에 있는 각 계층에 대한 픽처를 포함하려면 IRAP AU가 필요하다.

3.3. 파라미터 세트

AVC, HEVC 및 VVC는 파라미터 세트를 지정한다. 파라미터 세트의 유형은 SPS, PPS, APS 및 VPS를 포함한다. SPS 및 PPS는 모든 AVC, HEVC 및 VVC에서 지원된다. VPS는 HEVC 이후 도입되었으며 HEVC와 VVC에 모두 포함되어 있다. APS는 AVC 또는 HEVC에 포함되지 않았지만 최신 VVC 초안 텍스트에 포함되었다.

SPS는 시퀀스 레벨 헤더 정보를 전달하도록 설계되었으며 PPS는 자주 변경되지 않는 픽처 레벨 헤더 정보를 전달하도록 설계되었다. SPS 및 PPS를 사용하면 각 시퀀스 또는 픽처에 대해 드물게 변경되는 정보를 반복할 필요가 없으므로 이 정보의 중복 시그널링을 피할 수 있다. 또한 SPS 및 PPS를 사용하면 중요한 헤더 정보의 대역 외 전송이 가능하므로 중복 전송의 필요성을 피할 뿐만 아니라 오류 복원력(error resilience)도 개선된다.

VPS는 다중 계층 비트스트림의 모든 계층에 공통적인 시퀀스 레벨 헤더 정보를 전달하기 위해 도입되었다.

APS는 코딩하는 데 상당한 비트가 필요하고 여러 픽처에서 공유 할 수 있으며 순서대로 매우 다양한 변형이 있을 수 있는 픽처 레벨 또는 슬라이스 레벨 정보를 전달하기 위해 도입되었다.

3.4. VVC의 관련 정의

최신 VVC 텍스트(JVET-Q2001-VE/V15)의 관련 정의는 다음과 같다.

연관된 IRAP 픽처(Associated IRAP picture)(특정 픽처(particular picture)의): 특정 픽처와 동일한 nuh_layer_id 값을 갖는 디코딩 순서(존재하는 경우)의 이전 IRAP 픽처다.

코딩된 비디오 시퀀스(Coded video sequence)(CVS): 디코딩 순서로 CVSS AU로 구성되고 그 뒤에 CVSS Au가 아닌 0개 이상의 Au(CVSS AU인 후속 AU) 까지의 모든 후속 Aus를 포함하지만 포함하지 않는 Au 시퀀스이다.

코딩된 비디오 시퀀스 시작(Coded video sequence start)(CVSS) AU: CVS의 각 계층에 대해 PU가 있고 각 PU에 코딩된 픽처가 있는 AU는 CLVSS 픽처이다.

점진적 디코딩 리프레시(Gradual decoding refresh)(GDR) AU: 현재 각 PU의 코딩된 픽처가 GDR 픽처인 AU이다.

점진적 디코딩 리프레시(GDR) PU: 코딩된 픽처가 GDR 픽처인 PU이다.

점진적 디코딩 리프레시(GDR) 픽처: 각 VCL NAL 유닛은 GDR_NUT와 동일한 nal_unit_type을 갖기 위한 픽처이다.

인트라 랜덤 액세스 포인트(Intra random access point)(IRAP) AU: CVS의 각 계층에 대해 PU가 있고 각 PU에 코딩된 픽처가 있는 aUM은 IRAP 픽처다.

인트라 랜덤 액세스 포인트(IRAP) 픽처: 모든 VCL NAL 유닛이 IDR_W_RADL에서 CRA_NUT까지를 포함하는 범위의 nal_unit_type의 동일한 값을 갖는 코딩된 픽처다.

3.5. VVC의 VPS 신택스 및 시맨틱(semantic)

VVC는 스케일러블 비디오 코딩이라고도 하는 스케일러빌리티을 지원하고, 여기서 여러 계층은 하나의 코딩된 비디오 비트스트림으로 인코딩될 수 있다.

최신 VVC 텍스트(JVET-Q2001-Ve/v15)에서, 스케일러빌리티 정보(scalability information)는 VPS에서 시그널링되며 신택스와 시맨틱은 다음과 같다.

7.3.2.2 비디오 파라미터 세트 신택스

7.4.3.2 비디오 파라미터 세트 RBSP 시맨틱(Video parameter set RBSP semantic)

VPS RBSP는 참조되기 전에 디코딩 프로세스에서 사용할 수 존재해야 하고, TemporalId가 0인 적어도 하나의 AU에 포함되거나 외부 수단을 통해 제공된다.

모든 CVS에서 svps_video_parameter_set_id의 특정 값을 가진 VPS NAL 유닛은 동일한 콘텐츠를 가져야 한다.

Vps_video_parameter_set_id는 다른 신택스 요소에서 참조할 수 있도록 VPS의 식별자를 제공한다. vps_video_parameter_set_id의 값은 0보다 커야 한다.

Vps_max_layers_minus1 더하기 1은 VPS를 참조하는 각 CVS에서 허용되는 최대 계층 수를 지정한다.

sps_max_sublayers_minus1 더하기 1은 SPS를 참조하는 각 CLVS에 존재할 수 있는 시간적 서브 계층(temporal sublayer)의 최대 수를 지정한다. vps_max_sublayer_minus1의 값은 0에서 6 까지를 포함하는 범위여야 한다.

1과 동일한 VPS_all_layers_same_num_sublayer_flag는 VPS를 참조하는 각 CVS의 모든 계층에 대해 시간적 서브 계층의 수가 동일하다는 것을 지정한다. VPS_all_layers_same_num_sublayer_flag가 0이면 VPS를 참조하는 각 CVS의 계층이 동일한 수의 시간적 서브 계층을 가질 수도 있거나 또는 없을 수도 있음을 지정한다. 존재하지 않는 경우, vps_all_layers_same_num_sublayer_flag의 값은 1과 동일한 것으로 유추된다.

1과 동일한 Vps_all_independent_layers_flag는 CVS의 모든 계층이 계층 간 예측을 사용하지 않고 독립적으로 코딩되도록 지정한다. Vps_all_independent_layers_flag가 0이면 CVS에 있는 하나 이상의 계층이 계층 간 예측을 사용할 수 있도록 지정한다. 존재하지 않는 경우, vps_all_dependent_layers_flag의 값은 1과 동일한 것으로 유추된다.

Vps_layer_id[ I ]는 i번째 계층의 nuh_layer_id 값을 지정한다. m과 n의 음이 아닌 두 정수 값에 대해, m이 n보다 작을 때 vps_layer_id[m] 의 값은 vps_layer_id[n] 보다 작아야 한다.

1과 동일한 Vps_independent_layer_flag[ I ]는 인덱스가 I인 계층이 계층 간 예측을 사용하지 않도록 지정한다. 0과 동일한 Vps_independent_layer_flag[ I ]는 인덱스 I를 가진 계층이 계층 간 예측을 사용할 수 있고 j에 대해 0에서 I - 1까지를 포함하는 범위의 신택스 요소 vps_direct_ref_layer_flag[ I ][ j ]가 VPS에 존재함을 지정한다. 존재하지 않는 경우, vps_independent_layer_flag[ I ]의 값은 1과 동일한 것으로 유추된다.

0과 동일한 VPS_direct_ref_layer_flag[ I ][ j ]는 인덱스가 j인 계층이 인덱스 i를 가진 계층에 대한 직접 레퍼런스 계층이 아님을 지정한다. vps_direct_ref_layer_flag[ I ][ j ] 가 1이면, 인덱스 j를 갖는 계층이 인덱스 i를 갖는 계층에 대한 직접 레퍼런스 계층임을 지정한다. vps_direct_ref_layer_flag[ I ][ j ] 가 0에서 vps_max_layers_minus1까지를 포함하는 범위의 I 및 j에 대해, 존재하지 않는 경우 0과 동일한 것으로 유추된다. vps_independent_layer_flag[ I ]가 0과 동일한 경우, vps_direct_ref_layer_flag[ I ][ j ]의 값이 1과 동일하록 0에서 I - 1까지를 포함하는 범위의 j 값이 하나 이상 존재해야 한다.

변수NumDirectRefLayers[ I ], DirectRefLayerIdx[ I ][ d ], NumRefLayers[ I ],

RefLayerIdx[ I ][ r ], and LayerUsedAsRefLayerFlag[ j ]는 다음과 같이 유도된다:

vps_layer_id[ I ]와 동일한 nuh_layer_id을 갖는 계층의 계층 인덱스를 지정하는, 변수 General Layerldx| I ]는 다음과 같이 유도된다:

I와 j의 두 개의 다른 값에 대해, 0에서 vps_max_layers_minus1까지를 포함하는 범위에서, dependencyFlag[ I ][ j ] 가 1인 경우, i번째 계층에 적용되는 크로마 포맷 idc 및 bit_depth_minus8의 값이 j번째 계층에 적용되는 크로마 포맷 idc 및 bit_depth_minus8의 값과 각각 동일해야 하는 것이 비트스트림 적합성의 요구 사항이다.

1과 동일한 Max_TID_ref_current_flag[ I ]는 신택스 요소 max_tid_il_ref_pics_plus1[ I ] 가 존재함을 지정한다. Max_tid_ref_current_flag[ I ] 가 0이면 신택스 요소 max_tid_il_ref_pics_phis1[ I ] 가 존재하지 않음을 지정한다.

Max_tid_IL_ref_pics_plus1[ I ] 가 0이면 i번째 계층의 비-IRAP 픽처에서 계층 간 예측이 사용되지 않도록 지정한다. Max_tid_IL_ref_pics_plus1[ I ] 가 0보다 크면, i번째 계층의 픽처 디코딩에 대해, max_tid_il_ref_pics_plus1[ I ] - 1보다 큰 Temporalld를 갖는 픽처가 ILRP로 사용되지 않도록 지정한다. 존재하지 않는 경우, max_tid_il_ref_pics_plus1[ I ] 의 값은 7과 동일한 것으로 유추된다.

1과 동일한 Each_layer_is_an_ols_flag는 각 OLS가 하나의 계층만 포함하고 VPS를 참조하는 CVS의 각 계층 자체가 단일 포괄 계층이 유일한 출력 계층인 OLS임을 지정한다. 각 계층은 OLS가 둘 이상의 계층을 포함할 수 있는 0과 동일한 ols 플래그이다. vps_max_layers_minus1이 0과 동일한 경우, each_layer_is_an_ols_flag의 값은 1과 동일한 것으로 유추된다. 그렇지 않으면, vps_all_independent_layers_flag가 0인 경우, each_layer_is_an_ols_flag의 값은 0과 동일한 것으로 유추된다.

0과 동일한 Ols_mode_idc는 VPS에서 지정한 총 OLS 수가 vps_max_layers_minus1+1과 동일하고, i번째 OLS는 계층 인덱스가 0에서 I 까지를 포함하는 계층을 포함하고, 각 OLS에 대해 OLS에서 가장 높은 계층만 출력된다고 지정한다.

1과 동일한 Ols_mode_idc는 VPS에서 지정한 총 OLS 수가 vps_max_layers_minus1+1와 동일하고, i번째 OLS에는 계층 인덱스가 0에서 I 까지를 포함하는 계층을 포함하고, 각 OLS에 대해 OLS의 모든 계층이 출력된다고 지정한다.

2와 동일한 Ols_mode_idc는 VPS에서 지정한 총 OLS 수가 명시적으로 시그널링되고, 각 OLS에 대해 출력 계층에 명시적으로 시그널링 되고, 다른 계층은 OLS 출력 계층의 직접 또는 간접 레퍼런스 계층인 계층이 되도록 지정한다.

ols_mode_idc의 값은 0에서 2까지를 포함하는 범위여야 한다. ols_mode_idc의 값 3은 ITU-T | ISO/IEC에서 향후 사용할 수 있도록 예약되어 있다.

vps_all_independent_layers_flag가 1이고 each_layer_is_an_ols_flag가 0인 경우 ols_mode_idc의 값은 2와 동일한 것으로 유추된다.

Num_output_layer_sets_minus1 더하기 1은 ols_mode_idc가 2인 경우, VPS에서 지정한 총 OLS 수를 지정한다.

VPS에서 지정한 총 OLS 수를 지정하는, 변수 TotalNumOlss는 다음과 같이 유도된다:

1과 동일한 ols_output_layer_flag[ I ][ j ]는, ols_mode_idc가 2일 때, vps_layer_id[ j ]와 동일한 nuh_layer_id를 갖는 계층이 i번째 OLS의 출력 계층임을 지정한다.

0과 동일한 ols_output_layer_flag[ I ][ j ]는, ols_mode_idc가 2일 때, vps_layer_id[ j ] 와 동일한 nuh_layer_id를 갖는 계층이 i번째 OLS의 출력 계층이 아님을 지정한다.

i번째 OLSF[ I ] 의 출력 계층 수를 지정하는, 변수 numOutputLayersinOLSF[ I ], i번째 OLS에서 j번째 계층의 서브 계층 수를 지정하는, 변수 numSublayerinols[ I ][ j ], i번째 OLS에서 j번째 출력 계층의 nuh_layer_id 값을 지정하는, 변수 OutputLayerldlnOls[ I ][ j ], 및 적어도 하나의 OLS에서 k번째 계층이 출력 계층으로 사용되는지 여부를 지정하는, 변수 layerUsedasOutputLayerflag[k] 는, 다음과 같이 유도된다:

0에서 vps_max_layers_minus1까지를 포함하는 범위의 I의 각 값에 대해, LayerUsedAsRefLayerFlag[ I ] and LayerUsedAsOutputLayerFlag[ I ]의 값은 모두 0과 동일할 수 없다. 즉, 적어도 하나의 OLS의 출력 계층도 아니고 다른 계층의 직접 참조 계층도 아닌 계층은 없어야 한다.

각 OLS에는 출력 계층인 계층이 하나 이상 존재해야 한다. 즉, 0에서 TotalNumOlss - 1까지를 포함하는 범위의 I 값에 대해, OLSF[ I ] 의 numOutputLayers의 값은 1보다 크거나 같아야 한다.

i번째 OLS의 계층 수를 지정하는 변수 NumLayersInOls[ I ] 와 i번째 OLS에서 j번째 계층의 nuh_layer_id 값을 지정하는 변수 LayerldlnOls[ I ][ j ]는 다음과 같이 유도된다:

참고 1 - 0번째 OLS에는 최저 계층(즉, nuh_layer_id가 vps_layer_id[0] 와 동일한 계층) 만 포함되고 0번째 OLS의 경우 포함된 계층만 출력된다.

LayerldlnOlsf I ][ j ]와 동일한 nuh_layer_id를 갖는 게층의 OLS 계층 인덱스를 지정하는, 변수 OLSlayerLDXF I][ j ] 는 다음과 같이 유도된다:

각 OLS에서 최저 계층은 독립 계층이어야 한다. 즉, 각 I에 대해, 0에서 TotalNumOlss - 1까지를 포함하는 범위의, 각 I에 대해, vps_independent_layer_flag[ General Layerldx| LayerldlnOlsf I ][ 0 ] ] ]의 값은 1과 동일해야 한다.

각 계층은 VPS에서 지정된 적어도 하나의 OLS에 포함되어야 한다. 즉, 0에서 vps_max_layers_minus1까지를 포함하는 범위의 k에 대한 vps_layer_id[k] 중 하나와 동일한 nuh_layer_id NuhLayerld의 특정 값을 갖는 각 계층에 대해, I와 j의 값 쌍이 적어도 하나 존재해야 하고, 여기서 I는 0에서 TotalNumOlss - 1 까지를 포함하는 의 범위에 있고, j는 NumLaycrsInOls| I ] - 1를 포함하는 범위에 있으므로, LayerldlnOls[ I ][j ]의 값은 nuhLayerld와 동일하다다.

vps_num_ptls_minus1 더하기 1은 VPS의 profile_tier_level() 신택스 구조 수를 지정한다. vps_num_ptls_minus1의 값은 TotalNumOlss보다 작아야 한다.

Pt_present_flag[　I　]이 1과 같으면 프로필, 계층 및 일반 제약 조건 정보가 VPS의 i번째 profile_tier_level() 신택스 구조에 있음을 지정한다. PT_present_flag[ I ] 가 0이면 프로필, 계층 및 일반 제약 조건 정보가 VPS의 i번째 profile_tier_level() 신택스 구조에 없음을 지정한다. pt_present_flag[0] 의 값은 1과 동일한 것으로 유추된다. pt_present_flag[ I ] 가 0과 같으면, VPS의 i번째 profile_tier_level() 신택스 구조에 대한 프로파일, 계층 및 일반 제약 조건 정보는 VPS의(I - 1) 번째 profile_tier_level() 신택스 구조에 대한 정보와 동일한 것으로 유추된다.

Ptl_max_temporal_id[　I　]는, 레벨 정보가 VPS의 i번째 profile_tier_level() 신택스 구조에 존재하는 최상위 서브 계층 표현의 Temporalld를 지정한다. ptl_max_temporal_id[ I ] 의 값은 0에서 vps_max_layers_minus1까지를 포함하는 범위여야 한다. vps_max_layers_minus1이 0이면, ptl_max_temporal_id[ I ] 의 값은 0과 동일한 것으로 유추된다. vps_max_layers_minus1이 0보다 크고 vps_all_layers_same_num_sublayer_flag가 1과 동일한 경우, ptl_max_temporal_id[ I ] 의 값은 vps_max_layers_minus1과 동일한 것으로 유추된다.

Vps_ptl_alignment_zero_bit는 0과 동일해야 한다.

Ols_ptl_idx[ I ] 는, VPS의 profile_tier_level() 신택스 구조 목록에 대해, i번째 OLS에 적용되는 profile_tier_level() 신택스 구조의 인덱스를 지정한다. 존재하는 경우, ols_ptl_idx[ I ] 의 값은 0에서 vps_num_ptls_minus1까지를 포함하는 범위여야 한다. vps_num_ptls_minus1이 0인 경우 ols_ptl_idx[ I ] 의 값은 0과 동일한 것으로 유추된다.

NumLayersInOls[ I ]가 1과 같으면, i번째 OLS에 적용되는 프로파일_tier_level() 신택스 구조는 i번째 OLS의 계층에서 참조하는 SPS에도 존재한다. NumLayersInOls[ I ]가 1과 같을 때, VPS 및 i번째 OLS에 대한 SPS에서 시그널링 되는 profile_tier_level() 신택스 구조가 동일해야 한다는 것이 비트스트림 적합성의 요구 사항이다.

Vps_num_dpb_params는 VPS에서 dpb_parameter() 신택스 구조의 수를 지정한다. vps_num_dpb_params의 값은 0에서 16까지를 포함하는 범위여야 한다. 존재하지 않는 경우, vps_num_dpb_params의 값은 0과 동일한 것으로 유추된다.

Vps_sublayer_dpb_params_present_flag는 VPS의 dpb_parameters() 신택스 구조에서 max_dec_pic_buffering_minus1[ ], max_num_reorder_pics[ ] 및 max_latency_increase_plus1[ ] 신택스 요소의 존재를 제어하는 데 사용된다. 존재하지 않을 경우, sps_sub_dpb_params_info_present_flag의 값은 0과 동일하록 유추된다.

Dpb_max_temporal_id[　I　]는, DPB 파라미터가 VPS의 i번째 dpb_parameters() 신택스 구조에 존재할 수 있는 최상위 서브 계층 표현의 Temporalld를 지정한다. dpb_max_temporal_id[ I ] 의 값은 0에서 vps_max_layers_minus1까지를 포함하는 범위여야 한다. vps_max_layers_minus1이 0이면, dpb_max_temporal_id[ I ] 의 값은 0과 동일한 것으로 유추된다. vps_max_layers_minus1이 0보다 크고 vps_all_layers_same_num_sublayer_flag가 1과 동일한 경우, dpb_max_temporal_id[ I ] 의 값은 vps_max_layers_minus1과 동일한 것으로 유추된다.

Ols_dpb_pic_width[ I ] 는 i번째 OLS에 대한 각 픽처 저장소 버퍼의 너비를 루마 샘플 유닛으로 지정한다.

Ols_dpb_pic_height[ I ] 는 i번째 OLS에 대한 각 픽처 저장소 버퍼의 높이를 루마 샘플 유닛으로 지정한다.

Ols_dpb_params_idx[ I ] 는, VPS의 dpb_parameters() 신택스 구조 목록에 대해, NumLayersIn0ls[ I ]가 1보다 클 때, i번째 OLS에 적용되는 dpb_parameters() 신택스 구조의 인덱스를 지정한다. 존재하는 경우, ols_dpb_params_idx[ I ] 의 값은 0에서 vps_num_dpb_params - 1까지를 포함하는 범위여야 한다. ols_dpb_params_idx[ I ] 가 존재하지 않는 경우, ols_dpb_params_idx[ I ] 의 값은 0과 동일한 것으로 유추된다.

NumLayersInOls[ I ] 가 1과 동일한 경우, i번째 OLS에 적용되는 dpb_parameters() 신택스 구조가 i번째 OLS의 계층에서 참조하는 SPS에 존재한다.

Vps_general_hrd_params_present_flag가 1이면, VPS에 general_hrd_parameters() 신택스 구조 및 기타 HRD 파라미터가 포함되어 있음을 지정한다.

Vps_general_hrd_params_present_flag는 VPS가 genereal_hrd_parameters() 신택스 구조 또는 기타 HRD 파라미터를 포함하지 않음을 지정한다. 존재하지 않는 경우, Vps_general_hrd_params_present_flag의 값은 0과 동일한 것으로 유추된다.

NumLayersInOls[ I ] 가 1과 동일한 경우, i번째 OLS에 적용되는 일반_hrd_parameters() 신택스 구조와 ols_hrd_parameters() 신택스 구조가 i번째 OLS의 계층에서 참조하는 SPS에 존재한다.

Vps_sublayer_cpb_params_present_flag가 1이면, VPS의 i번째 ols_hrd_parameters() 신택스 구조가 0에서 hrd_max_tid[ I ]까지를 포함하는 범위의 Temporalld를 갖는 서브 계층 표현에 대한 HRD 파라미터를 포함하도록 지정한다. VPS_sublayer_CPB_parameter_current_flag가 0이면, VPS의 i번째 ols_hrd_parameters() 신택스 구조가 hrd_max_tid[ I ] 와 동일한 Temporalld를 갖는 서브 계층 표현에 대한 HRD 파라미터만을 포함되도록 지정한다. vps_max_sublayers_minus1이 0과 동일할 때, vps_sublayer_cpb_params_present_flag의 값은 0과 동일한 것으로 유추된다.

sps_sublayer_cpb_params_present_flag가 0과 동일할 때, 0에서 sps_max_sublayers_minus1-1까지를 포함하는 범위에 있는 TemporalId를 갖는 서브 계층 표현에 대한 HRD 파라미터는 sps_max_sublayers와 동일한 TemporalId를 갖는 서브 계층 표현에 대한 것과 동일한 것으로 유추된다. 여기는 fixed_pic_rate_general_flag[ I ] 신택스 요소에서 시작하여 ols_hrd_parameters 신택스 구조의 "if(general_vcl_hrd_params_present_flag)" 조건 바로 아래의 sublayer_hrd_parameters( I ) 신택스 구조까지의 HRD 파라미터를 포함한다.

Num_ols_hrd_params_minus1 더하기 1은, vps_general_hrd_params_present_flag 가 1과 같을 때 VPS에 있는 ols_hrd_parameter() 신택스 구조의 수를 지정한다. num_ols_hrd_params_minus1의 값은 0에서 TotalNumOlss -1까지를 포함하는 범위여야 한다.

HRD_max_tid[ I ] 는 HRD 파라미터가 i-번째 ols_hrd_parameters() 신택스 구조에 포함되도록 최상위 서브 계층 표현의 Temporalld를 지정한다. hrd_max_tid[ I ] 의 값은 0에서 vps_max_sublayer_minus1까지를 포함하는 범위여야 한다. vps_max_layers_minus1이 0인 경우, hrd_max_tid[ I ] 의 값은 0으로 추정된다. vps_max_layers_minus1이 0보다 크고 vps 모든 계층의 동일한 숫자 서브 계층 플래그가 1인 경우, hrd_max_tid[ I ] 의 값은 vps_max_sublayer_minus1과 같다고 추정된다.

Ols_hrd_idx[ I ] 는 VPS의 ols_hrd_parameters() 신택스 구조 목록에 대해, NumLayersIn0ls[ I ]가 1보다 클 때, i번째 OLS에 적용되는 ols_hrd_parameters() 신택스 구조의 인덱스를 지정한다. ols_hrd_idx[ I ] 의 값은 0에서 num_ols_hrd_params_minus1까지를 포함하는 범위여야 한다.

NumLayersInOls[ I ]가 1과 동일한 경우, i번째 OLS에 적용되는 ols_hrd_parameters() 신택스 구조가 i번째 OLS의 계층에서 참조하는 SPS에 있다.

num_ols_hrd_param_minus1 + 1의 값이 TotalNumOlss와 동일한 경우, ols_hrd_idx[ I ] 의 값은 i와 동일한 것으로 유추된다. 그렇지 않으면 NumLayersInOls[ I ]가 1보다 크고 num_ols_hrd_params_minus1이 0인 경우, ols_hrd_idx[ I ] 의 값은 0과 동일한 것으로 유추된다.

Vps_extension_flag가 0이면, VPS RBSP 신택스 구조에 vps_extension_data_flag 신택스 요소가 없음을 지정한다. Vps_extension_flag가 1이면, VPS RBSP 신택스 구조에 vps_extension_data_flag 신택스 요소가 존재하는 것을 지정한다.

Vps_extension_data_flag는 임의의 값을 가질 수 있다. 그것의 존재와 가치는 이 사양의 이 버전에 지정된 프로파일에 대한 디코더 적합성에 영향을 미치지 않는다. 이 사양의 이 버전을 따르는 디코더는 모든 vps_extension_data_flag 신택스 요소를 무시해야 한다.

3.6. VVC의 액세스 유닛 구분 기호(Access Unit Delimiter)(AUD) 신택스 및 시맨틱(semantic)

최신 VVC 텍스트(JVET-Q2001-VE/V15)에서 AUD 신택스 및 시맨틱은 다음과 같다.

7.3.2.9 AU 구분 기호 RBSP 신택스

7.4.3.9 AU 구분 기호 RBSP 시맨틱

AU 구분 기호는 AU의 시작과 AU 구분 기호 NAL 유닛을 포함하는 AU의 코딩된 픽처에 있는 슬라이스의 유형을 나타내는 데 사용된다. AU 구분 기호와 연관된 표준 디코딩 프로세스는 없다.

Pic_type은 AU 구분 기호 NAL 유닛을 포함하는 AU에서 코딩된 픽처의 모든 슬라이스에 대한 슬라이스 유형 값이 주어진 Pic_type의 값에 대해 표 7에 나열된 세트의 구성임을 나타낸다. pic_type의 값은 이 사양의 이 버전을 준수하는 비트스트림에서 0, 1 또는 2와 같아야 한다. pic_type의 다른 값은 ITU-T | ISO/IEC에서 나중에 사용할 수 있도록 예약되어 있다. 이 사양의 이 버전을 준수하는 디코더는 picype의 예약된 값을 무시한다.

표 7 - 픽처 유형의 해석

pic_type	AU에 존재할 수 있는 slice_type 값
0	I
1	P, I
2	B, P, I

3.7. Aus 및 PU 순서

최신 VVC 텍스트(JVET-Q2001-VE/V15)에서 Aus 및 PU의 디코딩 순서 사양은 다음과 같다.

7.4.2.4.2 Aus 순서 및 CVS와의 연관성

비트스트림은 하나 이상의 CVS로 구성된다.

CVS는 하나 이상의 Aus로 구성된다. PU의 순서와 Aus와의 연관성은 7.4.2.4.3 절에 설명되어 있다.

CVS의 제1 AU는 CVSS AU이며, 여기서 존재하는 각 PU는 CLVSS PU이며, 이는 1과 동일한 IRAP PU이거나 NoOutputBeforeRecoveryFlag를 갖는 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 GDR PU이다

각 CVSS AU는 CVS에 있는 각 계층에 대해 PU가 존재해야 한다.

7.4.2.4.3 PU 순서 및 Aus와의 연관성

AU는 nuh_layer_id의 오름차순으로 하나 이상의 PU로 구성된다. NAL 유닛 순서 및 코딩된 픽처 및 PU와의 연관성은 7.4.2.4.4절에 설명되어 있다.

AU에는 최대 하나의 AUD NAL 유닛이 있을 수 있다. AUD NAL 유닛이 AU에 존재하는 경우, AU의 제1 NAL 유닛이 되고, 결과적으로 AU의 제1 PU의 제1 NAL 유닛이 된다.

AU에는 최대 하나의 EOB NAL 유닛이 있을 수 있다. EOB NAL 유닛이 AU에 존재하는 경우, AU의 마지막 NAL 유닛이 되며 결과적으로 AU의 마지막 PU의 마지막 NAL 유닛이다.

VCL NAL 유닛이 PH NAL 유닛을 따르는 제1 VCL NAL 유닛이고 다음 조건 중 하나 이상이 참이면, VCL NAL 유닛은 AU의 제1 VCL NAL 유닛이다(결과적으로 VCL NAL 유닛을 포함하는 PU는 AU의 제1 PU이다):

- VCL NAL 유닛의 nuh_layer_id의 값은 디코딩 순서에서 이전 픽처의 nuh_layer_id보다 작다.

- VCL NAL 유닛의 ph_pic_order_cnt_lsb의 값은 디코딩 순서에서 이전 픽처의 ph_pic_order_cnt_lsb와 상이하다.

- VCL NAL 유닛에 대해 유도된 피오더CNTVAL은 디코딩 순서에서 이전 픽처의 피오더CNTval과 상이하다.

firstVclNalUnitlnAu이 AU의 제1 VCL NAL 유닛이다. firstVclNalUnitInAu 앞에 있고 firstVclNalUnitInAu 앞에 있는 마지막 VCL NAL 유닛에 뒤에 있는 다음의 NAL 유닛 중 첫 번째 유닛이, 존재한다면, 새로운 AU의 시작을 지정한다:

AUD NAL 유닛(존재하는 경우),

- DCI NAL 유닛(존재하는 경우),

- VPS NAL 유닛(존재하는 경우),

- SPS NAL 유닛(존재하는 경우),

- PPS NAL 유닛(존재하는 경우),

- Prefix APS NAL 유닛(존재하는 경우),

- PH NAL 유닛(존재하는 경우),

- Prefix SEI NAL 유닛(존재하는 경우),

- nal_unit_type이 RSV_NVCL_26(존재하는 경우)과 동일한 NAL 유닛,

- UNSPEC28..UNSPEC29(존재하는 경우) 범위의 nal_unit_type이 있는 NAL 유닛이다.

참고 - firstVclNalUnitlnAu 앞에 있고 firstVclNalUnitlnAu 앞에 있는 마지막 VCL NAL 유닛 뒤에 있는 제1 NAL 유닛(존재하는 경우)은 위에 나열된 NAL 유닛 중 하나만 될 수 있다.

존재하는 경우, 동일한 계층에 속하고 EOS NAL 유닛을 포함하는 PU 이후 특정 계층의 다음 PU는 CLVSS PU여야 하고, 이는 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 IRAP PU 또는 1과 동일한 NoOutputBeforeRecoveryFlag를 갖는 GDR PU이라는 것은 비트스트림 적합성의 요구사항이다.

4. 개시된 기술 솔루션으로 해결된 기술적 문제의 예

최신 VVC 텍스트(JVET-Q2001-VE/V15)의 기존 스케일러빌리티 설계에는 다음과 같은 문제가 있다:

1) 새로운 CVS를 시작하는, CVSS AU가 완료되어야 한다(즉, CVS에 있는 각 계층에 대한 픽처가 존재해야 함). 그러나 현재의 설계에 따르면, 디코더는 CVS의 마지막 픽처를 수신하기 전에 AU가 "CVS에 존재하는 각 레이어에 대해" 픽처를 포함하는지 여부를 확인할 수 없고, 반면에 CVS의 마지막 픽처조차도 비트스트림의 첫 번째 CVS를 제외하고는 CVS의 시작을 결정하기가 쉽지 않기 때문에 결정하기가 쉽지 않다. 기본적으로, 디코더는 전체 비트스트림을 수신한 후에만 CVS의 경계를 파악할 수 있다는 것을 의미한다.

2) 현재, IRAP AU는 새로운 CVS를 시작할 수 있으며 완료(즉, CVS에 있는 각 계층에 대한 픽처가 존재해야 함)가 필요한 반면, GDR AU는 새로운 CVS를 시작할 수도 있지만 완료할 필요는 없다. 이것은 기본적으로 일치하는 방식으로 완전하지 않은 GDR AU에서 시작하는 비트스트림에 대한 임의 액세스를 비활성화하는데, 일반적으로 랜덤 액세스의 시작 AU는 CVSS AU가 되지만 이러한 GDR AU가 불완전하면 CVSS AU가 될 수 없기 때문이다.

5. 예시적인 실시예들 및 기술

상기와 같은 문제점을 해결하기 위하여 아래와 같이 정리한 방법을 개시한다. 발명은 일반적인 개념을 설명하기 위한 예시로 간주되어야 하고 좁은 의미로 해석되어서는 안된다. 또한, 이들 발명은 개별적으로 또는 임의의 방식으로 조합하여 적용될 수 있다.

첫 번째 문제 해결을 위한 솔루션

1) 첫 번째 문제를 해결하기 위해, CVS에 존재하는 각 계층에 대한 픽처를 포함하는지 여부의 의미에서, AU가 완료되었는지 여부에 대한 표시는 시그널링될 수 있다.

a. 하나의 예에서, 표시는 새로운 CVS를 시작할 수 있는 Aus에 대해서만 시그널링된다.

i. 하나의 예에서, 또한, 표시는 각 픽처가 IRAP 또는 GDR 픽처인 Aus에 대해서만 시그널링된다.

b. 하나의 예에서, 표시는 AUD NAL 유닛에서 시그널링된다.

i. 하나의 에에서, 표시는 AUD NAL 유닛의 플래그(예를 들어, irap_or_gdr_au_flag)에 의해 시그널링된다.

1. 대안적으로, 추가적으로, irap_or_gdr_au_flag가 1과 같을 때, AU가 IRAP AU인지 또는 GDR AU인지를 지정하기 위해 플래그(즉, 명명된 irap_au_flag)가 AUD에서 시그널링될 수 있다. (1과 동일한 irap_au_flag는 AU가 IRAP AU임을 지정하고, 0과 동일한 irap_au_flag는 AU가 GDR AU임을 지정한다.) 존재하지 않는 경우, irap_au_flag 값이 유추되지 않는다.

ii. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우, 각 IRAP 또는 GDR AU에 하나의 AUD NAL 유닛만 존재해야 한다.

1. 대안적으로, vps_max_layers_minus1의 값에 관계없이 각 IRAP 또는 GDR AU에 하나의 AUD NAL 유닛만 존재해야 한다.

iii. 하나의 예에서, 1과 동일한 플래그는 AU의 모든 슬라이스가 IDR_W_RADL에서 GDR_NUT까지를 포함하는 범위에서 동일한 nal 유닛 유형을 갖도록 지정한다. 결과적으로, nal 유닛 유형이 IDR_W_RADL 또는 IDR_N_LP이고 이 플래그가 1과 동일한 경우, AU는 CVSS AU이다. 그렇지 않으면(nal_unit_type이 CRA_NUT 또는 GDR_NUT임), AU의 각 픽처에 대한 변수 NoOutputBeforeRecoveryFlag가 1인 경우, AU는 CVSS AU이다.

c. 하나의 예에서, 또한, CVS의 AU의 각 픽처는 CVS의 제1 AU에 있는 픽처 중 하나의 nuh_layer_id와 동일한 nuh_layer_id를 가져야 한다.

d. 하나의 에에서, 표시는 NAL 유닛 헤더에서 시그널링된다.

i. 하나의 예에서, NAL 유닛 헤더의 비트(예를 들어, nuh_reserved_zero_bit)를 사용하여 AU가 완료되었는지 여부를 지정한다.

e. 하나의 예에서, 표시는 새로운 NAL 유닛에서 시그널링된다.

i. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우 각 IRAP 또는 GDR AU에 새로운 NAL 유닛 중 하나만 존재해야 한다.

1. 하나의 예에서, 또한, AU에 존재하는 경우, 새로운 NAL 유닛은 디코딩 순서로 AU에서 AUD NAL 유닛 이외의 NAL 유닛보다 우선해야 한다.

2. 대안적으로, vps_max_layers_minus1의 값에 관계없이 각 IRAP 또는 GDR AU에 새로운 NAL 유닛 중 하나만 존재해야 한다.

f. 하나의 에에서, 표시는 SEI 메시지에서 시그널링된다.

i. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우, 각 IRAP 또는 GDR AU에 SEI 메시지의 존재가 필요하다.

1. 하나의 예에서, 또한, AU에 존재하는 경우, SEI 메시지를 포함하는 SEI NAL 유닛은 디코딩 순서로 AU에서, 존재하는 경우, AUD NAL 유닛 이외의 NAL 유닛보다 우선해야 한다.

2. 대안적으로, vps_max_layers_minus1의 값에에 관계없이 각 IRAP 또는 GDR AU에 SEI 메시지의 존재가 필요하다.

2) 대안적으로, 첫 번째 문제를 해결하기 위해, AU가 새로운 CVS를 시작하는지 여부의 표시가 시그널링될 수 있다.

a. 하나의 예에서, 표시는 AUD NAL 유닛에서 시그널링된다.

1. 대안적으로, 추가적으로, irap_or_gdr_au_flag가 1과 같을 때, AU가 IRAP AU인지 또는 GDR AU인지를 지정하기 위해 플래그(즉, irap_au_flag로 명명된)가 AUD에서 시그널링될 수 있다(1과 동일한 irap_au_flag는 AU가 IRAP AU임을 나타내고, 0과 동일한 irap_au_flag는 AU가 GDR AU임을 나타냄). 존재하지 않는 경우, irap_au_flag의 값이 유추되지 않는다.

ii. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우 각 CVSS AU에 하나의 AUD NAL 유닛만 존재해야 한다.

1. 대안적으로, vps_max_layers_minus1의 값에 관계없이 각 CVSS AU에 하나의 AUD NAL 유닛만 존재해야 한다.

b. 하나의 에에서, 표시는 NAL 유닛 헤더에서 시그널링된다.

i. 하나의 예에서, NAL 유닛 헤더의 비트(예를 들어, nuh_reserved_zero_bit)를 사용하여 AU가 CVSS AU인지 여부를 지정한다. c. 하나의 예에서, 표시는 새로운 NAL 유닛에서 시그널링된다.

i. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우, 각 CVSS AU에 새로운 NAL 유닛 중 하나만 존재해야 한다.

2. 대안적으로, vps_max_layers_minus1의 값에 관계없이 각 CVSS AU에 새로운 NAL 유닛 중 하나만 존재해야 한다.

ii. 하나의 예에서, AU에 새로운 NAL 유닛의 존재는 AU가 CVSS AU임을 지정한다.

1. 대안적으로, AU가 CVSS AU인지 여부를 지정하는 플래그가 새로운 NAL 유닛에 포함된다.

d. 하나의 에에서, 표시는 SEI 메시지에서 28시그널링된다.

i. 하나의 예에서, 또한, vps_max_layers_minus1이 0보다 큰 경우, 각 CVSS AU에 SEI 메시지의 존재가 필요하다.

2. 대안적으로, vps_max_layers_minus1의 값에 관계없이 각 CVSS AU에 SEI 메시지의 존재가 필요하다.

3) 대안적으로, 첫 번째 문제를 해결하려면, 새로운 CVS를 시작하는, CVSS AU가 VPS에서 지정한 각 계층에 대한 픽처를 갖는 것이 필요하다. 이 접근 방식의 단점은 VPS에서 시그널링되는 계층 수가 정확해야 하므로, 결과적으로 비트스트림에서 계층이 제거될 때 VPS를 수정해야 한다는 것이다.

4) 대안으로, 첫 번째 문제를 해결하기 위해, vps_max_layers_minus1이 0보다 클 때, 각 CVS의 마지막 AU에 있는 각 픽처에 대한 EOS NAL 유닛의 존재를 의무화하고, 선택적으로 각 비트스트림의 마지막 AU에 EOB NAL 유닛이 존재하도록 의무화한다. 따라서 각 CVSS AU는 비트스트림의 제1 AU이거나 이전 AU의 EOS NAL 유닛의 존재로 식별된다.

5) 대안적으로, 첫 번째 문제를 해결하기 위해, 외부-수단으로-결정된 변수는 AU가 CVSS AU인지 여부를 지정하기 위해 지정된다.

두 번째 문제 해결을 위한 솔루션

6) 두 번째 문제를 해결하려면, 각 GDR AU가 완료되어야 한다(즉, CVS에 존재하는 각 계층에 대한 픽처를 가져야 함). 즉, GDR 픽처로 구성된 AU이지만 불완전한 경우, GDR AU가 아니고, 현재와 마찬가지로 IRAP 픽처로 구성된 AU이지만 불완전한 경우 IRAP AU가 아니다.

a. 하나의 에에서, GDR AU는 AU로서 정의될 수 있는데, 여기서 CVS의 각 계층에 대한 PU가 있고 각각의 현재 PU의 코딩된 픽처는 GDR 픽처다.

6. 실시예

다음은, VVC 사양에 적용될 수 있는, 위의 섹션 5에서 요약된 발명 측면 중 일부에 대한 몇 가지 예시적인 실시예이다. 변경된 텍스트는 최신 JVET-Q2001-Ve/V15의 WC 텍스트에 기초한다. 추가되거나 수정된 대부분의 관련 부품은 밑줄, 굵게 및 기울임꼴로 표시되며 가장 관련성이 높은 제거된 부품은 굵은 대괄호로 묶여 강조 표시되고, 예를 들어[[a]]는 "a"가 제거되었음을 나타낸다. 본질적으로 편집적이므로 강조되지 않은 몇 가지 다른 변경 사항이 있다.

6.1. 제1 실시예

본 실시예는 항목 1, l.a, l.a.i, l.b, l.b.i, l.b.ii, l.b.iii, l.c, 6 및 6a에 대한 것이다.

3 가지 정의

점진적 디코딩 리프레시(GDR) AU: CVS의 각 계층에 PU가 있고 현재 각 PU에 코딩된 픽처가 GDR 픽처인 AU이다.

7.3.2.9 AU 구분 기호 RBSP 신택스

7.4.3.9 AU 구분 기호 RBSP 시맨틱

AU 구분 기호는 AU의 시작, AU가 IRAP 또는 GDR AU인지 여부, 및 AU 구분 기호 NAL 유닛을 포함하는 AU의 코딩된 픽처에 있는 슬라이스의 유형을 나타내는 데 사용된다. 단일 계층 비트스트림의 경우, AU 구분 기호와 연관된 표준 디코딩 프로세스가 없다.

Irap_or_gdr_au_flag가 1이면, AU 구분 기호가 포함된 AU가 IRAP 또는 GDR AU임을 지정한다. Irap_or_gdr_au_flag가 0이면, AU 구분 기호가 포함된 AU가 IRAP 또는 GDR AU가 아님을 지정한다.

7.4.2.4.2 Aus 순서 및 CVS와의 연관성

비트스트림은 하나 이상의 CVS로 구성된다.

각 CVSS AU는 CVS에 존재하는 각 계층에 대해 PU를 가져야하고 CVS의 AU의 각 픽처는 CVS의 제1 AU에 존재하는 픽처 중 하나의 nuh_layer_id와 동일한 nuh_layer_id를 가져야한다.

7.4.2.4.3 PU 순서 및 Aus와의 연관성

AU에는 최대 하나의 AUD NAL 유닛이 있을 수 있으며, vps_max_layers_minus1가 0보다 큰 경우 각 IRAP 또는 GDR AU에 하나의 AUD NAL 유닛만 존재해야 한다.

AUD NAL 유닛이 AU에 존재하는 경우, AU의 제1 NAL 유닛이 되고, 결과적으로 AU의 제1 PU의 제1 NAL 유닛이 된다.

도 1은 여기에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 처리 시스템(video processing system)(1900)을 도시하는 블록도이다. 다양한 구현에는 시스템(1000)의 컴포넌트의 일부 또는 전부가 포함될 수 있다. 상기 시스템(1000)에는 비디오 콘텐츠를 수신하기 위한 입력(1002)이 포함될 수 있다. 비디오 콘텐츠는 원시 또는 압축되지 않은 포맷, 예를 들어, 8 또는 10비트 다중 컴포넌트 픽셀 값으로 수신될 수 있거나 압축 또는 인코딩된 포맷일 수 있다.

입력(1002)은 네트워크 인터페이스, 주변 버스 인터페이스 또는 저장소 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예로는 이더넷, 수동 광 네트워크(PON) 등과 같은 유선 인터페이스와 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스가 있다.

상기 시스템(1000)은 본 문서에 기재된 다양한 코딩 또는 인코딩 방법을 구현할 수 있는 코딩 컴포넌트(coding component)(1004)을 포함할 수 있다. 상기 코딩 컴포넌트(1004)은 입력(1002)에서 코딩 컴포넌트(1004)의 출력으로 비디오의 평균 비트레이트를 감소시킬 수 있으며, 비디오의 코딩된 표현을 생성할 수 있다. 따라서 코딩 기술은 비디오 압축 또는 비디오 트랜스코딩 기술이라고도 한다. 코딩 컴포넌트(1004)의 출력은 컴포넌트(1006)로 표현되는 바와 같이 연결된 통신을 통해 저장되거나 전송될 수 있다. 입력(1002)에서 수신된 비디오의 저장 또는 통신 비트스트림(또는 코딩) 표현은 디스플레이 인터페이스(display interface)(1010)로 전송되는 픽셀 값 또는 디스플레이 가능한 비디오를 생성하기 위해 컴포넌트(1008)에 의해 사용될 수 있다. 비트스트림 표현(bitstream representation)에서 사용자가 볼 수 있는 비디오를 생성하는 프로세스를 비디오 압축 해제(decompression)라고도 한다.

또한, 특정 비디오 처리 동작을 "코딩" 동작(coding operation) 또는 툴(tools)로 지칭하지만, 코딩 툴 또는 동작이 인코더에서 사용되고 코딩 결과를 되돌리는 대응하는 디코딩 툴 또는 동작이 디코더에 의해 수행된다는 점을 이해할 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예로는 범용 직렬 버스(USB) 또는 고화질 멀티미디어 인터페이스(HDMI) 또는 디스플레이포트 등이 포함될 수 있다. 저장소 인터페이스의 예로는 SATA(직렬 첨단 기술 첨부 파일), PCI, IDE 인터페이스 등이 있다. 본 문서에 기재된 기술은 휴대전화, 노트북, 스마트폰 또는 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 기타 장치와 같은 다양한 전자 기기에 구현될 수 있다.

도 2는 비디오 처리 장치(video processing apparatus)(2000)의 블록도이다. 장치(apparatus)(2000)는 여기에 설명된 하나 이상의 방법을 구현하는 데 사용될 수 있다. 장치(apparatus)(2000)는 스마트 폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 구현될 수 있다. 장치(apparatus)(2000)는 하나 이상의 프로세서(processor)(2002), 하나 이상의 메모리(memory)(2004) 및 비디오 처리 하드웨어(video processing hardware)(2006)를 포함할 수 있다. 프로세서(들)(2002)는 본 문서에 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리들)(2004)는 여기에 설명된 방법 및 기술을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(2006)는 하드웨어 회로에서 본 문서에 설명된 일부 기술을 구현하는 데 사용될 수 있다. 일부 실시예에서, 하드웨어(2006)는 부분적으로 또는 전체적으로 하나 이상의 프로세서(2002), 예를 들어 그래픽 프로세서에 있을 수 있다.

도 3은 본 개시물의 기법들을 이용할 수도 있는 예시적인 비디오 코딩 시스템(video coding system)(100)을 예시하는 블록도이다.

도 3은 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 장치(source device)(110) 및 목적 장치(destination device)(120)를 포함할 수 있다. 소스 장치(110)는 인코딩된 비디오 데이터를 생성하고, 비디오 인코딩 장치로 참조될 수 있다. 목적 장치(120)는 소스 장치(110)에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수 있고, 비디오 디코딩 장치로 참조될 수 있다.

소스 장치(110)에는 비디오 소스(112), 비디오 인코더(114) 및 입력/출력(I/O) 인터페이스(116)가 포함될 수 있다.

비디오 소스(112)에는 비디오 캡처 장치, 비디오 컴텐츠 공급자로부터 비디오 데이터를 수신하는 인터페이스, 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템 또는 이러한 소스의 조합을 포함할 수 있다.

비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림에는 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스가 포함될 수 있다. 비트스트림에는 코딩된 픽처 및 연관된 데이터가 포함될 수 있다. 코딩된 픽처는 픽처의 코딩된 표현(representation)이다. 연관된 데이터에는 시퀀스 파라미터 세트, 픽처 파라미터 세트 및 기타 신택스 구조가 포함될 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기(transmitter)를 포함할 수 있다. 인코딩된 비디오 데이터는 네트워크(130a)를 거쳐, I/O 인터페이스(116)를 통해 목적 장치(120)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 목적 장치(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수도 있다.

목적 장치(120)는 I/O 인터페이스(126), 비디오 디코더(124) 및 디스플레이 장치(122)를 포함할 수 있다.

I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 장치(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 획득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 장치(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이 할 수 있다. 디스플레이 장치(122)는 목적 장치(120)와 통합될 수 있거나, 외부 디스플레이 장치와 인터페이스 하도록 구성된 목적 장치(120)의 외부에 위치할 수 있다.

비디오 인코더(114) 및 비디오 디코더(124)는 고효율 비디오 코딩(HEVC) 표준, 다목적 비디오 코딩(VVC) 표준 및 기타 현재 및/또는 추가 표준과 같은 비디오 압축 표준에 따라 동작할 수 있다.

도 4는 도 3에 예시된 시스템(100)의 비디오 인코더(video encoder)(114)일 수 있는 비디오 인코더(video encoder)(200)의 예를 도시하는 블록도이다.

비디오 인코더(200)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 4의 예에서, 비디오 인코더(200)는 복수의 기능적 컴포넌트들을 포함한다. 본 개시에 기재된 기술은 비디오 인코더(200)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

비디오 인코더(video encoder)(200)의 기능적 컴포넌트는 파티션 유닛(partition unit)(201)와, 모드 선택 유닛(mode select unit)(203), 모션 추정 유닛(motion estimation unit)(204), 모션 보상 유닛(motion compensation unit)(205) 및 인트라 예측 유닛(intra prediction unit)(206)을 포함할 수 있는 예측 유닛(predication unit)(202)과, 잔차 생생 유닛(residual generation unit)(207), 트랜스폼 유닛(transform unit)(208), 양자화 유닛(quantization unit)(209), 역양자화 유닛(inverse quantization unit)(210), 역트랜스폼 유닛(inverse transform unit)(211), 재구성 유닛(reconstruction unit)(212), 버퍼(buffer)(213), 및 엔트로피 인코딩 유닛(entropy encoding unit)(214)를 포함할 수 있다.

다른 예에서, 비디오 인코더(200)에는 더 많거나, 적거나, 다른 기능적 컴포넌트가 포함될 수 있다. 예를 들어, 예측 유닛(202)는 인트라 블록 카피(IBC) 유닛을 포함할 수 있다.

IBC 유닛은 IBC 모드에서 적어도 하나의 레퍼런스 픽처가 현재 비디오 블록이 있는 픽처인 경우 예측을 수행할 수 있다.

또한, 모션 추정 유닛(204) 및 모션 보정 유닛(205)과 같은 일부 컴포넌트는 고집적될 수 있으나, 도 4의 예에서는 설명의 목적을 위해 분리된 것으로 표현되었다.

파티션 장치(201)는 픽처를 하나 이상의 비디오 블록으로 파티셔닝할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기를 지원할 수 있다.

모드 선택 유닛(203)는 오류 결과에 기초하여 코딩 모드, 예를 들면, 인트라 또는 인터 등을 선택하고, 결과인 인트라 또는 인터 코딩된 블록을, 잔차 생성 유닛(207)에 제공하여 잔차 블록 데이터를 생성하고, 재구성 유닛(212)으로 제공하여 레퍼런스 픽처로 사용하기 위한 인커딩된 블록을 재구성한다. 일부 예에서, 모드 선택 유닛(203)는 인트라 및 인터 예측(CIIP) 모드의 조합을 선택할 수 있고, 이 모드에서 예측은 인터 예측 시그널 및 인트라 예측 시그널에 기초한다. 모드 선택 유닛(203)는 또한, 인터 예측의 경우, 블록에 대한 모션 벡터의 해상도(예를 들어, 서브 픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.

현재 비디오 블록에서 인터 예측을 수행하기 위해, 모션 추정 유닛(204)는 버퍼(213)에서 현재 비디오 블록에 하나 이상의 레퍼런스 프레임을 비교하여 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 모션 정보 및 디코딩된 픽처 샘플에 기초하여 현재 비디오 블록에 대한 예측 비디오 블록을 결정할 수 있다.

모션 추정 유닛(204) 및 모션 보상 유닛(205)는 현재 비디오 블록이 I 슬라이스, P 슬라이스 또는 B 슬라이스에 있는지 여부에 따라 현재 비디오 블록에 대해 서로 다른 동작을 수행할 수 있다.

일부 예에서, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 유니-디렉셔널(uni-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)은 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 list 0 또는 list 1의 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 현재 비디오 블록과 레퍼런스 비디오 블록 사이의 공간 변위(spatial displacement)를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0 또는 목록 1에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스(reference index)를 생성할 수 있다. 모션 추정 유닛(204)는 레퍼런스 인덱스, 예측 디렉션 표시자 및 모션 벡터를 현재 비디오 블록의 모션 정보로 출력할 수 있다. 모션 보상 유닛(205)는 현재 비디오 블록의 동작 정보에 의해 표시된 레퍼런스 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.

다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 바이-디렉셔널(bi-directional) 예측을 수행할 수 있고, 모션 추정 유닛(204)는 현재 비디오 블록에 대한 레퍼런스 비디오 블록에 대한 목록 0에서 레퍼런스 픽처를 검색할 수 있으며, 또한 현재 비디오 블록에 대한 다른 레퍼런스 비디오 블록에 대한 목록 1에서 레퍼런스 픽처를 검색할 수 있다. 그런 다음, 모션 추정 유닛(204)는 레퍼런스 비디오 블록과 현재 비디오 블록 사이의 공간 변위를 나타내는 레퍼런스 비디오 블록 및 모션 벡터를 포함하는 목록 0 및 목록 1에서 레퍼런스 픽처를 나타내는 레퍼런스 인덱스를 생성할 수 있다. 모션 추정 유닛(204)는 현재 비디오 블록의 모션 정보로서 현재 비디오 블록의 레퍼런스 인덱스 및 모션 벡터를 출력할 수 있다. 모션 보상 유닛(205)은 현재 비디오 블록의 동작 정보에 의해 표시된 레퍼런스 비디오 블록에 기초하여 현재 비디오 블록의 예측 비디오 블록을 생성할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 디코더의 디코딩 처리를 위한 전체 모션 정보 세트를 출력할 수 있다.

일부 예에서, 모션 추정 유닛(204)는 현재 비디오에 대한 전체 모션 정보 세트를 출력하지 않을 수 있다. 오히려, 모션 추정 유닛(204)는 다른 비디오 블록의 동작 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정 유닛(motion estimation unit)(204)는 현재 비디오 블록의 모션 정보가 이웃 비디오 블록의 동작 정보와 충분히 유사하다고 결정할 수 있다.

하나의 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연결된 신택스 구조에서 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 가지고 있음을 비디오 디코더(300)에 나타내는 값을 나타낼 수 있다.

또 다른 예에서, 모션 추정 유닛(204)는 현재 비디오 블록과 연관된 신택스 구조에서, 다른 비디오 블록 및 모션 벡터 차이(MVD)를 식별할 수 있다. 모션 벡터 차이는 현재 비디오 블록의 모션 벡터와 표시된 비디오 블록의 모션 벡터 사이의 차이를 나타낸다. 비디오 디코더(300)는 현재 비디오 블록의 모션 벡터를 결정하기 위해 표시된 비디오 블록의 모션 벡터 및 모션 벡터 차이를 사용할 수 있다.

위에서 설명한 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수 있는 예측 시그널링 기술의 두 가지 예는, 어드밴스드 모션 벡터 예측(AMVP) 및 병합 모드 시그널링을 포함한다.

인트라 예측 유닛(206)은 현재 비디오 블록에 대한 인트라 예측을 수행할 수 있다. 인트라 예측 유닛(206)이 현재 비디오 블록에 대한 인트라 예측을 수행하는 경우, 인트라 예측 유닛(206)는 동일 픽처에서 다른 비디오 블록의 디코딩된 샘플에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터에는 예측된 비디오 블록 및 다양한 신택스 요소가 포함될 수 있다.

잔차 생성 유닛(207)는 현재 비디오 블록으로부터 예측된 비디오 블록의 예측 비디오 블록(예를 들어, 마이너스 기호로 표시)을 빼서 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록에서 샘플의 상이한 샘플 컴포넌트에 대응하는 잔차 비디오 블록을 포함할 수 있다.

다른 예에서, 현재 비디오 블록에 대한 현재 비디오 블록에 대한 잔차 데이터가 없을 수 있고, 예를 들어 스킵(skip) 모드에서, 잔차 생성 유닛(207)는 빼기 동작을 수행하지 않을 수 있다.

트랜스폼 처리 유닛(208)은 현재 비디오 블록과 연결된 잔차 비디오 블록에 하나 이상의 트랜스폼을 적용하여 현재 비디오 블록에 대해 하나 이상의 트랜스폼 계수 비디오 블록을 생성할 수 있다.

양자화 유닛(209)은 현재 비디오 블록과 연관된 하나 이상의 양자화 파라미터(QP) 값들에 기초하여 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 양자화할 수도 있다.

역양자화 유닛(210)와 역트랜스폼 유닛(211)은 트랜스폼 계수 비디오 블록으로부터 잔차 비디오 블록을 재구성하기 위해, 트랜스폼 계수 비디오 블록에 역양자화 유닛 및 역트랜스폼 유닛을 각각 적용할 수 있다. 재구성 유닛(212)는 예측 유닛(202)에 의해 생성된 하나 이상의 예측된 비디오 블록으로부터 대응하는 샘플에 재구성된 잔차 비디오 블록을 추가하여 버퍼(213)에 저장하기 위한 현재 블록과 연관된 재구성된 비디오 블록을 생성할 수 있다.

재구성 유닛(212)가 비디오 블록을 재구성한 후, 비디오 블록에서 비디오 차단 아티팩트를 줄이기 위해 루프 필터링 동작이 수행된다.

엔트로피 인코딩 유닛(214)은 비디오 인코더(200)의 다른 함수 컴포넌트로부터 데이터를 수신할 수 있다. 엔트로피 인코딩 유닛(214)가 데이터를 수신하는 경우, 엔트로피 인코딩 유닛(214)는 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력하기 위해 하나 이상의 엔트로피 인코딩 동작을 수행할 수 있다.

도 5는 도 3에 예시된 시스템(100)의 비디오 디코더(114)일 수 있는 비디오 디코더(300)의 예를 도시하는 블록도이다.

비디오 디코더(300)는 본 개시의 기술 중 어느 또는 전부를 수행하도록 구성될 수 있다. 도 5의 예에서, 비디오 디코더(300)는 복수의 기능적 컴포넌트를 포함한다. 본 개시에 기재된 기술은 비디오 디코더(300)의 다양한 컴포넌트들 간에 공유될 수 있다. 일부 예에서, 프로세서는 본 개시에 기재된 임의 또는 전부를 수행하기 위해 구성될 수 있다.

도 5의 예에서, 비디오 디코더(video decoder)(300)는 엔트로피 디코딩 유닛(entropy decoding unit)(301), 모션 보상 유닛(motion compensation unit)(302), 인트라 예측 유닛(intra prediction unit)(303), 역양자화 유닛(inverse quantization unit)(304), 역트랜스폼 유닛(inverse transformation uni)(305), 및 재구성 유닛(reconstruction unit)(306) 및 버퍼(buffer)(307)를 포함한다. 비디오 디코더(300)는, 일부 예에서, 비디오 인코더(200)에 대하여 기술된 인코딩 패스(pass)와 일반적으로 서로 주고받는(reciprocal) 디코딩 패스를 수행할 수 있다(도 4).

엔트로피 디코딩 유닛(301)는 인코딩된 비트스트림을 검색할 수 있다. 인코딩된 비트스트림에는 엔트로피 코딩된 비디오 데이터(예를 들어, 비디오 데이터의 인코딩된 블록)가 포함될 수 있다. 엔트로피 디코딩 유닛(301)는 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터 모션 보상 유닛(302)는 모션 벡터, 모션 벡터 정밀도, 레퍼런스 픽처 목록 인덱스 및 기타 모션 정보를 포함하는 모션 정보를 결정할 수 있다.

모션 보상 유닛(302)는, 예를 들어 AMVP 및 병합 모드를 수행하여 이러한 정보를 결정할 수 있다.

모션 보상 유닛(302)는 보간 필터에 기초하여 보간(interpolation)을 수행하여 모션 보정 블록을 생성할 수 있다. 서브 픽셀 정밀도와 함께 사용되는 보간 필터에 대한 식별자가 신택스 요소에 포함될 수 있다.

모션 보상 유닛(302)는 비디오 블록을 인코딩하는 동안 비디오 인코더(200)에서 사용하는 보간 필터를 사용하여 레퍼런스 블록의 서브 정수 픽셀에 대한 보간 값을 계산할 수 있다. 모션 보상 유닛(302)는 수신된 신택스 정보에 따라 비디오 인코더(200)에서 사용하는 보간 필터를 결정하고 보간 필터를 사용하여 예측 블록을 생성할 수 있다.

모션 보상 유닛(302)는 인코딩된 비디오 시퀀스의 프레임 및/또는 슬라이스를 인코딩하는 데 사용되는 블록의 크기, 인코딩된 비디오 시퀀스의 각 매크로 블록이 파티셔닝되는 방식을 설명하는 파티션 정보, 각 파티션이 인코딩된 방법, 각 파티션이 인코딩되는 방식을 나타내는 모드, 각 인터-인코딩된 블록에 대한 하나 이상의 레퍼런스 프레임(및 레퍼런스 프레임 목록) 및 인코딩된 비디오 시퀀스를 디코딩하는 다른 정보들을 결정하기 위해 일부 신택스 정보를 사용할 수 있다.

인트라 예측 유닛(303)는, 공간적으로 인접한 블록(adjacent block)으로부터 예측 블록을 형성하기 위해 예를 들어 비트스트림에서 수신된 인트라 예측 모드를 사용할 수 있다. 역양자화 유닛(303)는 비트스트림에서 제공되고 엔트로피 디코딩 유닛(301)에서 디코딩된 양자화된 비디오 블록 계수를 역양자화(예를 들어, 비양자화(de-quantize))한다. 역트랜스폼 유닛(Inverse transform unit)(303)은 역트랜스폼을 적용한다.

재구성 유닛(Reconstruction unit)(306)은 모션 보상 유닛(202) 또는 인트라 예측 유닛(303)에 의해 생성된 대응하는 예측 블록과 잔차 블록을 합산하여 디코딩된 블록을 형성할 수 있다. 원하는 경우, 디블로킹 필터(deblocking filter)를 적용하여 차단 아티팩트를 제거하기 위해 디코딩된 블록을 필터링할 수도 있다. 디코딩된 비디오 블록은 버퍼(307)에 저장되고, 이는 이후의 모션 보상/인트라 예측에 대한 레퍼런스 블록을 제공하고, 디스플레이 장치에서 재생하기 위한 디코딩된 비디오를 생성한다.

도 6 및 7은 예를 들어, 도 1 내지 5에 도시된 실시예에서 위에서 설명된 기술적 솔루션을 구현할 수 있는 예시적인 방법을 도시한다.

도 6은 비디오 처리의 예시적인 방법(600)에 대한 흐름도를 도시한다. 방법(600)은, 동작(610)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 비트스트림은 AU가 CVS를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타내는 제1 신택스 요소를 더 포함한다.

도 17은 비디오 처리의 예시적인 방법(1700)에 대한 흐름도를 도시한다. 방법(700)은, 동작(710)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 비트스트림은 주어진 AU의 각 픽처가 하나 이상의 비디오 계층을 포함하는 CVS의 제1 AU의 계층 식별자와 동일한 계층 식별자를 포함하는 것을 지정하는 포맷 규칙을 따른다.

도 8은 비디오 처리의 예시적인 방법(800)에 대한 흐름도를 도시한다. 방법(800)은, 동작(810)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 비트스트림은 새로운 CVS를 시작하는 하나 이상의 AU의 AU를 나타내는 제1 신택스 요소를 더 포함한다.

도 9은 비디오 처리의 예시적인 방법(900)에 대한 흐름도를 도시한다. 방법(900)은, 동작(910)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 비트스트림은 새로운 CVS를 시작하는 코딩된 비디오 시퀀스 시작(CVSS) AU가 비디오 파라미터 세트(VPS)에 지정된 각 비디오 계층에 대한 픽처를 포함하는 것을 지정하는 포맷 규칙을 따른다.

도 10은 비디오 처리의 예시적인 방법(1000)에 대한 흐름도를 도시한다. 방법(1000)은, 동작(1010)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 상기 비트스트림은 주어진 AU가 비트스트림의 제1 AU 또는 시퀀스 종료(EOS) 네트워크 추상화 계층(NAL) 유닛을 포함하는 주어진 AU 이전의 AU인 것에 기초하여 주어진 AU가 코딩된 비디오 시퀀스 시작(CVSS) AU로서 식별되는 것을 지정하는 포맷 규칙을 따른다.

도 11은 비디오 처리의 예시적인 방법(1100)에 대한 흐름도를 도시한다. 방법(1100)은 동작(1110)에서, 규칙에 기초하여, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS), 및 부가 정보가 하나 이상의 AU의 AU가 코딩된 비디오 시퀀스 시작(CVSS) AU인지 여부를 표시하기 위해 사용된다는 것을 지정하는 규칙을 포함한다.

도 12는 비디오 처리의 예시적인 방법(1200)에 대한 흐름도를 도시한다. 방법(1200)은, 동작(1210)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스(CVS)를 포함하고, 비트스트림은 점진적 디코딩 리프레시(Refresh AU)인 하나 이상의 AU의 각각의 AU가 CVS에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함하도록 지정하는 포맷 규칙을 따른다.

도 13은 비디오 처리를 위한 예시적인 방법(1300)에 대한 흐름도를 도시한다. 방법(1300)은, 동작(1310)에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 비트스트림은 하나 이상의 액세스 유닛(AU)을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 인트라 랜덤 액세스 포인트 AU인 하나 이상의 AU의 각각의 AU가 CVS에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함하도록 지정하는 포맷 규칙을 따른다.

일부 실시예에서, 선호하는 솔루션 목록이 다음에 제공된다.

P1. 비디오 처리 방법은, 하나 이상의 비디오 계층에 하나 이상의 픽처를 갖는 비디오와 비디오의 인코딩된 버전을 표현하는 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 하나 이상의 액세스 유닛(AU)을 포함하고, 코딩된 표현은 AU가 유형인 경우에만 신택스 요소를 포함하고, 여기서, 코딩된 표현은 AU가 유형인 경우에만 신택스 요소를 포함하고, 여기서 신택스 요소는 AU가 코딩된 비디오 시퀀스를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타낸다.

P2. 솔루션 P1의 방법으로, 유형은 모든 AU를 포함한다.

P3. 솔루션 P1의 방법에서, 유형은 새로운 CVS를 시작하는 AU를 포함한다.

P4. 솔루션 P1의 방법에서, 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛(ccess unit delimiter network abstraction layer unit)에 포함된다.

P5. 솔루션 P1 내지 P4 중 어느 방법에서, 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함된다.

P6. 솔루션 P1 내지 P4 중 어느 방법에서, 여기서 신택스 요소는 새로운 네트워크 추상화 계층 유닛에 포함된다.

P7. 비디오 처리 방법은, 하나 이상의 비디오 계층에 하나 이상의 픽처를 갖는 비디오와 비디오의 인코딩된 버전을 표현하는 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 하나 이상의 액세스 유닛(AU)을 포함하고, 코딩된 표현은 지정된 AU의 각 픽처에 코딩된 비디오 시퀀스의 제1 AU와 동일한 계층 식별자를 포함하도록 지정하는 포맷 규칙을 따른다.

P8. 비디오 처리 방법은, 하나 이상의 비디오 계층에 하나 이상의 픽처를 갖는 비디오와 비디오의 인코딩된 버전을 표현하는 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 하나 이상의 액세스 유닛(AU)을 포함하고, 코딩된 표현은 AU가 새로운 코딩된 비디오 시퀀스를 시작하는 경우에만 신택스 요소를 포함한다.

P9. 솔루션 P8의 방법에서, 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛에 포함된다.

P10. 솔루션 P8 내지 P9 중 어느 방법에서, 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함된다.

P11. 솔루션 P8 내지 P9 중 어느 방법에서, 신택스 요소는 보충 강화 정보로서 포함된다.

P12. 비디오 처리 방법은, 하나 이상의 비디오 계층에서 하나 이상의 픽처를 갖는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 하나 이상의 액세스 유닛(AU)을 포함하고, 코딩된 표현은 코딩된 비디오 시퀀스에 대한 시작 AU가 비디오 파라미터 세트에 의해 지정된 각각의 비디오 계층에 대한 비디오 픽처를 포함하거나 또는 코딩된 표현이 규칙에 기초하여 시작 AU를 암시적으로 시그널링하도록 지정하는 포맷 규칙을 따른다.

P13. 비디오 처리 방법은, 하나 이상의 비디오 계층에서 하나 이상의 픽처를 갖는 비디오와 비디오의 코딩된 표현 사이의 변환을 수행하는 단계를 포함하고, 코딩된 표현은 하나 이상의 액세스 유닛(AU)을 포함하고, 코딩된 표현은 유형 점진적 디코딩 리프레시(GDR)의 각각의 AU가 코딩된 비디오 시퀀스의 각각의 비디오 계층에 대한 적어도 하나의 비디오 픽처를 포함함을 지정하는 포맷 규칙을 따른다.

P14. 솔루션 P13의 방법에서, 유형 GDR의 각 AU는 CVS의 각 계층에 대한 예측 유닛을 더 포함하고 PU는 GDR 픽처를 포함한다.

P15. 솔루션 P1 내지 P14 중 어느 방법에서, 변환은 비디오를 코딩된 표현으로 인코딩하는 단계를 포함한다.

P16. 솔루션 P1 내지 P14 중 어느 방법에서, 변환은 비디오의 픽셀 값을 생성하기 위해 코딩된 표현을 디코딩하는 단계를 포함한다.

P17. 솔루션 P1 내지 P16 중 어느 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치(video decoding apparatus).

P18. 솔루션 P1 내지 P16 중 어느 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치(video encoding apparatus).

P19. 컴퓨터 코드(computer code)가 저장되어 있는 컴퓨터 프로그램 제품(computer program product)에서, 코드는, 프로세서에 의해 실행 시, 프로세서로 하여금 솔루션 P1 내지 P16 중 어느 하나 이상에 인용된 방법을 구현하도록 한다.

일부 실시예에서, 선호하는 솔루션의 다른 목록이 다음에 제공된다.

A1. 비디오 처리 방법에서, 하나 이상의 비디오 계층(video layer)의 하나 이상의 픽처(picture)를 포함하는 비디오(video)와 비디오의 비트스트림(bitstream) 사이에서 변환(conversion)을 수행하는 단계를 포함하고, 여기서 비트스트림은 액세스 유닛(access unit)이 코딩된 비디오 시퀀스(coded video sequence)를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타내는 제1 신택스 요소(first syntax element)를 더 포함한다.

A2. 솔루션 A1의 방법에서, 액세스 유닛은 새로운 코딩된 비디오 시퀀스를 시작하도록 구성된다.

A3. 솔루션 A2의 방법에서, 각 비디오 계층에 대한 픽처는 인트라 랜덤 액세스 포인트 픽처 또는 점진적 디코딩 리프레시 픽처다.

A4. 솔루션 A1의 방법에서, 제1 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛에 포함된다.

A5. 솔루션 A4의 방법에서, 제1 신택스 요소는 액세스 유닛 구분 기호를 포함하는 액세스 유닛이 인트라 랜덤 액세스 포인트 액세스 유닛인지 또는 점진적 디코딩 리프레시 액세스 유닛인지를 나타내는 플래그이다.

A6. 솔루션 A5의 방법에서, 여기서 제1 신택스 요소는 irap_or_gdr_au_flag이다.

A7. 솔루션 A4의 방법에서, 액세스 유닛 구분자 네트워크 추상화 계층 유닛은, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 1보다 큰 경우, 각각의 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 액세스 유닛 구분자 네트워크 추상화 계층 유닛이다.

A8. 솔루션 A7의 방법에서, 제2 신택스 요소는 비디오 파라미터 세트를 참조하는 각각의 코딩된 비디오 시퀀스의 계층의 최대 허용 개수를 나타낸다.

A9. 솔루션 A1의 방법에서, 1과 동일한 제1 신택스 요소는 IDR_W_RADL에서 GDR_NUT까지를 포함하는 범위의 동일한 네트워크 추상화 계층 유닛 유형을 포함하는 액세스 유닛의 모든 슬라이스를 나타낸다.

A10. 솔루션 A9의 방법에서, 1과 동일하고 네트워크 추상화 계층 유닛 유형이 IDR_W_RADL 또는 IDR_N_LP인 제1 신택스 요소는 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛임을 나타낸다.

A11. 솔루션 A9의 방법에서, 액세스 유닛의 픽처들 각각에 대한 변수가 1과 동일하고 네트워크 추상화 계층 유닛 유형이 CRA_NUT 또는 GDR_NUT인 것은 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛임을 나타낸다.

A12. 솔루션 A11의 방법에서, 여기서 변수는 픽처가 복구되기 전에 디코딩 순서로 현재 픽처 이전의 디코딩된 픽처 버퍼의 픽처가 출력되는지 여부를 나타낸다.

A13. 솔루션 A11의 방법에서, 여기서 변수는 NoOutputBeforeRecoveryFlag이다.

A14. 솔루션 A1의 방법에서, 여기서 제1 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함된다.

A15. 솔루션 A1의 방법에서, 여기서 제1 신택스 요소는 새로운 네트워크 추상화 계층 유닛에 포함된다.

A16. 솔루션 A15의 방법에서, 새로운 네트워크 추상화 계층 유닛은, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 1보다 큰 경우, 각 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 새로운 네트워크 추상화 계층 유닛이다.

A17. 솔루션 A1의 방법에서, 여기서 제1 신택스 요소는 보충 강화 정보 메시지(supplementary enhancement information message)에 포함된다.

A18. 솔루션(A17)의 방법에서, 보충 강화 정보 메시지는, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 0보다 큰 경우, 각각의 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 보충 강화 정보 메시지이다.

A19. 비디오 처리 방법에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 주어진 액세스 유닛의 각각의 픽처가 하나 이상의 비디오 계층을 포함하는 코딩된 비디오 시퀀스의 제1 액세스 유닛의 계층 식별자와 동일한 계층 식별자를 포함함을 지정하는 포맷 규칙을 따른다.

A20. 비디오 처리 방법에서, 하나 이상의 비디오 계층의 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및 여기서 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 하나 이상의 액세스 유닛의 액세스 유닛을 나타내는 제1 신택스 요소를 더 포함한다.

A21. 솔루션 A20의 방법에서, 제1 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛에 포함된다.

A22. 솔루션 A20의 방법에서, 여기서 제1 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함된다.

A23. 솔루션 A20의 방법에서, 여기서 제1 신택스 요소는 새로운 네트워크 추상화 계층 유닛에 포함된다.

A24. 솔루션(A20)의 방법에서, 상기 제1 신택스 요소는 보충 강화 정보 메시지에 포함된다.

A25. 비디오 처리 방법에서, 하나 이상의 비디오 계층들의 하나 이상의 픽처들을 포함하는 비디오와 비디오의 비트스트림 사이에서 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 코딩된 비디오 시퀀스 시작 액세스 유닛이 비디오 파라미터 세트에 지정된 각각의 비디오 계층에 대한 픽처를 포함하는 것을 지정하는 포맷 규칙을 따른다.

A26. 비디오 처리 방법에서, 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 상기 비트스트림은 주어진 액세스 유닛은 비트스트림의 제1 액세스 유닛인 주어진 액세스 유닛 또는 시퀀스 네트워크 추상화 계층 유닛의 끝을 포함하는 주어진 액세스 유닛 이전의 액세스 유닛인 것에 기초하여 코딩된 비디오 시퀀스 시작 액세스 유닛으로서 식별되는 것을 지정하는 포맷 규칙을 따른다.

A27. 비디오 처리 방법에서, 규칙에 기초하여, 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 규칙은 하나 이상의 액세스 유닛의 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛인지를 표시하기 위해 부가 정보(side information)가 사용되는 것을 지정한다.

A28. 솔루션 A1 내지 A27 중 어느 하나에 있어서, 변환은 비트스트림으로부터 비디오를 디코딩하는 단계를 포함한다.

A29. 솔루션 A1 내지 A27 중 어느 하나에 있어서, 변환은 비디오를 비트스트림으로 인코딩하는 단계를 포함한다.

A30. 비디오를 표현하는 비트스트림을 컴퓨터 판독 가능 기록 매체에 저장하는 방법에서, 솔루션 A1 내지 A27 중 어느 하나 이상에 기술된 방법에 따라 비디오로부터 비트스트림을 생성하는 단계; 및 비트스트림을 컴퓨터 판독 가능 기록 매체에 저장하는 단계를 포함한다.

A31. 솔루션 1 내지 솔루션 28 중 어느 하나 이상에 언급된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 처리 장치(video processing apparatus).

A32. 실행될 때 프로세서로 하여금 솔루션 1 내지 솔루션 27 중 어느 하나 이상에 인용된 방법을 구현하게 하는 명령이 저장된 컴퓨터 판독 가능 매체.

A33. 솔루션 A1 내지 A30 중 어느 하나에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능 매체.

A34. 비트스트림을 저장하기 위한 비디오 처리 장치(video processing apparatus)에서, 비디오 처리 장치는 솔루션 A1 내지 A30 중 어느 하나 이상에 언급된 방법을 구현하도록 구성된다.

일부 실시예에 의해 선호되는 또 다른 솔루션 목록이 다음에 제공된다.

B1. 비디오 처리 방법에서, 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 점진적 디코딩 리프레시 액세스 유닛(gradual decoding refresh access unit)인 하나 이상의 액세스 유닛의 각각의 액세스 유닛이 코딩된 비디오 시퀀스에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함함을 지정하는 포맷 규칙을 따른다.

B2. 솔루션 B1의 방법에서, 점진적 디코딩 리프레시 액세스 유닛인 각각의 액세스 유닛은 코딩된 비디오 시퀀스에 존재하는 각 계층에 대한 예측 유닛을 포함하고, 각 계층에 대한 예측 유닛은 점진적 디코딩 리프레시 픽처인 코딩된 픽처를 포함한다.

B3. 비디오 처리 방법에서, 하나 이상의 비디오 계층들의 하나 이상의 비디오들을 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은 하나 이상의 액세스 유닛들을 포함하는 코딩된 비디오 시퀀스를 포함하고, 비트스트림은 인트라 랜덤 액세스 포인트 액세스 유닛(intra random access points access unit)인 하나 이상의 액세스 유닛의 각각의 액세스 유닛이 코딩된 비디오 시퀀스에 존재하는 각각의 비디오 계층에 대해 정확히 하나의 픽처를 포함함을 지정하는 포맷 규칙을 따른다.

B4. 솔루션 B1 내지 B3 중 어느 하나에서, 변환은 비트스트림으로부터 비디오를 디코딩하는 단계를 포함한다.

B5. 솔루션 B1 내지 B3 중 어느 하나에서, 변환은 비디오를 비트스트림으로 인코딩하는 단계를 포함한다.

B6. 비디오를 표현하는 비트스트림을 컴퓨터 판독 가능 기록 매체에 저장하는 방법에서, 솔루션 B1 내지 B3 중 어느 하나 이상에 기술된 방법에 따라 비디오로부터 비트스트림을 생성하는 단계; 및 비트스트림을 컴퓨터 판독 가능 기록 매체에 저장하는 단계를 포함한다.

B7. 솔루션 B1 내지 B6 중 어느 하나 이상에 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 처리 장치(video processing apparatus).

B8. 실행될 때 프로세서로 하여금 솔루션 B1 내지 B6 중 어느 하나 이상에 인용된 방법을 구현하게 하는 명령이 저장된 컴퓨터 판독 가능 매체.

B9. 솔루션 B1 내지 B6 중 어느 하나 이상에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능 매체.

B10. 비트스트림을 저장하기 위한 비디오 처리 장치(video processing apparatus)로서, 상기 비디오 처리 장치(video processing apparatus)는 솔루션 B1 내지 B6 중 어느 하나 이상에 언급된 방법을 구현하도록 구성된다.

본 문서에서 "비디오 처리(video processing)"라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축 해제(decompression)를 의미할 수 있다. 예를 들어, 비디오 압축 알고리즘은 비디오의 픽셀 표현에서 대응하는 비트스트림 표현으로 또는 그 반대로 변환 동안 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의된 바와 같이 비트스트림의 다른 위치들에 함께 배치(병치)(co-located)되거나 확산되는 비트들에 대응할 수 있다. 예를 들어, 매크로블록(macroblock)은 변환 및 코딩된 오류 잔차 값의 관점에서, 그리고 또한 비트스트림의 헤더 및 기타 필드에 비트를 사용하여 인코딩 될 수 있다. 또한, 변환 동안, 디코더는 위의 솔루션에서 설명된 바와 같이 결정에 기초하여 일부 필드들이 존재하거나 없을 수 있다는 지식으로 비트스트림을 파싱할 수 있다. 유사하게, 인코더는 특정 신택스 필드가 포함되는지 여부를 결정할 수 있고, 이에 따라 코딩된 표현으로부터 신택스 필드를 포함하거나 또는 제외함으로써 코딩된 표현을 생성할 수 있다.

본 문서에 기재된 개시 및 기타 솔루션, 예, 실시예, 모듈 및 기능적 동작(operation)은 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있으며, 여기에는 이 문서 및 그 구조적 등가물 또는 그 중 하나 이상의 조합으로 구현될 수 있다. 개시된 및 다른 실시예는 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 처리 장치(data processing apparatus)에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 판독 가능 매체 상에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로, 구현될 수 있다. 컴퓨터 판독 가능 매체는 기계 판독 가능 저장 장치, 기계 판독 가능 저장 기판, 메모리 장치, 기계 판독 가능 전파 신호에 영향을 미치는 물질의 조성 또는 하나 이상의 조합일 수 있다. 용어 "데이터 처리 장치(data processing apparatus)"는 예를 들어, 프로그래밍 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함하여 데이터를 처리하기 위한 모든 장치(apparatus), 장치(device) 및 컴퓨터를 포함한다. 장치(apparatus)는 하드웨어에 추가하여 대응 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 전파된 신호는 인위적으로 생성된 신호, 예를 들어, 기계에서 생성된 전기, 광학 또는 전자기 신호이고, 이는 적합한 수신기 장치(receiver apparatus)로 전송하기 위한 정보를 인코딩 하기 위해 생성된다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은 컴파일 된 언어를 비롯한 모든 형태의 프로그래밍 언어로 작성할 수 있으며 독립 실행형 프로그램 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 컴포넌트, 서브루틴 또는 기타 유닛으로 모든 형태로 배포할 수 있다.

컴퓨터 프로그램이 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 다른 프로그램이나 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 대응하는 프로그램에 전용되는 단일 파일 또는 여러 조정된 파일들(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드 일부를 저장하는 파일)에 저장할 수 있다.

컴퓨터 프로그램은 한 컴퓨터 또는 한 사이트에 위치하거나 여러 사이트에 분산되고 통신 네트워크에 의해 상호 연결된 여러 컴퓨터에서 실행하도록 배포할 수 있다.

이 문서에 설명된 프로세스 및 논리 흐름은 하나 이상의 프로그래밍 가능한 프로세서가 하나 이상의 프로그래밍 가능한 프로세서에서 수행하여 입력 데이터에서 작동하고 출력을 생성하여 기능을 수행할 수 있다. 프로세스 및 로직 흐름도 수행될 수 있으며, 장치(apparatus)는 특수 목적 논리 회로, 예를 들어, FPGA(필드 프로그래밍 가능한 게이트 어레이) 또는 ASIC(애플리케이션 별 집적 회로)로 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서에는 예를 들어, 일반 및 특수 목적 마이크로프로세서와 모든 종류의 디지털 컴퓨터의 하나 이상의 프로세서가 포함된다. 일반적으로 프로세서는 읽기 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 지침과 데이터를 받게 된다. 컴퓨터의 필수 요소는 지침과 데이터를 저장하기 위한 하나 이상의 메모리 장치를 수행하기 위한 프로세서이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어, 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 전체를 포함하거나 작동 가능하게 연결된다. 그러나, 컴퓨터에 이러한 장치가 필요하지 않다. 컴퓨터 프로그램 지침 및 데이터를 저장하는 데 적합한 컴퓨터 판독 가능 미디어에는 반도체 메모리 장치, 예를 들어, EPROM, EEPROM 및 플래시 메모리 장치, 자기 디스크, 예를 들어, 내부 하드 디스크 또는 이동식 디스크; 마그네토 광학 디스크; 및 CD ROM 및 DVD-ROM 디스크를 비롯한 모든 형태의 비휘발성 메모리, 미디어 및 메모리 장치가 포함된다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보충되거나 통합될 수 있다.

이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 어떤 주제의 범위 나 청구될 수 있는 것에 대한 제한으로 해석되어서는 안되고, 오히려 특정 기술의 특정 구현예에 지정할 수 있는 특징에 대한 설명으로 해석되어서는 안 된다. 이 특허 문서에 기재된 특정 특징은 별도의 실시예의 맥락에서 또한 단일 실시예에서 조합하여 구현될 수 있다. 역으로, 단일 실시예의 맥락에서 설명된 다양한 특징은 또한 개별적으로 또는 임의의 적절한 서브 조합으로 다중 실시예들에서도 구현될 수 있다. 더욱이, 앞서와 같이 특징들은 특정 조합으로 작용하는 것으로 설명될 수 있고 심지어 처음에 그렇게 주장될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징은 어떤 경우에는 조합으로부터 제외될 수 있고, 주장된 조합은 서브 조합 또는 서브 조합의 변형에 관한 것일 수 있다.

마찬가지로, 동작은 특정 순서로 도면에 묘사되어 있지만, 바람직한 결과를 달성하기 위하여, 이러한 동작이 표시된 특정 순서 또는 순차적인 순서로 수행되거나, 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 더욱이, 본 특허 문서에 기재된 실시예들에서, 다양한 시스템 컴포넌트들의 분리가 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다.

몇 가지 구현 및 예제만 설명되고 있으며, 이 특허 문서에 설명되고 예시된 내용에 기초하여 다른 구현, 개선 및 변형을 만들 수 있다.

Claims

비디오 처리 방법에 있어서,
하나 이상의 비디오 계층에 있는 하나 이상의 픽처를 포함하는 비디오와 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 비트스트림은 액세스 유닛이 상기 코딩된 비디오 시퀀스를 구성하는 각각의 비디오 계층에 대한 픽처를 포함하는지 여부를 나타내는 제1 신택스 요소를 더 포함하는
방법.
제1항에 있어서,
상기 액세스 유닛은 새로운 코딩된 비디오 시퀀스를 시작하도록 구성되는
방법.
제2항에 있어서, 각 비디오 계층에 대한 상기 픽처는 인트라 랜덤 액세스 포인트 픽처 또는 점진적 디코딩 리프레시 픽처인
방법.
제1항에 있어서,
상기 제1 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛에 포함되는
방법.
제4항에 있어서,
상기 제1 신택스 요소는 액세스 유닛 구분 기호를 포함하는 액세스 유닛이 인트라 랜덤 액세스 포인트 액세스 유닛인지 아니면 점진적 디코딩 리프레시 액세스 유닛인지를 나타내는 플래그인
방법.
제5항에 있어서,
상기 제1 신택스 요소는 irap_or_gdr_au_flag인
방법.
제4항에 있어서,
상기 액세스 유닛 구분자 네트워크 추상화 계층 유닛은, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 1보다 큰 경우, 각각의 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 액세스 유닛 구분자 네트워크 추상화 계층 유닛인
방법.
제7항에 있어서,
상기 제2 신택스 요소는 상기 비디오 파라미터 세트를 참조하는 각각의 코딩된 비디오 시퀀스의 계층의 최대 허용 개수를 나타내는
방법.
제1항에 있어서,
1과 동일한 상기 제1 신택스 요소는 IDR_W_RADL에서 GDR_NUT까지를 포함하는 범위의 동일한 네트워크 추상화 계층 유닛 유형을 포함하는 상기 액세스 유닛의 모든 슬라이스를 나타내는
방법.
제9항에 있어서, 1과 동일하고 상기 네트워크 추상화 계층 유닛 유형이 IDR_W_RADL 또는 IDR_N_LP인 상기 제1 신택스 요소는 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛임을 나타내는
방법.
제9항에 있어서,
상기 액세스 유닛의 픽처 각각에 대한 변수가 1과 동일하고 상기 네트워크 추상화 계층 유닛 유형이 CRA_NUT 또는 GDR_NUT인 것은 상기 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛임을 나타내는
방법.
제11항에 있어서,
상기 변수는 상기 픽처가 복구되기 전에 디코딩 순서로 현재 픽처 이전의 디코딩된 픽처 버퍼의 픽처가 출력되는지 여부를 나타내는
방법.
제11항에 있어서,
상기 변수는 NoOutputBeforeRecoveryFlag인
방법.
제1항에 있어서,
상기 제1 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함되는
방법.
제1항에 있어서,
상기 제1 신택스 요소는 새로운 네트워크 추상화 계층 유닛에 포함되는
방법.
제15항에 있어서,
상기 새로운 네트워크 추상화 계층 유닛은, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 1보다 큰 경우, 각 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 새로운 네트워크 추상화 계층 유닛인
방법.
제1항에 있어서,
상기 제1 신택스 요소는 보충 강화 정보 메시지에 포함되는
방법.
제17항에 있어서,
상기 보충 강화 정보 메시지는, 비디오 파라미터 세트에 의해 지정된 비디오 계층의 수를 나타내는 제2 신택스 요소가 0보다 큰 경우, 각각의 인트라 랜덤 액세스 포인트 액세스 유닛 또는 점진적 디코딩 리프레시 액세스 유닛에 존재하는 유일한 보충 강화 정보 메시지인
방법.
비디오 처리 방법에 있어서,
하나 이상의 비디오 계층에 있는 하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 비트스트림은 주어진 액세스 유닛의 각각의 픽처가 상기 하나 이상의 비디오 계층을 포함하는 상기 코딩된 비디오 시퀀스의 제1 액세스 유닛의 계층 식별자와 동일한 계층 식별자를 포함함을 지정하는 포맷 규칙을 따르는
방법.
비디오 처리 방법에 있어서,
하나 이상의 비디오 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 상기 하나 이상의 액세스 유닛의 액세스 유닛을 나타내는 제1 신택스 요소를 더 포함하는
방법.
제20항에 있어서,상기 제1 신택스 요소는 액세스 유닛 구분 기호 네트워크 추상화 계층 유닛에 포함되는
방법.
제20항에 있어서,상기 제1 신택스 요소는 네트워크 추상화 계층 유닛 헤더에 포함되는
방법.
제20항에 있어서,상기 제1 신택스 요소는 새로운 네트워크 추상화 계층 유닛에 포함되는
방법.
제20항에 있어서,상기 제1 신택스 요소는 보충 강화 정보 메시지에 포함되는
방법.
비디오 처리 방법에 있어서,
하나 이상의 비디오 계층에 있는 하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 비트스트림은 새로운 코딩된 비디오 시퀀스를 시작하는 코딩된 비디오 시퀀스 시작 액세스 유닛이 비디오 파라미터 세트에 지정된 각각의 비디오 계층에 대한 픽처를 포함하는 것을 지정하는 포맷 규칙을 따르는
방법.
비디오 처리 방법에 있어서,
하나 이상의 비디오 계층에 있는 하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 비트스트림은 주어진 액세스 유닛은 상기 비트스트림의 제1 액세스 유닛인 상기 주어진 액세스 유닛 또는 시퀀스 네트워크 추상화 계층 유닛의 끝을 포함하는 상기 주어진 액세스 유닛 이전의 액세스 유닛인 것에 기초하여 코딩된 비디오 시퀀스 시작 액세스 유닛으로서 식별되는 것을 지정하는 포맷 규칙을 따르는
방법.
비디오 처리 방법에 있어서,
규칙에 기초하여, 하나 이상의 비디오 계층에 있는 하나 이상의 픽처를 포함하는 비디오와 상기 비디오의 비트스트림 사이의 변환을 수행하는 단계를 포함하고,
상기 비트스트림은 하나 이상의 액세스 유닛을 포함하는 코딩된 비디오 시퀀스를 포함하고, 및
상기 규칙은 상기 하나 이상의 액세스 유닛의 액세스 유닛이 코딩된 비디오 시퀀스 시작 액세스 유닛인지를 표시하기 위해 부가 정보가 사용되는 것을 지정하는
방법.
제1항 내지 제27항 중 어느 한 항에 있어서,
상기 변환은 상기 비트스트림으로 부터 상기 비디오를 디코딩하는 단계를 포함하는
방법.
제1항 내지 제27항 중 어느 한 항에 있어서,
상기 변환은 상기 비디오를 상기 비트스트림으로 인코딩하는 단계를 포함하는
방법.
비디오를 표현하는 비트스트림을 컴퓨터 판독 가능 기록 매체에 저장하는 방법에 있어서,
제1항 내지 제27항 중 어느 하나 이상에 기술된 방법에 따라 상기 비디오로부터 상기 비트스트림을 생성하는 단계; 및
상기 컴퓨터 판독 가능 기록 매체에 상기 비트스트림을 저장하는 단계를 포함하는
방법.
제1항 내지 제30항 중 어느 한 항에 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 처리 장치.
저장된 명령을 갖는 컴퓨터 판독 가능 매체에 있어서,
상기 명령이, 실행될 때, 프로세서로 하여금 제1항 내지 제30항 중 어느 한 항에 기재된 방법을 구현하게 하는
컴퓨터 판독 가능 매체.
제1항 내지 제30항 중 어느 하나 이상의 항에 따라 생성된 비트스트림을 저장하는 컴퓨터 판독 가능 매체.
비트스트림을 저장하기 위한 비디오 처리 장치에 있어서,
상기 비디오 처리 장치는 제1항 내지 제30항 중 어느 한 항에 기재된 방법을 구현하도록 구성되는
비디오 처리 장치.