KR20230020425A

KR20230020425A - 비디오 코딩에서 보충 향상 정보 메시지의 스케일러블 네스팅

Info

Publication number: KR20230020425A
Application number: KR1020227043120A
Authority: KR
Inventors: 이에-쿠이 왕
Original assignee: 바이트댄스 아이엔씨
Priority date: 2020-06-09
Filing date: 2021-06-08
Publication date: 2023-02-10
Also published as: CN115699740A; EP4154532A4; CN115699772A; EP4154532A1; US11917184B2; WO2021252461A1; US20230108273A1; US20240098292A1; US11838529B2; JP2023529423A; EP4154526A1; CN115699741A; US20230111805A1; EP4154526A4; WO2021252457A1; US20230099238A1; JP2023529422A; EP4154542A1; WO2021252453A1; KR20230020424A

Abstract

비디오 인코딩 및 비디오 디코딩을 위한 몇몇 기술들이 개시된다. 예시적인 비디오 데이터 프로세싱 방법은 하나 이상의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하며, 여기서 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지들은 포맷 규칙에 따라 상기 변환 동안 프로세싱되고, 상기 포맷 규칙은 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지가 스케일러블 네스팅 보충 향상 정보 메시지내에 있는 것을 허용하지 않는다.

Description

비디오 코딩에서 보충 향상 정보 메시지의 스케일러블 네스팅

관련 출원의 상호 참조

파리 협약에 따른 적용가능한 특허법 및/또는 규칙에 따라, 본 출원은 2020년 6월 9일에 제출된 미국 가출원 번호 63/036,743 에 대한 우선권과 혜택을 적시에 청구하기 위하여 만들어졌다. 법 하의 모든 목적을 위해, 상술한 출원의 전체 개시물은 본 출원의 개시의 일부로서 참고로 통합된다.

본 문서는 이미지 및 비디오 코딩에 관한 것이다.

디지털 비디오는 인터넷 및 다른 디지털 통신 네트워크 상에서 가장 큰 대역폭 사용을 차지한다. 비디오를 수신하고 디스플레이할 수 있는 연결된 사용자 장치의 수가 증가함에 따라, 디지털 비디오 사용에 대한 대역폭 요구가 계속 증가할 것으로 기대된다.

본 문서는 비디오 또는 이미지의 코딩된 표현을 프로세싱하기 위한 비디오 인코더 및 디코더에 의해 사용될 수 있는 기술을 개시한다.

일 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 하나 이상의 서브픽처들을 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 필러 페이로드(filler payloads)를 갖는 하나 이상의 보충 향상 정보 메시지들(supplemental enhancement information messages)은 포맷 규칙에 따라 상기 변환 동안 처리되어 진다. 상기 포맷 규칙은 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지가 스케일러블 네스팅 보충 향상 정보 메시지(scalable nesting supplemental enhancement information message) 내에 있는 것을 허용하지 않는다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 규칙에 따라 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 하나 이상의 신택스 요소들이 포맷 규칙에 따라 상기 변환 동안 처리된다. 상기 포맷 규칙은 하나 이상의 신택스 요소들이 복수 서브픽처가 포함된 픽처를 가지는 비디오의 레이어에 대한 서브픽처 정보를 나타내는데 사용됨을 명시한다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 복수 서브픽처들을 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 스케일러블-네스티드 보충 향상 정보 메시지(scalable-nested supplemental enhancement information message)가 포맷 규칙에 따라 상기 변환 동안 처리되어 진다. 상기 포맷 규칙은 하나 이상의 서브픽처를 상기 스케일러블-네스티드 보충 향상 정보 메시지에 연관시키기 위해 하나 이상의 서브픽처 인덱스를 사용함을 명시한다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 하나 이상의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 포맷 규칙에 따라 수행하는 단계를 포함한다. 상기 포맷 규칙은 하나 이상의 서브픽처 레벨 정보 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지에 대응하여 상기 비트스트림의 상기 스케일러블 네스팅 보충 향상 정보 메시지내의 제1 신택스 요소를 특정 값으로 설정함을 명시하되, 상기 제1 신택스 요소의 특정 값은 상기 스케일러블 네스팅 보충 향상 정보 메시지가 특정 츨력 비디오 레이어 세트에 적용되는 하나 이상의 스케일러블-네스티드 보충 향상 정보 메시지를 포함함을 지시한다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 복수의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 상기 변환은 스케일러블 네스팅 보충 향상 정보 메시지가 제1 페이로드 타입의 제1 보충 향상 정보 메시지 및 제2 페이로드 타입의 제2 보충 향상 정보 메시지를 포함하는 것을 허용하지 않음을 명시하는 포맷 규칙에 따라 수행된다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 상기 변환은, 특정 페이로드 타입에 관련되지 않은 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지를 포함하는 보충 향상 정보 메시지 네트워크 추상화 계층 단위(supplemental enhancement information network abstraction layer unit)에 대응하여, 상기 보충 향상 정보 메시지 네트워크 추상화 계층 단위는 네트워크 추상화 게층 단위 타입이 접두 보충 향상 정보 메시지 네트워크 추상화 계층 단위 타입(prefix supplemental enhancement information network abstraction layer unit type)과 동일함을 명시하는 포맷 규칙에 따라 수행된다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하되, 상기 변환은 특정 페이로드 타입에 관련된 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지를 포함하는 보충 향상 정보 메시지 네트워크 추상화 계층 단위(supplemental enhancement information network abstraction layer unit)에 대응하여, 상기 보충 향상 정보 메시지 네트워크 추상화 계층 단위는 네트워크 추상화 게층 단위 타입이 접미 보충 향상 정보 메시지 네트워크 추상화 계층 단위 타입(suffix supplemental enhancement information network abstraction layer unit type)과 동일함을 명시하는 포맷 규칙에 따라 수행된다.

다른 예시적인 양태에서, 비디오 프로세싱 방법이 개시된다. 상기 방법은 하나 이상의 서브픽처 또는 하나 이상의 서브픽처 시퀀스(subpicture sequences)를 포함하는 비디오와 상기 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 상기 코딩된 표현은 스케일러블-네스티드 보충 향상 정보 메시지(scalable-nested supplemental enhancement information message (SEI))가 상기 코딩된 표현에 포함되는지 여부 또는 어떻게 포함되는지를 명시하는 포맷 규칙에 따른다.

또 다른 예시적인 양태에서, 비디오 인코더 장치가 개시된다. 비디오 인코더는 전술한 방법을 구현하도록 구성된 프로세서를 포함한다.

또 다른 예시적인 양태에서, 비디오 디코더 장치가 개시된다. 비디오 디코더는 전술한 방법을 구현하도록 구성된 프로세서를 포함한다.

또 다른 예시적인 양태에서, 코드가 저장된 컴퓨터 판독가능 매체가 개시된다. 코드는 프로세서 실행 가능 코드의 형태로 여기에 설명된 방법 중 하나를 구현한다.

이들 및 기타 특징은 본 문서 전체에 걸쳐 설명되어 있다.

도 1은 12개의 타일과 3개의 래스터 스캔 슬라이스로 분할되는 픽처의 래스터 스캔 슬라이스 분할(raster-scan slice partitioning)의 예를 나타내는 도면.
도 2는 24개의 타일(6개의 타일 열 및 4개의 타일 행) 및 9개의 직사각형 슬라이스로 분할되는 픽처의 직사각형 슬라이스 분할의 예를 나타내는 도면.
도 3은 타일과 직사각형 슬라이스로 분할되는 픽처의 예를 나타내는 도면으로서, 픽처는 4개의 타일(2개의 타일 열 및 2개의 타일 행) 및 4개의 직사각형 슬라이스로 분할되는 도면.
도 4는 15개의 타일, 24개의 슬라이스 및 24개의 서브픽처로 분할되는 픽처를 나타내는 도면.
도 5는 예시적인 비디오 프로세싱 시스템의 블록도.
도 6은 비디오 프로세싱 장치의 블록도.
도 7은 예시적인 비디오 프로세싱 방법의 플로우챠트.
도 8는 본 개시의 일부 실시예에 따른 비디오 코딩 시스템을 나타내는 블록도.
도 9는 본 개시의 일부 실시예에 따른 인코더를 나타내는 블록도.
도 10은 본 개시의 일부 실시예에 따른 디코더를 나타내는 블록도.
도 11은 일반적인 서브픽처 기반 뷰포트 종속 360° 비디오 코딩 방식의 예를 나타내는 도면.
도 12는 서브픽처 및 공간적 스캘러빌러티(spatial scalability)에 기초한 뷰포트 종속 360° 비디오 코딩 방식을 나타내는 도면.
도 13 내지 도 19는 비디오 데이터 프로세싱을 위한 예시적 방법들에 대한 플로우챠트(flowcharts).

섹션 표제는 이해의 편의를 위해 본 문서에서 사용되며, 각 섹션에 개시된 기술 및 실시예의 적용가능성은 그 섹션에만 제한되지 않는다. 또한, H.266 용어는 단지 이해의 편의를 위해 일부 설명에서 사용되며 개시된 기술의 범위를 제한하기 위한 것이 아니다. 이와 같이, 여기에 기재된 기술은 다른 비디오 코덱 프로토콜 및 설계에 적용가능하다. 본 문서에서, 편집 변경 사항은, VVC 사양의 현재 초안과 관련하여, 취소된 텍스트를 나타내는 취소선과 추가된 텍스트(굵은 이텔릭체 포함)를 나타내는 강조표시로 텍스트에 표시된다.

1. 개요

이 문서는 비디오 코딩 기술에 관한 것이다. 구체적으로, 서브픽처 시퀀스를 위한 레벨 정보를 구체화하고 시그널링에 관한 것이다. 이는, 예를 들어 개발중인 VVC(Versatile Video Coding)로, 싱글레이어 비디오 코딩 및 멀티레이어 비디오 코딩을 지원하는 임의의 비디오 코딩 표준 또는 비표준 비디오 코덱에 적용될 수 있다.

2, 약어

APS 적응 파라미터 세트(Adaptation Parameter Set)

AU 액세스 유닛(Access Unit)

AUD 액세스 유닛 구분자(Access Unit Delimiter)

AVC 어드밴스드 비디오 코딩(Advanced Video Coding)

CLVS 코딩된 층 비디오 시퀀스(Coded Layer Video Sequence)

CPB 코딩된 픽처 버퍼(Coded Picture Buffer)

CRA 클린 랜덤 액세스(Clean Random Access)

CTU 코딩 트리 유닛(Coding Tree Unit)

CVS 코딩된 비디오 시퀀스(Coded Video Sequence)

DPB 디코딩된 픽처 버퍼(Decoded Picture Buffer)

DPS 디코딩 파라미터 세트(Decoding Parameter Set)

DUI 디코딩 유닛 정보(Decoding Unit Information)

EOB 비트스트림의 끝(End Of Bitstream)

EOS 시퀀스의 끝(End Of Sequence)

GCI 일반 제약 정보 (General Constraints Information)

GDR 점진적 디코딩 리프레쉬(Gradual Decoding Refresh)

HEVC 고효율 비디오 코딩(High Efficiency Video Coding)

HRD 가상 참조 비디오(Hypothetical Reference Decoder)

IDR 즉각적인 디코딩 리프레쉬(Instantaneous Decoding Refresh)

JEM 조인트 익스플로레이션 모델(Joint Exploration Model)

MCTS 움직임 제한 타일 세트(Motion-Constrained Tile Sets)

NAL 네트워크 추상화 계층(Network Abstraction Layer)

OLS 출력 계층 세트(Output Layer Set)

PH 픽처 헤더(Picture Header)

PPS 픽처 파라미터 세트(Picture Parameter Set)

PT 픽처 타이밍 (Picture Timing)

PTL 프로파일, 티어, 및 레벨(Profile, Tier and Level)

PU 픽처 유닛(Picture Unit)

RRP 참조 픽처 리샘플링 (Reference Picture Resampling)

RBSP 로 바이트 시퀀스 페이로드(Raw Byte Sequence Payload)

SEI 보충 향상 정보(Supplemental Enhancement Information)

SH 슬라이스 헤더 (Slice Header)

SLI 서브픽처 레벨 정보 (Subpicture Level Information)

SPS 시퀀스 파라미터 세트(Sequence Parameter Set)

SVC 스케일러블 비디오 코딩(Scalable Video Coding)

VCL 비디오 코딩 계층(Video Coding Layer)

VPS 비디오 파라미터 세트(Video Parameter Set)

VTM VVS 테스트 모델(VVC Test Model)

VUI 비디오 사용성 정보(Video Usability Information)

VVC 다목적 비디오 코딩(Versatile Video Coding)

3. 초기 논의

비디오 코딩 표준은 주로 잘 알려진 ITU-T 및 ISO/IEC 표준의 개발을 통해 발전해왔다. ITU-T는 H.261 및 H.263을 제작하였고, ISO/IEC는 MPEG-1 및 MPEG-4 Visual을 제작하였고, 이들 두 조직은 공동으로 H.262/MPEG-2 Video 및 H.264/MPEG-4 Advanced Video Coding (AVC) 및 H.265/HEVC 표준을 제작하였다. H.262 이후, 비디오 코딩 표준은 시간 예측 및 변환 코딩이 이용되는 하이브리드 비디오 코딩 구조에 기초한다. HEVC 이후의 미래의 비디오 코딩 기술을 탐구하기 위하여, 2015년에 VCEG 및 MPEG가 공동으로 JVET(Joint Video Exploration Team)를 설립하였다. 그 후, 많은 새로운 방법이 JVET에 의해 채택되어 왔고, JEM(Joint Exploration Model)이라는 참조 소프트웨어에 적용되었다. JVET 회의는 분기마다 1회 동시 개최되며, 새로운 코딩 표준은 HEVC 대비 50% 비트레이트 감소를 목표로 하고 있다. 새로운 비디오 코딩 표준은 2018년 4월 JVET 회의에서 공식적으로 VVC(Versatile Video Coding)로 명명되었으며, 그 때 VVC 테스트 모델(VTM)의 첫 번째 버전이 출시되었다. VVC 표준화에 기여하는 지속적인 노력이 있기 때문에 모든 JVET 회의에서 새로운 코딩 기술이 VVC 표준에 채택되고 있다. 그런 다음 VVC 작업 초안 및 테스트 모델 VTM이 모든 회의 후에 업데이트된다. VVC 프로젝트는 현재 2020년 7월 회의에서의 기술 완료(FDIS)를 목표로 하고 있다.

3.1. HEVC에서의 픽처 분할 방식

HEVC는 정규 슬라이스(regular slices), 종속 슬라이스(dependent slices), 타일(tiles) 및 WPP(Wavefront Parallel Processing)와 같은 4개의 서로 다른 픽처 분할 방식을 포함하며, 이는 MTU(Maximum Transfer Unit) 크기 매칭, 병렬 프로세싱 및 축소된 종단 간 지연을 위해 적용될 수 있다.

정규 슬라이스는 H.264/AVC에서와 유사하다. 각 정규 슬라이스는 자신의 NAL 단위로 캡슐화되며, 인-픽처 예측(in-picture prediction)(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계에 걸친 엔트로피 코딩 종속성이 디스에이블(disabled)된다. 따라서, (루프 필터링 작업으로 인해 여전히 상호 의존성이 있을 수 있지만) 정규 슬라이스는 동일한 픽처 내의 다른 정규 슬라이스와 독립적으로 재구성될 수 있다.

상기 정규 슬라이스는 H.264/AVC에서도 거의 동일한 형태로 이용가능한 병렬화에 사용할 수 있는 유일한 툴이다. 정규 슬라이스 기반 병렬화는 프로세서간 또는 코어간 통신을 많이 필요로 하지 않는다(예측 코딩된 픽처를 디코딩할 때 모션 보상을 위한 프로세서 간 또는 코어 간 데이터 공유 제외, 이는 일반적으로 인-픽처 예측 때문에 프로세서 간 또는 코어 간 통신보다 훨씬 더 많다). 그러나, 같은 이유로 정규 슬라이스를 사용하면 슬라이스 헤더의 비트 비용과 슬라이스 경계에 걸친 예측 부족으로 인해 상당한 코딩 오버헤드가 발생할 수 있다. 또한, 정규 슬라이스(아래에 언급된 다른 툴과 달리)는, 정규 슬라이스의 인-픽처 독립성과 각 정규 슬라이스가 자신의 NAL유닛에 캡슐화되는 것 때문에, MTU 크기 요구 사항과 매칭하도록 비트스트림 분할을 위한 핵심 메커니즘으로도 사용된다. 많은 경우, 병렬화의 목표와 MTU 크기 매칭의 목표는 픽처 내의 슬라이스 레이아웃에 상충하는 요구를 유발한다. 이러한 상황의 실현은 아래에 언급된 병렬화 툴의 개발로 이어졌다.

종속 슬라이스는 짧은 슬라이스 헤더를 가지며 임의의 인-픽처 예측을 깨뜨리지 않고 트리블록 경계에서 비트스트림의 분할을 허용한다. 기본적으로, 종속 슬라이스는 여러 NAL 단위로의 정규 슬라이스의 조각화(fragmentation)를 제공하고, 전체 정규 슬라이스의 인코딩이 완료되기 전에 정규 슬라이스의 일부가 전송되도록 허용함으로써 종단 간 지연을 줄인다.

WPP에서, 픽처는 코딩 트리 블록(CTB)의 단일 행으로 분할된다. 엔트로피 디코딩 및 예측은 다른 분할에서 CTB로부터의 데이터를 사용하도록 허용된다. 병렬 프로세싱은 CTB 행의 병렬 디코딩을 통해 가능하다. 여기서 CTB 행의 디코딩 시작은 두 CTB만큼 지연되어, 상기 서브젝트 CTB (the subject CTB ) 의 위와 오른쪽에 있는 CTB와 관련된 데이터가 상기 서브젝트 CTB가 디코딩되기 전에 이용가능 하도록 한다. 이 스태거드 스타트(staggered start)(그래픽으로 표시할 때 물결 모양으로 표시됨)을 사용하면 픽처에 CTB 행을 포함하는 만큼 많은 프로세서/코어로 병렬화가 가능하다. 픽처 내의 이웃하는 트리블록 행 간의 인-픽처 예측이 허용되기 때문에, 인-픽처 예측을 가능하게 하기 위해 필요한 프로세서간/코어간 통신이 상당할 수 있다. WPP 분할은 적용되지 않을 때와 비교하여 추가 NAL 유닛을 생성하지 않으므로 WPP는 MTU 크기 매칭을 위한 툴이 아니다. 그러나, MTU 크기 매칭이 필요한 경우 어떤 코딩 오버헤드와 함께 정규 슬라이스가 WPP와 함께 사용될 수 있다.

타일은 픽처를 타일 열 및 행으로 분할하는 수평 및 수직 경계를 정의한다. 타일 열은 픽처의 상단에서 픽처의 하단으로 이어진다. 마찬가지로, 타일 행은 픽처의 왼쪽에서 픽처의 오른쪽으로 이어진다. 픽처 내의 타일 수는 타일 열 수에 타일 행 수를 곱하여 간단하게 도출될 수 있다.

CTB의 스캔 순서는, 픽처의 타일 래스터 스캔(raster scan)의 순서로 다음 타일의 좌측 상단 CTB를 디코딩하기 전에, (타일의 CTB 래스터 스캔의 순서로) 타일 내에서 로컬로 변경된다. 정규 슬라이스와 유사하게, 타일은 엔트로피 디코딩 종속성 뿐만 아니라 인-픽처 예측 종속성을 깨뜨린다. 그러나, 개별 NAL 단위에 포함될 필요는 없고(이 점에서 WPP와 동일), 따라서, 타일은 MTU 크기 매칭에 사용될 수 없다. 각 타일은 하나의 프로세서/코어에 의해 프로세싱될 수 있으며, 이웃하는 타일을 디코딩하는 프로세싱 유닛 간의 인-픽처 예측에 필요한 프로세서/코어간 통신은 슬라이스가 하나 이상의 타일에 걸쳐 있는 경우 공유 슬라이스 헤더를 전달하는 것과 재구성된 샘플 및 메타데이터의 루프 필터링 관련 공유로 제한된다. 하나 이상의 타일 또는 WPP 세그먼트가 슬라이스에 포함된 경우, 슬라이스의 첫번째 것 이외의 각각의 타일 또는 WPP 세그먼트에 대한 엔트리 포인트 바이트 오프셋은 슬라이스 헤더에서 시그널링된다.

간략화를 위해, 상기 4개의 상이한 픽처 분할 방식의 적용에 대한 제한이 HEVC에서 명시되었다. 주어진 코딩된 비디오 시퀀스는 HEVC에 명시된 대부분의 프로파일(profiles)에 대한 타일과 웨이브프론트(wavefront)를 모두 포함할 수 없다. 각 슬라이스 및 타일에 대해, 다음 조건 중 하나 또는 모두가 충족되어야 한다: 1) 슬라이스내 모든 코딩된 트리 블록은 동일한 타일에 속한다. 2) 타일내 모든 코딩된 트리 블록은 동일한 슬라이스에 속한다. 마지막으로 웨이브프론트 세그먼트는 정확히 하나의 CTB 행을 포함하며, WPP가 사용 중일 때, 슬라이스가 CTB 행 내에서 시작되면, 동일한 CTB 행에서 끝나야 한다.

HEVC에 대한 최근 수정이 JCT-VC 출력 서류로, JCTVC-AC1005, J. Boyce, A. Ramasubramonian, R. Skupin, G. J. Sullivan, A. Tourapis, Y.-K. Wang (editors), "HEVC Additional Supplemental Enhancement Information (Draft 4)," Oct. 24, 2017, publicly available herein: http://phenix.int-evry.fr/jct/doc_end_user/documents/29_Macau/wg11/JCTVC-AC1005-v2.zip. 에 명시되어 있다. 상기 수정에 포함된 바와 같이, HEVC는 3개의 MCTS 관련 SEI 메시지, 즉 시간적 MCTS SEI 메시지(temporal MCTSs SEI message), MCTS 추출 정보 세트 SEI 메시지(MCTSs extraction information set SEI message), 및 MCTS 추출 정보 네스팅 SEI 메시지(MCTSs extraction information nesting SEI message)를 명시한다.

시간적 MCTS SEI 메시지는 비트스트림 내의 MCTS의 존재를 지시하고 MCTS를 시그널링한다. 각 MCTS에 대해, 모션 벡터는 MCTS 내부의 전체 샘플 위치와 보간을 위해 MCTS 내부의 전체 샘플 위치만 필요로 하는 부분 샘플 위치를 가리키도록 제한되며, MCTS 밖의 블록으로부터 도출된 시간적 모션 벡터 예측을 위한 모션 벡터 후보의 사용은 허용되지 않는다. 이와 같이, 각 MCTS는 MCTS에 포함되지 않은 타일의 존재 없이 독립적으로 디코딩될 수 있다.

MCTS 추출 정보 세트 SEI 메시지는 MCTS 세트에 대한 순응(conforming) 비트스트림을 생성하기 위해 MCTS 서브-비트스트림 추출(SEI 메시지의 시맨틱스의 일부로 명시됨)에 사용될 수 있는 보충(supplemental) 정보를 제공한다. 정보는 다수의 추출 정보 세트로 구성되며, 각각은 다수의 MCTS 세트를 정의하고 MCTS 서브-비트스트림 추출 프로세스 동안 사용할 대체 VPS, SPS 및 PPS의 RBSP 바이트를 포함한다. MCTS 서브-비트스트림 추출 프로세스에 따라 서브-비트스트림을 추출할 때, 파라미터 세트(VPS, SPS, PPS)를 다시 쓰거나 교체해야 하며, 슬라이스 어드레스 관련 신택스 요소(first_slice_segment_in_pic_flag 및 slice_segment_address 포함) 중 하나 또는 전체가 상이한 값을 가질 필요가 있기 때문에, 슬라이스 헤더를 약간 업데이트할 필요가 있다.

3.2. VVC에서의 픽처의 분할

VVC에서, 픽처는 하나 이상의 타일 행과 하나 이상의 타일 열로 분할된다. 타일은 픽처의 직사각형 영역을 커버하는 CTU의 시퀀스이다. 타일 내의 CTU는 해당 타일 내에서 래스터 스캔 순서로 스캔된다.

슬라이스는 픽처의 타일 내에서 정수 개수의 완전한 타일 또는 정수 개수의 연속적인 완전한 CTU 행으로 구성된다.

2개의 슬라이스 모드, 즉 래스터-스캔 슬라이스 모드와 직사각형 슬라이스 모드가 지원된다. 래스터 스캔 슬라이스 모드에서, 슬라이스는 픽처의 타일 래스터 스캔에서 완전한 타일의 시퀀스를 포함한다. 직사각형 슬라이스 모드에서, 슬라이스는 픽처의 직사각형 영역을 집합적으로 형성하는 다수의 완전한 타일 또는 픽처의 직사각형 영역을 집합적으로 형성하는 하나의 타일의 다수의 연속적인 완전한 CTU 행을 포함한다. 직사각형 슬라이스 내의 타일은 해당 슬라이스에 해당하는 직사각형 영역 내에서 타일 래스터 스캔 순서로 스캔된다.

서브픽처는 픽처의 직사각형 영역을 집합적으로 커버하는 하나 이상의 슬라이스를 포함한다.

도 1은 12개의 타일과 3개의 래스터 스캔 슬라이스로 분할되는 픽처의 래스터 스캔 슬라이스 분할(raster-scan slice partitioning)의 예를 나타낸다.

도 2는 24개의 타일(6개의 타일 열 및 4개의 타일 행) 및 9개의 직사각형 슬라이스로 분할되는 픽처의 직사각형 슬라이스 분할의 예를 나타낸다.

도 3은 타일과 직사각형 슬라이스로 분할되는 픽처의 예를 나타내는 도면으로서, 픽처는 4개의 타일(2개의 타일 열 및 2개의 타일 행) 및 4개의 직사각형 슬라이스로 분할된다.

도 4는 픽처의 서브픽처 분할의 예를 보여주며, 픽처가 18개의 타일로 분할되며, 4 x 4 CTU의 하나의 슬라이스를 각각 커버하는 좌측 상에 12개의 타일이 존재하고 2 x 2 CTU의 2개의 수직 스택 슬라이스를 각각 커버하는 우측 상에 6개의 타일이 존재하고, 이들은 모두 다양한 치수의 24개의 슬라이스와 24개의 서브픽처를 생성한다 (각 슬라이스는 서브픽처임).

3.3 시퀀스 내의 픽처 해상도 변화

AVC 및 HEVC에서, 새로운 SPS를 사용하는 새로운 시퀀스가 시작되지 않는 한, IRAP 픽처로 픽처의 공간적 해상도는 변경될 수 없다. VVC는 항상 인트라 코딩되는 IRAP 픽처를 인코딩하지 않고 한 위치에서 시퀀스 내의 픽처 해상도 변경을 가능하게 한다. 이 특징(feature)은 참조 픽처가 디코딩되는 현재 픽처와 다른 해상도를 가질 때 인터 예측에 사용되는 참조 픽처의 리샘플링을 필요로 하기 때문에 때때로 참조 픽처 리샘플링(RPR: reference picture resampling)이라고 한다.

스케일링 비율은 1/2 이상(참조 픽처에서 현재 픽처로의 다운샘플링 2배), 8(업샘플링 8배) 이하로 제한된다. 참조 픽처와 현재 픽처 간의 다양한 스케일링 비율을 처리하기 위해 주파수 컷오프가 다른 3개의 리샘플링 필터 세트가 지정된다. 1/2 ~ 1/1.75, 1/1.75 ~ 1/1.25, 1/1.25 ~ 8 범위의 스케일링 비율에 대해 3개의 리샘플링 필터 세트가 각각 적용된다. 각 리샘플링 필터 세트에는 루마에 대해 16개의 위상 및 크로마에 대해 32개의 위상을 가지며, 이는 모션 보상 보간 필터의 경우와 동일하다. 실제로 일반적인 MC 보간 과정은 1/1.25 ~ 8 범위의 스케일링 비율을 갖는 리샘플링 프로세스의 특수한 경우이다. 수평 및 수직 스케일링 비율은 픽처의 폭과 높이, 및 참조 픽처 및 현재 픽처에 대하여 명시된 왼쪽, 오른쪽, 위, 아래 스케일링 오프셋을 기준으로 도출된다.

HEVC와 다른 이 특징의 지원을 위한 VVC 설계의 다른 측면은 다음을 포함한다: i) 픽처 해상도 및 대응하는 적합성 윈도우(conformance window)는 SPS 대신에 PPS에서 시그널링되는 반면, SPS에서는 최대 픽처 해상도가 시그널링된다. ii) 단일 레이어 비트스트림의 경우, 각 픽처 저장소(하나의 디코딩된 픽처를 저장하기 위한 DPB의 슬롯)는 최대 픽처 해상도를 갖는 디코딩된 픽처를 저장하는 데 필요한 버퍼 크기를 차지한다.

3.4 일반 및 VVC에서의 스케일러블 비디오 코딩(SVC)

스케일러블 비디오 코딩(SVC: Scalable video coding, 때때로 비디오 코딩에서의 스케일러빌러티(scalability) 라고도 함)은 베이스 레이어(BL)(때로는 참조 레이어(RL)라고도 함) 및 하나 이상의 스케일러블 인핸스먼트 레이어(EL)가 사용되는 비디오 코딩을 의미한다. SVC에서, 베이스 레이어는 기본 품질 레벨의 비디오 데이터를 전달할 수 있다. 하나 이상의 인핸스먼트 레이어는 예를 들어 더 높은 공간, 시간 및/또는 신호 대 잡음(SNR) 레벨을 지원하기 위해 추가 비디오 데이터를 전달할 수 있다. 인핸스먼트 레이어는 이전에 인코딩된 레이어에 대해 정의될 수 있다. 예를 들어, 하단 레이어는 BL의 역할을 할 수 있고 상단 레이어는 EL의 역할을 할 수 있다. 중간 레이어는 EL 또는 RL 또는 둘 다의 역할을 할 수 있다. 예를 들어, 중간 계층(예를 들어, 최하위 레이어도 최상위 레이어도 아닌 레이어)은 베이스 레이어 또는 임의의 중간 인핸스먼트 레이어와 같은 중간 레이어 아래의 계층에 대한 EL일 수 있으며, 동시에 중간 레이어 위의 하나 이상의 인핸스먼트 레이어에 대한 RL 역할을 한다. 유사하게, HEVC 표준의 멀티뷰 또는 3D 확장에서, 다중 뷰가 있을 수 있고, 한 뷰의 정보는 다른 뷰의 정보(예를 들어, 모션 추정, 모션 벡터 예측 및/또는 다른 리던던시)를 코딩(예를 들어, 인코딩 또는 디코딩)하는데 이용될 수 있다.

SVC에서, 인코더 또는 디코더에 의해 사용되는 파라미터는 그들이 사용될 수 있는 코딩 레벨(예를 들어, 비디오 레벨, 시퀀스 레벨, 픽처 레벨, 슬라이스 레벨 등)에 기초하여 파라미터 세트로 그룹화될 수 있다. 예를 들어, 비트스트림 내의 상이한 레이어의 하나 이상의 코딩된 비디오 시퀀스에 의해 이용될 수 있는 파라미터는 비디오 파라미터 세트(VPS)에 포함될 수 있고, 코딩된 비디오 시퀀스 내의 하나 이상의 픽처에 의해 이용될 수 있는 파라미터는 시퀀스 파라미터 집합(SPS)에 포함될 수 있다. 유사하게, 픽처 내의 하나 이상의 슬라이스에 의해 이용될 수 있는 파라미터는 픽처 파라미터 세트(PPS)에 포함될 수 있고, 단일 슬라이스에 특정한 다른 파라미터는 슬라이스 헤더에 포함될 수 있다. 유사하게, 특정 레이어가 주어진 시간에 어떤 파라미터 세트(들)를 사용하고 있는지의 표시는 다양한 코딩 레벨에서 제공될 수 있다.

VVC에서 참조 픽처 리샘플링(RPR)의 지원 덕분에, 공간 스케일러빌러티 지원에 필요한 업샘플링은 RPR 업샘플링 필터만 사용할 수 있으므로, 다수 레이어, 예를 들어 VVC에서 SD 및 HD 해상도를 갖는 2개의 레이어를 포함하는 비트스트림의 지원은 임의의 추가 신호 프로세싱 레벨 코딩 툴 없이 설계될 수 있다. 그럼에도 불구하고 스케일러빌러티 지원을 위해서는 (스케일러빌러티를 지원하지 않는 것과 비교하여) 높은 레벨 신택스 변경이 필요하다. 스케일러빌러티 지원은 VVC 버전 1에서 명시된다. AVC 및 HEVC의 확장을 포함하여 이전 비디오 코딩 표준의 스케일러빌러티 지원과 달리, VVC 스케일러빌러티 설계는 가능한 한 단일 레이어 디코더 설계에 적합하게 이루어졌다. 멀티-레이어 비트스트림에 대한 디코딩 캐퍼빌러티(capability)는 비트스트림에 단일 계층만 있는 것처럼 명시된다. 예를 들어, DPB 크기와 같은 디코딩 캐퍼빌러티는 디코딩될 비트스트림 내의 레이어 수와 무관한 방식으로 명시된다. 기본적으로 단일 레이어 비트스트림용으로 설계된 디코더는 멀티-레이어 비트스트림을 디코딩할 수 있기 위해 많은 변경이 필요하지 않다. AVC 및 HEVC의 멀티- 레이어 확장 설계와 비교하여, HLS 측면은 일부 유연성을 희생하면서 상당히 단순화되었다. 예를 들어, IRAP AU는 CVS에 있는 각 레이어에 대한 픽처를 포함해야 한다.

3.5. 서브픽처에 기초한 뷰포트 종속 360 ^o (Viewport-dependent 360 ^o ) 비디오 스트리밍

360° 비디오, 일명 전방향성(omnidirectional) 비디오의 스트리밍에서, 특정 순간에 전체 전방향성 비디오 구체(sphere)의 서브세트(예: 현재 뷰포트)만이 사용자에게 렌더링되는 반면 사용자는 언제든지 고개를 돌려 보기 방향을 변경하고 결과적으로 현재 뷰포트를 변경한다. 구체 상의 어느 위치로 사용자가 갑자기 자신의 보기 방향을 변경하는 경우에 대비하여 클라이언트에서 이용가능하고 사용자에게 렌더링될 준비가 되어 있는 현재 뷰포트에 의해 커버되지 않는 영역의 적어도 일부의 저품질 표현을 갖는 것이 바람직한 반면, 전방향 비디오의 고품질 표현은 단지 지금 이용하기 위하여 렌더링되는 현재 뷰포트에만 필요하다. 전체 전방향 비디오의 고품질 표현을 적절한 그래뉼러리티(granularity)의 서브픽처로 분할하는 것은 이러한 최적화를 가능하게 한다. VVC를 사용하여, 두 표현은 서로 독립적인 두 개의 레이어로서 인코딩될 수 있다.

일반적인 서브픽처 기반 뷰포트 종속 360° 비디오 전달 방식이 도 11에 도시되어 있고, 여기에서, 풀 비디오의 고해상도 표현은 서브픽처로 구성되는 반면, 풀 비디오의 저해상도 표현은 서브픽처를 사용하지 않고 고해상도 표현보다 덜 빈번한 랜덤 액세스 포인트로 코딩될 수 있다. 클라이언트는 저해상도의 전체 비디오를 수신하고 고해상도 비디오의 경우 현재 뷰포트를 커버하는 서브픽처만을 수신하고 디코딩한다.

가장 최근 VVC 초안 사양은 도 12에 도시한 바와 같이 개선된 360° 비디오 전달 방식을 또한 지원한다. 도 11에 도시된 접근과 비교하여 유일한 차이점은 도 12에 도시된 바와 같이 인터-레이어 예측(inter-layer prediction (ILP)) 이 적용된다는 것이다.

3.6. 파라미터 세트

AVC, HEVC 및 VVC는 파라미터 세트를 지정한다. 파라미터 세트의 유형은 SPS, PPS, APS 및 VPS를 포함한다. SPS와 PPS는 AVC, HEVC, VVC 모두에서 지원된다. VPS는 HEVC 이후 도입되었으며 HEVC와 VVC 모두에 포함된다. APS는 AVC 또는 HEVC에 포함되지 않았지만 최신 VVC 초안 텍스트에는 포함되어 있다.

SPS는 시퀀스 레벨 헤더 정보를 전달하도록 설계되었으며, PPS는 드물게 변경되는 픽처 레벨 헤더 정보를 전달하도록 설계되었다. SPS 및 PPS를 사용하면 드물게 변경되는 정보가 각 시퀀스 또는 픽처에 대해 반복될 필요가 없으므로 이 정보의 중복 시그널링을 피할 수 있다. 또한, SPS 및 PPS를 사용하면 중요한 헤더 정보의 대역 외 전송이 가능하므로, 중복 전송의 필요성을 피할 뿐만 아니라 오류 복원력도 향상된다.

VPS는 멀티-레이어 비트스트림 내의 모든 레이어에 공통적인 시퀀스 레벨 헤더 정보를 전달하기 위해 도입되었다.

APS는 코딩하는 데 꽤 많은 비트가 필요하는 픽처 레벨 또는 슬라이스 레벨 정보를 전달하기 위해 도입되었으며, 다수 픽처에 의해 공유할 수 있고, 시퀀스에서 상당히 다양한 변형이 있을 수 있다.

3.7 VVC 에서 서브픽처 시퀀스를 위한 네스티드 SEI 메시지의 명시 및 시그널링 (Specifying and signalling of nested SEI messages for subpicture sequences in VVC)

최신 VVC 초안 텍스트에서, VVC의 네스티드 SEI 메시지 서브픽처 시퀀스(nested SEI messages subpicture sequences)의 명시 및 시그널링이 스케일러블 네스팅 SEI 메시지(scalable nesting SEI message)를 통해 이루어진다. 서브픽처 시퀀스는 서브픽처 레벨 정보(SLI) SEI 메시지의 신택스에서 정의된다. 서브픽처 시퀀스는 VVC의 C.7절에 명시된 서브픽처 서브-비트스트림 추출 프로세스를 적용하여 비트스트림에서 추출가능하다.

최신 VVC 초안 텍스트에서 상기 스케일러블 네스팅 SEI 메시지의 신택스 및 시멘틱(semantics)은 다음과 같다.

D.6.1 스케일러블 네스팅 SEI 메시지 신택스 (Scalable nesting SEI message syntax)

D.6.2 스케일러블 네스팅 SEI 메시지 시멘틱 (Scalable nesting SEI message semantics)

스케일러블 네스팅 SEI 메시지는 SEI 메시지를 특정 OLS 또는 특정 계층과 연관되게 하고, 또한 SEI 메시지를 특정 하위 사진 세트와 연관되게 하는 메커니즘을 제공한다.

스케일러블 네스팅 SEI 메시지는 하나 이상의 SEI 메시지들을 포함한다. 상기 스케일러블 네스팅 SEI 메시지내에 포함된 상기 SEI 메시지들을 스케일러블-네스티드 SEI 메시지(scalable-nested SEI messages) 라고도 한다.

스케일러블 네스팅 SEI 메시지에 SEI 메시지를 포함하는 데 다음 제한사항이 적용되는 것은 비트스트림 적합성(bitstream conformance)의 요구 사항이다.

- 페이로드 타입 (payloadTyp) 132 (디코딩된 픽처 해시, decoded picture hash) 를 가지는 SEI 메시지는, sn_subpic_flag = 1 로 스케일러블 네스팅 SEI 메시지내에 포함되어야 한다.

- 페이로드 타입 (payloadTyp) 133 (스케일러블 네스팅) 를 가지는 SEI 메시지는, 스케일러블 네스팅 SEI 메시지내에 포함되어서는 안된다.

- 스케일러블 네스팅 SEI 메시지가 BP, PT 또는 DUI SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지는 페이로드 타입 (payloadTyp) 이 0 (BP), 1 (PT), 또는 130 (DUI) 이 아닌 다른 어떠한 SEI 메시지도 포함하여서는 안된다.

스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛의 nal_unit_type 값에 다음 제한사항이 적용되는 것은 비트스트림 적합성의 요구 사항이다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입 (payloadTyp) 이 0 (BP), 1 (PT), 130 (DUI), 145 (DRAP 지시), 또는 168 (프레임-필드 정보)를 가지는 SEI 메시지를 포함하면, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 상기 SEI NAL 유닛은 PREFIX_SEI_NUT 와 동일한 nal_unit_type 을 가져야 한다.

1인 sn_ols_flag 는 스케일러블-네스티드 SEI 메시지가 특정 OLS에 적용됨을 지정한다. 0인 sn_ols_flag 는 스케일러블-네스티드 SEI 메시지가 특정 계층에 적용되도록 지정한다. 비트 스트림 적합성의 요구 사항으로 sn_ols_flag 값에 다음 제한 사항이 적용된다..

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 0 (BP), 1 (PT), 또는 130 (DUI)를 가지는 SEI 메시지를 포함하는 경우, sn_ols_flag 는 반드시 1 이여야 한다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 VclAssociatedSeiList내 값과 동일한 SEI 메시지를 포함하는 경우, sn_ols_flag 는 반드시 0 이여야 한다.

1인 sn_subpic_flag 는 지정된 OLS 또는 레이어에 적용되는 스케이러블-네스티드 SEI 메시지는 상기 지정된 OLS 또는 레이어의 특정 서브픽처에만 적용됨을 지정한다. 0인 sn_subpic_flag 는 특정 OLS 또는 레이어에 적용되는 스케일러블-네스티드 SEI 메시지는 상기 지정된 OLS 또는 레이어의 모든 서브픽처에 적용됨을 지정한다.

1을 더한 sn_num_olss_minus1 은 스케일러블-네스티드 SEI 메시지가 적용되는 OLS 수를 지정한다. sn_num_olss_minus1의 값은 0 에서 TotalNumOlss - 1 (포함) 범위에 있어야 한다.

sn_ols_idx_delta_minus1[ i ]는 sn_ols_flag이 1일 때 스케일러블-네스티드 SEI 메시지가 적용되는 i번째 OLS의 OLS 인덱스를 지정하는 변수 NestingOlsIdx[ i ]를 유도하는 데 사용된다. sn_ols_idx_delta_minus1[ i ]의 값은 0 에서 TotalNumOlss - 2 (포함) 범위에 있어야 한다.

변수 NestingOlsIdx[ i ]는 다음과 같이 유도된다.

1인 sn_all_layers_flag 는 스케일러블-네스티드 SEI 메시지가 현재 SEI NAL 유닛의 nuh_layer_id 보다 크거나 같은 nuh_layer_id 를 가지는 모든 레이어에 적용됨을 지정한다. 0인 sn_all_layers_flag 는 스케일러블-네스티드 SEI 메시지가 현재 SEI NAL 유닛의 nuh_layer_id 보다 크거나 같은 nuh_layer_id 를 가지는 모든 레이어에 적용되거나 또는 적용되지 않을 수 있음을 지정한다.

1을 더한 sn_num_layers_minus1 은 스케일러블-네스티드 SEI 메시지가 적용되는 레이어의 수를 지정한다. sn_num_layers_minus1의 값은 0 에서 vps_max_layers_minus1 - GeneralLayerIdx[ nuh_layer_id ] (포함) 범위여야 하며, 여기서 nuh_layer_id는 현재 SEI NAL 유닛의 nuh_layer_id 이다.

sn_layer_id[i]는 sn_all_layers_flag 가 0 이면, 스케일러블-네스티드 SEI 메시지가 적용되는 i번째 레이어의 nuh_layer_id 값을 지정한다. sn_layer_id[i]의 값은 nuh_layer_id 보다 커야 하며, 여기서 nuh_layer_id는 현재 SEI NAL 유닛의 nuh_layer_id 이다. sn_ols_flag이 0 인 경우, 스케일러블-네스티드 SEI 메시지가 적용되는 레이어의 수를 지정하는 변수 nestingNumLayers와 스케일러블-네스티드 SEI 메시지가 적용되는 레이어의 값 리스트를 지정하는 0 에서 nestingNumLayers - 1 (포함) 범위에 있는 i에 대한 리스트 nestingLayerId[ i ] 는 다음과 같이 유도되며, 여기서 nuh_layer_id는 현재 SEI NAL 유닛의 nuh_layer_id 이다.

1을 더한 sn_num_subpics_minus1 은 스케일러블-네스티드 SEI 메시지가 적용되는 서브픽처 수를 지정한다. sn_num_subpics_minus1의 값은 CLVS내 픽처에 의해 참조되는 SPS의 sps_num_subpics_minus1 값보다 작거나 같아야 한다.

1을 더한 sn_subpic_id_len_minus1 은 신택스 요소 sn_subpic_id[ i ]를 나타내는 데 사용되는 비트 수를 지정한다. sn_subpic_id_len_minus1의 값은 0 에서 15 (포함) 범위내이여야 한다. sn_subpic_id_len_minus1의 값은 CLVS에 있는 모든 스케일러블 네스팅 SEI 메시지에 대해 동일해야 한다는 것이 비트스트림 적합성의 요구 사항이다.

sn_subpic_id[i]는 스케일러블-네스티드 SEI 메시지와 연관된 i번째 서브픽처 ID를 나타낸다. sn_subpic_id[i] 신택스 요소의 길이는 sn_subpic_id_len_minus1 + 1 비트 이다.

1을 더한 sn_num_seis_minus1 은 스케일러블-네스티 SEI 메시지의 수를 지정한다. sn_num_seis_minus1의 값은 0 에서 63 (포함) 범위여야 한다..

sn_zero_bit 는 0 이여야 한다.

4. 개시된 기술적 솔루션에 의해 해결되는 기술적 문제

상기 스케일러블-네스티드 SEI 메시지를 통한, 서브픽처 및 서브픽처 시퀀스를 위한 네스티드 SEI 메시시의 명시 및 시그널링을 위한 상기 현재 VVC 설계는 다음과 같은 문제를 갖는다.

1) 스케일러블-네스티드 SEI 메시지를 하나 이상의 서브픽처에 연관시키기 위해 상기 스케일러블 네스팅 SEI 메시지는 서브픽처 ID를 사용한다. 그러나 스케일러블-네스티드 SEI 메시지의 지속성 범위는 여러 개의 연속 AU일 수 있지만, 레이어에 특정 서브픽처 인덱스를 가지는 서브픽처 ID는 CLVS 내에서 변경될 수 있다. 따라서 서브픽처 ID를 사용하는 대신 스케일러블 네스팅 SEI 메시지 내에서는 서브픽처 인덱스를 사용해야 한다.

2) 필러 페이로드 SEI 메시지는, 존재하는 경우, 연관된 서브픽처들이 제거될 때 서브픽처 서브-비트스트림 추출 프로세스에서 출력 비트스트림으로부터 제거될 필요가 있다. 그러나, 스케일러블 네스팅 SEI 메시지내 필러 페이로드 SEI 메시지를 포함할 수 있는 경우, 서브픽처 서브-비트스트림 추출 프로세스에서 필러 페이로드 SEI 메시지의 제거는 때때로 스케일러블 네스팅 SEI 메시지로부터 일부 스케일러블-네스티드 SEI 메시지를 추출해야 할 필요가 있다.

3) SLI SEI 메시지는 다른 세 개의 HRD 관련 SEI 메시지(즉, BP/PT/DUI SEI 메시지)와 마찬가지로 OLS에 적용되기 때문에, SLI SEI 메시지가 스케일러블-네스티드인 경우 sn_ols_flag 값은 1과 같아야 한다. 또한 SLI SEI 메시지는 SLI SEI 메시지가 적용되는 OLS의 픽처내 모든 서브픽처에 대한 정보를 지정하기 때문에 SLI SEI 메시지를 포함하는 스케일러블 네스팅 SEI 메시지에 대해 sn_subpic_flag 값이 1과 동일함은 불합리하다.

4) 스케일러블 네스팅 SEI 메시지가 BP, PT, DUI 또는 SLI SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지는 페이로드 타입이 0(BP), 1(PT), 130(DUI) 또는 203(SLI)이 아닌 다른 SEI 메시지를 포함하지 않도록 요구하는 제약 조건이 없다.

5) 스케일러블 네스팅 SEI 메시지가 페이로드 타입이 0(BP), 1(PT), 130(DUI), 145(DRAP 표시) 또는 168(프레임-필드 정보)인 SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 PREFIX_SEI_NUT와 동일한 nal_unit_type 가져야 한다고 명시되어 있다. 그러나 다른 많은 SEI 메시지를 네스팅(nesting)할 때, 상기 스케일러블 네스팅 SEI 메시지의 값은 PREFIX_SEI_NUT와 동일한 nal_unit_type 을 가져야 한다.

6) 스케일러블 네스팅 SEI 메시지가 페이로드 타입이 132(디코딩된 픽처 해시)인 SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 nal_unit_type이 SUFFIX_SEI_NUT와 동일하여야 한다는 제약이 없다.

7) sn_num_subpics_minus1 및 sn_subpic_idx[i]의 시멘틱은, 상기 신택스 요소들은 픽처당 복수 서브픽처가 있는 레이어들의 서브픽처에 관한 것으로, OLS가 픽처당 복수 서브픽처가 있는 어떤 레이어들 및 픽처당 하나의 서브픽처가 있는 어떤 레이어들을 가지는 사례들을 지원할 수 있는 어떤 방식으로 명시될 필요가 있다.

5. 기술적 솔루션 및 실시예의 리스트

상기와 같은 문제점 및 다른 것을 해결하기 위하여, 아래와 같은 방법들이 개시된다. 해결 항목들은 일반적인 개념을 설명하기 위한 예시로 간주되어야 하며 좁은 의미로 해석되어서는 안 된다. 또한 이러한 항목들은 개별적으로 적용하거나 어떤 방식으로든 결합할 수 있다.

1) 첫 번째 문제를 해결하기 위해, 서브픽처 인덱스(서브픽처 ID 사용 대신)를 사용하여 스케일러블 네스팅 SEI 메시지에서 서브픽처를 스케일러블-네스티드 SEI 메시지에 연관시킨다.

a. 일 예시로서, 신택스 요소 sn_subpic_id[ i ]를 sn_subpic_idx[ i ]로 변경하고, 결과적으로 sn_subpic_id_len_minus1 신택스 요소를 제거한다.

2) 두 번째 문제를 해결하기 위해, 필러 페이로드 SEI 메시지가 스케일러블-네스티드, 즉 스케일러블 네스팅 SEI 메시지에 포함되는 것을 금지하여야 한다.

3) 세 번째 문제를 해결하기 위해, 스케일러블 네스팅 SEI 메시지가 하나 이상의 SLI SEI 메시지를 포함하는 경우 sn_ols_flag 값이 1이 되도록 하는 제약을 추가하여야 한다.

a. 일 예시로서, 또는 대안적으로, 스케일러블 네스팅 SEI 메시지가 하나 이상의 SLI SEI 메시지를 포함할 때, sn_subpic_flag의 값이 0과 같아야 함을 제약으로 추가할 수 있다.

4) 네 번째 문제를 해결하기 위해, 스케일러블 네스팅 SEI 메시지가 BP, PT, DUI 또는 SLI SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지에는 페이로드 타입이 0(BP), 1(PT), 130(DUI) 또는 203(SLI)이 아닌 다른 SEI 메시지가 포함되지 않아야 한다.

5) 다섯 번째 문제를 해결하기 위해, 스케일러블 네스팅 SEI 메시지가 페이로드 타입이 3(필러 페이로드) 또는 132(디코딩된 픽처 해시)가 아닌 SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 nal_unit_type이 PREFIX_SEI_NUT와 동일하여야 한다.

6) 여섯 번째 문제를 해결하기 위해, 스케일러블 네스팅 SEI 메시지가 페이로드 타입이 132(디코딩된 픽처 해시)인 SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 SEI NAL 유닛은 SUFFIX_SEI_NUT와 같은 nal_unit_type을 가져야 한다는 제약을 추가하여야 한다.

7) 일곱 번째 문제를 해결하기 위해, sn_num_subpics_minus1 및 sn_subpic_idx[ i ]의 시멘틱이, 상기 신택스 요소들이 픽처당 복수 서브픽처를 가지는 레이어의 서브픽처에 대한 정보를 명시할 수 있는 어떤 방식으로 명시되어야 한다.

6. 실시예

아래는 VVC 사양에 적용될 수 있는 본 섹션에서 상기 요약된 본 발명 측면 중 일부에 대한 몇 가지 예시적인 실시예이다. 변경된 텍스트는 JVET-S0152-v5의 최신 VVC 텍스트를 기반으로 한다. 추가 또는 수정된 대부분의 관련 부분은 굵은 기울임꼴 텍스트로 표시되며, 삭제된 부분 중 일부는 이중 대괄호 사이에 삭제된 텍스트가 있는 열기 및 닫기 이중 대괄호(예: [[ ]])로 표시된다.

6.1. 제1 실시예

본 실시예는 항목 1 내지 5 및 해당 서브 항목들에 대한 것이다

[[- 페이로드 타입 (payloadTyp) 132 (디코딩된 픽처 해시, decoded picture hash) 를 가지는 SEI 메시지는, sn_subpic_flag = 1 로 스케일러블 네스팅 SEI 메시지내에 포함되어야 한다. ]]

- 페이로드 타입 (payloadTyp) 3 (필러 페이로드) 또는 133 (스케일러블 네스팅) 를 가지는 SEI 메시지는, 스케일러블 네스팅 SEI 메시지내에 포함되어서는 안된다.

- 스케일러블 네스팅 SEI 메시지가 BP, PT, [[또는]] DUI , 또는 SLI SEI 메시지를 포함하는 경우, 상기 스케일러블 네스팅 SEI 메시지는 페이로드 타입 (payloadTyp) 이 0 (BP), 1 (PT), [[또는]] 130 (DUI) , 또는 203(SLI) 이 아닌 다른 어떠한 SEI 메시지도 포함하여서는 안된다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입 (payloadTyp) 이 3 (필러 페이로드) 또는 132 (디코딩된 픽처 해시) [[0 (BP), 1 (PT), 130 (DUI), 145 (DRAP 지시), 또는 168 (프레임-필드 정보)]] 가 아닌 SEI 메시지를 포함하면, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 상기 SEI NAL 유닛은 PREFIX_SEI_NUT 와 동일한 nal_unit_type 을 가져야 한다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입 (payloadTyp) 이 132 (디코딩된 픽처 해시) 인 SEI 메시지를 포함하면, 상기 스케일러블 네스팅 SEI 메시지를 포함하는 상기 SEI NAL 유닛은 SUEFIX_SEI_NUT 와 동일한 nal_unit_type 을 가져야 한다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 0 (BP), 1 (PT), [[또는]] 130 (DUI) , 또는 203 (SLI) 를 가지는 SEI 메시지를 포함하는 경우, sn_ols_flag 는 반드시 1 이여야 한다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 VclAssociatedSeiList내 값과 동일한 (단, 203 (SLI) 과 동일하지는 않음) SEI 메시지를 포함하는 경우, sn_ols_flag 는 반드시 0 이여야 한다.

비트 스트림 적합성의 요구 사항으로 sn_subpic_flag 값에 다음 제한 사항이 적용된다:

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 132 (디코딩된 픽처 해시)를 가지는 SEI 메시지를 포함하는 경우, sn_subpic_flag 는 반드시 1 이여야 한다.

- 스케일러블 네스팅 SEI 메시지가 페이로드 타입으로 203 (SLI)를 가지는 SEI 메시지를 포함하는 경우, sn_subpic_flag 는 반드시 0 이여야 한다.

변수 NestingOlsIdx[ i ]는 다음과 같이 유도된다.

스케일러블-네스티드 SEI 메시지가 적용되는 OLS의 레이어들(sn_ols_flag이 1인 경우) 또는 스케일러블-네스티드 SEI 메시지가 적용되는 레이어들(sn_ols_flag이 0인 경우) 중에서 0보다 큰 sps_num_subpics_minus1 을 가지는 SPS를 참조하는 레이어들을 복수 서브픽처 레이어 (multiSubpicLayers)라고 한다.

1을 더한 sn_num_subpics_minus1 은 [[스케일러블-네스티드 SEI 메시지가 적용되는]] multiSubpicLayers의 각 픽처내 서브픽처 수를 지정한다. sn_num_subpics_minus1의 값은 multiSubpicLayers [[CLVS]] 내 픽처에 의해 참조되는 SPS의 sps_num_subpics_minus1 값보다 작거나 같아야 한다.

[[1을 더한 sn_subpic_id_len_minus1 은 신택스 요소 sn_subpic_id[ i ]를 나타내는 데 사용되는 비트 수를 지정한다. sn_subpic_id_len_minus1의 값은 0 에서 15 (포함) 범위내이여야 한다. sn_subpic_id_len_minus1의 값은 CLVS에 있는 모든 스케일러블 네스팅 SEI 메시지에 대해 동일해야 한다는 것이 비트스트림 적합성의 요구 사항이다.]]

sn_subpic_id[i]는 multiSubpicLayers의 각 픽처내 i번째 서브픽처의 서브픽처 인덱스를 명시한다. sn_subpic_idx[i]의 값은 ultiSubpicLayers의 픽처에 의해 참조되는 SPS의 sps_num_subpics_minus1 값보다 작거나 같아야 한다. 스케일러블-네스티드 SEI 메시지는, multiSubpicLayers 내에는 없지만 스케일러블-네스티드 SEI 메시지가 적용되는 OLS의 레이어들(sn_ols_flag이 1인 경우) 또는 스케일러블-네스티드 SEI 메시지가 적용되는 레이어들(sn_ols_flag이 0인 경우) 중에 있는 레이어의 각 픽처내 하나의 서브픽처에도 적용된다. [[스케일러블-네스티드 SEI 메시지와 연관된 i번째 서브픽처 ID를 나타낸다. sn_subpic_id[i] 신택스 요소의 길이는 sn_subpic_id_len_minus1 + 1 비트 이다.]]

sn_zero_bit 는 0 이여야 한다.

도 5은 여기에 개시된 다양한 기술들이 구현될 수 있는 예시적인 비디오 프로세싱 시스템(1900)을 도시하는 블록도이다. 다양한 구현예는 시스템(1900)의 컴포넌트의 일부 또는 전부를 포함할 수 있다. 시스템(1900)은 비디오 콘텐츠를 수신하기 위한 입력(1902)을 포함할 수 있다. 비디오 콘텐츠는 원(raw) 또는 압축되지 않은 포맷, 예를 들어 8 또는 10비트 다중 컴포넌트 픽셀 값으로 수신될 수 있거나 압축 또는 인코딩된 포맷일 수 있다. 입력(1902)은 네트워크 인터페이스, 주변 버스 인터페이스, 또는 저장 인터페이스를 나타낼 수 있다. 네트워크 인터페이스의 예로는 이더넷, 수동 광 네트워크(PON) 등과 같은 유선 인터페이스와 Wi-Fi 또는 셀룰러 인터페이스와 같은 무선 인터페이스가 있다.

시스템(1900)은 본 문서에 설명된 다양한 코딩 또는 인코딩 방법을 구현할 수 있는 코딩 컴포넌트(704)를 포함할 수 있다. 코딩 컴포넌트(1904)는 비디오의 코딩된 표현을 생성하기 위해 코딩 컴포넌트(1904)의 입력(1902)으로부터 출력으로의 비디오의 평균 비트레이트를 감소시킬 수 있다. 따라서, 코딩 기술은 비디오 압축 또는 비디오 트랜스코딩 기술이라고도 한다. 코딩 컴포넌트(1904)의 출력은 컴포넌트(1906)에 의해 표현된 바와 같이 저장되거나 연결된 통신을 통해 전송될 수 있다. 입력(1902)에서 수신된 비디오의 저장 또는 통신된 비트스트림(또는 코딩된) 표현은 디스플레이 인터페이스(1910)로 전송되는 디스플레이가능한 비디오 또는 픽셀 값을 생성하기 위한 컴포넌트(1908)에 의해 사용될 수 있다. 비트스트림 표현으로부터 사용자가 볼 수 있는 비디오를 생성하는 프로세스는 때때로 비디오 압축 해제라고 불린다. 또한, 특정 비디오 처리 동작은 "코딩" 동작 또는 툴로 지칭되지만, 코딩 툴 또는 동작은 인코더에서 사용되며, 코딩의 결과를 역전시키는 해당 디코딩 툴 또는 동작은 디코더에 의해 수행될 것이다.

주변 버스 인터페이스 또는 디스플레이 인터페이스의 예는 USB(Universal Serial Bus) 또는 HDMI(High Definition Multimedia Interface) 또는 Displayport 등을 포함할 수 있다. 저장 인터페이스의 예로는 SATA(Serial Advanced Technology Attachment), PCI, IDE 인터페이스 등이 있다. 본 문서에서 설명된 기술은 디지털 데이터 처리 및/또는 비디오 디스플레이를 수행할 수 있는 휴대폰, 랩탑, 스마트폰 또는 기타 장치와 같은 다양한 전자 장치에서 구현될 수 있다.

도 6은 비디오 프로세싱 장치(3600)의 블록도이다. 장치(3600)는 여기에 설명된 방법들 중 하나 이상을 구현하는 데 사용될 수 있다. 장치(3600)는 스마트폰, 태블릿, 컴퓨터, 사물 인터넷(IoT) 수신기 등으로 구현될 수 있다. 장치(3600)는 하나 이상의 프로세서(3602), 하나 이상의 메모리(3604) 및 비디오 프로세싱 하드웨어(3606)를 포함할 수 있다. 프로세서(들)(3602)는 본 문서에 설명된 하나 이상의 방법을 구현하도록 구성될 수 있다. 메모리(메모리)(3604)는 여기에 설명된 방법 및 기술을 구현하는 데 사용되는 데이터 및 코드를 저장하는 데 사용될 수 있다. 비디오 처리 하드웨어(3806)는 하드웨어 회로에서 본 문서에 설명된 일부 기술을 구현하는 데 사용될 수 있다.

도 8은 본 개시의 기법들을 이용할 수 있는 예시적인 비디오 코딩 시스템(100)을 예시하는 블록도이다.

도 8에 도시된 바와 같이, 비디오 코딩 시스템(100)은 소스 디바이스(110) 및 목적지 디바이스(120)를 포함할 수 있다. 소스 디바이스(110)는 인코딩된 비디오 데이터를 생성하고, 비디오 인코딩 디바이스로 지칭될 수 있다. 목적지 디바이스 (120)는 소스 디바이스 (110)에 의해 생성된 인코딩된 비디오 데이터를 디코딩할 수 있고, 비디오 디코딩 디바이스로 지칭될 수도 있다.

소스 디바이스(110)는 비디오 소스(112), 비디오 인코더(114), 및 입력/출력(I/O) 인터페이스(116)를 포함할 수 있다.

비디오 소스(112)는 비디오 캡처 디바이스와 같은 소스, 비디오 콘텐츠 제공자로부터 비디오 데이터를 수신하기 위한 인터페이스, 및/또는 비디오 데이터를 생성하기 위한 컴퓨터 그래픽 시스템, 또는 이러한 소스들의 조합을 포함할 수 있다. 비디오 데이터는 하나 이상의 픽처를 포함할 수 있다. 비디오 인코더(114)는 비디오 소스(112)로부터의 비디오 데이터를 인코딩하여 비트스트림을 생성한다. 비트스트림은 비디오 데이터의 코딩된 표현을 형성하는 비트들의 시퀀스를 포함할 수 있다. 비트스트림은 코딩된 픽처 및 연관된 데이터를 포함할 수 있다. 코딩된 픽처는 픽처의 코딩된 표현이다. 연관된 데이터는 시퀀스 파라미터 세트, 픽처 파라미터 세트, 및 기타 신택스 구조를 포함할 수 있다. I/O 인터페이스(116)는 변조기/복조기(모뎀) 및/또는 송신기를 포함할 수 있다. 인코딩된 비디오 데이터는 네트워크(130a)를 통해 I/O 인터페이스(116)를 통해 목적지 디바이스(120)로 직접 전송될 수 있다. 인코딩된 비디오 데이터는 또한 목적지 디바이스(120)에 의한 액세스를 위해 저장 매체/서버(130b)에 저장될 수 있다.

목적지 디바이스(120)는 I/O 인터페이스(126), 비디오 디코더(124), 및 디스플레이 디바이스(122)를 포함할 수 있다.

I/O 인터페이스(126)는 수신기 및/또는 모뎀을 포함할 수 있다. I/O 인터페이스(126)는 소스 디바이스(110) 또는 저장 매체/서버(130b)로부터 인코딩된 비디오 데이터를 획득할 수 있다. 비디오 디코더(124)는 인코딩된 비디오 데이터를 디코딩할 수 있다. 디스플레이 디바이스(122)는 디코딩된 비디오 데이터를 사용자에게 디스플레이할 수 있다. 디스플레이 디바이스(122)는 목적지 디바이스(120)와 통합될 수 있거나, 외부 디스플레이 디바이스와 인터페이스하도록 구성된 목적지 디바이스(120)의 외부에 있을 수 있다.

비디오 인코더(114) 및 비디오 디코더(124)는 HEVC(High Efficiency Video Coding) 표준, VVC(Versatile Video Coding) 표준 및 다른 현재 및/또는 추가 표준과 같은 비디오 압축 표준에 따라 동작할 수 있다.

도 9는 도 8에 예시된 시스템(100)의 비디오 인코더(114)일 수 있는 비디오 인코더(200)의 예를 예시하는 블록도이다.

비디오 인코더(200)는 본 개시의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수도 있다. 도 9의 예에서. 비디오 인코더(200)는 복수의 기능적 컴포넌트를 포함한다. 본 개시에서 설명된 기법들은 비디오 인코더 (200)의 다양한 컴포넌트들 사이에서 공유될 수도 있다. 일부 예들에서, 프로세서는 본 개시에서 설명된 기법들 중 임의의 것 또는 모든 기법을 수행하도록 구성될 수도 있다.

비디오 인코더(200)의 기능적 컴포넌트는 분할부(201), 모드 선택부(203), 모션 추정부(204), 모션 보상부(205) 및 인트라 예측부(206)을 포함할 수 있는 예측부(202), 잔차 생성부(207), 변환부(208), 양자화부(209), 역양자화부(210), 변환부(211), 복원부(212), 버퍼(213), 엔트로피 인코딩부(214)를 포함한다.

다른 예들에서, 비디오 인코더 (200)는 더 많거나, 더 적거나, 또는 상이한 기능적 컴포넌트들을 포함할 수 있다. 일 예에서, 예측부(202)는 인트라 블록 카피(IBC) 유닛을 포함할 수 있다. IBC 유닛은, 적어도 하나의 참조 픽처가 현재 비디오 블록이 위치한 픽처인 IBC 모드에서 예측을 수행할 수 있다.

또한, 모션 추정부(204) 및 모션 보상부(205)와 같은 일부 컴포넌트는 고도로 통합될 수 있지만, 도 9의 예에서는 설명을 목적으로 개별적으로 표현된다.

분할부(201)는 픽처를 하나 이상의 비디오 블록으로 분할할 수 있다. 비디오 인코더(200) 및 비디오 디코더(300)는 다양한 비디오 블록 크기들을 지원할 수 있다.

모드 선택부(203)는 예를 들어, 에러 결과들에 기초하여 인트라 또는 인터 코딩 모드들 중 하나를 선택할 수 있고, 결과적인 인트라- 또는 인터-코딩된 블록을 잔차 생성부(207)에 제공하여 잔차 블록 데이터를 생성하고 복원부(212)에 제공하여 참조 픽처로서 사용될 인코딩된 블록을 복원할 수 있다. 일부 예에서, 모드 선택부(203)는 예측이 인터 예측 신호 및 인트라 예측 신호에 기초하는 CIIP(Intra and Inter Predication) 모드의 조합을 선택할 수 있다. 모드 선택부(203)는 또한 인터 예측의 경우 블록에 대한 모션 벡터에 대한 해상도(예를 들어, 서브-픽셀 또는 정수 픽셀 정밀도)를 선택할 수 있다.

현재 비디오 블록에 대한 인터 예측을 수행하기 위해, 모션 추정부 (204)는 버퍼(213)로부터의 하나 이상의 참조 프레임들을 현재 비디오 블록과 비교함으로써 현재 비디오 블록에 대한 모션 정보를 생성할 수 있다. 모션 보상부(205)는 현재 비디오 블록과 연관된 픽처 이외의 버퍼(213)로부터의 픽처들의 디코딩된 샘플들 및 모션 정보에 기초하여 현재 비디오 블록에 대한 예측된 비디오 블록을 결정할 수 있다.

모션 추정부 (204) 및 모션 보상부 (205)는 예를 들어 현재 비디오 블록이 I 슬라이스, P 슬라이스, 또는 B 슬라이스에 있는지 여부에 따라 현재 비디오 블록에 대해 상이한 동작들을 수행할 수 있다.

일부 예들에서, 모션 추정부(204)는 현재 비디오 블록에 대해 단방향 예측을 수행할 수 있고, 모션 추정부(204)는 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0 또는 리스트 1를 검색할 수 있다. 모션 추정부(204)는 그 다음 현재 비디오 블록과 참조 비디오 블록 사이의 공간적 변위를 나타내는 모션 벡터 및 참조 비디오 블록을 포함하는 리스트 0 또는 리스트 1의 참조 픽처를 나타내는 참조 인덱스를 생성할 수 있다. 모션 추정부(204)는 참조 인덱스, 예측 방향 표시자, 및 모션 벡터를 현재 비디오 블록의 모션 정보로서 출력할 수 있다. 움직임 보상부(205)는 현재 비디오 블록의 움직임 정보가 지시하는 참조 비디오 블록에 기초하여 현재 블록의 예측된 비디오 블록을 생성할 수 있다.

다른 예들에서, 모션 추정부(204)는 현재 비디오 블록에 대한 양방향 예측을 수행할 수 있고, 모션 추정부(204)는 현재 비디오 블록에 대한 참조 비디오 블록에 대해 리스트 0에서 참조 픽처들을 검색할 수 있고, 또한 현재 비디오 블록에 대한 다른 참조 비디오 블록에 대한 리스트 1의 참조 화상을 검색할 수 있다. 모션 추정부(204)는 그 다음 참조 비디오 블록과 현재 비디오 블록 사이의 공간 변위를 나타내는 모션 벡터 및 참조 비디오 블록을 포함하는 리스트 0 및 리스트 1의 참조 픽처를 나타내는 참조 인덱스를 생성할 수 있다. 모션 추정부(204)는 현재 비디오 블록의 모션 정보로서 현재 비디오 블록의 참조 인덱스 및 모션 벡터를 출력할 수 있다. 움직임 보상부(205)는 현재 비디오 블록의 움직임 정보에 의해 지시되는 참조 비디오 블록들에 기초하여 현재 비디오 블록의 예측된 비디오 블록을 생성할 수 있다.

일부 예들에서, 모션 추정부(204)는 디코더의 디코딩 프로세싱을 위한 모션 정보의 전체 세트를 출력할 수 있다.

일부 예들에서, 모션 추정부(204)는 현재 비디오에 대한 모션 정보의 전체 세트를 출력하지 않을 수 있다. 오히려, 모션 추정부(204)는 다른 비디오 블록의 모션 정보를 참조하여 현재 비디오 블록의 모션 정보를 시그널링할 수 있다. 예를 들어, 모션 추정부(204)는 현재 비디오 블록의 모션 정보가 인접하는 비디오 블록의 모션 정보와 충분히 유사하다고 결정할 수 있다.

일 예에서, 모션 추정부(204)는, 현재 비디오 블록과 연관된 신택스 구조에서, 현재 비디오 블록이 다른 비디오 블록과 동일한 모션 정보를 갖는다는 것을 비디오 디코더(300)에 나타내는 값을 나타낼 수 있다.

다른 예에서, 모션 추정부(204)는, 현재 비디오 블록과 연관된 신택스 구조에서, 다른 비디오 블록 및 모션 벡터 차이(MVD)를 식별할 수 있다. 움직임 벡터 차이는 현재 비디오 블록의 움직임 벡터와 지시된 비디오 블록의 움직임 벡터 간의 차이를 나타낸다. 비디오 디코더(300)는 지시된 비디오 블록의 움직임 벡터와 움직임 벡터 차이를 이용하여 현재 비디오 블록의 움직임 벡터를 결정할 수 있다.

위에서 논의된 바와 같이, 비디오 인코더(200)는 모션 벡터를 예측적으로 시그널링할 수 있다. 비디오 인코더(200)에 의해 구현될 수도 있는 예측 시그널링 기술의 두 가지 예는 AMVP(Advanced Motion Vector Predication) 및 병합 모드 시그널링을 포함한다.

인트라 예측부(206)는 현재 비디오 블록에 대해 인트라 예측을 수행할 수 있다. 인트라 예측부(206)가 현재 비디오 블록에 대해 인트라 예측을 수행할 때, 인트라 예측부(206)는 동일한 픽처의 다른 비디오 블록의 디코딩된 샘플에 기초하여 현재 비디오 블록에 대한 예측 데이터를 생성할 수 있다. 현재 비디오 블록에 대한 예측 데이터는 예측된 비디오 블록 및 다양한 신택스 요소를 포함할 수 있다.

잔차 생성부(207)는 현재 비디오 블록에서 현재 비디오 블록의 예측된 비디오 블록(들)을 감산함으로써(예를 들어, 빼기 부호로 표시됨) 현재 비디오 블록에 대한 잔차 데이터를 생성할 수 있다. 현재 비디오 블록의 잔차 데이터는 현재 비디오 블록의 샘플들의 상이한 샘플 성분들에 대응하는 잔차 비디오 블록들을 포함할 수 있다.

다른 예들에서, 예를 들어 스킵 모드에서 현재 비디오 블록에 대한 현재 비디오 블록에 대한 잔차 데이터가 없을 수 있고, 잔차 생성부(207)는 감산 동작을 수행하지 않을 수 있다.

변환 처리부(208)는 현재 비디오 블록과 연관된 잔차 비디오 블록에 하나 이상의 변환들을 적용함으로써 현재 비디오 블록에 대한 하나 이상의 변환 계수 비디오 블록들을 생성할 수 있다.

변환 처리부(208)가 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 생성한 후, 양자화부(209)는 현재 비디오 블록와 연관된 하나 이상의 양자화 파라미터(QP) 값들에 기초하여 현재 비디오 블록과 연관된 변환 계수 비디오 블록을 양자화할 수 있다.

역양자화부(210) 및 역변환부(211)는 변환 계수 비디오 블록으로부터 잔차 비디오 블록을 복원하기 위해 각각 역양자화 및 역변환을 변환 계수 비디오 블록에 적용할 수 있다. 복원부(212)는 버퍼(213)에 저장될 현재 블록과 연관된 복원된 비디오 블록을 생성하기 위해 예측부(202)에 의해 생성된 하나 이상의 예측된 비디오 블록들로부터의 해당 샘플들에 복원된 잔차 비디오 블록을 추가할 수 있다.

복원부(212)가 비디오 블록을 복원한 후, 루프 필터링 동작이 수행되어 비디오 블록에서 비디오 블록킹 아티팩트(video blocking artifacts)를 감소시킬 수 있다.

엔트로피 인코딩부(214)는 비디오 인코더(200)의 다른 기능적 컴포넌트들로부터 데이터를 수신할 수 있다. 엔트로피 인코딩부(214)가 데이터를 수신하면, 엔트로피 인코딩부(214)는 하나 이상의 엔트로피 인코딩 동작을 수행하여 엔트로피 인코딩된 데이터를 생성하고 엔트로피 인코딩된 데이터를 포함하는 비트스트림을 출력한다.

도 10은 도 8에 예시된 시스템(100)의 비디오 디코더(114)일 수 있는 비디오 디코더(300)의 예를 나타내는 블록도이다.

비디오 디코더(300)는 본 개시의 기법들 중 임의의 것 또는 전부를 수행하도록 구성될 수 있다. 도 10의 예에서, 비디오 디코더(300)는 복수의 기능적 컴포넌트를 포함한다. 본 개시에서 설명된 기법들은 비디오 디코더(300)의 다양한 컴포넌트들 사이에서 공유될 수도 있다. 일부 예들에서, 프로세서는 본 개시에서 설명된 기법들 중 임의의 것 또는 모두를 수행하도록 구성될 수 있다.

도 10의 예에서, 비디오 디코더(300)는 엔트로피 디코딩부(301), 모션 보상부(302), 인트라 예측부(303), 역양자화부(304), 역변환부(305), 변환부(306) 및 버퍼(307)를 포함한다. 비디오 디코더(300)는, 일부 예들에서, 비디오 인코더(200)(도 9)에 대해 설명된 인코딩 패스(encoding pass)에 일반적으로 역인 디코딩 패스를 수행한다.

엔트로피 디코딩부(301)는 인코딩된 비트스트림을 검색(retrieve)할 수 있다. 인코딩된 비트스트림은 엔트로피 코딩된 비디오 데이터(예를 들어, 비디오 데이터의 인코딩된 블록)를 포함할 수 있다. 엔트로피 디코딩부(301)는 엔트로피 코딩된 비디오 데이터를 디코딩할 수 있고, 엔트로피 디코딩된 비디오 데이터로부터, 모션 보상부(302)는 모션 벡터, 모션 벡터 정밀도, 참조 픽처 리스트 인덱스, 및 다른 모션 정보를 포함하는 모션 정보를 결정할 수 있다. 모션 보상부(302)는 예를 들어 AMVP 및 머지 모드를 수행함으로써 그러한 정보를 결정할 수 있다.

모션 보상부(302)는 모션 보상된 블록을 생성할 수 있고, 가능하게는 보간 필터에 기초하여 보간을 수행할 수 있다. 서브픽셀 정밀도와 함께 사용될 보간 필터에 대한 식별자가 신택스 요소에 포함될 수 있다.

모션 보상부(302)는 비디오 블록의 인코딩 동안 비디오 인코더(200)에 의해 사용되는 보간 필터들을 사용하여 참조 블록의 서브-정수 픽셀들에 대한 보간된 값들을 계산할 수 있다. 모션 보상부(302)는 수신된 신택스 정보에 따라 비디오 인코더(200)에 의해 사용되는 보간 필터들을 결정할 수 있고 보간 필터를 사용하여 예측 블록들을 생성할 수 있다.

모션 보상부(302)는 신택스 정보의 일부를 사용하여 인코딩된 비디오 시퀀스의 프레임(들) 및/또는 슬라이스(들)를 인코딩하는 데 사용되는 블록의 크기, 인코딩된 비디오 시퀀스의 픽처의 각 매크로 블록이 어떻게 분할되는지를 설명하는 분할 정보, 각각의 분할이 인코딩되는 방법을 나타내는 모드, 각각의 인터 인코딩된 블록에 대한 하나 이상의 참조 프레임 (및 참조 프레임 리스트) 및 인코딩된 비디오 시퀀스를 디코딩하기 위한 다른 정보를 결정할 수 있다.

인트라 예측부(303)는 예를 들어 비트스트림에서 수신된 인트라 예측 모드들을 사용하여 공간적으로 인접한 블록들로부터 예측 블록을 형성할 수 있다. 역양자화부(303)는, 비트스트림에 제공되고 엔트로피 디코딩부(301)에 의해 디코딩된 양자화된 비디오 블록 계수를 역양자화(inverse quantize), 즉 역양자화(de-quantize)한다. 역변환부(303)는 역변환을 적용한다.

복원부(306)는 모션 보상부(202) 또는 인트라 예측부(303)에 의해 생성된 해당 예측 블록들과 잔차 블록들을 합산하여 디코딩된 블록들을 형성할 수 있다. 원하는 경우, 블록화(blockiness) 아티팩트를 제거하기 위해 디블록킹 필터를 적용하여 디코딩된 블록을 필터링할 수 있다. 그 다음 디코딩된 비디오 블록은 버퍼(307)에 저장되고, 버퍼는 후속 모션 보상/인트라 예측을 위한 참조 블록을 제공하고 또한 디스플레이 디바이스 상의 프리젠테이션을 위해 디코딩된 비디오를 생성한다.

일부 실시예에 의해 선호되는 솔루션의 리스트가 다음에 제공된다.

다음의 솔루션은 이전 섹션(예를 들어, 모든 항목들)에서 논의된 기술의 예시적인 실시예를 나타낸다.

1. 비디오 프로세싱 방법은, 하나 이상의 서브픽처 또는 하나 이상의 서브픽처 시퀀스(subpicture sequences)를 포함하는 비디오와 상기 비디오의 코딩된 표현 간의 변환을 수행하는 단계를 포함하되, 상기 코딩된 표현은 스케일러블-네스티드 보충 향상 정보 메시지(scalable-nested supplemental enhancement information message (SEI))가 상기 코딩된 표현에 포함되는지 여부 또는 어떻게 포함되는지를 명시하는 포맷 규칙을 따른다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 1)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

2. 솔루션 1의 방법에 있어서, 상기 포맷 규칙은 상기 코딩된 표현은 서브픽처와 해당하는 스케일러블-네스티드 SEI 정보를 연관시키기 위해 서브픽처 인덱스를 이용함을 명시한다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 2)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

3. 솔루션 1-2 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 스케일러블-네스티드 방식에서 필러 페이로드 SEI 메시지의 사용을 허용하지 않는다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 3)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

4. 솔루션 1-3 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 하나 이상의 서브픽처 레벨 정보 SEI 메시지를 포함하는 스케일러블 네스티드 SEI 메시지를 위해, 상기 코딩된 표현내에 그 존재를 지시하는 플래그가 포함됨을 명시한다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 4)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

5. 솔루션 1-4 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 특정 타입 메시지를 포함하는 스케일러블 SEI 메시지내 특정 페이로드 타입의 스케일러블 네스티드 SEI 메시시의 포함을 허용하지 않는다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 5)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

6. 솔루션 1-5 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 필러 페이로드 타입 (filler payload type) 또는 디코딩된 픽처 해시 타입 (decoded picture hash type)이 아닌 SEI 메시지가 특정 네트워크 추상화 계층 유닛 타입(network abstraction layer unit type)을 가지는 것이 요구됨을 명시한다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 6)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

7. 솔루션 1-6 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 디코딩된 픽처 해시 타입 (decoded picture hash type)인 SEI 메시지가 특정 네트워크 추상화 계층 유닛 타입을 가지는 것이 요구됨을 명시한다.

다음의 솔루션들은 이전 섹션(예를 들어, 항목 7)에서 논의된 기술들의 예시적인 실시예들을 보여준다.

8. 솔루션 1-7 중 어느 하나의 방법에 있어서, 상기 포맷 규칙은 픽처당 복수 서브픽처들을 가지는 레이어의 서브픽처들에 대한 정보를 명시하도록 신택스 요소를 명시한다.

9. 솔루션 1-8 중 어느 하나의 방법에 있어서, 상기 변환은 상기 비디오를 상기 코딩된 표현으로 인코딩하는 것을 포함한다.

10. 솔루션 1-8 중 어느 하나의 방법에 있어서, 상기 변환은 상기 비디오의 픽셀 값들을 생성하기 위해 상기 코딩된 표현을 디코딩하는 것을 포함한다.

11. 솔루션 1-10 중 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 디코딩 장치.

12. 솔루션 1-10 중 하나 이상에서 인용된 방법을 구현하도록 구성된 프로세서를 포함하는 비디오 인코딩 장치.

13. 컴퓨터 코드가 저장된 컴퓨터 프로그램 제품으로서, 코드는 프로세서에 의해 실행될 때, 프로세서로 하여금 솔루션 1-10 중 어느 하나에서 인용된 방법을 구현하게 한다.

14. 문서에 기재된 방법, 장치 또는 시스템.

본 명세서에서 설명되는 솔루션들에서, 인코더는 포맷 규칙에 따라 코딩된 표현을 생성함으로써 포맷 규칙을 준수할 수 있다. 본 명세서에서 설명되는 솔루션들에서, 디코더는 포맷 규칙에 따라 신택스 요소들의 존재 및 부재에 대한 지식을 가지고 코딩된 표현들 내의 신택스 요소들을 파싱하기 위해 포맷 규칙을 사용하여, 디코딩된 비디오를 생성할 수 있다.

도 13은 비디오 데이터 프로세싱의 예시적 방법(1300)의 플로우챠트이다. 동작(1302)은 하나 이상의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지들은 포맷 규칙에 따라 상기 변환 동안 프로세싱되고, 상기 포맷 규칙은 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지가 스케일러블 네스팅 보충 향상 정보 메시지내에 있는 것을 허용하지 않는다.

방법(1300)의 일부 실시예들에서, 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지들은 3과 동일한 값을 갖는 페이로드 타입을 포함한다. 방법(1300)의 일부 실시예들에서, 포맷 규칙은 스케일러블 네스팅을 갖는 하나 이상의 제2 보충 향상 정보 메시지들이 스케일러블 네스팅 보충 향상 정보 메시지내에 있는 것을 허용하지 않는다.

도 14는 비디오 데이터 프로세싱의 예시적 방법(1400)의 플로우챠트이다. 동작(1402)은 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 하나 이상의 신택스 요소가 포맷 규칙에 따라 상기 변환 동안 프로세싱되고, 상기 포맷 규칙은 복수 서브픽처를 갖는 픽처를 가지는 비디오의 레이어를 위한 서브픽처 정보를 지시하기 위해 상기 하나 이상의 신택스 요소가 사용됨을 명시한다.

방법(1400)의 일부 실시예들에서, 상기 하나 이상의 신택스 요소는 제1 신택스 요소를 포함하고, 1을 더한 상기 제1 신택스 요소의 값은 복수 서브픽처를 갖는 픽처에서의 서브픽처의 수를 지시한다. 방법(1400)의 일부 실시예들에서, 상기 제1 신택스 요소의 값은 복수 서브픽처 레이어내 픽처에 의해 참조되는 신퀀스 파라미터 세트내의 제2 신택스 요소의 값보다 작거나 동일하다. 방법(1400)의 일부 실시예들에서, 상기 하나 이상의 신택스 요소는 제3 신택스 요소를 포함하고, 상기 제3 신택스 요소는 복수 서브픽처를 갖는 픽처들의 각 픽처에서의 i번째 서브픽처의 서브픽처 인덱스를 지시한다. 방법(1400)의 일부 실시예들에서, 상기 제1 신택스 요소는 sn_num_subpics_minus1로서 라벨링된다. 방법(1400)의 일부 실시예들에서, 제3 신택스 요소는 sn_subpic_idx[i]로서 라벨링된다.

도 15는 비디오 데이터 프로세싱의 예시적 방법(1500)의 플로우챠트이다. 동작(1502)은 복수의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 스케일러블-네스티드 보충 향상 정보 메시지가 포맷 규칙에 따라 상기 변환 동안 프로세싱되고, 상기 포맷 규칙은 하나 이상의 서브픽처를 스케일러블-네스티드 보충 향상 정보 메시지에 연관시키기 위해 하나 이상의 서브픽처 인덱스의 사용을 명시한다.

방법(1500)의 일부 실시예들에서, 상기 포맷 규칙은 하나 이상의 서브픽처들을 스케일러블-네스티드 보충 향상 정보 메시지에 연관시키기 위해 하나 이상의 서브픽처 식별자들의 사용을 허용하지 않는다. 방법(1500)의 일부 실시예들에서, 상기 포맷 규칙은 스케일러블-네스티드 보충 향상 정보 메시지에서 제1 신택스 요소를 제2 신택스 요소로 대체하고, 상기 포맷 규칙은 스케일러블-네스티드 보충 향상 정보 메시지로부터 제3 신택스 요소를 제거하고, 상기 제1 신택스 요소는 하나 이상의 비디오 레이어들 내의 각 픽처에서 i번째 서브픽처의 서브픽처 식별자를 표시하고, 제2 신택스 요소는 하나 이상의 비디오 레이어에 있는 각 픽처에서 i번째 서브픽처의 서브픽처 인덱스를 나타내고, 1을 더한 제3 신택스 요소는 상기 제1 신택스 요소를 나타내는 데 사용되는 비트 수를 지정한다.

도 16은 비디오 데이터 프로세싱의 예시적 방법(1600)의 플로우챠트이다. 동작(1602)은 포맷 규칙에 따라 하나 이상의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 상기 포맷 규칙은 비트스트림내 스케일러블 네스팅 보충 향상 정보 메시지 내의 제1 신택스 요소가 하나 이상의 서브픽처 레벨 정보 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지에 응답하여 특정 값으로 설정됨을 명시하고, 상기 제1 신택스 요소의 특정 값은 상기 스케일러블 네스팅 보충 향상 정보 메시지가 특정 출력 비디오 레이어 세트에 적용되는 하나 이상의 스케일러블-네스티드 보충 향상 정보 메시지를 포함함을 지시한다.

방법(1600)의 일부 실시예들에서, 상기 포맷 규칙은 비트스트림내 제2 신택스 요소의 값이 하나 이상의 서브픽처 레벨 정보 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지에 응답하여 0과 동일함을 명시하고, 0과 동일한 제2 신택스 요소의 값은 스케일러블 네스팅 보충 향상 정보 메시지가, 하나 이상의 출력 비디오 레이어 세트 또는 상기 하나 이상의 출력 비디오 레이어 세트의 모든 서브픽처들에 적용되는 하나 이상의 비디오 레이어, 또는 상기 하나 이상의 비디오 레이어에 적용되는 하나 이상의 스케일러블-네스티드 보충 향상 정보 메시지를 포함함을 지정한다. 방법(1600)의 일부 실시예들에서, 상기 포맷 규칙은 상기 스케일러블 네스팅 보충 향상 정보 메시지 내의 하나 이상의 스케일러블-네스티드 보충 향상 정보 메시지의 페이로드 타입이 203임을 명시하고, 보충 향상 정보 메시지에 대한 페이로드 타입 203은 상기 보충 향상 정보 메시지가 서브픽처 레벨 정보 보충 향상 정보 메시지임을 나타낸다. 방법(1600)의 일부 실시예들에서, 제1 신택스 요소의 특정 값은 1과 동일하다.

도 17은 비디오 데이터 프로세싱의 예시적 방법(1700)의 플로우챠트이다. 동작(1702)은 복수의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 상기 변환은 스케일러블 네스팅 보충 향상 정보 메시지가 제1 페이로드 타입의 제1 보충 향상 정보 메시지 및 제2 페이로드 타입의 제2 보충 향상 정보 메시지를 포함하는 것을 허용하지 않도록 명시하는 포맷 규칙을 따른다.

방법(1700)의 일부 실시예들에서, 상기 제1 페이로드 타입은 버퍼링 기간 보충 향상 정보 메시지(buffering period supplemental enhancement information message)의 페이로드 타입을 포함한다. 방법(1700)의 일부 실시예들에서, 상기 제1 페이로드 타입은 픽처 타이밍 보충 향상 정보 메시지(picture timing supplemental enhancement information message)의 페이로드 타입을 포함한다. 방법(1700)의 일부 실시예들에서, 상기 제1 페이로드 타입은 디코딩 유닛 정보 보충 향상 정보 메시지(decoding unit information supplemental enhancement information message)의 페이로드 타입을 포함한다. 방법(1700)의 일부 실시예들에서, 상기 제1 페이로드 타입은 서브픽처 레벨 정보 보충 향상 정보 메시지(subpicture level information supplemental enhancement information message)의 페이로드 타입을 포함한다. 방법(1700)의 일부 실시예들에서, 상기 제2 페이로드 타입은 다음 중 하나가 아닌 페이로드 타입을 포함한다: (i) 버퍼링 기간 보충 향상 정보 메시지의 페이로드 타입, (ii) 픽처 타이밍 보충 향상 정보 메시지의 페이로드 타입, (iii) 디코딩 유닛 정보 보충 향상 정보 메시지의 페이로드 타입, 및 (iv) 서브픽처 레벨 정보 보충 향상 정보 메시지의 페이로드 타입.

도 18은 비디오 데이터 프로세싱의 예시적 방법(1800)의 플로우챠트이다. 동작(1802)은 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 상기 변환은 상기 보충 향상 정보 네트워크 추상화 계층 유닛이, 특정 페이로드 타입과 연관되지 않은 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지를 포함하는 상기 보충 향상 정보 네트워크 추상화 계층 유닛에 응답하여, 접두(prefix) 보충 향상 정보 네트워크 추상화 계층 유닛 타입과 동일한 네트워크 추상화 계층 유닛 타입을 포함하는 것을 명시하는 포맷 규칙에 따라 수행된다.

방법(1800)의 일부 실시예들에서, 상기 네트워크 추상화 계층 유닛 타입은 PREFIX_SEI_NUT와 동일하다.

도 19는 비디오 데이터 프로세싱의 예시적 방법(1900)의 플로우챠트이다. 동작(1902)은 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 것을 포함하며, 상기 변환은 상기 보충 향상 정보 네트워크 추상화 계층 유닛이, 특정 페이로드 타입과 연관된 보충 향상 정보 메시지를 포함하는 스케일러블 네스팅 보충 향상 정보 메시지를 포함하는 상기 보충 향상 정보 네트워크 추상화 계층 유닛에 응답하여, 접미(suffix) 보충 향상 정보 네트워크 추상화 계층 유닛 타입과 동일한 네트워크 추상화 계층 유닛 타입을 포함하는 것을 명시하는 포맷 규칙에 따라 수행된다.

방법(1900)의 일부 실시예들에서, 상기 네트워크 추상화 계층 유닛 타입은 SUFFIX_SEI_NUT와 동일하다.

방법(1800 내지 1900)의 일부 실시예들에서, 상기 특정 페이로드 타입은 디코딩된 픽처 해시 보충 향상 정보 메시지의 페이로드 타입이다. 방법(1800 내지 1900)의 일부 실시예들에서, 상기 특정 페이로드 타입은 132와 동일한 값과 연관된다.

방법(들)(1300-1900)의 일부 실시예들에서, 상기 변환을 수행하는 단계는 상기 비디오를 상기 비트스트림으로 인코딩하는 것을 포함한다. 방법(들)(1300-1900)의 일부 실시예들에서, 상기 변환을 수행하는 단계는 비디오로부터 비트스트림을 생성하는 것을 포함하고, 상기 방법은 상기 비트스트림을 비일시적 컴퓨터 판독가능 기록 매체에 저장하는 것을 더 포함한다. 방법(들)(1300-1900)의 일부 실시예들에서, 상기 변환을 수행하는 단계는 상기 비트스트림으로부터 상기 비디오를 디코딩하는 것를 포함한다. 일부 실시예들에서, 비디오 디코딩 장치는 방법(들)(1300-1900) 또는 이들의 실시예를 구현하도록 구성된 프로세서를 포함한다.

일부 실시예들에서, 비디오 인코딩 장치는 방법(들)(1300-1900) 또는 이들의 실시예를 구현하도록 구성된 프로세서를 포함한다. 일부 실시예들에서, 컴퓨터 명령어들이 저장된 컴퓨터 프로그램 제품에 있어서, 상기 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금, 상기 방법(들)(1300-1900) 또는 그 실시예를 구현하게 한다. 일부 실시예들에서, 비일시적 컴퓨터 판독가능 저장 매체는 상기 방법(들)(1300-1900) 또는 그 실시예에 따라 생성된 비트스트림을 저장한다. 일부 실시예들에서, 비일시적 컴퓨터 판독가능 저장 매체는 프로세서로 하여금 상기 방법(들)(1300-1900) 또는 그 실시예들을 구현하게 하는 명령어들을 저장한다. 일부 실시예들에서, 비트스트림 생성 방법은 상기 방법(들)(1300-1900) 또는 그 실시예에 따라 비디오의 비트스트림을 생성하는 단계, 및 상기 비트스트림을 컴퓨터 판독가능 프로그램 매체 상에 저장하는 단계를 포함한다. 일부 실시예에서, 본 문서에서 개시된 방법 또는 시스템에 에 따라 생성된, 방법, 장치, 비트스트림을 개시한다.

개시된 기술의 일부 실시예는 비디오 프로세싱 툴 또는 모드를 가능하게 하기 위한 판단 또는 결정을 내리는 것을 포함한다. 예로서, 비디오 프로세싱 툴 또는 모드가 활성화된(enable) 경우, 인코더는 비디오 블록의 프로세싱에서 상기 툴 또는 모드를 사용하거나 구현할 것이지만, 상기 툴 또는 모드의 사용에 기초하여 결과적인 비트스트림을 반드시 수정하지는 않을 수 있다. 즉, 비디오 블록에서 비디오의 비트스트림 표현으로의 변환은 판단 또는 결정에 기초하여 인에이블될 때 비디오 프로세싱 툴 또는 모드를 사용할 것이다. 다른 예에서, 비디오 프로세싱 툴 또는 모드가 인에이블될 때, 디코더는 비트스트림이 상기 비디오 프로세싱 툴 또는 모드에 기초하여 수정되었다는 것을 알고 비트스트림을 처리할 것이다. 즉, 비디오의 비트스트림 표현에서 비디오 블록으로의 변환은 판단 또는 결정에 기초하여 활성화된 비디오 프로세싱 툴 또는 모드를 사용하여 수행된다.

개시된 기술의 일부 실시예는 비디오 프로세싱 툴 또는 모드를 비활성화하기 위한 판단 또는 결정을 내리는 것을 포함한다. 예로서, 비디오 프로세싱 툴 또는 모드가 비활성화된(disable) 경우, 인코더는 비디오의 블록을 비디오의 비트스트림 표현으로 변환하는데 상기 툴 또는 모드를 사용하지 않을 것이다. 다른 예에서, 비디오 프로세싱 툴 또는 모드가 비활성화될 때, 디코더는 비트스트림이 판단 또는 결정에 기초하여 비활성화된 상기 비디오 프로세싱 툴 또는 모드를 사용하여 수정되지 않았다는 것을 알고 비트스트림을 처리할 것이다.

본 문서에서 "비디오 프로세싱"이라는 용어는 비디오 인코딩, 비디오 디코딩, 비디오 압축 또는 비디오 압축해제를 지칭할 수 있다. 예를 들어, 비디오 압축 알고리즘은 비디오의 픽셀 표현에서 대응하는 비트스트림 표현으로 또는 그 반대로 변환하는 동안 적용될 수 있다. 현재 비디오 블록의 비트스트림 표현은, 예를 들어, 신택스에 의해 정의된 바와 같이 비트스트림 내의 다른 위치에 함께 배치되거나 확산되는 비트에 대응할 수 있다. 예를 들어, 매크로블록은, 변환되고 코딩된 에러 잔차 값의 관점에서 그리고 또한 헤더의 비트 및 비트스트림의 다른 필드를 사용하여 인코딩될 수 있다. 또한, 변환 동안 디코더는 위의 솔루션에서 설명된 바와 같이 결정에 기초하여 일부 필드가 존재하거나 없을 수 있다는 지식으로 비트스트림을 구문분석할 수 있다. 유사하게, 인코더는 소정의 신택스 필드가 포함되는지의 여부를 결정할 수 있고, 이에 따라 코딩된 표현으로부터 신택스 필드를 포함하거나 제외함으로써 코딩된 표현을 생성할 수 있다.

이 문서에 설명된 개시된 및 다른 솔루션, 예, 실시예, 모듈 및 기능적 동작은 디지털 전자 회로, 본 문서에 개시된 구조, 그들의 구조적 동등물들을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어 또는 이들 중의 하나 이상의 조합으로 구현될 수 있다. 개시된 실시예 및 다른 실시예는 하나 이상의 컴퓨터 프로그램 제품, 즉, 데이터 프로세싱 장치에 의한 실행 또는 그의 동작의 제어를 위해 컴퓨터 판독가능 매체 상에 인코딩되는 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터 판독가능 매체는 머신-판독가능 저장 장치, 머신-판독가능 저장 기판, 메모리 장치, 머신-판독가능 전파 신호에 영향을 주는 물질의 구성 또는 그들 중의 하나 이상의 조합일 수 있다. 용어 "데이터 프로세싱 장치"는 데이터 처리를 위한 모든 장치, 디바이스 및 머신을 포함하며, 예를 들어 프로그램 가능한 프로세서, 컴퓨터 또는 다중 프로세서 또는 컴퓨터를 포함한다. 장치는 하드웨어에 더하여 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나의 조합을 구성하는 코드를 포함할 수 있다. 전파되는 신호는 인공적으로 생성된 신호, 예를 들어, 머신 생성 전기, 광, 또는 전자기 신호이며, 이는 적절한 수신기 장치로의 전송을 위한 정보를 인코딩하기 위해 생성된다.

컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드라고도 함)은 컴파일된 언어 또는 해석된 언어를 포함하여 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램 또는 컴퓨터 환경에서 사용되기에 적합한 모듈, 컴포넌트, 서브루틴 또는 다른 유닛으로서 임의의 형태로 배치(deploy)될 수 있다. 컴퓨터 시스템은 파일 시스템 내의 파일에 반드시 대응되는 것은 아니다. 프로그램은 다른 프로그램 또는 데이터를 보유하는 파일의 일부(예를 들어 마크업 언어 문서에 저장된 하나 이상의 스크립트) 또는 문제의 프로그램의 전용인 단일 파일 또는 다중 편성(coordinated) 파일(예를 들어, 하나 이상의 모듈, 서브 프로그램 또는 코드의 일부를 저장하는 파일)에 저장될 수 있다. 컴퓨터 프로그램은, 하나의 컴퓨터 또는 한 사이트에 위치하거나 다수의 사이트에 걸쳐 분배되고 통신 네트워크에 의해 상호 접속되는 다수의 컴퓨터 상에서 실행되도록 배치될 수 있다.

본 명세서에 설명된 프로세스 및 로직 흐름은 입력 데이터에 대해 작동하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래밍가능한 프로세서에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 또한 FPGA (필드 프로그래밍 가능 게이트 어레이) 또는 ASIC (애플리케이션 특정 집적 회로)와 같은 특수 목적 로직 회로로 구현될 수 있다.

컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 리드 온리 메모리 또는 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기위한 프로세서와 명령과 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광 자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 데이터를 전송하거나 둘 모두를 수행하도록 동작 가능하게 결합된다. 그러나 컴퓨터가 이러한 장치를 가질 필요는 없다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치와 같은 반도체 메모리 장치; 내부 하드 디스크 또는 제거가능 디스크 등의 자기 디스크; 광자기 디스크 및 CD ROM 및 DVD-ROM 디스크를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치를 포함한다. 프로세서와 메모리는 특수 목적 로직 회로에 의해 보완되거나 통합될 수 있다.

이 특허 문서에는 많은 세부 사항이 포함되어 있지만, 이는 임의의 발명의 범위 또는 청구 대상에 대한 제한으로 해석되어서는 안되며, 특정 발명의 특정 실시예에 특정될 수 있는 특징에 대한 설명으로 해석되어야 한다. 개별 실시예의 맥락에서 본 특허 문서에 설명된 특정 특징은 또한 단일 실시예에서 조합하여 구현될 수 있다. 반대로, 단일 실시 예의 맥락에서 설명된 다양한 특징은 또한 다중 실시 예에서 개별적으로 또는 임의의 적절한 하위 조합으로 구현될 수 있다. 더욱이, 특징이 특정 조합으로 작용하는 것으로 위에서 설명될 수 있고 심지어 처음에 그렇게 청구될 수도 있지만, 청구된 조합으로부터 하나 이상의 특징이 어떤 경우에는 조합으로부터 삭제될 수 있고, 청구된 조합은 하위 조합 또는 변형일 수 있다.

유사하게, 동작이 특정 순서로 도면에 도시되어 있지만, 이는 바람직한 결과를 달성하기 위해 그러한 동작이 도시된 특정 순서 또는 순차적인 순서로 수행되거나 모든 예시된 동작이 수행될 것을 요구하는 것으로 이해되어서는 안된다. 더욱이, 이 특허 문헌에 설명된 실시예들에서 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안된다.

단지 몇 가지 구현예들 및 예들이 설명되었고, 다른 구현예들, 개선들 및 변형들이 본 특허 문헌에 기술되고 예시된 것에 기초하여 구현될 수 있다.

Claims

하나 이상의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하며,
필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지들은 포맷 규칙에 따라 상기 변환 동안 프로세싱되고,
상기 포맷 규칙은 필러 페이로드를 갖는 하나 이상의 보충 향상 정보 메시지가 스케일러블 네스팅 보충 향상 정보 메시지내에 있는 것을 허용하지 않는, 비디오 데이터 프로세싱 방법.
제1항에 있어서,
필러 페이로드를 갖는 상기 하나 이상의 보충 향상 정보 메시지들은 3과 동일한 값을 갖는 페이로드 타입을 포함하는, 비디오 데이터 프로세싱 방법.
제1항에 있어서,
상기 포맷 규칙은 스케일러블 네스팅을 갖는 하나 이상의 제2 보충 향상 정보 메시지들이 스케일러블 네스팅 보충 향상 정보 메시지내에 있는 것을 허용하지 않는, 비디오 데이터 프로세싱 방법.
비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하며,
하나 이상의 신택스 요소가 포맷 규칙에 따라 상기 변환 동안 프로세싱되고,
상기 포맷 규칙은 복수 서브픽처를 갖는 픽처를 가지는 비디오의 레이어를 위한 서브픽처 정보를 지시하기 위해 상기 하나 이상의 신택스 요소가 사용됨을 명시하는, 비디오 데이터 프로세싱 방법.
제4항에 있어서,
상기 하나 이상의 신택스 요소는 제1 신택스 요소를 포함하고, 1을 더한 상기 제1 신택스 요소의 값은 복수 서브픽처를 갖는 픽처에서의 서브픽처의 수를 지시하는, 비디오 데이터 프로세싱 방법.
제5항에 있어서,
상기 제1 신택스 요소의 값은 복수 서브픽처 레이어내 픽처에 의해 참조되는 신퀀스 파라미터 세트내의 제2 신택스 요소의 값보다 작거나 동일한, 비디오 데이터 프로세싱 방법.
제4항 내지 제6항 중 어느 한 항에 있어서,
상기 하나 이상의 신택스 요소는 제3 신택스 요소를 포함하고, 상기 제3 신택스 요소는 복수 서브픽처를 갖는 픽처들의 각 픽처에서의 i번째 서브픽처의 서브픽처 인덱스를 지시하는, 비디오 데이터 프로세싱 방법.
제4항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 신택스 요소는 sn_num_subpics_minus1로서 라벨링되는, 비디오 데이터 프로세싱 방법.
제6항에 있어서,
상기 제3 신택스 요소는 sn_subpic_idx[i]로서 라벨링되는, 비디오 데이터 프로세싱 방법.
복수의 서브픽처를 포함하는 비디오와 상기 비디오의 비트스트림 간의 변환을 수행하는 단계를 포함하며,
스케일러블-네스티드 보충 향상 정보 메시지가 포맷 규칙에 따라 상기 변환 동안 프로세싱되고,
상기 포맷 규칙은 하나 이상의 서브픽처를 상기 스케일러블-네스티드 보충 향상 정보 메시지에 연관시키기 위해 하나 이상의 서브픽처 인덱스의 사용을 명시하는, 비디오 데이터 프로세싱 방법.
제10항에 있어서,
상기 포맷 규칙은 하나 이상의 서브픽처들을 스케일러블-네스티드 보충 향상 정보 메시지에 연관시키기 위해 하나 이상의 서브픽처 식별자들의 사용을 허용하지 않는, 비디오 데이터 프로세싱 방법.
제10항 또는 제11항에 있어서,
상기 포맷 규칙은 스케일러블-네스티드 보충 향상 정보 메시지에서 제1 신택스 요소를 제2 신택스 요소로 대체하고,
상기 포맷 규칙은 스케일러블-네스티드 보충 향상 정보 메시지로부터 제3 신택스 요소를 제거하고,
상기 제1 신택스 요소는 하나 이상의 비디오 레이어들 내의 각 픽처에서 i번째 서브픽처의 서브픽처 식별자를 표시하고,
제2 신택스 요소는 하나 이상의 비디오 레이어에 있는 각 픽처에서 i번째 서브픽처의 서브픽처 인덱스를 나타내고,
1을 더한 제3 신택스 요소는 상기 제1 신택스 요소를 나타내는 데 사용되는 비트 수를 지정하는, 비디오 데이터 프로세싱 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 변환을 수행하는 단계는, 상기 비디오를 상기 비트스트림으로 인코딩하는 것을 포함하는, 비디오 데이터 프로세싱 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 변환을 수행하는 단계는 상기 비디오로부터 상기 비트스트림을 생성하는 것을 포함하고, 상기 방법은 상기 비트스트림을 비일시적 컴퓨터 판독가능 기록 매체에 저장하는 것을 더 포함하는, 비디오 데이터 프로세싱 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 변환을 수행하는 단계는 상기 비트스트림으로부터 상기 비디오를 디코딩하는 것를 포함하는, 비디오 데이터 프로세싱 방법.
제1항 내지 제15항 중 하나 이상에서 언급된 방법을 구현하도록 구성된 프로세서를 포함하는, 비디오 디코딩 장치.
제1항 내지 제15항 중 하나 이상에서 언급된 방법을 구현하도록 구성된 프로세서를 포함하는, 비디오 인코딩 장치.
프로세서에 의해 실행될 때, 프로세서로 하여금, 상기 제1항 내지 제15항 중 어느 한 항에서 언급된 방법을 구현하게 하는 컴퓨터 명령어들이 저장된 컴퓨터 프로그램 제품.
상기 제1항 내지 제15항 중 어느 한 항에 따라 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독가능 저장 매체.
프로세서로 하여금 상기 제1항 내지 제15항 중 어느 한 항에서 언급된 방법을 구현하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체.
상기 제1항 내지 제15항 중 어느 한 항에서 언급된 방법에 따라 비디오의 비트스트림을 생성하는 단계, 및
상기 비트스트림을 컴퓨터 판독가능 프로그램 매체 상에 저장하는 단계를 포함하는, 비트스트림 생성 방법
본 문서에서 개시된 방법 또는 시스템에 에 따라 생성된, 방법, 장치, 비트스트림.