KR20220085833A

KR20220085833A - 비디오 코딩에서 서브픽처 정보를 시그널링하는 방법 및 장치

Info

Publication number: KR20220085833A
Application number: KR1020227018086A
Authority: KR
Inventors: 첸-옌 라이; 시-타 시앙; 올레나 추바흐; 츠-더 추앙; 칭-예 첸; 루린 첸
Original assignee: 에이치에프아이 이노베이션 인크.
Priority date: 2019-11-05
Filing date: 2020-11-05
Publication date: 2022-06-22
Also published as: CN114586369A; TW202135528A; WO2021088919A1; CN114586369B; US20210136420A1; EP4042703A4; TWI772951B; CN117294860A; EP4042703A1; US11509938B2

Abstract

비디오 코딩을 방법 및 장치가 개시된다. 일 방법에 따르면, 비트스트림이 생성되거나 수신되는데, 비트 스트림은 제1 신택스와 제2 신택스를 포함한다. 제1 신택스는 제3 신택스의 세트를 나타내는 데 사용되는 타겟 비트수에 관련되고 각각의 제3 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대한 하나의 서브픽처 ID를 명시한다. 제2 신택스는 서브픽처 세트 내의 서브픽처의 총수에 관련되고, 상기 타겟 비트수가 나타낼 수 있는 제1 수는 서브픽처의 총수보다 크거나 같다. 다른 방법에 따르면, 서브 픽처 ID 신택스는 상이한 서브픽처마다 상이한 값을 갖는다.

Description

비디오 코딩에서 서브픽처 정보를 시그널링하는 방법 및 장치

[관련 출원과의 상호 참조]

본 발명은 2019년 11월 5일에 출원한 미국 가특허출원 제62/930,705호와, 2019년 12월 27일에 출원한 미국 가특허출원 제62/954,022호와, 2020년 1월 7일에 출원한 미국 가특허출원 제62/958,205호와, 2020년 11월 3일에 출원한 미국 특허출원 제17/087,205호에 대해 우선권을 주장한다. 이들 미국 특허출원은 그 전체가 참조로 본 명세서에 포함된다.

[발명의 분야]

본 발명은 비디오 코딩에 관한 것이다. 구체적으로, 본 발명은 비디오 코딩을 위한 서브픽처 정보를 시그널링하는 기술을 개시한다.

적응형 인트라/인터 비디오 코딩(adaptive Intra/Inter video coding)은 MPEG-2, AVC(고급 비디오 코딩) 및 HEVC(고효율 비디오 코딩)와 같은 다양한 비디오 코딩 표준에서 폭넓게 사용되고 있다. 적응형 인트라/인터 비디오 코딩에서는 예측 잔차를 생성하기 위해 인트라/인터 예측자(predictor)에 의해 입력 신호가 예측된다. 잔차는 대개 2차원 변환에 의해 처리되고 양자화된다. 그런 다음 양자화된 변환 계수가 코딩된다. HEVC(고효율 비디오 코딩) 표준은 ITU-T 비디오 코딩 전문가 그룹(VCEG) 및 ISO/IEC MPEG(동영상 전문가 그룹) 표준화 조직의 공동 비디오 프로젝트에서 개발되었으며, 특히 JCT-VC(Joint Collaborative Team on Video Coding)로서 알려진 파트너쉽을 갖는다. HEVC에서는, 하나의 슬라이스가 다수의 코딩 트리 유닛(CTU)으로 파티셔닝된다. 메인 프로파일에서, CTU의 최소 및 최대 사이즈는 시퀀스 파라미터 세트(SPS) 내의 신택스 엘리먼트에 의해 명시된다. 허용되는 CTU 사이즈는 8x8, 16x16, 32x32, 또는 64x64일 수 있다. 각각의 슬라이스에서, 슬라이스 내의 CTU는 래스터 스캔 순서에 따라 처리된다.

CTU는 다양한 로컬 특성(local characteristics)에 적응하기 위해 다중 코딩 유닛(CU)으로 추가로 파티셔닝된다. CTU는 QT(Quad-Tree 또는 Quadtree) 파티셔닝을 통해 다중 코딩 유닛(CU)으로 추가로 파티셔닝될 수 있다. QT 파티션은 사이즈 4Nx4N의 블록을 4개의 동일한 사이즈 2Nx2N 서브블록으로 분할한다. CTU는 단일 CU일 수도 있고(즉, 분할(splitting) 없음), 코딩 트리의 노드에 대응하는, 동일한 사이즈의 4개의 더 작은 유닛으로 분할될 수도 있다. 유닛이 코딩 트리의 리프 노드(leaf node)이면, 유닛은 CU가 된다. 그렇지 않다면, 노드에 대한 사이즈가 SPS(sequence parameter set)에 명시된 최소 허용 CU 사이즈에 도달할 때까지 쿼드트리 분할 프로세스가 반복될 수 있다.

HEVC에 따르면, 각각의 CU는 하나 이상의 예측 유닛(PU)으로 파티셔닝될 수 있다. CU와 결합되어 PU는 예측 정보를 공유하기 위한 기본 대표 블록으로 기능한다. 각각의 PU 내부에서, 동일한 예측 프로세스가 적용되고 관련 정보는 PU 베이스로 디코더에 전송된다. CU는 PU 분할 타입에 따라 1, 2 또는 4개의 PU로 분할될 수 있다. HEVC는 2Nx2N, 2NxN, Nx2N, NxN, 2NxnU, 2NxnD, nLx2N 및 nRx2N 파티션 타입을 포함해, CU를 PU로 분할하기 위한 8개의 형상을 정의한다. HEVC에 따르면, CU와 달리 PU는 한번만 분할될 수 있다.

PU 분할 타입에 기초한 예측 프로세스에 의해 잔차 블록을 획득한 후에, CU의 예측 잔차는 CU에 대한 코딩 트리와 유사한 또 다른 쿼드트리 구조에 따라 변환 유닛(TU, transform unit)으로 파티셔닝될 수 있다. TU는 정수 변환 및 양자화를 적용하기 위한 잔차 또는 변환 계수를 갖는 기본 대표 블록이다. 각 TU마다, TU와 동일한 사이즈를 갖는 하나의 정수 변환이 잔차 계수를 얻기 위해 적용된다. 이들 계수는 TU 베이스로 양자화된 후에 디코더에 전송된다.

도 1은 예측 잔차를 처리하기 위해 변환 및 양자화를 통합한 예시적인 적응형 인터/인트라 비디오 코딩 시스템을 도시한다. 인터-예측의 경우, 다른 픽처나 픽처들로부터의 비디오 데이터에 기초하여 예측 데이터를 제공하기 위해 모션 추정(ME, Motion Estimation)/모션 보상(MC, Motion Compensation)(112)이 사용된다. 스위치(114)가 인트라 예측(110) 또는 인터-예측 데이터를 선택하고, 선택된 에측 데이터가 가산기(116)에 공급되어 잔차라고도 하는 예측 에러를 형성한다. 그런 다음, 예측 에러는 변환(T)(118)에 이은 양자화(Q)(120)에 의해 처리된다. 변환 및 양자화된 잔차는 그런 다음 압축된 비디오 데이터에 대응하는 비디오 비트스트림에 포함되도록 엔트로피 인코더(122)에 의해 코딩된다. 변환 계수와 연관된 비트스트림은 모션, 코딩 모드, 및 이미지 영역과 연관된 기타 정보 등의 부가 정보(side information)와 함께 팩킹된다. 또한, 부가 정보는 필요한 대역폭을 줄이기 위해 엔트로피 코딩에 의해 압축될 수 있다. 따러서, 부가 정보와 연관된 데이터는 도 1에 도시하는 바와 같이 엔트로피 인코더(122)에 제공된다. 인터-예측 모드가 사용되는 경우, 인코더 단에서도 참조 픽처 또는 픽처들이 재구성되어야 한다. 그 결과, 변환 및 양자화된 잔차는 잔차를 복구하기 위해 역양자화(IQ)(124) 및 역변환(IT)(126)에 의해 처리된다. 그런 다음, 잔차는 비디오 데이터를 재구성하는 재구성 유닛(REC)(128)에서 인트라/인터 예측 데이터(136)에 다시 추가된다. 재구성된 비디오 데이터는 참조 픽처 버퍼(134)에 저장되고 다른 프레임의 예측에 사용될 수 있다.

도 1에 도시하는 바와 같이, 입력되는 비디오 데이터는 인코딩 시스템에서 일련의 프로세싱을 받는다. REC(128)로부터의 재구성된 비디오 데이터는 일련의 프로세싱으로 인해 다양한 손상을 받을 수 있다. 그래서, 비디오 품질을 높이기 위해 재구성된 비디오 데이터를 참조 픽처 버퍼(134)에 저장하기 전에 재구성된 비디오 데이터에 종종 루프 필터(130)가 적용된다. 예를 들어, HEVC(고효율 비디오 코딩) 표준에서는 디블록킹 필터(DF) 및 SAO(Sample Adaptive Offset)가 사용되고 있다. 루프 필터는 ALF(적응형 루프 필터, Adaptive Loop Filter)도 포함할 수 있다. 루프 필터 정보는 디코더가 필수 정보를 적절하게 복구할 수 있도록 비트스트림에 통합되는 것이 필요할 수 있다. 이에, 비트스트림에의 통합을 위해 루프 필터 정보가 엔트로피 인코더(122)에 제공된다. 도 1에서는, 재구성된 샘플이 참조 픽처 버퍼(134)에 저장되기 전에 재구성된 비디오에 루프 필터(130)가 적용된다. 도 1의 시스템은 통상의 비디오 인코더의 예시적인 구조를 예시하는 것이 의도된다. 그것은 고효율 비디오 코딩(HEVC) 시스템 또는 H.264에 대응할 수 있다.

도 2는 도 1의 인코더 시스템에 대한 대응하는 비디오 디코더의 시스템 블록도를 도시한다. 인코더가 비디오 데이터를 재구성하기 위한 로컬 디코더도 포함하기 때문에, 일부 디코더 구성요소는 엔트리피 디코더(210)를 제외한 인코더에서 이미 사용된다. 더욱이, 디코더측에서는 모션 보상(220)만이 필요하다. 스위치(146)는 인트라-예측 또는 인터-예측을 선택하고 선택된 예측 데이터는 복구된 잔차와 결합되도록 재구성(REC)(128)에 공급된다. 압축된 잔차에 대해 엔트로피 디코딩을 수행하는 것뿐만 아니라, 엔트로피 디코딩(210)은 부가 정보의 엔트로핑 디코딩을 담당하고 부가 정보를 각각의 블록에 제공한다. 예를 들어, 인트라 모드 정보는 인트라-예측(110)에 제공되고, 인터 모드 정보는 모션 보상(220)에 제공되며, 루프 필터 정보는 루프 필터(300)에 제공되고, 잔차는 역양자화(124)에 제공된다. 잔차는 IQ(124), IT(126), 및 비디오 데이터를 재구성하기 위한 후속 재구성 프로세스에 의해 처리된다. 이 경우에도 마찬가지로, REC(128)로부터의 재구성된 비디오 데이터는 도 2에 도시하는 바와 같은 IQ(124) 및 IT(126)를 포함하는 일련의 프로세싱을 받게 되고 코딩 아티팩트에 노출된다. 재구성된 비디오 데이터는 루프 필터(130)에 의해 추가 처리된다.

디폴트 양자화 매트릭스 표현

양자화 매트릭스(QM)는 다양한 코딩 표준에서 사용되고 있다. 예를 들어, 양자화 매트릭스는 도 1의 양자화(120) 및 도 2의 역양자화(124)에 사용된다. 잔차 신호의 변환 코딩을 의미하는 블록 기반 하이브리드 비디오 코딩 스킴은 변환 유닛(TU)의 상이한 주파수에 걸친 양자화 왜곡의 분포를 제어하기 위해 주파수 종속 스케일링(frequency dependent scaling)을 사용할 수 있다. 공간 주파수에 걸쳐 지각적으로 균일한 양자화를 달성하기 위해, 관련된 주파수 범위에 걸쳐 지각되는 감도에 따라 변환 계수와 연관된 각 주파수 채널에 가중치를 부여하도록 양자화 매트릭스를 설계할 수 있다. 따라서, 변환 블록의 저주파 계수는 고주파 계수에 비해 더 미세한 양자화 스텝 사이즈로 양자화될 것이다. 대응하는 양자화 매트릭스는 디코더에서 역양자화된 변환 계수를 역으로 가중치를 부여하는 데에 채택될 수 있다.

양자화 매트릭스는 H.264/AVC 및 H.265/HEVC(고효율 비디오 코딩)와 같은 비디오 코딩 표준에서 성공적으로 활용되어 비디오 콘텐츠의 주관적 품질을 향상시킬 수 있다. 그 효율성 때문에 양자화 매트릭스는 수많은 비디오 코딩 제품에서 널리 사용되고 있다.

HEVC 사양은 사이즈 4x4, 8x8, 16x16, 및 32x32의 4개의 정수 역변환 매트릭스를 포함한다. 이들 변환 매트릭스는 동일한 사이즈의 DCT-2 매트릭스의 정수 근사이며, DCT(이산 코사인 변환) 계수 구조의 보존을 목표로 한다. 인트라 예측된 4x4 블록의 잔차에 적용되는 추가 4x4 DST(이산 사인 변환) 매트릭스가 명시된다. DST와 구별하기 위해 4개의 DCT는 HEVC 코어 변환이라고 칭해진다.

양자화 매트릭스는 차세대 비디오 코딩 표준이자 H.265/HEVC의 계승자로서 VVC(Versatile Video Coding)로 명명된 새로운 비디오 코딩 표준에 채택될 것으로 평가되고 있다. 양자화 매트릭스는 본 개시내용에서 스케일링 매트릭스(scaling matrix)라고도 한다.

주파수 종속 스케일링이 활성화되는 경우, 사이즈 4x4 및 8x8의 양자화 매트릭스는 도 3에 도시하는 디폴트 값을 갖는다. 도 3에 도시하는 바와 같이, 4x4 매트릭스(310)는 인트라 및 인터 모드에서 루마 및 크로마 성분에 사용되고, 8x8 매트릭스(320)는 인트라 모드에서 루마 및 크로마 성분에 사용되며, 8x8 매트릭스(330)는 인터 모드에서 루마 및 크로마 성분에 사용된다.

예를 들어, 변환 블록의 상이한 사이즈 및 타입에 대해 다음의 20개의 양자화 매트릭스가 지원된다.

ㆍ 루마: Intra4x4, Inter4x4, Intra8x8, Inter8x8, Intra16x16, Inter16x16, Intra32x32, Inter32x32

ㆍ Cb: Intra4x4, Inter4x4, Intra8x8, Inter8x8, Intra16x16, Inter16x16

ㆍ Cr: Intra4x4, Inter4x4, Intra8x8, Inter8x8, Intra16x16, Inter16x16

양자화 매트릭스를 저장하는데 필요한 메모리를 줄이기 위해, 8x8 매트릭스를 사용하여 16x16 및 32x32 양자화 매트릭스를 생성한다. 사이즈 16x16 및 32x32의 변환 블록에 대한 디폴트 양자화 매트릭스는 복제를 사용한 업샘플링에 의해 동일한 타입의 디폴트 8x8 양자화 매트릭스로부터 취득된다. 이 프로시저가 도 4에 도시되는데: 도면 내의 점으로 채워진 블록(412)은 8x8 양자화 매트릭스(410)의 양자화 매트릭스 엔트리가 16x16 양자화 매트릭스(420)의 2x2 영역(422)으로 그리고 32x32 양자화 매트릭스(430)의 4x4 영역(432)으로 복제되는 것을 나타낸다.

루마 매핑 및 크로마 스케일링(LMCS)

VVC(Versatile Video Coding)는 ITU-T 연구 그룹(Study Group) 16 비디오 코딩 전문가 그룹과 ISO/IEC JTC1 SC29/WG11 (Moving Picture Experts Group, MPEG))로 구성된 공동 팀인 공동 비디오 전문가 팀(Joint Video Experts Team)에서 개발 중인 새로운 비디오 코딩 표준이다. VVC는 개선된 새로운 코딩 툴(tool)을 포함한 HEVC(고효율 비디오 코딩) 비디오 표준을 기반으로 한다. 예를 들어, 재성형 프로세스(reshaping process)는 VTM-4.0(VVC 테스트 모델 버전 4.0)에 적응화되는 신규 코딩 툴이다. 재성형 프로세스는 LMCS(루마 매핑 및 크로마 스케일링)이라고도 칭해진다. 재성형이 적용될 경우, 비디오 샘플은 루프 필터링 전에 재성형 도메인에서 코딩 및 재구성된다. 재성형 도메인에서 재구성된 샘플은 역재성형을 사용하여 오리지널 도메인으로 변환된다. 루프 필터링된 오리지널 도메인 재구성 샘플은 디코딩측 픽처 버퍼에 저장된다. 인터 모드의 경우, 모션 보상(MC) 예측자는 포워드 재성형을 사용하여 재성형된 도메인으로 변환된다. 도 5는 디코더측에서의 재성형 프로세스의 예를 보여준다.

도 5에 도시하는 바와 같이, 재구성된 루마 잔차(Y _res )를 도출하기 위해 CABAC(콘텍스트 적응형 이진 산술 코딩, context-adaptive binary arithmetic coding) 디코더(510)(즉, CABAC^-1), 역영자화(즉, Q^-1) 및 역변환(T^-1)에 의해 비트스트림이 처리된다. 재구성된 루마 전차는 재구성된 루마 신호를 생성하기 위해 루마 재구성 블록(520)에 제공된다. 인트라 모드의 경우 예측자는 인트라 예측 블록(530)으로부터 유래된다. 인터 모드의 경우 예측자는 모션 보상 블록(540)으로부터 유래된다. 인코더측에서 루마 신호에 재성형이 적용되기 때문에, 포워드 재성형(550)은 예측자가 재구성 블록(520)에 제공되기 전에 모션 보상 블록(540)으로부터의 예측자에 적용된다. 인버스 재성형(560)은 재구성 블록(520)으로부터의 재구성된 루마 신호에 적용되어 미성형 재구성된 루마 신호를 복구한다. 그런 다음 디코딩측 픽처 버퍼(DPB)(580)에 신호가 저장되기 전에 미성형 재구성된 루마 신호에 루프 필터(570)가 적용된다.

서브픽처 코딩 모드가 포함되어 있는 비디오 시퀀스를 코딩하기 위한 방법 및 장치가 개시된다. 본 개시내용에 따르면, 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림이 인코더측에서 생성되거나 디코더측에서 수신되고, 비트스트림은 제1 신택스와 제2 신택스를 포함하며, 제1 신택스는 제3 신택스의 세트를 나타내는 데 사용되는 타겟 비트수에 대응하고 각각의 제3 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하며, 제2 신택스는 서브픽처 세트 내의 서브픽처의 총수에 대응하고, 제1 신택스의 제1 값에 대해 행해진 계산치는 제2 신택스의 제2 값보다 크거나 같다. 비디오 시퀀스는, 서브픽처 세트를 포함하는 정보에 기초하여, 인코더측에서 인코딩되거나 디코더측에서 디코딩된다.

일 실시형태에서, 제1 신택스와 제2 신택스는 시퀀스 파라미터 세트(SPS)에서, 인코더측에서 시그널링되거나 디코더측에서 파싱된다. 다른 실시형태에서, 제1 신택스와 제2 신택스는 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더(SH), 픽처 헤더(PH), 또는 이들의 조합에서, 인코더측에서 시그널링되거나 디코더측에서 파싱된다.

일 실시형태에서, 제1 신택스는 타겟 비트수 마이너스 1에 대응한다. 일 예에서, 제1 신택스는 시퀀스 파라미터 세트(SPS)에 있고 타겟 비트수 마이너스 1을 나타내기 위해 sps_subpic_id_len_minus1로서 지정된다. 다른 예에서, 타겟 비트수가 나타낼 수 있는 제1 수는 ((1<< ((타겟 비트수 마이너스 1) + 1)에 대응하고, 여기서 "<<"는 산술적 레프트 시프트 연산을 나타낸다. 다른 예에서, 제2 신택스는 시퀀스 파라미터 세트(SPS)에 있고 서브픽처 세트 내의 서브픽처의 총수 마이너스 1을 나타내기 위해 sps_num_subpic_minus1로서 지정된다.

일 실시형태에서, 제1 신택스는 타겟 비트수 마이너스 오프셋 그리고 플러스 제1 값에 대응하고, 제1 값은 Ceil( Log2 (서브픽처의 총수))에 대응하고, "Ceil"은 천장 함수이고, "Log2"는 밑수 2의 로그 함수이다.

서브픽처 코딩 모드가 포함되어 있는 비디오 시퀀스를 코딩하기 위한 또 다른 방법 및 장치가 개시된다. 본 개시내용에 따르면, 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림이 인코더측에서 생성되거나 디코더측에서 수신되고, 비트스트림은 서브픽처 ID 신택스의 세트를 포함하고, 각각의 서브픽처 ID 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하고, 제1 서브픽처가 제2 서브픽처와 상이하다면, 제1 서브픽처에 대한 제1 서브픽처 ID 신택스는 제2 서브픽처에 대한 제2 서브픽처 ID 신택스와 상이한 값을 갖는다. 비디오 시퀀스는 서브픽처 세트를 포함하는 정보에 기초하여, 인코더측에서 인코딩되거나 디코더측에서 디코딩된다.

일 실시형태에서, 비트스트림은 제1 서브픽처가 제2 서브픽처와 상이하다면 제1 서브픽처에 대한 제1 서브픽처 ID 신택스가 제2 서브픽처에 대한 제2 서브픽처 ID 신택스와 상이하다는 비트스트림 부합 요건(bitstream conformance requirement)을 충족한다. 다른 실시형태에서, 서브픽처 ID 신택스의 세트는, 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더(SH), 픽처 헤더(PH), 또는 이들의 조합에서, 인코더측에서 시그널링되거나 디코더측에서 파싱된다.

도 1은 비디오 인코더의 예시적인 블록도를 도시하는데, 여기서 비디오 인코더는 인트라/인터 예측, 변환 및 양자화 프로세스를 통합한다.
도 2는 비디오 디코더의 예시적인 블록도를 도시하는데, 여기서 비디오 디코더는 인트라/인터 예측, 변환 및 양자화 프로세스를 통합한다.
도 3은 인터 및 인트라 코딩 모드에 있어서 루마 및 크로마 성분에 대한 대형 스케일링 매트릭스를 도출하기 위한 4x4 및 8x8 공유 기반 기본 스케일링 매트릭스의 예를 도시한다.
도 4는 복제를 사용한 업샘플링에 의해 동일한 타입의 공유 기반 8x8 양자화 매트릭스로부터 사이즈 16x16 및 32x32의 변환 블록에 대한 양자화 매트릭스를 도출하는 예를 도시한다.
도 5는 루마 재성형 프로세스를 통합한 비디오 디코더의 예시적인 블록도를 도시한다.
도 6은 본 발명의 일 실시형태에 따른 제약이 있는 서브픽처 신택스를 사용하는 예시적인 코딩 시스템의 흐름도를 도시한다.
도 7은 본 발명의 일 실시형태에 따른 제약이 있는 서브픽처 신택스를 사용하는 다른 예시적인 코딩 시스템의 흐름도를 도시한다.

이어지는 설명은 본 발명을 수행하기에 최적이라 간주되는 모드에 속한다. 이 설명은 본 발명의 일반적인 원리를 예시하는 목적에서 이루어지며 제한적인 의미로 해석되어서는 안 된다. 본 발명의 범주는 첨부하는 청구범위를 참조하여 가장 잘 정해진다.

서브픽처 정보의 시그널링

VVC 드래프트 7 표준, JVET-P2001 (B. Bross, et al., "Versatile Video Coding (Draft 7)", ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 공동 비디오 전문가 팀(JVET), 16차 미팅: 스위스 제네바 2019년 10월 1일-11일, 다큐먼트: JVET-P2001-vB)에서, 서브픽처 코딩이 지원된다. 서브픽처에 관한 정보는 SPS(시퀀스 파라미터 세트) 및 PPS(픽처 파라미터 세트)를 포함하는 비트스트림에서 시그널링된다.

JVET-P2001에 따라, SPS에서의 서브픽처 정보의 시그널링을 표 1에 표시한다.

표 1: SPS에서의 서브픽처 정보의 시그널링

앞의 표에서, subpics_present_flag가 1인 것은, 서브픽처 파라미터가 SPS RBSP 신택스에 존재하는 것을 명시한다. subpics_present_flag가 0인 것은 서브픽처 파라미터가 SPS RBSP 신택스에 존재하지 않는 것을 명시한다.

주의　2　-　비트스트림이 서브비트스트림 추출 프로세스의 결과이고, 서브비트스트림 추출 프로세스에 대한 입력 비트스트림의 서브픽처의 서브세트만을 포함하는 경우, SPS의 RBSP에서 subpics_present_flag의 값을 1로 설정해야 할 수도 있다.

sps_num_subpics_minus1 plus 1은 서브픽처의 수를 명시한다. sps_num_subpics_minus1는 0 내지 254의 범위에 속해야 한다. 존재하지 않는다면, sps_num_subpics_minus1의 값은 0인 것으로 추론된다.

sps_subpic_id_present_flag가 1인 것은 서브픽처 ID 매핑이 SPS에 존재하는 것을 명시한다. sps_subpic_id_present_flag가 0인 것은 서브픽처 ID 매핑이 SPS에 존재하지 않는 것을 명시한다.

sps_subpic_id_signalling_present_flag가 1인 것은 서브픽처 ID 매핑이 SPS에서 시그널링되는 것을 명시한다. sps_subpic_id_signalling_present_flag가 0인 것은 서브픽처 ID 매핑이 SPS에서 시그널링되지 않는 것을 명시한다. 존재하지 않는다면, sps_subpic_id_signalling_present_flag의 값은 0인 것으로 추론된다.

sps_subpic_id_len_minus1 plus 1은 신택스 엘리먼트 sps_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 명시한다. sps_ subpic_id_len_minus1의 값은 0부터 15까지의 범위에 속해야 한다.

sps_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. sps_subpic_id[　i　] 신택스 엘리먼트의 길이는 sps_subpic_id_len_minus1　+　1 비트이다. 존재하지 않을 경우 그리고 sps_subpic_id_present_flag가 1인 경우, sps_subpic_id[　i　]의 값은, 0부터 sps_num_subpics_minus1까지의 범위에서 각 i에 대해, i인 것으로 추론된다.

JVET-P2001에 따라, PPS에서의 서브픽처 정보의 시그널링을 표 2에 표시한다.

표 2: PPS에서의 서브픽처 정보의 시그널링

pps_subpic_id_len_minus1 plus 1은 신택스 엘리먼트 pps_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 명시한다. pps_ subpic_id_len_minus1의 값은 0부터 15까지의 범위에 속해야 한다.

CLVS(코딩된 레이어 비디오 시퀀스)에서의 코딩된 픽처에 의해 참조되는 모든 PPS에 대해 pps_subpic_id_len_minus1의 값이 동일해야 하는 것이 비트스트림 부합 요건이다.

pps_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. pps_subpic_id[　i　] 신택스 엘리먼트의 길이는 pps_subpic_id_len_minus1　+　1 비트이다.

JVET-P2001에 따라, 픽처 헤더(PH)에서의 서브픽처 정보의 시그널링을 표 3에 표시한다.

표 3: PH에서의 서브픽처 정보의 시그널링

ph_subpic_id_signalling_present_flag가 1인 것은 서브픽처 ID 매핑이 PH에서 시그널링되는 것을 명시한다. ph_subpic_id_signalling_present_flag가 0인 것은 서브픽처 ID 매핑이 PH에서 시그널링되지 않는 것을 명시한다.

ph_subpic_id_len_minus1 plus 1은 신택스 엘리먼트 ph_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 명시한다. ph_subpic_id_len_minus1의 값은 0부터 15까지의 범위에 속해야 한다.

CLVS에서의 코딩된 픽처에 의해 참조되는 모든 PH에 대해 ph_subpic_id_len_minus1의 값이 동일해야 하는 것이 비트스트림 부합 요건이다.

ph_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. ph_subpic_id[　i　] 신택스 엘리먼트의 길이는 ph_subpic_id_len_minus1　+　1 비트이다.

리스트 SubpicIdList[　i　]는 다음과 같이 도출된다:

for( i = 0; i <= sps_num_subpics_minus1; i++ )

SubpicIdList[　i　] = sps_subpic_id_present_flag ?

( sps_subpic_id_signalling_present_flag ? sps_subpic_id[　i　] :

( ph_subpic_id_signalling_present_flag ? ph_subpic_id[　i　] : pps_subpic_id[　i　] ) ) : i

VVC 드래프트 7 표준은 신택스 엘리먼트 sps_subpic_id[ i ] 및 서브픽처의 총수(예컨대, sps_num_subpics_minus1 + 1)를 나타내는 데 사용되는 비트수(예컨대, sps_subpic_id_len_minus1 plus 1)를 명시하고 있지만, 다양한 서브픽처들을 구별하기 위해 모든 서브픽처가 그 자신의 ID를 필요로 한다는 문제는 다루지 않는다. 따라서, 본 발명은 이 문제를 해결하는 방법을 개시한다.

방법 1: 본 발명의 일 실시형태에 따른 서브픽처 정보의 시그널링 제약

이 문제를 해결하기 위해, 본 발명에 따른 서브픽처 정보의 시그널링을 제안한다. 서브픽처 정보의 시그널링의 일 실시형태는 표 2에 기초한다.

JVET-P2001에 따라, 신택스 엘리먼트 sps_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 표시하기 위해 신택스, 즉 sps_subpic_id_len_minus1가 SPS에서 시그널링된다. 또한, 신택스 sps_num_subpics_minus1 plus 1이 서브픽처의 수를 명시한다. 본 개시내용의 일 실시형태에서, sps_subpic_id_len_minus1의 범위는 sps_num_subpics_minus1의 값에 기초하여 추가로 제약되어야 한다. 예를 들어, (1<< (sps_subpic_id_len_minus1 plus 1))의 값은 (sps_num_subpics_minus1 plus 1)보다 크거나 같아야 하며, 여기서 "<<"는 산술적 레프트 시프트 연산에 대응하고, 1<<x는 x의 2승(2-to-the-power)에 대응하며, x는 정수이다. 다른 예로, sps_subpic_id_len_minus1의 값은 Ceil( Log2( sps_num_subpics_minus1 plus) ) - 1보다 크거나 같아야 하며, 여기서 Ceil()은 천장 함수에 대응하고 Ceil(x)는 x보다 크거나 같은 최소 정수를 나타낸다.

다른 실시형태에서, 동일한 제약은 PPS의 pps_subpic_id_len_minus1에 적용되어야 한다. 예를 들어, (1<< (pps_subpic_id_len_minus1 plus 1))의 값은 (pps_num_subpics_minus1 plus 1)보다 크거나 같아야 한다. 다른 실시형태에서, 동일한 제약은 PH의 ph_subpic_id_len_minus1에 적용되어야 한다. 예를 들어, (1<< (ph_subpic_id_len_minus1 plus 1))의 값은 (ph_num_subpics_minus1 plus 1)보다 크거나 같아야 한다.

컬러 비디오에 대한 파티션 정보의 시그널링

JVETP-2001에 따라, 표 4에 표시하는 바와 같이 컬러 비디오에 대한 피티션 정보도 SPS에서 시그널링된다.

표 4: SPS에서의 컬러 비디오에 대한 파티션 정보의 시그널링

sps_log2_diff_min_qt_min_cb_intra_slice_luma는 CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈의 밑수 2 로그와 SPS를 참조하는 slice_type이 2(즉, I 프레임)인 슬라이스에서 루마 CU에 대한 루마 샘플에 있어서 최소 코딩 블록 사이즈의 밑수 2 로그 사이의 디폴트 차이를 명시한다. partition_constraints_override_enabled_flag가 1인 경우, 디폴트 차이는 SPS를 참조하는 PH에 존재한 pic_log2_diff_min_qt_min_cb_luma에 의해 무효화될 수 있다. sps_log2_diff_min_qt_min_cb_intra_slice_lum의 값은 0부터 CtbLog2SizeY - MinCbLog2SizeY까지의 범위에 속해야 한다. CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈의 밑수 2 로그는 다음과 같이 도출된다:

MinQtLog2SizeIntraY = sps_log2_diff_min_qt_min_cb_intra_slice_luma + MinCbLog2SizeY.

sps_log2_diff_min_qt_min_cb_inter_slice는 CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈의 밑수 2 로그와 SPS를 참조하는 slice_type이 0(즉, B 프레임) 또는 1(즉, P 프레임)인 슬라이스에서 루마 CU에 대한 루마 샘플에 있어서 최소 루마 코딩 블록 사이즈의 밑수 2 로그 사이의 디폴트 차이를 명시한다. partition_constraints_override_enabled_flag가 1인 경우, 디폴트 차이는 SPS를 참조하는 PH에 존재한 pic_log2_diff_min_qt_min_cb_luma에 의해 무효화될 수 있다. sps_log2_diff_min_qt_min_cb_inter_slice의 값은 0부터 CtbLog2SizeY - MinCbLog2SizeY까지의 범위에 속해야 한다. CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈의 밑수 2 로그는 다음과 같이 도출된다:

MinQtLog2SizeInterY = sps_log2_diff_min_qt_min_cb_inter_slice + MinCbLog2SizeY.

sps_max_mtt_hierarchy_depth_inter_slice는 SPS를 참조하는 slice_type이 0 (B) 또는 1 (P)인 슬라이스에서 쿼드트리 리프의 다중 타입 트리 분할의 결과로 인한 코딩 유닛에 대한 디폴트 최대 계층 깊이를 명시한다. partition_constraints_override_enabled_flag가 1인 경우, 디폴트 최대 계층 깊이는 SPS를 참조하는 PH에 존재한 pic_max_mtt_hierarchy_depth_inter_slice에 의해 무효화될 수 있다. sps_max_mtt_hierarchy_depth_inter_slice의 값은 0부터 2*(　CtbLog2SizeY - MinCbLog2SizeY　)까지의 범위에 속해야 한다.

sps_max_mtt_hierarchy_depth_intra_slice_luma는 SPS를 참조하는 slice_type이 2 (I)인 슬라이스에서 쿼드트리 리프의 다중 타입 트리 분할의 결과로 인한 코딩 유닛에 대한 디폴트 최대 계층 깊이를 명시한다. partition_constraints_override_enabled_flag가 1인 경우, 디폴트 최대 계층 깊이는 SPS를 참조하는 PH에 존재한 pic_max_mtt_hierarchy_depth_intra_slice_luma에 의해 무효화될 수 있다. sps_max_mtt_hierarchy_depth_intra_slice_luma의 값은 0부터 2*(　CtbLog2SizeY - MinCbLog2SizeY　)까지의 범위에 속해야 한다.

방법 2: 본 발명의 일 실시형태에 따른 컬러 비디오에 대한 파티션 정보의 시그널링

본 발명의 일 실시형태에 따르면, 신택스, 즉sps_log2_diff_min_qt_min_cb_intra_slice_luma는, CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈의 밑수 2 로그와 SPS를 참조하는 slice_type이 2(즉, I 프레임)인 슬라이스에서 루마 CU에 대한 루마 샘플에 있어서 최소 코딩 블록 사이즈의 밑수 2 로그 사이의 디폴트 차이를 명시하기 위해 SPS에서 시그널링된다. sps_log2_diff_min_qt_min_cb_inter_slice는 3진 분할(ternary split)을 사용하여 분할될 수 있는 루마 코딩 블록의 루마 샘플에 있어서 최소 사이즈(폭 또는 높이)의 밑수 2 로그와 SPS를 참조하는 slice_type이 0(즉, B 프레임) 또는 1(즉, P 프레임)인 슬라이스에서 CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서 최소 사이즈(폭 또는 높이) 사이의 디폴트 차이를 명시하기 위해 SPS에서 시그널링된다.

MTT(다중 변환 타입, Multiple Transform Type)이 허용되지 않는다면, 즉 sps_max_mtt_hierarchy_depth_intra_slice_luma 또는 sps_max_mtt_hierarchy_depth_inter_slice_luma　중 어느 하나가 0이라면, CTU의 쿼드트리 분할의 결과로 인한 루마 리프 블록의 루마 샘플에 있어서의 최소 사이즈는 루마 CU에 대한 루마 샘플에 있어서의 최소 코딩 사이즈로 추론될 수 있다. 이렇게, sps_log2_diff_min_qt_min_cb_intra_slice_luma와 sps_log2_diff_min_qt_min_cb_inter_slice는 시그널링될 필요가 없다. 일 실시형태에서, sps_log2_diff_min_qt_min_cb_intra_slice_luma와 sps_log2_diff_min_qt_min_cb_inter_slice는 sps_max_mtt_hierarchy_depth_intra_slice_luma와 sps_max_mtt_hierarchy_depth_inter_slice 다음에 시그널링될 수 있다. sps_max_mtt_hierarchy_depth_intra_slice_luma가 제로가 아닌 경우에만sps_log2_diff_min_qt_min_cb_intra_slice_luma가 시그널링될 것이다. 다른 경우에는 제로로 추론된다. sps_max_mtt_hierarchy_depth_inter_slice가 제로가 아닌 경우에만 sps_log2_diff_min_qt_min_cb_inter_slice가 시그널링될 것이다. 다른 경우에는 제로로 추론된다. 뿐만 아니라 전술한 실시형태는 크로마 신택스, 즉 sps_log2_diff_min_qt_min_cb_intra_slice_chroma까지 확장될 수 있다.

본 발명의 일 실시형태에 따른 컬러 비디오에 대한 파티션 정보의 시그널링은 표 5에 표시된다.

표 5: 본 발명의 일 실시형태에 따른 SPS에서의 컬러 비디오에 대한 파티션 정보의 시그널링

앞의 신택스 표는 표 4의 통상의 신택스 표에 기초하여 지정되는데, 여기서 이중 슬래시(즉, "//") 쌍 안의 텍스트는 삭제된 텍스트를 표시하고 이탤릭체 텍스트는 삽입된 텍스트를 표시한다.

LMCS의 신택스 시그널링 및 APS와 PH의 스케일링 리스트

JVET-P2001에 있어서, LMCS의 신택스 시그널링, 및 APS와 PH의 스케일링 리스트를 각각 표 6과 표 7에 표시한다.

표 6: LMCS의 신택스 시그널링 및 APS의 스케일링 리스트 데이터

표 7: LMCS의 신택스 시그널링 및 PH의 스케일링 리스트 데이터

방법 3: 본 발명의 일 실시형태에 따른 컬러 비디오에 대한 파티션 정보의 시그널링

LMCS의 신택스 및 스케일링 리스트가 APS와 PH에서 시그널링된다. 신택스 시그널링을 보다 유연하게 하기 위해서, 일 실시형태에서는, LMCS 정보, 즉 pic_lmcs_aps_id 또는 pic_chroma_residual_scale_flag가 PH에서 시그널링되는지의 여부를 표시하기 위해 PH에서 pic_lmcs_enabled_flag 앞에 pic_lmcs_enabled_flag가 시그널링된다. pic_lmcs_enabled_present_flag가 활성화되면, pic_lmcs_enabled_flag가 시그널링될 뿐만 아니라 pic_lumc_aps_id, pic_lmcs_aps_id, 및 pic_chroma_residual_scale_flag도 시그널링된다. 그렇지 않다면, (pic_lmcs_enabled_present_flag가 활성화되지 않으면), LMCS 관련 신택스는 PH에서 시그널링될 필요가 없다. 다른 실시형태에서, LMCS의 유연성을 더욱 높이기 위해 LMCS 신택스는 슬라이스 헤더에서 시그널링될 수 있다. 예를 들어, sps_lmcs_enabled_flag가 활성화되고 pic_lmcs_enabled_present_flag가 활성화되지 않으면, slice_lmcs_enabled_flag는 시그널링될 것이다. 또한, slice_lmcs_enabled_flag가 활성화되면, 다른 LMCS 관련 신택스, 즉 slice_lumc_aps_id, slice_lmcs_aps_id, 및 slice_chroma_residual_scale_flag는 시그널링될 것이다. 다른 실시형태에서, sps_lmcs_enabled_flag가 활성화되면, slice_lmcs_enabled_flag는 pic_lmcs_enabled_present_flag와 관계 없이 시그널링될 것이다. 또한, 슬라이스 헤더에서 시그널링되는 LMCS 파라미터는 PH에서 시그널링되는 LMCS 파라미터를 덮어쓸 수 있다.

표 8: 본 발명의 일 실시형태에 따른 PH에서의 LMCS 데이터의 신택스 시그널링

표 9: 본 발명의 일 실시형태에 따른 슬라이스 헤더에서의 LMCS 데이터의 신택스 시그널링

pic_lmcs_enabled_present_flag가 1인 것은 pic_lmcs_enabled_flag, pic_lmcs_aps_id, 및 pic_chroma_residual_scale_flag가 PH에 존재하는 것을 명시한다. pic_lmcs_enabled_present_flag가 0인 것은 pic_lmcs_enabled_flag, pic_lmcs_aps_id, 및 pic_chroma_residual_scale_flag가 PH에 존재하지 않는 것을 명시한다. pic_lmcs_enabled_present_flag는 존재하지 않으면, 0으로 추론된다.

slice_lmcs_enabled_flag가 1인 것은 크로마 스케일링과의 루마 매핑이 슬라이스에서 활성화되는 것을 명시한다. slice_lmcs_enabled_flag가 0인 것은 크로마 스케일링과의 루마 매핑이 슬라이스에서 비활성화되는 것을 명시한다. 존재하지 않는다면, slice_lmcs_enabled_flag의 값은 pic_lmcs_enabled_flag와 같은 것으로 추론된다.

slice_lmcs_aps_id는 슬라이스가 참조하는 LMCS APS의 adaptation_parameter_set_id를 명시한다. aps_params_type이 LMCS_APS와 같고 adaptation_parameter_set_id가 slice_lmcs_aps_id와 같은 APS NAL 유닛의 TemporalId는 코딩된 슬라이스 NAL 유닛의 TemporalId보다 작거나 같아야 한다. slice_lmcs_enabled_flag가 1이고 slice_lmcs_aps_id가 존재하지 않는다면, slice_lmcs_aps_id의 값은 pic_lmcs_aps_id의 값과 같은 것으로 추론된다.

slice_chroma_residual_scale_flag가 1인 것은 크로마 잔차 스케일링이 슬라이스에 대해 활성화되는 것을 명시한다. slice_chroma_residual_scale_flag가 0인 것은 크로마 잔차 스케일링이 슬라이스에 대해 비활성화될 수 있는 것을 명시한다. slice_lmcs_enabled_flag가 1이고 slice_chroma_residual_scale_flag가 존재하지 않는다면, pic_chroma_residual_scale_flag와 같은 것으로 추론된다.

다른 실시형태에서는, 앞의 신택스 설계가 스케일링 리스트 시그널링에도 적용될 수 있다. 예를 들어, 스케일링 리스트 관련 신택스, 즉 pic_scaling_list_present_flag 및 pic_scaling_list_aps_id가 PH에서 시그널링되는지의 여부를 표시하기 위해 PH에서 pic_scaling_list_present_flag 앞에 pic_scaling_list_enabled_present_flag가 시그널링된다. 더욱이, pic_scaling_list_enabled_present_flag가 활성화되는 경우에만, pic_scaling_list_present_flag 및 pic_scaling_list_aps_id가 PH에 존재한다. 그렇지 않다면, (pic_scaling_list_enabled_present_falg가 활성화되지 않으면), 스케일링 리스트 관련 신택스는 PH에서 시그널링될 필요가 없다. 다른 실시형태에서는, 스케일링 리스트 신택스가 슬라이스 헤더에서 시그널링될 수 있다. 예를 들어, sps_scaling_list_enabled_flag가 활성화되고 pic_scaling_list_enabled_present_flag가 활성화되지 않으면, slice_scaling_list_enabled_flag는 슬라이스 헤더에서 시그널링될 것이다. 또, slice_scaling_list_enabled_flag가 활성화되면, 다른 스케일링 리스트 관련 신택스, 즉 slice_scaling_list_aps_id가 시그널링될 것이다. 다른 예에서, sps_scaling_list_enabled_flag가 활성화되면, slice_scaling_list_enabled_flag는 pic_scaling_list_enabled_present_flag와 관계 없이 슬라이스 헤더에서 시그널링될 것이다. 또한, 슬라이스 헤더에서 시그널링되는 스케일링 리스트는 PH에서 시그널링되는 스케일링 리스트를 덮어쓸 수 있다.

표 10: 본 발명의 일 실시형태에 따른 PH에서의 스케일링 리스트 데이터의 신택스 시그널링

표 11: 본 발명의 일 실시형태에 따른 슬라이스 헤더에서의 스케일링 리스트 데이터의 신택스 시그널링

pic_scaling_list_enabled_present_flag가 1인 것은 pic_scaling_list_present_flag 및 pic_scaling_list_aps_id가 PH에 존재하는 것을 명시한다. pic_scaling_list_enabled_present_flag가 0인 것은 pic_scaling_list_present_flag 및 pic_scaling_list_aps_id가 PH에 존재하지 않는 것을 명시한다. pic_scaling_list_enabled_present_flag는 존재하지 않으면, 0으로 추론된다.

slice_scaling_list_present_flag가 1인 것은, 참조된 스케일링 리스트 APS에 포함된 스케일링 리스트 데이터에 기초하여, 슬라이스에 사용되는 스케일링 리스트 데이터가 도출되는 것을 명시한다. slice_scaling_list_enabled_present_flag가 0인 것은 슬라이스에 사용되는 스케일링 리스트 데이터가 16으로 설정되는 것을 명시한다. 존재하지 않는다면, slice_lmcs_enabled_flag의 값은 pic_scaling_list_present_flag와 같은 것으로 추론된다.

slice_scaling_list_aps_id는 스케일링 리스트 APS의 adaptation_parameter_set_id를 명시한다. aps_params_type이 SCALING_APS와 같고 adaptation_parameter_set_id가 slice_scaling_list_aps_id와 같은 APS NAL 유닛의 TemporalId는 코딩된 슬라이스 NAL 유닛의 TemporalId보다 작거나 같아야 한다. 존재하지 않고 또 slice_scaling_list_present_flag가 1과 같으면, slice_scaling_list_aps_id는 pic_scaling_list_aps_id와 같은 것으로 추론된다.

서브픽처 ID

JVET-P2001, VVC 드래프트에서는 하나의 픽처가 여러 서브픽처들을 포함할 수 있다. 개별 서브픽처들을 식별하기 위해, 해당 서브픽처 ID가 SPS, PPS, 또는 픽처 헤드에서 시그널링되어 각 서브픽처의 인덱스를 명시한다. 본 발명에서는 서브픽처에 대한 시그널링된 서브픽처 ID가 고유한 것을 확실하게 하기 위해 제약을 추가하는 것을 제안한다. 관련 신택스 및 시멘틱은 다음과 같다.

SubPictureID: 제안 방법 1

JVET-P2001에 명시된 바와 같이, sps_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. sps_subpic_id[　i　] 신택스 엘리먼트의 길이는 sps_subpic_id_len_minus1　+　1 비트이다. 존재하지 않을 경우 그리고 sps_subpic_id_present_flag가 0인 경우, sps_subpic_id[　i　]의 값은, 0부터 sps_num_subpics_minus1까지의 범위에서 각 i에 대해, i인 것으로 추론된다. 본 발명의 일 실시형태에 따르면, i가 j와 같지 않다면 sps_subpic_id[i]와 sps_subpic_id[j]는 상이해야 하는 것이 비트스트림 부합 요건이다.

JVET-P2001에 명시된 바와 같이, pps_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. pps_subpic_id[　i　] 신택스 엘리먼트의 길이는 pps_subpic_id_len_minus1　+　1 비트이다. 본 발명의 일 실시형태에 따르면, i가 j와 같지 않다면 pps_subpic_id[i]와 pps_subpic_id[j]는 상이해야 하는 것이 비트스트림 부합 요건이다.

JVET-P2001에 명시된 바와 같이, ph_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. ph_subpic_id[　i　] 신택스 엘리먼트의 길이는 ph_subpic_id_len_minus1　+　1 비트이다. 본 발명의 일 실시형태에 따르면, i가 j와 같지 않다면 ph_subpic_id[i]와 ph_subpic_id[j]는 상이해야 하는 것이 비트스트림 부합 요건이다.

리스트 SubpicIdList[　i　]는 다음과 같이 도출된다:

for( i = 0; i <= sps_num_subpics_minus1; i++ )

SubpicIdList[　i　] = sps_subpic_id_present_flag ?

( sps_subpic_id_signalling_present_flag ? sps_subpic_id[　i　] :

SubPictureID: 제안 방법 2

각각의 서브픽처를 확실하게 구별하는 것은, 서브픽처 ID에 대해 비트스트림 부합 요건을 추가하는 것보다는, 본 발명의 일 실시형태에 따라 SubpicIdList[]를 제약함으로써 달성될 수 있다. 실시형태에 따른 신택스 덴택스(dentax) 설계의 일례는 다음과 같다.

ph_subpic_id[　i　]는 i번째 서브픽처의 서브픽처 ID를 명시한다. ph_subpic_id[　i　] 신택스 엘리먼트의 길이는 ph_subpic_id_len_minus1　+　1 비트이다. 일 실시형태에 따르면, 리스트 SubpicIdList[　i　]는 다음과 같이 도출된다:

for( i = 0; i <= sps_num_subpics_minus1; i++ )

SubpicIdList[　i　] = sps_subpic_id_present_flag ?

( sps_subpic_id_signalling_present_flag ? sps_subpic_id[　i　] :

본 발명의 일 실시형태에 따르면, i가 j와 같지 않다면 SubpicIdList[i]와 SubpicIdList[j]는 상이해야 하는 것이 비트스트림 부합 요건이다.

SubPictureID: 제안 방법 3

JVET-P2001에 명시된 바와 같이, 신택스 엘리먼트 sps_subpic_id[　i　] 및 sps_num_subpics_minus1 plus 1을 나타내는 데 사용되는 비트수를 표시하기 위해 신택스, 즉 sps_subpic_id_len_minus1이 서브픽처의 수를 명시한다. 일 실시형태에서, sps_subpic_id_len_minus1의 범위는 sps_num_subpics_minus1의 값에 기초하여 추가로 제약되어야 한다. 예를 들어, (1<< (sps_subpic_id_len_minus1 plus 1))의 값은 (sps_num_subpics_minus1 plus 1)보다 크거나 같아야 한다. 다른 예로, sps_subpic_id_len_minus1의 값은 Ceil( Log2( sps_num_subpics_minus1 plus) ) - 1보다 크거나 같아야 한다. 다른 실시형태에서, 동일한 제약은 PPS의 pps_subpic_id_len_minus1에 적용되어야 한다. 예를 들어, (1<< (pps_subpic_id_len_minus1 plus 1))의 값은 (pps_num_subpics_minus1 plus 1)보다 크거나 같아야 한다. 다른 실시형태에서, 동일한 제약은 PH의 ph_subpic_id_len_minus1에 적용되어야 한다. 예를 들어, (1<< (ph_subpic_id_len_minus1 plus 1))의 값은 (ph_num_subpics_minus1 plus 1)보다 크거나 같아야 한다.

다른 실시형태에서, sps/pps/ph_subpic_id_len_minus1는 sps/pps/ph_subpic_id_len_minus_offset, 및 sps/pps/ph_subpic_id_len_minus_offset 플러스 오프셋으로 재명명될 수 있으며, 여기서 오프셋은 Ceil(Log2(sps/pps_num_subpics_minus1 plus 1)와 같게 설정된다.

pps_num_subpics_minus1 plus 1은 PPS를 참조하는 코딩된 픽처 내의 서브픽처의 수이다.

pps_num_subpic_minus1의 값이 sps_num_subpics_minus1와 같아야 하는 것이 비트스트림 부합 요건이다.

pps_subpic_id_len_minus_offset 플러스 Ceil(Log2(pps_num_subpics_minus1 plus 1) )은 신택스 엘리먼트 pps_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 명시한다. pps_ subpic_id_len_minus1의 값은 0부터 15까지의 범위에 속해야 한다.

CLVS에서의 코딩된 픽처에 의해 참조되는 모든 PPS에 대해pps_subpic_id_len_minus1의 값이 동일해야 하는 것이 비트스트림 부합 요건이다.

ph_subpic_id_len_minus_offset 플러스 Ceil(Log2(pps_num_subpics_minus1 plus 1))은 신택스 엘리먼트 ph_subpic_id[　i　]를 나타내는 데 사용되는 비트수를 명시한다. pic_subpic_id_len_minus1의 값은 0부터 15까지의 범위에 속해야 한다.

리스트 SubpicIdList[　i　]는 다음과 같이 도출된다:

for( i = 0; i <= sps_num_subpics_minus1; i++ )

SubpicIdList[　i　] = sps_subpic_id_present_flag ? (76)

sps_subpic_id_signalling_present_flag ? sps_subpic_id[　i　] :

이상의 제안 방법 중 임의의 것은 인코더 및/또는 디코드에서 구현될 수 있다. 예를 들어, 제안 방법 중 임의의 방법은 인코더의 인터/인트라/예측/변환 모듈, 및/또는 디코더의 역변환/인터/인트라/예측 모듈에서 구현될 수 있다. 대안으로, 제안 방법 중 임의의 방법은 인터/인트라/예측/변환 모듈에서 필요한 정보를 제공하기 위해 인코더의 역변환/인터/인트라/예측 모듈 및/또는 디코더의 인터/인트라/예측/변환 모듈에 결합된 회로로 구현될 수 있다.

도 6은 본 발명의 일 실시형태에 따른 제약이 있는 서브픽처 신택스를 사용하는 예시적인 코딩 시스템의 흐름도를 도시한다. 흐름도에 나타내는 단계들은 인코더측에서 하나 이상의 프로세서(예컨대, 하나 이상의 CPU) 상에 실행 가능한 프로그램 코드로서 구현될 수 있다. 흐름도에 나타내는 단계들은 흐름도의 단계들을 수행하도록 구성된 하나 이상의 전자 디바이스 또는 프로세서와 같은 하드웨어 기반으로 구현될 수도 있다. 본 방법에 따르면, 단계 610에서 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림이 인코더측에서 생성되거나 디코더측에서 수신되고, 비트스트림은 제1 신택스와 제2 신택스를 포함하며, 제1 신택스는 제3 신택스의 세트를 나타내는 데 사용되는 타겟 비트수에 대응하고 각각의 제3 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하며, 제2 신택스는 서브픽처 세트 내의 서브픽처의 총수에 대응하고, 제1 신택스의 제1 값에 대해 행해진 계산치는 제2 신택스의 제2 값보다 크거나 같다. 단계 620에서, 서브픽처 세트를 포함하는 정보에 기초하여 비디오 시퀀스가 인코더측에서 인코딩되거나, 디코더측에서 디코딩된다.

도 7은 본 발명의 일 실시형태에 따른 제약이 있는 서브픽처 신택스를 사용하는 다른 예시적인 코딩 시스템의 흐름도를 도시한다. 본 방법에 따르면, 단계 710에서, 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림이 인코더측에서 생성되거나 디코더측에서 수신되고, 비트스트림은 서브픽처 ID 신택스의 세트를 포함하고, 각각의 서브픽처 ID 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하고, 제1 서브픽처가 제2 서브픽처와 상이하다면, 제1 서브픽처에 대한 제1 서브픽처 ID 신택스는 제2 서브픽처에 대한 제2 서브픽처 ID 신택스와 상이한 값을 갖는다. 단계 720에서, 서브픽처 세트를 포함하는 정보에 기초하여 비디오 시퀀스가 인코더측에서 인코딩되거나, 디코더측에서 디코딩된다.

도시하는 흐름도는 본 발명에 따른 비디오 코딩의 예를 나타내기 위한 것이다. 당업자라면 본 발명의 사상으로부터 이탈하는 일 없이 본 발명을 실시하기 위해 각 단계를 변형, 단계들을 재배열, 한 단계를 분할, 또는 단계들을 조합할 수도 있다. 본 개시내용에서는, 본 발명의 실시형태를 구현하기 위한 예를 설명하기 위해 특정 신택스(syntax) 및 시맨틱(semantics)이 사용되었다. 당업자는 본 발명의 사상을 벗어나지 않으면서 상기 구문 및 의미를 동등한 구문 및 의미로 대체함으로써 본 발명을 실시할 수도 있다.

앞의 설명은 당업자로 하여금 본 발명을, 특정한 적용 상황 및 그것의 요건에서 제공되는 것처럼 실시하게 하기 위해 제공되는 것이다. 설명한 실시형태에 대한 다양한 변형이 당업자에게 분명할 것이며, 여기에서 정의되는는 일반적 원리는 다른 실시형태에도 적용될 수 있다. 이에, 본 발명은 도시하고 설명하는 특정 실시형태에 제한되는 것을 의도하는 것이 아니라, 본 명세서에 개시하는 원리 및 신규한 특징과 부합하는 가장 넓은 범위에 따른다. 이상의 상세한 설명에서는, 본 발명의 면밀한 이해를 제공하기 위해 다양한 특정 상세가 설명되고 있다. 그럼에도 불구하고, 당업자는 본 발명이 실시될 수 있음을 이해할 것이다.

전술한 바와 같은 본 발명의 실시형태는 다양한 하드웨어, 소프트웨어 코드, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 실시형태는 비디오 압축 칩에 집적된 하나 이상의 전자 회로 또는 본 명세서에서 설명한 프로세싱을 수행하기 위해 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 실시형태는 본 명세서에서 설명한 프로세싱을 수행하기 위해 디지털 신호 프로세서(DSP) 상에서 실행되는 프로그램 코드일 수도 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 필드 프로그래머블 게이트 어레이 (FPGA)에 의해 수행되는 다수의 기능을 포함할 수도 있다. 이들 프로세서는 본 발명에 의해 구체화되는 특정 방법을 정의하는 기계 판독 가능한 소프트웨어 코드 또는 펌웨어 코드를 실행함으로써, 본 발명에 따른 특정 태스크를 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 다른 타겟 플랫폼에 맞게 컴파일될 수도 있다. 그러나, 본 발명에 따른 태스크를 수행하기 위한 소프트웨어 코드의 상이한 코드 포맷, 스타일 및 언어, 그리고 다른 코드 구성 방법도 본 발명의 사상 및 범위를 벗어나지 않을 것이다.

본 발명은 그 사상 또는 본질적인 특성을 벗어나지 않고서 다른 특정 형태로 구체화될 수 있다. 설명한 예들은 모든 면에서 단지 예시적인 것이며 제한적이지 않는 것으로서 간주되어야 한다. 따라서, 본 발명의 범위는 전술한 설명보다는 첨부한 청구 범위에 의해 명시된다. 청구범위와 균등한 의미 및 범위 내에 있는 모든 변경은 그 범위 내에 포함되어야 한다.

Claims

서브픽처 코딩 모드가 포함되어 있는 비디오 시퀀스를 코딩하기 위한 방법에 있어서,
상기 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림을, 인코더측에서 생성하거나 디코더측에서 수신하는 단계 - 상기 비트스트림은 제1 신택스와 제2 신택스를 포함하며, 상기 제1 신택스는 제3 신택스의 세트를 나타내는 데 사용되는 타겟 비트수에 대응하고 각각의 제3 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하며, 상기 제2 신택스는 상기 서브픽처 세트 내의 서브픽처의 총수에 대응하고, 상기 제1 신택스의 제1 값에 대해 행해진 계산치(computation)는 상기 제2 신택스의 제2 값보다 크거나 같음 -; 및
상기 서브픽처 세트를 포함하는 정보에 기초하여 상기 비디오 시퀀스를, 상기 인코더측에서 인코딩하거나 상기 디코더측에서 디코딩하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 제1 신택스와 상기 제2 신택스는 시퀀스 파라미터 세트(SPS)에서, 상기 인코더측에서 시그널링되거나 상기 디코더측에서 파싱되는, 방법.
제1항에 있어서, 상기 제1 신택스와 상기 제2 신택스는 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더(SH), 픽처 헤더(PH), 또는 이들의 조합에서, 상기 인코더측에서 시그널링되거나 상기 디코더측에서 파싱되는, 방법.
제1항에 있어서, 상기 제1 신택스의 제1 값은 상기 타겟 비트수 마이너스 1인, 방법.
제4항에 있어서, 상기 제1 신택스는 시퀀스 파라미터 세트(SPS)에 있고 상기 타겟 비트수 마이너스 1을 나타내기 위해 sps_subpic_id_len_minus1로서 지정되는, 방법.
제4항에 있어서, 상기 제1 신택스의 제1 값에 행해진 계산치는 (1<< ((타겟 비트수 마이너스 1) + 1)에 대응하고, "<<"는 산술적 레프트 시프트 연산을 나타내는, 방법.
제4항에 있어서, 상기 제2 신택스는 시퀀스 파라미터 세트(SPS)에 있고 상기 서브픽처 세트 내의 서브픽처의 총수 마이너스 1을 나타내기 위해 sps_num_subpic_minus1로서 지정되는, 방법.
제1항에 있어서, 상기 제1 신택스는 타겟 비트수 마이너스 오프셋 그리고 플러스 제1 값에 대응하고, 상기 제1 값은 Ceil( Log2 (서브픽처의 총수))에 대응하고, "Ceil"은 천장 함수이고, "Log2"는 밑수 2의 로그 함수인, 방법.
제1항에 있어서, 상기 비트스트림은 제1 수가 상기 서브픽처의 총수보다 크거나 같아야 하는 비트스트림 부합 요건(bitstream conformance requirement)을 충족하는, 방법.
서브픽처 코딩 모드가 포함되어 있는 비디오 시퀀스를 코딩하기 위한 장치에 있어서, 상기 장치는 하나 이상의 전자 회로 또는 프로세서를 포함하고, 상기 하나 이상의 전자 회로 또는 프로세서는,
상기 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림을, 인코더측에서 생성하거나 디코더측에서 수신하고 - 상기 비트스트림은 제1 신택스와 제2 신택스를 포함하며, 상기 제1 신택스는 제3 신택스의 세트를 나타내는 데 사용되는 타겟 비트수에 대응하고 각각의 제3 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하며, 상기 제2 신택스는 상기 서브픽처 세트 내의 서브픽처의 총수에 대응하고, 상기 제1 신택스의 제1 값에 대해 행해진 계산치는 상기 제2 신택스의 제2 값보다 크거나 같음 -; 및
상기 서브픽처 세트를 포함하는 정보에 기초하여 상기 비디오 시퀀스를, 상기 인코더측에서 인코딩하거나 상기 디코더측에서 디코딩하도록
구성되는, 장치.
서브픽처 코딩 모드가 포함되어 있는 비디오 시퀀스를 디코딩하기 위한 방법에 있어서,
상기 비디오 시퀀스의 인코딩된 데이터에 대응하는 비트스트림을, 인코더측에서 생성하거나 디코더측에서 수신하는 단계 - 상기 비트스트림은 서브픽처 ID 신택스의 세트를 포함하고, 각각의 서브픽처 ID 신택스는 서브픽처 세트 내의 하나의 서브픽처에 대해 하나의 서브픽처 ID를 명시하고, 제1 서브픽처가 제2 서브픽처와 상이하다면, 상기 제1 서브픽처에 대한 제1 서브픽처 ID 신택스는 상기 제2 서브픽처에 대한 제2 서브픽처 ID 신택스와 상이한 값을 가짐 -; 및
상기 서브픽처 세트를 포함하는 정보에 기초하여 상기 비디오 시퀀스를, 상기 인코더측에서 인코딩하거나 상기 디코더측에서 디코딩하는 단계
를 포함하는, 방법.
제11항에 있어서, 상기 비트스트림은, 상기 제1 서브픽처가 상기 제2 서브픽처와 상이하다면 상기 제1 서브픽처에 대한 제1 서브픽처 ID 신택스가 상기 제2 서브픽처에 대한 제2 서브픽처 ID 신택스와 상이하다는 비트스트림 부합 요건을 충족하는, 방법.
제11항에 있어서, 상기 서브픽처 ID 신택스의 세트는 시퀀스 파라미터 세트(SPS), 픽처 파라미터 세트(PPS), 슬라이스 헤더(SH), 픽처 헤더(PH), 또는 이들의 조합에서, 상기 인코더측에서 시그널링되거나 상기 디코더측에서 파싱되는, 방법.