KR20220114570A - 비디오 신호 처리 방법 및 이를 위한 장치 - Google Patents

비디오 신호 처리 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20220114570A
KR20220114570A KR1020227022405A KR20227022405A KR20220114570A KR 20220114570 A KR20220114570 A KR 20220114570A KR 1020227022405 A KR1020227022405 A KR 1020227022405A KR 20227022405 A KR20227022405 A KR 20227022405A KR 20220114570 A KR20220114570 A KR 20220114570A
Authority
KR
South Korea
Prior art keywords
sps
flag
value
syntax
subpictures
Prior art date
Application number
KR1020227022405A
Other languages
English (en)
Inventor
김동철
정재홍
고건중
손주형
곽진삼
Original Assignee
주식회사 윌러스표준기술연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 윌러스표준기술연구소 filed Critical 주식회사 윌러스표준기술연구소
Publication of KR20220114570A publication Critical patent/KR20220114570A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

비디오 신호 복호화 장치는, 프로세서를 포함하며, 상기 프로세서는, 비디오 신호의 비트스트림에 포함된 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 복호화하고, 상기 SPS RBSP 신택스의 복호화 결과에 기초하여, 상기 비트스트림을 복호화하되, 상기 SPS RBSP 신택스는, 하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고, 상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계를 상기 하나의 픽쳐의 경계처럼 처리할지 여부를 나타내는 제2 신택스 요소를 포함하고, 상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 한다.

Description

비디오 신호 처리 방법 및 이를 위한 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공하여 비디오 신호의 코딩 효율을 높이기 위한 목적이 있다.
본 명세서는 비디오 신호 처리 방법 및 이를 위한 장치를 제공한다.
구체적으로, 비디오 신호 복호화 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 비디오 신호의 비트스트림(bitstream)에 포함된 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 복호화하고, 상기 SPS RBSP 신택스의 복호화 결과에 기초하여, 상기 비트스트림을 복호화하되, 상기 SPS RBSP 신택스는, 하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고, 상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고, 상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 한다.
또한 본 명세서에 있어서, 비디오 신호 부호화 장치에 있어서, 프로세서를 포함하며, 상기 프로세서는, 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 획득하고, 상기 SPS RBSP 신택스를 포함하는 비트스트림을 부호화하되, 상기 SPS RBSP 신택스는, 하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고, 상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고, 상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 한다.
또한 본 명세서에 있어서, 비디오 신호의 비트스트림(bitstream)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)에 있어서, 상기 비트스트림은, 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 획득하는 단계; 및 상기 SPS RBSP 신택스를 포함하는 비트스트림을 부호화하는 단계; 를 포함하는 부호화 방법을 통해 부호화되고, 상기 SPS RBSP 신택스는, 하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고, 상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고, 상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 한다.
또한 본 명세서에 있어서, 제1 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수에 1을 뺀 값을 나타내는 것을 특징으로 한다.
또한 본 명세서에 있어서, 상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐 경계에 루프 필터링이 적용되는지 여부를 추가적으로 더 나타내는 것을 특징으로 한다.
또한 본 명세서에 있어서, 상기 제1 신택스 요소가 나타내는 값은 0보다 큰 것을 특징으로 한다.
또한 본 명세서에 있어서, 상기 하나 이상의 서브픽쳐의 개수가 1인 경우, 상기 제2 신택스 요소는, 특정 동작을 지시하는 기 설정된 값으로 추론되는 것을 특징으로 한다.
또한 본 명세서에 있어서, 상기 SPS RBSP 신택스는, 상기 하나 이상의 서브픽쳐와 관련된 정보가 존재하는지 여부를 나타내는 제3 신택스 요소를 포함하고, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재하는지 여부를 나타내는 제4 신택스 요소를 포함하고, 상기 제4 신택스 요소는, 상기 제3 신택스 요소가 상기 하나 이상의 서브픽쳐와 관련된 정보가 존재함을 나타내는 경우 파싱되고, 상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내는 경우, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스에서 시그널링되는 것을 특징으로 한다.
또한 본 명세서에 있어서, 상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내고, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값이 상기 SPS RBSP 신택스에서 시그널링 되지 않는 경우, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스를 참조하는 픽쳐 파라미터 세트(Picture Parameter Set, PPS) RBSP 신택스에서 시그널링되는 것을 특징으로 한다.
본 명세서는 효율적으로 비디오 신호를 처리하기 위한 방법을 제공한다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 상위 레벨 신택스(High Level Syntax) 구조의 일부를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 네트워크 추상화 계층(Network Abstract Layer, NAL) 유닛 타입을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 하나의 픽쳐가 CTU, 타일, 슬라이스들로 분할되는 것을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 하나의 픽쳐가 복수개의 서브픽쳐들로 분할되는 것을 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조 및 시멘틱을 나타낸다.
도 17은 본 발명의 일 실시예에 따른 배열변수 SubpicIdList[i]를 결정하는 방법을 나타낸 도면을 나타낸다.
도 18은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 19는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 20은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 21은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 22는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 23은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 24는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 25는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 26은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 27은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트에 포함되는 신택스 요소인 subpic_id_mapping_in_pps_flag를 나타낸 도면이다.
도 28은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 29는 본 발명의 일 실시예에 따른 비트스트림을 구성하는 기본 단위인 네트워크 추상화 계층(Network Abstract Layer, NAL) 유닛을 나타낸 도면이다.
도 30은 본 발명의 일 실시예에 따른 디코딩 파라미터 세트 RBSP 신택스 구조, 시퀀스 파라미터 세트 RBSP 신택스, 프로파일 티어 레벨 신택스 구조를 나타낸 도면이다.
도 31은 본 발명의 일 실시예에 따른 비디오 파라미터 세트 RBSP 신택스 및 일반 제약 정보 신택스를 나타낸 도면이다.
도 32는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스를 나타낸 도면이다.
도 33은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스를 나타낸 도면이다.
도 34는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스를 나타낸 도면이다.
도 35는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 36은 본 발명의 일 실시예에 따른 일반 제약 정보(general constraint information) 신택스 구조를 나타낸 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 혹은 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 혹은 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 휘도(luma) 성분 및 색차(chroma) 성분 중 적어도 하나를 포함하는 이미지 영역을 가리킨다. 또한, '블록'은 휘도 성분 및 색차 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 '유닛', '블록', '파티션' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 혹은 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치(100)의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인트라 예측부(152)에서는 현재 픽쳐 내에서 인트라 예측을 수행하며, 인터 예측부(154)에서는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 영역들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인터 예측부(154)는 다시 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)에서는 복원된 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)에서는 참조 영역의 위치 정보(참조 프레임, 모션 벡터 등) 등을 엔트로피 코딩부(160)로 전달하여 비트스트림에 포함될 수 있도록 한다. 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상부(154b)에서는 인터 모션 보상을 수행한다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 부호화 정보는 참조 샘플에 관한 정보를 포함할 수 있다. 인터 예측부(154)는 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)는 참조 영역에 대한 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 엔트로피 코딩부(160)로 전달한다. 모션 보상부(154b)는 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상을 수행한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
추가적인 실시예에 따라, 예측부(150)는 인트라 블록 카피(block copy, BC) 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 BC 예측을 수행하여, 인트라 BC 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 참조하여 현재 영역의 예측에 이용되는 참조 영역을 나타내는 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 예측부는 인트라 BC 부호화 정보를 엔트로피 코딩부(160)로 전달한다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 엔트로피 코딩부(160)로 전달한다.
엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다. 예를 들어, 엔트로피 코딩부(160)는 양자화된 변환 계수를 나타내는 정보를 이진화할 수 있다. 또한, 엔트로피 코딩부(160)는 이진화된 정보를 산술 코딩하여 비트스트림을 생성할 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등과 같은 상위 레벨 세트의 RBSP(Raw Byte Sequence Payload)를 통해 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수 정보, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 예를 들어, 엔트로피 디코딩부(210)는 비디오 신호 비트스트림으로부터 특정 영역의 변환 계수 정보에 대한 이진화 코드를 획득할 수 있다. 또한, 엔트로피 디코딩부(210)는 이진화 코드를 역 이진화하여 양자화된 변환 계수를 획득한다. 역양자화부(220)는 양자화된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측 또는 인트라 BC 예측을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측, 인터 예측 및 인트라 BC 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보 세트(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다. 일 실시예에 따라, 쌍예측 방식에서는 사용되는 2개의 참조 영역은 L0 픽쳐 리스트 및 L1 픽쳐 리스트 각각에서 선택된 영역일 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 샘플 값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측자(predictor)로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 휘도 신호에 대하여 8-탭 보간 필터가, 색차 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 예측하는 모션 보상(motion compensation)을 수행한다. 이때, 인터 예측부는 모션 정보 세트를 이용할 수 있다.
추가적인 실시예에 따라, 예측부(250)는 인트라 BC 예측부(미도시)를 포함할 수 있다. 인트라 BC 예측부는 현재 픽쳐 내의 복원된 샘플들을 포함하는 특정 영역을 참조하여 현재 영역을 복원할 수 있다. 인트라 BC 예측부는 엔트로피 디코딩부(210)로부터 현재 영역에 대한 인트라 BC 부호화 정보를 획득한다. 인트라 BC 예측부는 현재 픽쳐 내의 특정 영역을 지시하는 현재 영역의 블록 벡터값을 획득한다. 인트라 BC 예측부는 획득된 블록 벡터값을 이용하여 인트라 BC 예측을 수행할 수 있다. 인트라 BC 부호화 정보는 블록 벡터 정보를 포함할 수 있다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 휘도(luma) 샘플들의 NXN 블록과, 이에 대응하는 색차(chroma) 샘플들의 2개의 블록들로 구성된다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. 코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 혹은 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(혹은, 직사각형 블록)은 수직 코딩 유닛(혹은, 수직 블록)과 수평 코딩 유닛(혹은, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 혹은 수직 분할의 2진(binary, 바이너리) 혹은 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 크지 않은 경우, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및/또는 변환의 단위로 사용될 수 있다. 일 실시예로서, 현재 코딩 유닛의 너비 또는 높이가 최대 변환 길이보다 큰 경우, 현재 코딩 유닛은 분할에 관한 명시적 시그널링 없이 복수의 변환 유닛으로 분할될 수 있다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 노드의 분할 여부를 지시하는 플래그 'split_cu_flag', 쿼드 트리 노드의 분할 여부를 지시하는 플래그 'split_qt_flag', 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 'mtt_split_cu_vertical_flag' 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 'mtt_split_cu_binary_flag' 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 현재 노드의 분할 여부를 지시하는 플래그인 'split_cu_flag'가 먼저 시그널링될 수 있다. 'split_cu_flag'의 값이 0인 경우, 현재 노드가 분할되지 않는 것을 나타내며, 현재 노드는 코딩 유닛이 된다. 현재 노드가 코팅 트리 유닛인 경우, 코딩 트리 유닛은 분할되지 않은 하나의 코딩 유닛을 포함한다. 현재 노드가 쿼드 트리 노드 'QT node'인 경우, 현재 노드는 쿼드 트리의 리프 노드 'QT leaf node'이며 코딩 유닛이 된다. 현재 노드가 멀티-타입 트리 노드 'MTT node'인 경우, 현재 노드는 멀티-타입 트리의 리프 노드 'MTT leaf node'이며 코딩 유닛이 된다.
‘split_cu_flag'의 값이 1인 경우, 현재 노드는 'split_qt_flag'의 값에 따라 쿼드 트리 또는 멀티-타입 트리의 노드들로 분할될 수 있다. 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 'QT node' 별로 'split_qt_flag'가 시그널링된다. 'split_qt_flag'의 값이 1인 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, 'split_qt_flag'의 값이 0인 경우 해당 노드는 쿼드 트리의 리프 노드 'QT leaf node'가 되며, 해당 노드는 멀티-타입 노드들로 분할된다. 본 발명의 실시예에 따르면, 현재 노드의 종류에 따라서 쿼드 트리 분할은 제한될 수 있다. 현재 노드가 코딩 트리 유닛(쿼트 트리의 루트 노드) 또는 쿼트 트리 노드인 경우에 쿼드 트리 분할이 허용될 수 있으며, 현재 노드가 멀티-타입 트리 노드인 경우 쿼트 트리 분할은 허용되지 않을 수 있다. 각각의 쿼드 트리 리프 노드 'QT leaf node'는 멀티-타입 트리 구조로 더 분할될 수 있다. 상술한 바와 같이, 'split_qt_flag'가 0인 경우 현재 노드는 멀티-타입 노드들로 분할될 수 있다. 분할 방향 및 분할 모양을 지시하기 위하여, 'mtt_split_cu_vertical_flag' 및 'mtt_split_cu_binary_flag'가 시그널링될 수 있다.'mtt_split_cu_vertical_flag'의 값이 1인 경우 노드 'MTT node'의 수직 분할이 지시되며, 'mtt_split_cu_vertical_flag'의 값이 0인 경우 노드 'MTT node'의 수평 분할이 지시된다. 또한, 'mtt_split_cu_binary_flag'의 값이 1인 경우 노드 'MTT node'는 2개의 직사각형 노드들로 분할되며, 'mtt_split_cu_binary_flag'의 값이 0인 경우 노드 'MTT node'는 3개의 직사각형 노드들로 분할된다.
코딩을 위한 픽쳐 예측(모션 보상)은 더 이상 나누어지지 않는 코딩 유닛(즉 코딩 트리 유닛의 리프 노드)을 대상으로 이루어진다. 이러한 예측을 수행하는 기본 단위를 이하에서는 예측 유닛(prediction unit) 또는 예측 블록(prediction block)이라고 한다.
이하, 본 명세서에서 사용되는 유닛이라는 용어는 예측을 수행하는 기본 단위인 상기 예측 유닛을 대체하는 용어로 사용될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니며, 더욱 광의적으로는 상기 코딩 유닛을 포함하는 개념으로 이해될 수 있다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.
먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다.
또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 참조 샘플들에 필터링을 수행하여 필터링된 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 인트라 예측부는 필터링되지 않은 참조 샘플들 또는 필터링된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다.
다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.
본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면(planar) 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.
한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.
본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.
일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, ..., 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, ..., 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.
다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, ..., 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-10, -9, ..., -1} 및 {67, 68, ..., 76} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 예를 들어, 확장 각도 모드는 인트라 예측 모드 {-14, -13, ..., -1} 및 {67, 68, ..., 80} 중 어느 하나에 대응하는 각도 모드로 정의될 수도 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.
상기 실시예들에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, ..., 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, ..., 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-10, -9, ..., -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {56, 57, ..., 65} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, ..., 76} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {3, 4, ..., 12} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.
본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-10, -9, ..., -1}은 인트라 예측 모드 인덱스 {57, 58, ..., 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, ..., 76}은 인트라 예측 모드 인덱스 {2, 3, ..., 11}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화될 수 있다.
한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.
인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 픽셀의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측 값과 더하여 현재 블록의 샘플 값들을 복원한다.
도 7은 본 발명의 일 실시예에 따른 상위 레벨 신택스(High Level Syntax) 구조의 일부를 나타낸 도면이다. 도 7을 참조하면, 디코더는 동영상 인코딩의 결과물인 비트스트림으로부터 정해진 규칙에 따라서 영상을 복호화 하고 해당 영상을 출력할 수 있다. 신택스 요소(Syntax element)는, 일련의 정해진 규칙으로 비트스트림에 포함되는 각각의 정보들이고, 신택스 구조(Syntax structure)는 신택스 요소들의 구성이다. 신택스 요소들은 바이트 단위로 정렬되어 네트워크 추상화 계층(Network Abstraction Layer, NAL) 유닛으로 캡슐화될 수 있고, 이를 RBSP(Raw Byte Sequence Payload)라 한다. 신택스 요소들은 NAL 유닛 단위로 인코딩되어 비트스트림에 저장되거나 전송될 수 있다. 여러 타입의 NAL 유닛들이 정의될 수 있다. NAL 유닛은 비디오 데이터(Video data) 자체의 내용 압축에 관한 정보인지 압축을 위한 추가 정보에 대한 것인지에 따라 VCL(Video Coding Layer) 와 non-VCL로 분류될 수 있다. Non-VCL 클래스로 나뉘는 NAL 유닛에는 VPS RBSP 신택스, SPS RBSP 신택스, PPS RBSP 신택스, 픽쳐 헤더(Picture Header, PH) RBSP 신택스, 슬라이스 레이어(Slice Layer) RBSP 신택스 등이 있을 수 있다. 영상 압축의 결과로 비트스트림이 생성되거나 전송될 때 VPS NAL 유닛, SPS NAL 유닛, PPS NAL 유닛, PH NAL 유닛, 슬라이스 레이어 NAL unit, 등의 순서로 구성될 수 있다. 영상 압축의 환경에 따라 순서와 개수는 달라 질 수 있다. VPS RBSP 신택스 앞에 엑세스 유닛 딜리미터(Access Unit Delimiter, AUD) NAL 유닛, 디코딩 캐퍼빌리티 정보(Decoding Capability Information, DCI) NAL 유닛이 우선할 수도 있다. 도 7은 상위 신택스에서 하위 신택스들 사이의 참조 관계를 보여준다. 특히, 비트스트림에서 첫번째 픽쳐의 디코딩을 위해 비디오 시퀀스 또는 픽쳐(하위픽쳐) 단위 또는 슬라이스 단위에서 공통적으로 사용될 신택스 요소들은 도 7에서 나타나는 관계를 가질 수 있다. 참조 관계의 일 예로, SPS RBSP 신택스에서 정의되는 SPS_VPS_id에 기반하여 참조되는 VPS RBSP 신택스에 정의된 파라미터들은 해당 비디오 시퀀스에 공통적으로 적용될 수 있다. 일부 파라미터는 하위 신택스에서 재정의/업데이트 될 수도 있다. 이하 본 명세서에서 기재하는 신택스 구조에 대한 용어는, 전체 이름으로 기재되지 않고 일부만 기재되더라도 해당 일부 이름이 포함된 신택스 구조임을 의미할 수 있다. 또한 본 발명의 신택스 구조 및 신택스 요소에 대한 시그널링/파싱은 인코딩/디코딩시에 동일하게 적용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 네트워크 추상화 계층(Network Abstract Layer, NAL) 유닛 타입을 나타낸 도면이다.
NAL 유닛은 크게 2개의 클래스로 분류될 수 있다. 비디오 데이터 정보에 해당하는 NAL 유닛들은 VCL로, 비디오 데이터 정보는 아니지만 비디오를 복호화 하는데 필요한 정보를 포함한 NAL 유닛들은 non-VCL로 분류될 수 있다. VCL로 분류되는 NAL 유닛들에서도 응용 방법에 따라 여러 형태의 NAL 유닛 타입이 있다. NAL 유닛 타입에 대한 정보는 NAL 유닛 헤더 정보에 포함될 수 있다. 디코더는, 전송/네트워크 계층에서 헤더 정보에서 나타내는 NAL 유닛의 타입을 이용하여 NAL 유닛을 구분할 수 있다. 도 8에서는 NAL 유닛 타입(nal_unit_type), NAL 유닛 타입의 이름(Name of nal_unit_type), NAL 유닛의 내용 및 RBSP 신택스 구조(Content of NAL unit and RBSP syntas structure), NAL 유닛 타입 클래스(NAL unit type class)를 확인할 수 있다. 도 8을 참조하면, 도 7에 나타난 NAL 유닛들에 대한 정보를 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 하나의 픽쳐가 CTU, 타일, 슬라이스들로 분할되는 것을 나타낸 도면이다.
픽쳐/프레임은 여러가지 이유로 기 설정된 크기의 코딩 블록/유닛 혹은 그 집합체로 분할 될 수 있다. 코딩 유닛(Coding Unit, CU)은 루마 샘플들의 코딩 블록과 두 개의 크로마 성분의 샘들에 해당하는 코딩 블록일 수 있고 3개의 샘플 배열을 가질 수 있다. 코딩 트리 블록(Coding Tree Block, CTB)은 루마 성분과 2개의 크로마 성분의 코딩 트리 유닛(Coding Tree Unit, CTU)으로 구성될 수 있다. 타일(Tile)은 픽쳐 내의 직사각형 영역으로, 특정 크기의 타일 열(column)과 타일 행(row) 내의 CTU들로 이루어진 것일 수 있다. 슬라이스(Slice)는 정수 크기의 타일들 또는 정수 크기의 연속하는 CTU 열들로 구성될 수 있다. 슬라이스는, 하나의 NAL 유닛으로 전송될 수 있다.
구체적으로, 도 9는 본 발명의 일 실시예에 따른 하나의 픽쳐가 18 x 12 개의 루마 CTU들로 구성되고, 24개의 타일과 9개의 직사각형 형태의 슬라이스들로 분할되는 것을 나타낸다. 도 9에 따른 픽쳐의 분할은 일 예시일뿐, 픽쳐의 분할은 도 9에 도시된 것으로 한정되지 않고 다양한 형태로 분할이 가능하다. 픽쳐는, 직사각형 형태의 슬라이스 뿐만 아니라, 레스터-스캔(raster-scan) 형태의 슬라이스 구조로도 분할 가능하다. 또한, 타일의 크기도 각각 다른 형태로 분할 될 수 있다.
도 10은 본 발명의 일 실시예에 따른 하나의 픽쳐가 복수개의 서브픽쳐들로 분할되는 것을 나타낸 도면이다.
구체적으로, 도 10은 본 발명의 일 실시예에 따른 하나의 픽쳐가 복수 개의 하위픽쳐(이하 서브픽쳐로 칭함)들로 분할된 것을 나타낸다. 도 10을 참조하면, 하나의 픽쳐는 15개의 타일 및 24개의 슬라이스들로 분할되어 구성될 수 있고, 24개의 서브픽쳐로 분할될 수 있다. 하나의 픽쳐가 복수 개의 서브픽쳐들로 분할되는 경우 서브픽쳐 단위로 인코딩/디코딩이 가능할 수 있다. 또한, 특정 서브픽쳐 혹은 서브픽쳐들로 새로운 픽쳐가 구성될 수 있고, 다른 비디오 코딩 레이어(Vedio Coding Layer, VCL)의 서브픽쳐들로 새로운 픽쳐가 구성될 수도 있다.
도 11은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 11을 참조하여 SPS RBSP 신택스 구조에 포함되는 신택스 요소들에 대해 설명한다.
sps_decoding_parameter_set_id는 DPS를 SPS에서 참조할 것인지 나타내는 신택스 요소이다. sps_decoding_parameter_set_id의 값이 0보다 크면 SPS에서 참조하는 디코딩 파라미터 세트(Decoding Parameter Set, DPS)의 dps_decoding_parameter_set_id를 지시하는 신택스 요소이다. 반대로 sps_decoding_parameter_set_id의 값이 0이면 해당 SPS에서는 DPS를 참조하지 않음을 지시할 수 있다. 비트스림의 코딩된 픽쳐들이 참조하는 모든 SPS들은 sps_decoding_parameter_set_id의 값이 동일하여야 한다.
sps_video_parameter_set_id는 VPS를 SPS에서 참조할 것인지 나타내는 신택스 요소이다. sps_video_parameter_set_id의 값이 0보다 크면 SPS에서 참조하는 VPS에 대한 vps_video_parameter_set_id를 지시할 수 있다. 반대로, sps_video_parameter_set_id의 값이 0이면 해당 SPS는 VPS를 참조하지 않을 수 있다. 또한, sps_video_parameter_set_id의 값이 0이면 vps_max_layers_minus1의 값은 0으로 추론될 수 있다. 또한, sps_video_parameter_set_id의 값이 0이면 CVS(coded video sequence)는 오직 하나의 레이어만 포함할 수 있다.
sps_seq_parameter_set_id는 다른 신택스 요소들이 참조할 수 있도록 SPS에 대한 ID를 제공하는 신택스 요소이다. sps_seq_parameter_set_id는 PPS에서 참조하기 위한 정보로 사용될 수 있다.
subpics_present_flag는 서브픽쳐와 관련된 파라미터가 SPS RBSP 신택스에 존재하는지를 나타내는 신택스 요소이다. subpics_present_flag의 값이 1이면 서브픽쳐에 관련된 파라미터(신택스 요소)가 SPS RBSP 신택스에 존재함을 나타내고, subpics_present_flag의 값이 0이면 서브픽쳐에 관련된 파라미터(신택스 요소)가 SPS RBSP 신택스에 존재하지 않음을 나타낼 수 있다.
subpics_present_flag의 값이 1이면 후술하는 서브픽쳐와 관련된 파라미터(신택스 요소)들이 시그널링 될 수 있다.
sps_num_subpics_minus1는, 서브픽쳐의 개수와 관련된 값을 지시하는 신택스 요소이다. sps_num_subpics_minus1는 서브픽쳐의 개수에서 1을 뺀 값을 나타낸다. 다시 말하면, sps_num_subpics_minus1의 값에 1을 더한 값은 서브픽쳐의 개수를 나타낼 수 있다. sps_num_subpics_minus1는 0에서 (MaxSlicesPerAu - 1) 사이의 값을 가질 수 있다. 이때, MaxSlicesPerAu는 레벨에 따라 16에서 600 사이의 값을 가질 수 있다. sps_num_subpics_minus1가 존재하지 않는 경우, sps_num_subpics_minus1의 값은 0으로 추론될 수 있다.
도 11을 참조하면, sps_num_subpics_minus1가 존재하는 경우, 서브픽쳐별로 정의되는 신택스 요소들이 시그널링 될 수 있다. 서브픽쳐의 좌상측 시작 부분의 좌표 정보, 서브픽쳐의 너비, 서브픽쳐의 높이, 서브픽쳐를 픽쳐처럼 고려할 것인지 여부 및 루프필터 적용 여부를 나타내는 신택스 요소들이 시그널링 될 수 있다.
subpic_ctu_top_left_x[i]는 i번째 서브픽쳐의 좌 상측 CTU의 수평축 위치를 CtbSizeY 단위로 지시하는 신택스 요소이다. 이때, 수평축 위치는 좌표 형태로 지시될 수 있다. CtbSizeY는, 루마 성분 CTB의 크기를 의미한다. CtbSizeY는 1 << CtbLog2SizeY로 결정될 수 있고, CtbLog2SizeY는 sps_log2_ctu_size_minus5 + 5를 계산한 값으로 결정될 수 있다. CtbLog2SizeY는, 루마 성분의 CTB의 크기에 log2를 취한 값을 의미한다. 이때 "<<"는 좌측 쉬프트 연산자로, 연산자에 입력된 인자를 2진화하고, 2진화된 인자를 쉬프트 파라미터만큼 좌측으로 쉬프트하는 것을 의미한다. subpic_ctu_top_left_x[i]의 비트 수는 Ceil(Log2(pic_width_max_in_luma_samples / CtbSizeY))를 계산한 값으로 결정될 수 있다. 이때, Ceil(A)는 실수 A보다 큰 가장 작은 수를 반환하는 함수이다. subpic_ctu_top_left_x[i]가 존재하지 않는 경우, subpic_ctu_top_left_x[i]의 값은 0으로 추론될 수 있다.
subpic_ctu_top_left_y[i]는 i번째 서브픽쳐의 좌 상측 CTU의 수직축 위치를 CtbSizeY 단위로 지시하는 신택스 요소이다. 이때, 수직축 위치는 좌표 형태로 지시될 수 있다. subpic_ctu_top_left_y[i]의 비트 수는 Ceil(Log2(pic_width_max_in_luma_samples / CtbSizeY))를 계산한 값으로 결정될 수 있다. subpic_ctu_top_left_y[i]가 존재하지 않는 경우, subpic_ctu_top_left_y[i]의 값은 0으로 추론될 수 있다. pic_width_max_in_luma_samples는 SPS를 참조하는 디코딩 된 각 픽쳐의 최대 너비를 나타내는 신택스 요소이다.
subpic_width_minus1[i]은, i번째 서브픽쳐의 너비와 관련된 값을 나타내는 신택스 요소이다. subpic_width_minus1[i]는 i번째 서브픽쳐의 너비에 1을 뺀 값을 나타낸다. 다시 말하면 subpic_width_minus1[i]의 값에 1을 더한 값은 i번째 서브픽쳐의 너비를 나타내는 값일 수 있다. 이때 서브픽쳐의 너비를 나타내는 값은 CtbSizeY의 단위로 나타내어질 수 있다. subpic_width_minus1[i]의 비트 수는 Ceil(Log2(pic_width_max_in_luma_samples / CtbSizeY))를 계산한 값으로 결정될 수 있다. subpic_width_minus1[i]가 존재하지 않는 경우, 서브픽쳐의 너비는 Ceil(pic_width_max_in_luma_samples / CtbSizeY) - 1 로 추론 될 수 있다.
subpic_height_minus1[i]는 i번째 서브픽쳐의 높이와 관련된 값을 나타내는 신택스 요소이다. subpic_height_minus1[i]는 i번째 서브픽쳐의 높이에 1을 뺀 값을 나타낸다. 다시 말하면 subpic_height_minus1[i]의 값에 1을 더한 값은 i번째 서브픽쳐의 높이를 나타내는 값일 수 있다. 이때 서브픽쳐의 높이를 나타내는 값은 CtbSizeY 단위로 나타내어질 수 있다. subpic_height_minus1[i]의 비트 수는 Ceil(Log2(pic_height_max_in_luma_samples / CtbSizeY))를 계산한 값으로 결정될 수 있다. pic_height_max_in_luma_samples는 SPS를 참조하는 디코딩된 각 픽쳐의 최대 높이를 나타내는 신택스 요소이다. subpic_height_minus1[i]가 존재하지 않는 경우, 서브픽쳐의 높이는 Ceil(pic_height_max_in_luma_samples / CtbSizeY) - 1 로 추론 될 수 있다.
subpic_treated_as_pic_flag[i]는 디코더가 i번째 서브픽쳐를 하나의 픽쳐로 고려하여 디코딩을 할 것인지를 나타내는 신택스 요소이다. subpic_treated_as_pic_flag[i]의 값이 1이면 CLVS(coded layer video sequence)내의 개별 코딩된 픽쳐 내 i번째 서브픽쳐는 루프 필터링을 제외한 디코딩 과정에서 하나의 픽쳐로 취급될 수 있다. subpic_treated_as_pic_flag[i]의 값이 0이면 CLVS 내의 개별 코딩된 픽쳐 내 i번째 서브픽쳐는 루프 필터링을 제외한 디코딩 과정에서 하나의 픽쳐로 취급되지 않음을 나타낼 수 있다. subpic_treated_as_pic_flag[i]가 존재하지 않는 경우, subpic_treated_as_pic_flag[i]의 값은 0으로 추론될 수 있다.
Loop_filter_across_subpic_enabled_flag[i]는 서브픽쳐 경계에서 루프필터가 동작될 수 있는지를 나타내는 신택스 요소이다. Loop_filter_across_subpic_enabled_flag[i]의 값이 1이면 서브픽쳐 경계에서 루프 필터가 동작 될 수 있음을 나타낸다. 루프 필터는 CLVS내의 각각의 코딩된 i번째 서브픽쳐들에 적용될 수 있다. Loop_filter_across_subpic_enabled_flag[i]의 값이 0이면 서브픽쳐 경계에서 루프 필터가 동작되지 않음을 나타낸다. Loop_filter_across_subpic_enabled_flag[i]가 존재하지 않는 경우, Loop_filter_across_subpic_enabled_flag[i]의 값은 1로 추론될 수 있다.
또한, 후술하는 서브픽쳐와 관련된 파라미터(신택스 요소)들이 추가적으로 시그널링 될 수 있다.
sps_subpic_id_present_flag는 SPS에서 서브픽쳐 ID 매핑이 존재하는지를 나타내는 신택스 요소이다. sps_subpic_id_present_flag의 값이 1이면, SPS에서 서브픽쳐 ID 매핑이 존재함을 나타낸다. 서브픽쳐 ID는 기본으로 설정된 값 대신 새로운 ID 값으로 재 설정/매핑 될 수 있다. sps_subpic_id_present_flag의 값이 0이면 SPS에서 서브픽쳐 ID 매핑이 존재하지 않음을 나타낸다. 본 명세서에서 기술하는 sps_subpic_id_present_flag는 sps_subpic_id_mapping_explicitly_signalled_flag로 기술될 수 있다.
sps_subpic_id_signalling_present_flag는 SPS에서 서브픽쳐 ID 매핑과 관련된 정보가 시그널링되는지를 나타내는 신택스 요소이다. sps_subpic_id_signalling_present_flag의 값이 1이면, SPS에서 서브픽쳐 ID 매핑과 관련된 정보(매핑 값)는 시그널링된다. sps_subpic_id_signalling_present_flag의 값이 0이면 SPS에서 서브픽쳐 ID 매핑과 관련된 정보는 시그널링 되지 않는다. sps_subpic_id_signalling_present_flag가 존재하지 않는 경우, sps_subpic_id_signalling_present_flag의 값은 0으로 추론될 수 있다. 본 명세서에서 기술하는 sps_subpic_id_signalling_present_flag는 sps_subpic_id_mapping_present_flag로 기술될 수 있다.
sps_subpic_id_len_minus1는 후술하는 sps_subpic_id[i]의 값을 표현하기 위한 비트 수와 관련된 값을 지시하는 신택스 요소이다. sps_subpic_id_len_minus1는 sps_subpic_id[i]의 값을 표현하기 위한 비트 수에 1을 뺀 값을 나타낸다. 다시 말하면, sps_subpic_id_len_minus1의 값에 1을 더한 값은 sps_subpic_id[i]의 값을 표현하기 위한 비트 수를 나타낼 수 있다. sps_subpic_id_len_minus1는 0에서 15 사이의 값을 가질 수 있다.
sps_subpic_id[i]는 i번째 서브픽쳐의 서브픽쳐 ID 값을 나타내는 신택스 요소이다. sps_subpic_id[i]의 값을 표현하는 비트 수는 sps_subpic_id_len_minus1 + 1 로 계산될 수 있다. sps_subpic_id[i]가 존재하지 않고, sps_subpic_id_present_flag의 값이 0이면, i번째 서브픽쳐의 서브픽쳐 ID 값은 0 부터 sps_num_subpics_minus1의 값 사이의 값일 수 있다. 도 11을 참조하면, 서브픽쳐 ID 값은 if(subpics_present_flag)구문 안의 for 루프에 의해 1씩 증가하는 i 값으로 결정될 수 있다. sps_subpic_id[i]가 존재하지 않고, sps_subpic_id_present_flag의 값이 0이면 같으면, sps_subpic_id[i]의 값을 표현하는 비트 수는 Ceil(Log2 (sps_num_subpics_minus1 + 1))을 계산한 값으로 추론될 수 있다.
도 11에서 신택스 요소 sps_subpic_id[i]가 시그널링/파싱되기 위해서는, 먼저 서브픽쳐 ID 매핑이 존재하는지를 나타내는 sps_subpic_id_present_flag의 값이 1이어야 한다. 또한, SPS에서 매핑된 서브픽쳐 ID값을 시그널링한다는 것을 지시하는 sps_subpic_id_signalling_present_flag의 값이 1이어야 한다. 그러면, 인코더/디코더는 서브픽쳐 ID값을 표현하는 비트 수를 나타내는 신택스 요소인 sps_subpic_id_len_minus1을 시그널링/파싱할 수 있고, 인코더는 디코더에게 서브픽쳐의 sps_subpic_id[i] 값을 기 시그널링된 서브픽쳐 개수만큼 알려 줄 수 있다.
도 12는 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 12를 참조하면 PPS RBSP 신택스 구조에 포함되는 신택스 요소는 다음과 같다.
pps_pic_parameter_set_id는 다른 신택스 요소들이 참조할 수 있도록 PPS를 구분하게 지시하는 신택스 요소이다. pps_pic_parameter_set_id는 0에서 63 사이의 값을 가질 수 있다.
pps_seq_parameter_set_id는 SPS를 참조하기 위한 sps_seq_parameter_set_id에 대응되는 값을 나타내는 신택스 요소이다. pps_seq_parameter_set_id의 값은 CLVS내의 코딩된 픽쳐들이 참조하는 모든 PPS에서 동일하여야 한다.
pic_width_in_luma_samples는 루마 샘플 단위로 PPS를 참조하는 코딩된 픽쳐의 너비를 나타내는 신택스 요소이다. pic_width_in_luma_samples의 값은 0이 아니고, Max(8, MinCbSizeY)의 배수로 표현되어야 하고, pic_width_max_in_luma_samples의 값보다 같거나 작아야 한다. pic_width_max_in_luma_samples는 픽쳐의 최대 너비를 루마 샘플 수로 나타낼 수 있다. subpics_present_flag의 값이 1이거나 ref_pic_resampling_enabled_flag의 값이 0이면 pic_width_in_luma_samples의 값은 pic_width_max_in_luma_samples의 값과 동일해야 한다. Max(a, b)는 a와 b 중 더 큰 값을 반환하는 함수이다.
pic_height_in_luma_samples은 PPS를 참조하는 각각의 디코딩된 픽쳐의 높이를 루마 샘플 단위로 나타내는 신택스 요소이다. pic_height_in_luma_samples의 값은 0이 아니고, Max(8, MinCbSizeY)의 배수로 표현되어야 하고, pic_height_max_in_luma_samples의 값보다 같거나 작아야 한다.
후술하는 4개의 신택스 요소 pps_subpic_id_signalling_present_flag, pps_num_subpics_minus1, pps_subpic_id_len_minus1, pps_subpic_id[i]는 서브 픽쳐와 관련된 PPS내의 신택스 요소이다.
pps_subpic_id_signalling_present_flag는 서브픽쳐 ID 매핑이 PPS에서 시그널링되는지를 나타내는 신택스 요소이다. pps_subpic_id_signalling_present_flag의 값이 1이면 서브픽쳐 ID 매핑이 PPS에서 시그널링된다는 것을 나타낸다. pps_subpic_id_signalling_present_flag의 값이 0이면 서브픽쳐 ID 매핑이 PPS에서 시그널링되지 않음을 나타낸다. 또한 sps_subpic_id_present_flag의 값이 0이거나 sps_subpic_id_signalling_present_flag의 값이 1이면, pps_subpic_id_signalling_present_flag의 값은 0이어야 한다.
pps_num_subpics_minus1은 PPS를 참조하는 코딩된 픽쳐 내의 서브픽쳐 개수와 관련된 값을 나타내는 신택스 요소이다. pps_num_subpics_minus1의 값은 PPS를 참조하는 코딩된 픽쳐 내의 서브픽쳐 개수에 1을 뺀 값이다. 다시 말하면 pps_num_subpics_minus1의 값에 1을 더한 값은 PPS를 참조하는 코딩된 픽쳐 내의 서브픽쳐 개수를 나타낼 수 있다. 비트스트림 일치 조건으로 pps_num_subpic_minus1의 값은 sps_num_subpics_minus1의 값과 같아야 한다.
pps_subpic_id_len_minus1은 pps_subpic_id[i]를 표현하기 위해 사용되는 비트 수와 관련된 값을 나타내는 신택스 요소이다. pps_subpic_id_len_minus1의 값은 pps_subpic_id[i]를 표현하기 위해 사용되는 비트 수에 1을 뺀 값을 나타낸다. 다시 말하면 pps_subpic_id_len_minus1의 값에 1을 더한 값은 pps_subpic_id[i]를 표현하기 위해 사용되는 비트 수를 나타낸다. pps_ subpic_id_len_minus1의 값의 범위는 0부터 15 사이의 값일 수 있다. 비트스트림 일치 조건으로 pps_subpic_id_len_minus1의 값은 CLVS내의 코딩된 픽쳐들에서 참조하는 모든 PPS들에서 같아야 한다.
pps_subpic_id[i]는 i번째 서브픽쳐의 서브픽쳐 ID 값을 나타내는 신택스 요소이다. pps_subpic_id[i]의 길이(비트 수)는 pps_subpic_id_len_minus1 + 1를 계산한 값과 같을 수 있다.
도 13은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 13을 참조하면 픽쳐 헤더 RBSP 신택스 구조에 포함되는 신택스 요소는 다음과 같다.
ph_pic_parameter_set_id는 PPS에 정의된 pps_pic_parameter_set_id에 대응되는 값을 나타내는 신택스 요소이다. ph_pic_parameter_set_id는 0에서 63 사이의 값을 가질 수 있다.
ph_subpic_id_signalling_present_flag는 서브픽쳐 ID 매핑 시그널링이 픽쳐 헤더에서 전송될 수 있는지를 나타내는 신택스 요소이다. ph_subpic_id_signalling_present_flag의 값이 1이면 서브픽쳐 ID 매핑 시그널링이 픽쳐 헤더에서 전송될 수 있음을 나타낸다. ph_subpic_id_signalling_present_flag의 값이 0이면 서브 픽쳐 ID 매핑 시그널링이 픽쳐 헤더에서 전송되지 않음을 나타낸다.
ph_subpic_id_len_minus1은 ph_subpic_id[i]를 표현하기 위해 사용되는 비트 수와 관련된 값을 나타내는 신택스 요소이다. ph_subpic_id_len_minus1는 ph_subpic_id[i]를 표현하기 위해 사용되는 비트 수에 1을 뺀 값을 나타낼 수 있다. 다시 말하면, ph_subpic_id_len_minus1의 값에 1을 더한 값은 ph_subpic_id[i]를 표현하기 위해 사용되는 비트 수일 수 있다. 이때, pic_subpic_id_len_minus1의 값은 0에서 15 사이일 수 있다. 비트스트림 일치 조건으로 ph_subpic_id_len_minus1의 값은 CLVS내 코딩된 픽쳐가 참조하는 모든 PH내에서는 같은 값을 가져야 한다.
ph_subpic_id[i]는 i번째 서브픽쳐 ID 값을 나타내는 신택스 요소이다. ph_subpic_id[i]를 표현하기 위해 사용되는 비트 수는 ph_subpic_id_len_minus1 + 1로 계산될 수 있다.
SubpicIdList[i]는 슬라이스 헤더에서 slice_subpic_id의 값을 결정하기 위해 사용되는 신택스 요소이다.
SubpicIdList[i]을 유도하는 방법은 수학식 1과 같다.
Figure pct00001
"?"는 조건 연산자로, A = B ? C : D는 조건 B가 참이면 A는 C의 값이 되고 조건 B가 거짓이면 A는 D의 값이 된다.
수학식 1을 살펴보면, SubpicIdList[i]의 값은, sps_subpic_id_present_flag의 값이 1이면 sps_subpic_id_signalling_present_flag의 값에 따라 결정된다. 이때, sps_subpic_id_signalling_present_flag의 값이 1이면 SubpicIdList[i]의 값은 sps_subpic_id[i] 값과 같다. sps_subpic_id_signalling_present_flag 값이 0이면, SubpicIdList[i]의 값은 ph_subpic_id_signalling_present_flag의 값에 따라 결정된다. 이때, ph_subpic_id_signalling_present_flag의 값이 1이면 SubpicIdList[i]의 값은 ph_subpic_id[i]의 값과 같다. ph_subpic_id_signalling_present_flag 값이 0이면 SubpicIdList[i]의 값은 pps_subpic_id[i]의 값과 같다.
한편, SubpicIdList[i]의 값은 sps_subpic_id_present_flag의 값이 0이면 인덱스 i와 같다.
도 14는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 14는 픽쳐 헤더 RBSP 신택스 구조에서 ph_subpic_id[i]가 항상 시그널링/파싱되는 것을 나타낸다.
도 13에서 설명한 SubpicIdList[i]가 시그널링/파싱되는 조건에 따라 ph_subpic_id[i]의 값이 존재하지 않는 경우가 있을 수 있다. 예를 들어, 수학식 1과 같이 sps_subpic_id_present_flag의 값이 1이고, sps_subpic_id_signalling_present_flag의 값이 0이고, ph_subpic_id_signalling_present_flag의 값이 0이면 SubpicIdList[i] = pps_subpic_id[i]이다. 그러나, pps_subpic_id[i]의 값이 존재하지 않는 경우가 있다. pps_subpic_id_signalling_present_flag가 시그널링/파싱될 때 조건(즉, sps_subpic_id_present_flag && !sps_subpic_id_signalling_flag)을 고려하지 않기 때문에 pps_subpics_id_signalling_present_flag의 값은 0일 수 있다. pps_subpic_id_signalling_present_flag의 값이 0이면 PPS에서 서브픽쳐 ID 값이 전송이 되지 않을 수 있고, 따라서, pps_subpic_id[i]의 값은 존재하지 않을 수 있다. 도 14는 이러한 문제를 해결하기 위한 일 예시를 나타낸다. 도 14를 참조하면, 픽쳐 헤더 RBSP 신택스 구조에서 ph_subpic_id[i]가 시그널링/파싱되기 위한 조건이 존재한다. 즉, sps_subpic_id_present_flag && !sps_subpic_id_signalling_flag가 참이면 ph_subpic_id_len_minus1과 ph_subpic_id[i]는 시그널링/파싱될 수 있다. 픽쳐 헤더에서는 SPS의 sps_subpic_id_present_flag가 참(즉, sps_subpic_id_present_flag의 값이 1)이고 sps_subpic_id_signalling_flag의 값이 0이면 SPS에서 시그널링 하지 않은 서브픽쳐 ID 값을 전송할 수 있다. 픽쳐 헤더에서 서브픽쳐 ID 값을 전송하는 것은 PPS에 서브픽쳐 ID 값이 존재하는지와 무관할 수 있다.
도 15는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
도 15는 전술한 SubpicIdList[i]의 값이 시그널링/파싱 조건에 따라 존재하지 않는 경우를 해결하기 위해 ph_subpic_id[i]값이 항상 시그널링/파싱될 수 있는 또 다른 방법을 나타낸다.
조건 sps_subpic_id_present_flag && !sps_subpic_id_signalling_flag && !pps_subpic_id_signalling_flag이 참이면 ph_subpic_id_len_minus1과 ph_subpic_id[i]는 시그널링/파싱될 수 있다. 다시 말하면 도 15는 도 14를 통해 설명한 조건에 pps_subpic_id_signalling_flag와 관련된 조건을 추가한 형태를 제안한다. 도 14를 통해 제안한 조건에 더해 pps_subpic_id_signalling_flag의 값이 0이면 SPS RBSP 신택스와 PPS RBSP 신택스에서 subpic_id[i]는 시그널링/파싱되지 않을 수 있다. 이때에는, 픽쳐 헤더에서 subpic_id[i]가 시그널링/파싱되어야 함을 지시할 수 있다.
도 16은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조 및 시멘틱을 나타낸다.
도 16은 전술한 SubpicIdList[i]의 값이 시그널링/파싱 조건에 따라 존재하지 않는 경우를 해결하기 위해 ph_subpic_id[i]값이 항상 시그널링/파싱될 수 있는 또 다른 방법을 나타낸다.
도 16은, 도 13에서 설명한 픽쳐 헤더 RBSP 신택스 구조에 pps_subpic_id_signalling_present_flag를 기술한 시맨틱(semantic)에 추가 조건이 부가된 것을 도시한다.
추가 조건은 다음과 같다. [When sps_subpic_id_present_flag is equal to 1 and sps_subpic_id_signalling_present_flag is equal to 0, pps_subpic_id_signalling_present_flag shall be equal to 1]. 다시 말하면, sps_subpic_id_present_flag의 값이 1이고, sps_subpic_id_signalling_present_flag의 값이 0일 때, pps_subpic_id_signalling_present_flag 값은 1로 설정될 수 있다. 즉, SPS에서 서브픽쳐 ID 매핑이 있음을 지시하였으나, SPS에서 서브픽쳐 ID 값을 시그널링하지 않는 경우, PPS에서 pps_subpic_id_signalling_present_flag의 값은 1로 설정되고, 서브픽쳐 ID 값은 PPS에서 시그널링/파싱될 수 있다. 이는 픽쳐 헤더에서 서브픽쳐 ID 값이 전송될 수 있어, 서브픽쳐 ID 값의 전송 자유도 측면에서 효과적이다. 기설정한데로 서브픽쳐 ID 값이 픽쳐 헤더와 PPS에서 동시에 전송되면 픽쳐 헤더의 값으로 SubpicIdList[i]의 값이 결정될 수 있다.
도 17은 본 발명의 일 실시예에 따른 배열변수 SubpicIdList[i]를 결정하는 방법을 나타낸 도면을 나타낸다.
구체적으로 도 17은 상기 수학식 1에서 발생할 수 있는 문제를 해결하기 위한 방법을 나타낸 도면이다.
도 17은 sps_subpic_id_present_flag가 참(즉, 값이 1)이고, sps_subpic_id_signalling_present_flag가 거짓이고(즉, 값이 0), ph_subpic_id_signalling_present_flag가 거짓(즉, 값이 0)이면, pps_subpic_id_signalling_present_flag의 조건을 한번 더 확인하는 것을 나타낸다. 인코더/디코더는 pps_subpic_id_signalling_present_flag의 조건을 한번 더 확인하여 pps_subpic_id_signalling_present_flag가 참이면(즉, 값이 1) SubpicIdList[i]는 pps_subpic_id[i]으로 결정되고, pps_subpic_id_signalling_present_flag가 거짓이면(즉, 값이 0) SubpicIdList[i]는 인덱스 i의 값으로 결정될 수 있다.
더하여, 비트스트림 일치 조건으로 sps_subpic_id_present_flag의 값이 1이면 sps_subpic_id_signalling_present_flag, pps_subpic_id_signalling_present_flag, ph_subpic_id_signalling_present_flag의 값들 중 적어도 하나는 1과 같아야 한다는 조건이 고려될 수 있다.
[sps_subpic_id_present_flag equal to 1 specifies that subpicture ID mapping is present in the SPS. sps_subpic_id_present_flag equal to 0 specifies that subpicture ID mapping is not present in the SPS. It is a requirement of bitstream conformance that the value of one of among sps_subpic_id_signalling_present_flag, pps_subpic_id_signalling_present_flag, and ph_subpic_id_signalling_present_flag shall be equal to 1.]
도 18은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 18은, SPS RBSP 신택스 구조에 포함되는 sps_subpic_id_present_flag가 시그널링/파싱되는 구조를 나타낸 도면이다. sps_subpic_id_present_flag는 서브픽쳐 ID 매핑이 존재하는지 나타내는 신택스 요소로써, 서브픽쳐가 존재하는 경우 의미가 있을 수 있다. 도 11을 참조하면, SPS에서는 픽쳐 내 서브픽쳐가 존재하는지 여부를 나타내는 subpics_present_flag의 파싱 결과와 무관하게(참/거짓에 상관없이) sps_subpic_id_present_flag가 시그널링/파싱된다. 따라서, 전술한바와 같이 subpics_present_flag의 값이 0이면 sps_subpic_id_present_flag는 더 이상의 의미가 없게 된다. 다시 말하면 픽쳐 내 서브픽쳐가 존재하지 않는다면 서브픽쳐 ID 매핑은 당연히 존재하지 않게 되어, 서브픽쳐 ID 매핑이 존재하는지 여부를 나타내는 신택스 요소인 sps_subpic_id_present_flag는 불필요하게 된다. 따라서, 도 18에 따르면, subpics_present_flag가 참인 경우에 sps_subpic_id_present_flag는 시그널링/파싱 될 수 있다.
도 19는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 19는 본 발명의 일 실시예에 따른 SPS RBSP 신택스 구조 중 파티션과 관련된 신택스 요소에 대한 것이다.
log2_min_luma_coding_block_size_minus2는, 최소 루마 코딩 블록 크기와 관련된 값을 나타내는 신택스 요소이다. log2_min_luma_coding_block_size_minus2는 최소 루마 코딩 블록 크기에 2를 뺀 값을 나타낸다. 다시 말하면, log2_min_luma_coding_block_size_minus2의 값에 2를 더한 값은 최소 루마 코딩 블록 크기를 나타낼 수 있다. 이때, log2_min_luma_coding_block_size_minus2는 0에서 (sps_log2_ctu_size_minus5 + 3) 사이의 값을 가질 수 있다. sps_log2_ctu_size_minus5는, 코딩 트리 유닛의 루마 코딩 트리 블록의 크기와 관련된 값을 나타내는 신택스 요소이다. sps_log2_ctu_size_minus5는 SPS에서 시그널링/파싱 될 수 있으며, sps_log2_ctu_size_minus5의 값은 0부터 2 사이의 값일 수 있다.
본 발명에서 사용될 수 있는 변수들 MinCbLog2SizeY, MinCbSizeY, IbcBufWidthY, IbcBufWidthC 및 Vsize는 수학식 2를 이용하여 계산될 수 있다.
Figure pct00002
MinCbLog2SizeY는 log2 단위의 최소 루마 코딩 블록 크기를 나타내고, MinCbSizeY는 최소 코딩 블록 크기를 나타내고, IbcBufWidthY는 인트라 블록 카피에 필요한 참조 영역을 저장할 수 있는 루마 버퍼 크기를 나타내고, IbcBufWidthC는 인트라 블록 카피에 필요한 참조 영역을 저장할 수 있는 크로마 버퍼 크기를 나타낸다.
Min(a, b)는 a와 b 중 더 작은 값을 반환하는 함수이다. 변수 MinCbSizeY는 VSize 와 같거나 작아야 한다.
partition_constraints_override_enabled_flag은 파티션 제약 신택스 요소(플래그)인 partition_constraints_override_flag가 SPS를 참조하는 픽쳐 헤더에 존재하는지를 나타내는 신택스 요소이다. partition_constraints_override_enabled_flag의 값이 1이면 partition_constraints_override_flag가 SPS를 참조하는 픽쳐 헤더에 존재할 수 있음을 나타낸다. partition_constraints_override_enabled_flag의 값이 0이면 partition_constraints_override_flag가 SPS를 참조하는 픽쳐 헤더에 존재하지 않음을 나타낸다.
본 명세서에서 기술하는 로그2는 log2(A)연산자이다.
sps_log2_diff_min_qt_min_cb_intra_slice_luma는 CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 루마 샘플들의 최소 크기에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스들 내의 루마 코딩 유닛에 대한 최소 코딩 블록 크기에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소이다. partition_constraints_override_enabled_flag의 값이 1이면 sps_log2_diff_min_qt_min_cb_intra_slice_luma는 SPS를 참조하는 픽쳐 헤더에 pic_log2_diff_min_qt_min_cb_luma가 존재하면 pic_log2_diff_min_qt_min_cb_luma의 값으로 변경될 수 있다. sps_log2_diff_min_qt_min_cb_intra_slice_luma는 0에서 (CtbLog2SizeY - MinCbLog2SizeY) 사이의 값을 가질 수 있다. CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 루마 샘플들의 최소 크기에 밑이 2인 로그를 취한 값(MinQtLog2SizeIntraY)은 수학식 3과 같이 계산될 수 있다.
Figure pct00003
sps_log2_diff_min_qt_min_cb_inter_slice는 CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 루마 샘플들의 최소 크기에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 0(B 슬라이스), 1(P 슬라이스), 또는 2(I 슬라이스)인 슬라이스들 내의 루마 코딩 유닛에 대한 최소 코딩 블록 크기에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소이다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_min_qt_min_cb_inter_slice의 값은 SPS를 참조하는 픽쳐 헤더에 존재하는 pic_log2_diff_min_qt_min_cb_luma의 값으로 변경될 수 있다. sps_log2_diff_min_qt_min_cb_inter_slice는 0에서 (CtbLog2SizeY - MinCbLog2SizeY) 사이의 값을 가질 수 있다. CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 루마 샘플들의 최소 크기에 밑이 2인 로그를 취한 값(MinQtLog2SizeInterY)은 수학식 4와 같이 계산될 수 있다.
Figure pct00004
sps_max_mtt_hierarchy_depth_inter_slice는 코딩 유닛의 기본 최대 계층 깊이를 나타내는 신택스 요소이다. 이때, 코딩 유닛은 SPS를 참조하는 슬라이스 타입 0(B 슬라이스) 또는 슬라이스 타입 1(P 슬라이스)인 슬라이스 내 쿼드 트리 리프 노드의 멀티 타입 분할의 결과물일 수 있다. 다시 말하면, sps_max_mtt_hierarchy_depth_inter_slice는 인터 슬라이스에서 멀티 타입 형태로 코딩 유닛이 최대 몇 번 분할될 수 있는지를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_max_mtt_hierarchy_depth_inter_slice의 값은 SPS를 참조하는 픽쳐 헤더내에 존재하는 pic_max_mtt_hierarchy_depth_inter_slice의 값으로 변경될 수 있다. sps_max_mtt_hierarchy_depth_inter_slice는 0에서 2*(CtbLog2SizeY - MinCbLog2SizeY)사이의 값을 가질 수 있다.
sps_max_mtt_hierarchy_depth_intra_slice_luma는 코딩 유닛의 기본 최대 계층 깊이를 나타내는 신택스 요소이다. 이때, 코딩 유닛은 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스 내 쿼드 트리 리프 노드의 멀티 타입 분할의 결과물일 수 있다. 즉, 인트라 슬라이스에서 멀티 타입 형태로 코딩 유닛이 최대 몇 번 더 분할될 수 있는지를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_max_mtt_hierarchy_depth_intra_slice_luma의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_max_mtt_hierarchy_depth_intra_slice_luma의 값으로 변경될 수 있다. sps_max_mtt_hierarchy_depth_intra_slice_luma의 값은 0에서 2*(CtbLog2SizeY - MinCbLog2SizeY)사이의 값일 수 있다.
sps_log2_diff_max_bt_min_qt_intra_slice_luma는 바이너리 분할(binary split)이 가능한 루마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스들 내 CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 최소 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_max_bt_min_qt_intra_slice_luma의 값은 SPS를 참조하는 픽쳐 헤더에 존재하는 pic_log2_diff_max_bt_min_qt_luma의 값으로 변경될 수 있다. sps_log2_diff_max_bt_min_qt_intra_slice_luma는 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraY)사이의 값을 가질 수 있다. sps_log2_diff_max_bt_min_qt_intra_slice_luma가 존재하지 않는 경우, sps_log2_diff_max_bt_min_qt_intra_slice_luma의 값은 0으로 추론될 수 있다.
sps_log2_diff_max_tt_min_qt_intra_slice_luma는 터너리 분할(ternary split)로 분할될 수 있는 루마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이들 내 CTU의 쿼드 트리 분할 결과물인 루마 리프 노드의 최소 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_max_tt_min_qt_intra_slice_luma의 값은 SPS를 참조하는 픽쳐 헤더 내 존재하는 pic_log2_diff_max_tt_min_qt_luma의 값으로 변경될 수 있다. sps_log2_diff_max_tt_min_qt_intra_slice_luma는 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraY)사이의 값을 가질 수 있다. sps_log2_diff_max_tt_min_qt_intra_slice_luma가 존재하지 않으면 sps_log2_diff_max_tt_min_qt_intra_slice_luma의 값은 0으로 추론될 수 있다.
sps_log2_diff_max_bt_min_qt_inter_slice는 바이너리 분할(binary split)로 분할 될 수 있는 루마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 0(B 슬라이스) 또는 1(P 슬라이스)인 슬라이스들 내 CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 최소 크기에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_max_bt_min_qt_inter_slice의 값은 SPS를 참조하는 픽쳐 헤더내에 존재하는 pic_log2_diff_max_bt_min_qt_luma의 값으로 변경될 수 있다. sps_log2_diff_max_bt_min_qt_inter_slice는 0에서 (CtbLog2SizeY - MinQtLog2SizeInterY)사이의 값을 가질 수 있다. sps_log2_diff_max_bt_min_qt_inter_slice가 존재하지 않으면, sps_log2_diff_max_bt_min_qt_inter_slice의 값은 0으로 추론될 수 있다.
sps_log2_diff_max_tt_min_qt_inter_slice는 터너리 분할(ternary split)로 분할 될 수 있는 루마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 0(B 슬라이스) 또는 1(P 슬라이스)인 슬라이스들 내의 CTU의 쿼드 트리 분할의 결과물인 루마 리프 블록의 최소 크기에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다.
partition_constraints_override_enabled_flag의 값이 1이면, partition_constraints_override_enabled_flag의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_log2_diff_max_tt_min_qt_luma의 값으로 변경될 수 있다. sps_log2_diff_max_tt_min_qt_inter_slice는 0에서 (CtbLog2SizeY - MinQtLog2SizeInterY)사이의 값을 가질 수 있다. sps_log2_diff_max_tt_min_qt_inter_slice 가 존재하지 않으면, sps_log2_diff_max_tt_min_qt_inter_slice의 값은 0으로 추론될 수 있다.
sps_log2_diff_min_qt_min_cb_intra_slice_chroma는 트리 타입이 DUAL_TREE_CHROMA인 크로마 CTU의 쿼드 트리 분할의 결과물인 크로마 리프 블록의 최소 크기에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스 내의 트리 타입이 DUAL_TREE_CHROMA인 크로마 CU들의 최소 코딩 블록 크기에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_min_qt_min_cb_intra_slice_chroma의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_log2_diff_min_qt_min_cb_chroma 값으로 변경될 수 있다.
sps_log2_diff_min_qt_min_cb_intra_slice_chroma는 0에서 (CtbLog2SizeY - MinCbLog2SizeY)사이의 값을 가질 수 있다. sps_log2_diff_min_qt_min_cb_intra_slice_chroma가 존재하지 않는 경우, sps_log2_diff_min_qt_min_cb_intra_slice_chroma의 값은 0으로 추론될 수 있다. 트리 타입이 DUAL_TREE_CHROMA인 크로마 CTU의 쿼드 트리 분할의 결과물인 크로마 리프 블록의 최소 크기에 밑이 2인 로그를 취한 값(MinQtLog2SizeIntraC)은 수학식 5와 같이 계산될 수 있다.
Figure pct00005
sps_max_mtt_hierarchy_depth_intra_slice_chroma는 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스 내의 DUAL_TREE_CHROMA 트리 타입을 가지는 크로마 쿼드 트리 리프 노드의 멀티 타입 분할의 결과물인 크로마 코딩 유닛에 대한 기본 최대 계층 심도를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_max_mtt_hierarchy_depth_intra_slice_chroma의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_max_mtt_hierarchy_depth_값으로 변경될 수 있다. sps_max_mtt_hierarchy_depth_intra_slice_chroma는 0에서 2*(CtbLog2SizeY - MinCbLog2SizeY)사이의 값을 가질 수 있다. sps_max_mtt_hierarchy_depth_intra_slice_chroma가 존재하지 않으면, sps_max_mtt_hierarchy_depth_intra_slice_chroma의 값은 0으로 추론될 수 있다.
sps_log2_diff_max_bt_min_qt_intra_slice_chroma는 바이너리 분할(binary split)로 분할이 가능한 크로마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스들 내의 DUAL_TREE_CHROMA 트리 타입을 가지는 크로마 CTU의 쿼드 트리 분할 결과물인 크로마 리프 블록의 최소 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_max_bt_min_qt_intra_slice_chroma의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_log2_diff_max_bt_min_qt_chroma의 값으로 변경될 수 있다. sps_log2_diff_max_bt_min_qt_intra_slice_chroma는 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraC) 사이의 값을 가질 수 있다. sps_log2_diff_max_bt_min_qt_intra_slice_chroma가 존재하지 않으면, sps_log2_diff_max_bt_min_qt_intra_slice_chroma의 값은 0으로 추론될 수 있다.
sps_log2_diff_max_tt_min_qt_intra_slice_chroma는 터너리 분할(ternary split)이 가능한 크로마 코딩 블록의 최대 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값과 SPS를 참조하는 슬라이스 타입 2(I 슬라이스)인 슬라이스들 내의 DUAL_TREE_CHROMA 트리 타입을 가지는 크로마 CTU의 쿼드 트리 분할의 결과물인 크로마 리프 블록의 최초 크기(너비 혹은 높이)에 밑이 2인 로그를 취한 값의 차이를 나타내는 신택스 요소일 수 있다. partition_constraints_override_enabled_flag의 값이 1이면, sps_log2_diff_max_tt_min_qt_intra_slice_chroma의 값은 SPS를 참조하는 픽쳐 헤더 내에 존재하는 pic_log2_diff_max_tt_min_qt_chroma값으로 변경될 수 있다. sps_log2_diff_max_tt_min_qt_intra_slice_chroma는 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraC) 사이의 값을 가질 수 있다. sps_log2_diff_max_tt_min_qt_intra_slice_chroma가 존재하지 않으면, sps_log2_diff_max_tt_min_qt_intra_slice_chroma의 값은 0으로 추론될 수 있다.
본 명세서에서 기술하는 슬라이스 타입은 3가지 종류가 있을 수 있다. 슬라이스 타입 0은 B 슬라이스, 슬라이스 타입 1은 P 슬라이스, 슬라이스 타입 2는 I 슬라이스 일 수 있다. 슬라이스 타입 0 과 1은 인터 예측(inter prediction)과 인트라 예측(intra prediction) 방법들을 이용하여 인코딩/디코딩 될 수 있고, 슬라이스 타입 2는 인트라 예측만이 이용되어 인코딩/디코딩 될 수 있다.
본 명세서에서 기술하는 트리 타입은 2가지 종류가 있을 수 있다. 크게 싱글 트리(SINGLE_TREE)와 듀얼 트리로 구분될 수 있다. 이때, 듀얼 트리는 블록이 루마(DUAL_TREE_LUMA) 성분인지 크로마(DUAL_TREE_CHROMA) 성분인지에 따라 구분될 수 있다. 싱글 트리는 블록 분할 시 루마 성분의 블록과 크로마 성분의 블록이 같은 방법으로 분할 될 수 있다. 듀얼 트리는 블록 분할 시 루마 성분의 블록과 크로마 성분의 블록들이 서로 다른 방법으로 분할 될 수 있다.
도 20은 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 20은 SPS RBSP 신택스 내의 코딩 블록 파티션과 관련된 신택스 요소가 시그널링/파싱되는 구조를 나타낸다. 앞서 설명한 변수들 중 MinCbSizeY와 CtbSizeY는 서로 같은 값을 가질 수 있다. log2_min_luma_coding_block_size_minus2는 0에서 (sps_log2_ctu_size_minus5 + 3) 사이의 값을 가질 수 있다. 예를 들어, sps_log2_ctu_size_minus5의 값이 0이면 CTU의 크기는 32가 될 수 있고, 이때 log2_min_luma_coding_block_size_minus2는 0 부터 3 사이의 값을 가질 수 있다. log2_min_luma_coding_block_size_minus2의 값이 3이면 수학식 2에 의해 MinCbLog2SizeY의 값은 5가 되고, MinCbSizeY는 32가 된다(즉, 1 << 5). MinCbSizeY와 CtbSizeY는 같게 된다. sps_log2_ctu_size_minus5의 값이 1인 경우에도 동일하게 MinCbSizeY와 CtbSizeY가 같아질 수 있다. 다만, sps_log2_ctu_size_minus5의 값이 2일때에는, MinCbSizeY와 CtbSizeY가 같아지는 경우가 발생하지 않을 수 있다. 도 20의 파티션과 관련된 신택스 요소들 중 일부는 MinCbSizeY와 CtbSizeY가 같아지면 지시하는 값이 0일 수 있다. 따라서, MinCbSizeY와 CtbSizeY가 같아지는 경우, 파티션과 관련된 신택스 요소는 시그널링/파싱되지 않고 0의 값을 가지는 것으로 추론될 수 있다. 예를 들어 신택스 요소들 중에서 0에서 (CtbLog2SizeY - MinCbLog2SizeY) 사이의 값을 가지는 신택스 요소인 sps_log2_diff_min_qt_min_cb_intra_slice_luma, sps_log2_diff_min_qt_min_cb_inter_slice, sps_max_mtt_hierarchy_depth_inter_slice, sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_log2_diff_min_qt_min_cb_intra_slice_chroma, sps_max_mtt_hierarchy_depth_intra_slice_chroma의 값은 0으로 추론될 수 있다.
신택스 요소들 sps_log2_diff_max_bt_min_qt_intra_slice_luma, sps_log2_diff_max_tt_min_qt_intra_slice_luma, sps_log2_diff_max_bt_min_qt_inter_slice, sps_log2_diff_max_tt_min_qt_inter_slice은 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraY)사이의 값을 가질 수 있다. sps_log2_diff_min_qt_min_cb_inter_slice의 값은 0으로 추론되므로, 수학식 4에 따라 MinQtLog2SizeIntraY는 MinCbLog2SizeY와 같아진다. CtbLog2SizeY의 값은 MinCbLog2SizeY의 값과 동일하게 0일 수 있다.
신택스 요소들 sps_log2_diff_max_bt_min_qt_intra_slice_chroma, sps_log2_diff_max_tt_min_qt_intra_slice_chroma는 0에서 (CtbLog2SizeY - MinQtLog2SizeIntraC)사이의 값을 가질 수 있다. sps_log2_diff_min_qt_min_cb_intra_slice_chroma의 값은 0으로 추론되므로, 수학식 5에 따라 MinQtLog2SizeIntraC는 MinCbLog2SizeY와 같아진다. CtbLog2SizeY의 값은 MinCbLog2SizeY의 값과 동일하게 0일 수 있다.
따라서, 도 20의 신택스 요소들 partition_constraints_override_enabled_flag, sps_log2_diff_min_qt_min_cb_intra_slice_luma, sps_log2_diff_min_qt_min_cb_inter_slice, sps_max_mtt_hierarchy_depth_inter_slice, sps_max_mtt_hierarchy_depth_intra_slice_luma은 MinCbSizeY의 값과 CtbSizeY의 값이 같지 않은 경우에만 시그널링/파싱될 수 있다. 다시 말하면, 상기 신택스 요소들은 조건 'MinCbSizeY != CtbSizeY' 가 참인 경우에 시그널링/파싱될 수 있다. 또한, 코딩 블록 파티션과 관련된 파라미터들(신택스 요소)이 SPS를 참조하는 픽쳐 헤더에 존재하면 코딩 블록 파티션과 관련된 파라미터들의 값은 SPS에서 정의된 값보다 우선한다. 다시 말하면 코딩 블록 파티션과 관련된 파라미터들의 값은 픽쳐 헤더에 정의된 값으로 변경되는 것이다. 또한, qtbtt_dual_tree_intra_flag가 참인 경우 시그널링/파싱되는 신택스 요소인 sps_log2_diff_min_qt_min_cb_intra_slice_chroma, sps_max_mtt_hierarchy_depth_intra_slice_chroma도 추가적으로 조건(MinCbSizeY != CtbSizeY)이 참인 경우에만 시그널링/파싱될 수 있다. qtbtt_dual_tree_intra_flag는 트리 타입별로 코딩 블록 분할이 이루어질 수 있음을 나타내는 신택스 요소이다.
도 21은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로 도 21은 픽쳐 헤더 RBSP 신택스 구조에 포함되는 블록 파티션 관련 파라미터 오버라이드(override)와 관련된 신택스 요소를 나타낸다. 도 21을 참조하면, 픽쳐 헤더가 참조하는 SPS RBSP 신택스의 partition_constraints_override_enabled_flag가 참이면 SPS RBSP 신택스에 정의된 블록 파티션과 관련된 파라미터(신택스 요소)들에 대응되는 파라미터(신택스 요소)가 픽쳐 헤더 내에 존재한다. 이때, 픽쳐 헤더 내에서 정의된 값이 블록 파티션 시에 우선하여 사용할 수 있다. 픽쳐 헤더에 정의된 파티션과 관련된 파라미터들도 도 20에서 언급한 문제를 동일하게 가질 수 있다. 다만, 도 20을 참조하면 신택스 요소 partition_constraints_override_enabled_flag는 MinCbSizeY와 CtbSizeY가 같지 않은 경우에 시그널링/파싱 된다. 따라서, partition_constraints_override_enabled_flag의 값이 참인 경우(즉, 1인 경우)에만 픽쳐 헤더에서 새로운 값이 정의되고, 새로 정의된 값이 우선하여 블록 파티션 시 사용될 수 있다.
도 22는 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로 도 22는 픽쳐 헤더 RBSP 신택스 구조에 포함되는 신택스 요소들은 코딩 유닛의 양자화 파라미터(quantization parameter, qp) 값을 결정하기 위해 필요한 정보와 관련된 것일 수 있다.
cu_qp_delta_enabled_flag의 값이 1이면, 신택스 요소 pic_cu_qp_delta_subdiv_intra_slice, pic_cu_qp_delta_subdiv_inter_slice가 SPS를 참조하는 픽쳐 헤더들에 존재할 수 있음을 나타낸다. 또한 cu_qp_delta_enabled_flag의 값이 1이면, cu_qp_delta_abs가 변환 유닛에 존재할 수 있음을 나타낸다.
pic_cu_qp_delta_subdiv_intra_slice는 cu_qp_delta_abs와 cu_qp_delta_sign_flag를 전달하는 인트라 슬라이스 내 코딩 유닛의 최대 cbSubdiv 값을 나타내는 신택스 요소이다. pic_cu_qp_delta_subdiv_intra_slice는 0에서 2 * (CtbLog2SizeY - MinQtLog2SizeIntraY + pic_max_mtt_hierarchy_depth_intra_slice_luma)사이의 값을 가질 수 있다. pic_cu_qp_delta_subdiv_intra_slice가 존재하지 않으면, pic_cu_qp_delta_subdiv_intra_slice의 값은 0으로 추론될 수 있다.
pic_cu_qp_delta_subdiv_inter_slice는 cu_qp_delta_abs와 cu_qp_delta_sign_flag를 전달하는 인터 슬라이스 내 코딩 유닛의 최대 cbSubdiv 값을 나타내는 신택스 요소이다. pic_cu_qp_delta_subdiv_inter_slice는 0에서 2 * (CtbLog2SizeY - MinQtLog2SizeInterY + pic_max_mtt_hierarchy_depth_inter_slice) 사이의 값을 가질 수 있다. pic_cu_qp_delta_subdiv_inter_slice가 존재하지 않는 경우, pic_cu_qp_delta_subdiv_inter_slice의 값은 0으로 추론될 수 있다.
pic_cu_chroma_qp_offset_subdiv_intra_slice는 cu_chroma_qp_offset_flag을 전달하는 인트라 슬라이스 내 코딩 유닛의 최대 cbSubdiv 값을 나타내는 신택스 요소이다. pic_cu_chroma_qp_offset_subdiv_intra_slice는 0에서 2 * (CtbLog2SizeY - MinQtLog2SizeIntraY + pic_max_mtt_hierarchy_depth_intra_slice_luma)사이의 값을 가질 수 있다. pic_cu_chroma_qp_offset_subdiv_intra_slice가 존재하지 않으면, pic_cu_chroma_qp_offset_subdiv_intra_slice의 값은 0으로 추론될 수 있다.
pic_cu_chroma_qp_offset_subdiv_inter_slice는 cu_chroma_qp_offset_flag을 전달하는 인터 슬라이스 내 코딩 유닛의 최대 cbSubdiv 값을 나타내는 신택스 요소이다. pic_cu_chroma_qp_offset_subdiv_inter_slice는 0부터 2 * (CtbLog2SizeY - MinQtLog2SizeInterY + pic_max_mtt_hierarchy_depth_inter_slice)사이의 값을 가질 수 있다. pic_cu_chroma_qp_offset_subdiv_inter_slice가 존재하지 않으면, pic_cu_chroma_qp_offset_subdiv_inter_slice의 값은 0으로 추론될 수 있다.
도 23은 본 발명의 일 실시예에 따른 픽쳐 헤더 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 23은 픽쳐 헤더 RBSP 신택스 구조에 포함되는 양자화 파라미터와 관련된 신택스 요소가 시그널링/파싱되는 것을 나타낸다. 도 22를 참조하여 설명한 양자화 파라미터와 관련된 신택스 요소 pic_cu_qp_delta_subdiv_intra_slice는 0에서 2 * (CtbLog2SizeY - MinQtLog2SizeIntraY + pic_max_mtt_hierarchy_depth_intra_slice_luma)사이의 값을 가질 수 있다. 한편 도 20에서 설명한 바와 같이 MinCbSizeY와 CtbSizeY가 같은 값을 가질 수 있다. 이 경우, pic_max_mtt_hierarchy_depth_intra_slice_luma의 값은 0이 된다. 더하여 MinQtLog2SizeIntraY는 MinCbLog2SizeY, CtbLog2SizeY와 동일한 값을 가지게 되고, 이때의 값은 0이 된다. 따라서, pic_cu_qp_delta_subdiv_intra_slice는 0의 값만 가지게 된다. 또 다른 신택스 요소 pic_cu_qp_delta_subdiv_inter_slice는 0에서 2 * (CtbLog2SizeY - MinQtLog2SizeInterY + pic_max_mtt_hierarchy_depth_inter_slice) 사이의 값을 가질 수 있다. 이때에도 도 20에서 설명한 바와 같이 MinCbSizeY와 CtbSizeY가 같은 값을 가질 수 있다. 이 경우, pic_max_mtt_hierarchy_depth_inter_slice의 값은 0이 된다. 더하여, MinQtLog2SizeInterY는 MinCbLog2SizeY, CtbLog2SizeY와 동일한 값을 가지게 되고, 이때의 값은 0이 된다. 따라서, pic_cu_qp_delta_subdiv_inter_slice는 0의 값만 가지게 된다. 동일한 이유로 pic_cu_chroma_qp_offset_subdiv_intra_slice, pic_cu_chroma_qp_offset_subdiv_inter_slice도 0의 값을 가질 수 있다. 따라서, MinCbSizeY와 CtbSizeY가 같은 값을 가지는 경우에는 양자화 파라미터와 관련된 신택스 요소는 0의 값을 가지므로, 도 23에서는 픽쳐 헤더 내에 존재하는 양자화 파라미터와 관련된 신택스 요소는 MinCbSizeY와 CtbSizeY가 서로 다른 값을 가지는 경우(즉, CtbSizeY != MinCbSizeY)에 시그널링/파싱될 수 있다.
도 24는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
sps_video_parameter_set_id의 값이 0보다 크면, SPS에서 참조하는 VPS의 vps_video_parameter_set_id를 지시할 수 있다. sps_video_parameter_set_id의 값이 0이면 SPS는 VPS를 참조하지 않고, vps_max_layers_minus1의 값이 0으로 추론될 수 있다. 이때, CVS는 오직 하나의 레이어만 포함할 수 있다.
sps_seq_parameter_set_id는 다른 신택스 요소들이 참조할 수 있도록 SPS에 대한 ID를 제공하는 신택스 요소이다. 이때 SPS에 대한 ID는 PPS에서 참조하기 위한 정보로 사용될 수 있다.
subpics_present_flag는 SPS RBSP 신택스 구조에 서브픽쳐와 관련된 파라미터(신택스 요소)가 존재하는지 나타내는 신택스 요소이다. subpics_present_flag의 값이 1이면 서브픽쳐와 관련된 파라미터가 SPS RBSP 신택스 구조에 존재함을 나타낼 수 있다. subpics_present_flag의 값이 0이면 서브픽쳐와 관련된 파라미터가 SPS RBSP 신택스 구조에 존재하지 않음을 나타낼 수 있다. subpics_present_flag의 값이 1일 때, 후술하는 서브 픽쳐와 관련된 파라미터들이 시그널링/파싱될 수 있다. 본 명세서에서 설명하는 subpics_present_flag는 도 24의 subpic_info_present_flag와 동일한 신택스 요소이며 본 명세서에서는 이를 혼용하여 사용하기로 한다. 이때, 시그널링/파싱되는 서브 픽쳐와 관련된 파라미터들 중 도 11의 파라미터들과 동일한 파라미터들에 대해서는 설명을 생략하기로 한다.
subpic_id_mapping_explicity_signalled_flag는 서브픽쳐 ID 매핑이 명시적으로 시그널링되는지 여부를 나타내는 신택스 요소이다. 이때 서브픽쳐 ID 매핑은 CLVS의 코딩된 픽쳐에 의해 참조되는 SPS 또는 PPS에서 시그널링될 수 있다. subpic_id_mapping_explicity_signalled_flag의 값이 1이면 CLVS에서 서브픽쳐 ID 매핑이 명시적으로 시그널링되는 것을 나타낸다. subpic_id_mapping_explicity_signalled_flag의 값이 0이면 CLVS에서 서브픽쳐 ID 매핑이 명시적으로 시그널링되지 않는 것을 나타낸다. subpic_id_mapping_explicity_signalled_flag가 존재하지 않으면 subpic_id_mapping_explicity_signalled_flag의 값은 0으로 추론될 수 있다.
subpic_id_mapping_in_sps_flag는 subpic_id_mapping_explicity_signalled_flag의 값이 1일 때, 서브픽쳐 ID 매핑이 시그널링되는 레벨을 나타내는 신택스 요소이다. subpic_id_mapping_in_sps_flag의 값이 1이면 서브픽쳐 ID 매핑은 SPS에서 시그널링되는 것을 나타낸다. subpic_id_mapping_in_sps_flag의 값이 0이면 서브픽쳐 ID 매핑은 PPS에서 시그널링되는 것을 나타낸다.
도 25는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 25는 서브픽쳐 개수와 관련된 신택스 요소를 포함하는 SPS RBSP 신택스 구조를 나타낸다. 도 25를 참조하면 서브픽쳐 개수와 관련된 신택스 요소들은 도 24의 신택스 요소들의 기본 정보에 기초하여 서브픽쳐 정보가 있음을 알리는 플래그인 subpic_info_present_flag 값이 1일 때 시그널링/파싱될 수 있다. 단일 픽쳐는 복수개의 서브픽쳐로 분할 될 수 있다. 이때, 분할되는 서브픽쳐의 개수는 sps_num_subpics_minus1의 값에 1을 더한 값일 수 있다. 이때, 서브픽쳐의 개수를 나타내는 값은 0에서 Ceil(pic_width_max_in_luma_samples ÷ CtbSizeY) * Ceil(pic_height_max_in_luma_samples ÷ CtbSizeY) - 1 사이 일 수 있다. sps_num_subpics_minus1의 값이 0이면 서브픽쳐의 개수는 1개가 된다. 즉, 단일픽쳐에서 서브픽쳐가 1개라면 단일픽쳐는 서브픽쳐로 분할되지 않는 것과 동일한 의미이다. sps_num_subpics_minus1의 값이 0이면 서브픽쳐가 복수개인 상황에서 발생할 수 있는 여러 경우를 고려한 정보(신택스 요소)들은 시그널링/파싱없이 추론될 수 있다. 도 25에서 나타내는 신택스 구조는 sps_num_subpics_minus1의 값이 0이면 sps_independent_subpics_flag의 값, sps_subpic_id_len_minus1의 값, subpic_id_mapping_explicitly_signalled_flag의 값은 추론될 수 있음을 나타낸다. 이때 추론되는 각각의 값은 0일 수 있다. 또한 추론되는 각각의 값은 기 설정된 동작을 수행하게 하는 별도의 값으로 추론될 수 있다. 다시 말하면, 서브픽쳐의 개수가 2개 이상인 경우(즉, sps_num_subpics_minus1 > 0), sps_independent_subpics_flag, sps_subpic_id_len_minus1, subpic_id_mapping_explicitly_signalled_flag는 시그널링/파싱될 수 있다. sps_independent_subpics_flag는 모든 서브픽쳐의 경계를 픽쳐의 경계처럼 취급할지 여부를 나타내는 신택스 요소이다. 또한, sps_independent_subpics_flag는 서브픽쳐 경계에 루프 필터링이 사용되지 않음을 추가적으로 나타낼 수 있다. sps_subpic_id_len_minus1는 서브픽쳐 ID값을 매핑할 때 필요한 비트 수를 나타내는 신택스 요소이다. subpic_id_mapping_explicitly_signalled_flag는 서브픽쳐 ID가 명시적으로 시그널링되는지 여부를 나타내는 신택스 요소이다. sps_independent_subpics_flag의 값이 1이면 서브픽쳐의 경계는 픽쳐의 경계처럼 취급될 수 있다. 또한 서브픽쳐 경계에 루프 필터링이 사용될 수 없음을 나타낸다. sps_independent_subpics_flag의 값이 0이면 서브픽쳐의 경계를 픽쳐의 경계처럼 취급할지 여부에 대한 제약이 없음을 나타낸다. 또한 서브픽쳐 경계에 루프 필터링이 사용되는지 여부에 대한 제약이 없음을 나타낸다. subpic_id_mapping_explicitly_signalled_flag의 값이 1이면 서브픽쳐 ID가 명시적으로 시그널링될 수 있음을 나타내고, subpic_id_mapping_explicitly_signalled_flag는의 값이 0이면 서브픽쳐 ID 값이 명시적으로 시그널링되지 않음을 나타낸다.
도 26은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 26에 나타낸 신택스 요소들은 다음과 같다. 이때, 도 26에 나타낸 신택스 요소들 중 도 12를 통해 설명한 신택스 요소와 동일한 신택스 요소에 대한 설명은 생략하기로 한다.
subpic_id_mapping_in_pps_flag는 서브픽쳐 ID 매핑이 PPS에서 시그널링되는지를 나타내는 신택스 요소이다. subpic_id_mapping_in_pps_flag의 값이 1이면 서브픽쳐 ID 매핑이 PPS에서 시그널링 된다는 것을 나타낼 수 있다. subpic_id_mapping_in_pps_flag의 값이 0이면 서브픽쳐 ID 매핑이 PPS에서 시그널링 되지 않음을 나타낸다. subpic_id_mapping_explicitly_signalled_flag 값이 0이거나 subpic_id_mapping_in_sps_flag의 값이 1이면 subpic_id_mapping_in_pps_flag의 값은 반드시 0이어야 한다. 그렇지 않은 경우(즉, (subpic_id_mapping_explicitly_signalled_flag의 값이 1이고 subpic_id_mapping_in_sps_flag의 값이 0인 경우) subpic_id_mapping_in_pps_flag의 값은 1이어야 한다.
subpic_id_mapping_in_pps_flag의 값이 1이면 서브픽쳐 ID 매핑과 관련된 신택스 요소들 pps_num_subpics_minus1, pps_subpic_id_len_minus, pps_subpic_id[i]은 시그널링/파싱될 수 있다.
도 27은 픽쳐 파라미터 세트 RBSP 신택스 구조에 포함되는 subpic_id_mapping_in_pps_flag를 나타낸 도면이다.
구체적으로, 도 27은 도 26에서 설명한 subpic_id_mapping_in_pps_flag의 값을 설정하는 방법을 나타낸다. 상기 도 25에서 sps_num_subpics_minus1의 값이 0인 경우, 서브픽쳐가 복수개인 상황에서 발생할 수 있는 여러 경우에 대한 신택스 요소들은 시그널링/파싱되지 않고 추론될 수 있다고 설명하였다. 마찬가지로, SPS를 참조하는 PPS에서도 동일하게 도 26에서 설명한 서브픽쳐와 관련된 신택스 요소들은 subpic_id_mapping_in_pps_flag의 값에 기초하여 시그널링/파싱될 수 있다. 따라서, 도 25에서 설명한 sps_num_subpics_minus1의 값이 0이면 subpic_id_mapping_in_pps_flag의 값을 0으로 설정하여 서브픽쳐와 관련된 신택스 요소들은 시그널링/파싱되지 않고 추론될 수 있다. 이때 도 27을 참조하면 subpic_id_mapping_in_pps_flag의 값이 0으로 설정되기 위한 조건은, sps_num_subpics_minus1의 값이 0이되는 경우를 추가적으로 포함할 수 있다.
도 28은 본 발명의 일 실시예에 따른 픽쳐 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
구체적으로, 도 28은 타일 간 루프 필터가 적용되는지를 나타내는 플래그가 시그널링/파싱되는 구조를 나타낸 도면이다. 하나의 픽쳐는 복수개의 서브픽쳐로 분할될 수 있고, 하나의 픽쳐/서브픽쳐는 복수개의 타일로 분할될 수 있다. 또한, 하나의 픽쳐/서브픽쳐는 복수개의 슬라이스로 분할 될 수 있고, 하나의 타일은 복수개의 슬라이스로 분할 될 수 있다. 이때 타일의 너비와 높이는 CTB를 단위로 하여 CTB의 배수일 수 있다.
no_pic_partition_flag는 개별 픽쳐에 대해 추가 분할이 있는지 여부를 나타내는 신택스 요소이다. no_pic_partition_flag의 값이 1이면 PPS를 참조하는 개별 픽쳐에 추가 분할이 없음을 나타낸다. no_pic_partition_flag의 값이 0이면 PPS를 참조하는 개별 픽쳐는 하나의 타일 또는 하나의 슬라이스 보다 많게 분할 될 수 있음을 나타낸다.
num_exp_tile_columns_minus1은 타일 열 너비(tile column width)와 관련된 값을 나타내는 신택스 요소이다. num_exp_tile_columns_minus1은 타일 열 너비에 1을 뺀 값을 나타낸다. 다시 말하면 num_exp_tile_columns_minus1의 값에 1을 더한 값은 타일 열 너비의 개수를 나타낸다. num_exp_tile_columns_minus1은 0에서 PicWidthInCtbsY - 1 사이의 값을 가질 수 있다. no_pic_partition_flag의 값이 1이면, num_exp_tile_columns_minus1의 값은 0으로 추론될 수 있다.
num_exp_tile_row_minus1은 타일 행 높이(tile row height)와 관련된 값을 나타내는 신택스 요소이다. num_exp_tile_row_minus1은 타일 행 높이에 1을 뺀 값을 나타낸다. 다시 말하면 num_exp_tile_row_minus1의 값에 1을 더한 값은 타일 행 높이의 개수를 나타낸다. num_exp_tile_rows_minus1은 0에서 PicHeightInCtbsY - 1 사이의 값을 가질 수 있다. no_pic_partition_flag의 값이 1이면 num_tile_rows_minus1 값은 0으로 추론될 수 있다.
num_exp_tile_columns_minus1의 값과 num_exp_tile_row_minus1의 값이 모두 0인 경우가 있을 수 있다. 이때, 변수 NumTilesInPic는 수학식 6과 같이 결정될 수 있다.
Figure pct00006
NumTilesInPic는 픽쳐 내 타일 개수를 나타내고, NumTileColumns는 픽쳐 내 타일 행의 개수를 나타내고, NumTileRows는 픽쳐 내 타일 열의 개수를 나타낸다.
변수 NumTileColumns와 NumTileRows는 colWidth[]를 결정하는 과정에서 유도될 수 있다.
도 28의 loop_filter_across_tiles_enabled_flag의 값이 1이면 인-루프 필터링 동작이 PPS를 참조하는 픽쳐에 존재하는 타일 간에 수행될 수도 있음을 나타낸다. loop_filter_across_tiles_enabled_flag의 값이 0이면 인-루프 필터링 동작이 PPS를 참조하는 픽쳐에 존재하는 타일 간에 수행되지 않음을 나타낸다. 인-루프 필터링 동작은 디블로킹 필터, 샘플 적응 오프셋 필터(sample adaptive offset filter), 적응 루프 필터(adaptive loop filter) 동작을 포함할 수 있다. loop_filter_across_tiles_enabled_flag가 존재하지 않으면 loop_filter_across_tiles_enabled_flag의 값은 1로 추론될 수 있다.
하나의 픽쳐, 서브픽쳐 또는 슬라이스가 하나의 타일로 구성되는 경우 타일간 루프 필터가 적용되는지 지시하는 것은 불필요하다. 따라서, no_pic_partition_flag의 값은 기 설정된 값으로 추론될 수 있고, 이때 기 설정된 값은 1일 수 있다.
도 29는 비트 스트림을 구성하는 기본 단위인 네트워크 추상화 계층(Network Abstract Layer, NAL) 유닛을 나타낸 도면이다.
비디오 영상이 인코더를 거쳐 비트스트림(bitstream)으로 부호화되어 저장될 때 상기 비트스트림은 네트워크 추상화 계층 단위로 구성될 수 있다. 이하에서 네트워크 추상화 계층 유닛은 NAL 유닛으로 기술한다. NAL 유닛은 그 목적에 따라 다양한 형태로 정의될 수 있고 고유의 아이디로 구분될 수 있다. NAL 유닛은 크게 실제 영상 데이터 정보를 포함하는 부분과 이러한 비디오 영상을 복호화 하는데 필요한 정보를 포함하는 부분으로 구분될 수 있다. 도 29는 여러 종류의 NAL 유닛들 중 일부를 나타낸 도면이다. NAL 유닛은 미리 정의된 순서를 기반으로 구성되며 해당 NAL 유닛에 포함되는 정보들도 기 설정된 순서에 기반하여 구성될 수 있다. 각각의 NAL 유닛은 상호 참조 관계에 있을 수 있다. 도 29에 나타난 바와 같이 NAL 유닛 DPS(NAL unit DPS)는 디코딩 파라미터 세트(Decoding parameter set, DPS) RBSP 신택스(syntax)를 나타낸다. NAL 유닛 VPS(NAL unit VPS)는, 비디오 파라미터 세트(Video parameter set, VPS) RBSP 신택스를 나타낸다. NAL 유닛 SPS(NAL unit SPS)는, 시퀀스 파라미터 세트(Sequence parameter set, SPS) RBSP 신택스를 나타낸다. NAL 유닛 PPS(unit PPS)는 픽쳐 파라미터 세트(Picture parameter set, PPS) RBSP 신택스를 나타낸다. DPS RBSP 신택스는, 디코더가 비디오 복호화를 수행하기 위해 필요한 정보(신택스 요소)를 포함하는 신택스이다. DPS RBSP 신택스는 디코딩 능력 정보(Decoding capability information, DCI) RBSP 신택스로 기술될 수 있다. VPS RBSP 신택스는, 기본 레이어 및 향상 레이어 부호화 데이터를 복호화 하기 위해 공통적으로 사용되는 위해 공통적으로 사용되는 정보(신택스 요소)를 포함하는 신택스이다. SPS RBSP 신택스는, 시퀀스 단위의 수준에서 전송되어지는 신택스 요소들을 포함하는 신택스이다. SPS RBSP 신택스는, VPS를 참조하여 픽쳐를 복호화하기 위해 공통적으로 사용되는 정보(신택스 요소)를 포함할 수 있다. 이때, 시퀀스는 하나 이상의 픽쳐들의 집합을 의미한다. PPS RBSP 신택스는, 하나 이상의 픽쳐를 복호화 하기 위해 공통적으로 사용되는 정보(신택스 요소)를 포함하는 신택스이다. 상술한 RBSP는 로우 바이트 시퀀스 페이로드(Raw Byte Sequence Payload, RBSP)로, 바이트 정렬(byte aligned)되어 NAL 유닛으로 캡슐화되는 신택스를 의미하는 것일 수 있다. 이하에서는, 상술한 신택스에 대해 살펴본다.
도 30은 본 발명의 일 실시예에 따른 디코딩 파라미터 세트 RBSP 신택스 구조, 시퀀스 파라미터 세트 RBSP 신택스, 프로파일 티어 레벨 신택스 구조를 나타낸 도면이다.
도 30(a)는 디코딩 파라미터 세트(Decoding parameter set, DPS) RBSP 신택스를 예시하는 도면이고, 도 30(b)는 시퀀스 파라미터 세트(Sequence parameter set, SPS) RBSP 신택스를 예시하는 도면이며, 도 30(c)는 프로파일 티어 레벨 신택스(profile tier level syntax) 'profile_tier_level()'를 예시하는 도면이다.
도 30(a), (b)에 나타난 바와 같이 프로파일 티어 레벨 신택스(profile tier level syntax)는 DPS RBSP 신택스와 SPS RBSP 신택스에 포함(호출)될 수 있다. 프로파일 티어 레벨 신택스는, 프로파일, 티어, 및 레벨과 관련된 정보를 포함할 수 있다. 이때, 프로파일 티어 레벨 신택스(profile tier level syntax)는 일반 제약 정보(General constraint inforamtion, GCI)에 대한 신택스 'general_constraint_info()'를 포함할 수 있다. GCI에 대한 신택스(이하, GCI 신택스)는, 상호 운용성(interoperability)을 위해 GCI 신택스 및/또는 다른 신택스(예를 들어, DPS RBSP 신택스, VPS RBSP 신택스, SPS RBSP 신택스, PPS RBSP 신택스, Sliceheader 신택스 등)에 포함된 툴 및/또는 기능 등을 비활성화(disable)하도록 제어할 수 있다. GCI 신택스가 툴 및/또는 기능 등을 비활성화하도록 지시하는 경우, 하위 신택스에 선언된 툴 및/또는 기능들은 비활성화 될 수 있다. 이때, 디코더가 파싱하는 NAL 유닛의 위치에 따라 상기 GCI 신택스에 의해 비활성화(disable)되는 툴 및/또는 기능 등이 전체 비트스트림에 적용될지 부분 비트 스트림에 적용될지가 결정될 수 있다. 예를 들어, 프로파일 티어 레벨 신택스 'profile_tier_level()'는, DPS RBSP 신택스 및/또는 SPS RBSP 신택스에 포함될 수 있고, 프로파일 티어 레벨 신택스가 DPS RBSP 신택스에 포함되는 경우 상기 프로파일 티어 레벨 신택스에 포함된 GCI 신택스는 전체 비트스트림에 적용될 수 있다. 또 다른 예로, 프로파일 티어 레벨 신택스가 SPS RBSP 신택스에 포함되는 경우 상기 프로파일 티어 레벨 신택스에 포함된 GCI 신택스는 코딩된 레이어 비디오 시퀀스(coded layer video sequence, CLVS)에서 적용될 수 있다.
도 31은 본 발명의 일 실시예에 따른 비디오 파라미터 세트 RBSP 신택스 및 일반 제약 정보 신택스를 나타낸 도면이다.
도 31(a)는 본 발명의 일 실시예에 따른, 비디오 파라미터 세트(Video parameter set, VPS) RBSP 신택스를 예시한 도면이고, 도 31(b)는 본 발명의 일 실시예에 따른, 일반 제약 정보(General constraint information, GCI) 신택스를 나타낸 도면이다. 도 31(a)에 나타나 바와 같이 GCI 신택스 'general_constraint_info()'는 VPS 신택스에 포함될 수 있다. 또한, 도9(a)에 도시하진 않았으나 상술한 프로파일 티어 레벨 신택스는 VPS 신택스에 포함될 수 있고, GCI 신택스는 VPS 신택스에 포함된 프로파일 티어 레벨 신택스에 포함될 수 있다. GCI 신택스는 하나 이상의 신택스 요소들을 포함할 수 있다. 도 32, 도 33은 본 발명의 일 실시예에 따른, 시퀀스 파라미터 세트(Sequence parameter set, SPS) RBSP 신택스를 나타낸 도면이다. 이하 도 31 내지 도 33을 참고하여, GCI 신택스에 포함되는 신택스 요소인 제약 플래그에 대해 살펴본다.
- no_qtbtt_dual_tree_intra_constraint_flag
no_qtbtt_dual_tree_intra_constraint_flag는 qtbtt_dual_tree_intra_flag를 제어하는 플래그이다. 예를 들어, no_qtbtt_dual_tree_intra_constraint_flag의 값이 1이면 qtbtt_dual_tree_intra_flag의 값은 0으로 설정될 수 있다. 한편, no_qtbtt_dual_tree_intra_constraint_flag의 값이 0이면 qtbtt_dual_tree_intra_flag의 값에 대한 제약이 없다. 즉, qtbtt_dual_tree_intra_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, qtbtt_dual_tree_intra_flag는 coding_tree 신택스 구조에 I 슬라이스가 사용되었는지 여부를 나타내는 플래그이다. 예를 들어, qtbtt_dual_tree_intra_flag의 값이 1이면, I 슬라이스에 대해 각 코딩 트리 유닛(coding tree unit, CTU)이 암시적(implicit) 쿼드 트리 분할을 통해 64 x 64 루마 샘플을 가지는 코딩 유닛으로 분할될 수 있고, 이때 코딩 유닛은 루마 및 크로마 2개에 대한 별도의 coding_tree 신택스 구조의 루트 노드(최상위 코딩 유닛)임을 나타낸다. qtbtt_dual_tree_intra_flag의 값이 0이면, I 슬라이스에 대해 coding_tree 신택스 구조가 사용되지 않았음을 나타낸다. 상술한 qtbtt_dual_tree_intra_flag는 sps_qtbtt_dual_tree_intra_flag로 지칭될 수 있다.
도 32를 살펴보면, log2_ctu_size_minus5는 각 코딩 트리 유닛의 루마 코딩 트리 블록의 크기 정보를 나타내는 신택스 요소이다. log2_ctu_size_minus5에 5를 더하면 log2단위의 루마 코딩 트리 블록의 크기(CtbLog2SizeY)를 알 수 있다. 이를 수학식으로 나타내면 아래 수학식 7과 같다. 아래 수학식 7에서 CtbSizeY는 각 루마 코딩 트리 블록의 크기를 의미한다.
Figure pct00007
- no_partition_constraints_override_constraint_flag
no_partition_constraints_override_constraint_flag는, partition_constraints_override_enabled_flag를 제어하는 플래그이다. 예를 들어, no_partition_constraints_override_constraint_flag의 값이 1이면 partition_constraints_override_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_partition_constraints_override_constraint_flag의 값이 0이면 partition_constraints_override_enabled_flag의 값에 대한 제약이 없다. 즉, partition_constraints_override_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, partition_constraints_override_enabled_flag는 픽쳐 헤더(picture header, PH) 내의 ph_partition_constraints_override_flag가 존재하는지 여부를 나타내는 플래그이다. partition_constraints_override_enabled_flag의 값이 1이면 ph_partition_constraints_override_flag가 존재함을 나타내고, partition_constraints_override_enabled_flag의 값이 0이면 ph_partition_constraints_override_flag가 존재하지 않음을 나타낸다. 상술한 partition_constraints_override_enabled_flag는 sps_partition_constraints_override_enabled_flag로 지칭될 수 있다.
- no_sao_constraint_flag
no_sao_constraint_flag는 sps_sao_enabled_flag를 제어하는 플래그이다. 예를 들어, no_sao_constraint_flag의 값이 1이면 sps_sao_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_sao_constraint_flag의 값이 0이면 sps_sao_enabled_flag의 값에 대한 제약이 없다. 즉, sps_sao_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_sao_enabled_flag는 샘플 적응 오프셋 프로세스(sample adaptive offset process)가 CLVS(coded layer video sequence)에 대한 디블로킹 필터 프로세스(deblocking filter process) 후 복원된 픽쳐에 적용되는지 여부를 나타내는 플래그이다. 예를 들어, sps_sao_enabled_flag의 값이 1이면, CLVS에 대한 디블로킹 필터 프로세스 후 복원된 픽쳐에 샘플 적응 오프셋 프로세스는 활성화되고, CLVS에 대한 디블로킹 필터 프로세스 후 복원된 픽쳐에 샘플 적응 오프셋 프로세스가 적용됨을 나타낸다. sps_sao_enabled_flag의 값이 0이면, CLVS에 대한 디블로킹 필터 프로세스 후 복원된 픽쳐에 샘플 적응 오프셋 프로세스는 비활성화되고 CLVS에 대한 디블로킹 필터 프로세스 후 복원된 픽쳐에 샘플 적응 오프셋 프로세스가 적용되지 않음을 나타낸다.
- no_alf_constraint_flag
no_alf_constraint_flag는 sps_alf_enabled_flag를 제어하는 플래그이다. 예를 들어, no_alf_constraint_flag의 값이 1이면 sps_alf_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_alf_constraint_flag의 값이 0이면 sps_alf_enabled_flag의 값에 대한 제약이 없다. 즉, sps_alf_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_alf_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 적용되는 적응 루프 필터(adaptive loop filter)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_alf_enabled_flag의 값이 1이면, 적응 루프 필터는 활성화되고, CLVS에서 픽쳐들의 디코딩에 적응 루프 필터가 적용될수 있음을 나타낸다. sps_alf_enabled_flag의 값이 0이면, 적응 루프 필터는 비활성화되고, CLVS에서 픽쳐들의 디코딩에 적응 루프 필터가 적용되지 않음을 나타낸다.
- no_joint_cbcr_constraint_flag
no_joint_cbcr_constraint_flag는 sps_joint_cbcr_enabled_flag를 제어하는 플래그이다. 예를 들어, no_joint_cbcr_constraint_flag의 값이 1이면 sps_joint_cbcr_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_joint_cbcr_constraint_flag의 값이 0이면 sps_joint_cbcr_enabled_flag 값에 대한 제약이 없다. 즉, sps_joint_cbcr_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_joint_cbcr_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 크로마 잔차들의 결합 코딩(joint coding of chroma residuals)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_joint_cbcr_enabled_flag의 값이 1이면, 크로마 잔차들의 결합 코딩은 활성화되고, CLVS에서 픽쳐들의 디코딩에 크로마 잔차들의 결합 코딩이 사용될 수 있음을 나타낸다. sps_joint_cbcr_enabled_flag의 값이 0이면, 크로마 잔차들의 결합 코딩은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 크로마 잔차들의 결합 코딩은 사용되지 않음을 나타낸다. 한편, sps_joint_cbcr_enabled_flag가 존재하지 않을 수 있는데, 이때에는 sps_joint_cbcr_enabled_flag의 값은 0으로 추론될 수 있다.
- no_ref_wraparound_constraint_flag
no_ref_wraparound_constraint_flag는 sps_ref_wraparound_enabled_flag를 제어하는 플래그이다. 예를 들어, no_ref_wraparound_constraint_flag의 값이 1이면 sps_ref_wraparound_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_ref_wraparound_constraint_flag의 값이 0이면 sps_ref_wraparound_enabled_flag의 값에 대한 제약이 없다. 즉, sps_ref_wraparound_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_ref_wraparound_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 적용되는 수평 랩-어라운드 모션 보상(horizontal wrap-around motion compensation)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_ref_wraparound_enabled_flag의 값이 1이면, 수평 랩-어라운드 모션 보상은 활성화되고, CLVS에서 픽쳐들의 디코딩에 수평 랩-어라운드 모션 보상이 적용될 수 있음을 나타낸다. sps_ref_wraparound_enabled_flag의 값이 0이면, 수평 랩-어라운드 모션 보상은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 수평 랩-어라운드 모션 보상은 적용되지 않음을 나타낸다.
- no_temporal_mvp_constraint_flag
no_temporal_mvp_constraint_flag는 sps_temporal_mvp_enabled_flag를 제어하는 플래그이다. 예를 들어, no_temporal_mvp_constraint_flag의 값이 1이면 sps_temporal_mvp_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_temporal_mvp_constraint_flag의 값이 0이면 sps_temporal_mvp_enabled_flag의 값에 대한 제약이 없다. 즉, sps_temporal_mvp_enabled_flag 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_temporal_mvp_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 시간적 모션 벡터 예측자(temporal motion vector predictors)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_temporal_mvp_enabled_flag의 값이 1이면, 시간적 모션 벡터 예측자는 활성화되고, CLVS에서 픽쳐들의 디코딩에 시간적 모션 벡터 예측자가 사용될 수 있음을 나타낸다. sps_temporal_mvp_enabled_flag의 값이 0이면, 시간적 모션 벡터 예측자는 비활성화되고, CLVS에서 픽쳐들의 디코딩에 시간적 모션 벡터 예측자는 사용되지 않음을 나타낸다.
- no_sbtmvp_constraint_flag
no_sbtmvp_constraint_flag는 sps_sbtmvp_enabled_flag를 제어하는 플래그이다. 예를 들어, no_sbtmvp_constraint_flag의 값이 1이면 sps_sbtmvp_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_sbtmvp_constraint_flag의 값이 0이면 sps_sbtmvp_enabled_flag의 값에 대한 제약이 없다. 즉, sps_sbtmvp_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_sbtmvp_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 서브블록 기반 시간적 모션 벡터 예측자(subblock-based temporal motion vector predictors)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_sbtmvp_enabled_flag의 값이 1이면, 서브블록 기반 시간적 모션 벡터 예측자는 활성화되고, CLVS에서 픽쳐들의 디코딩에 서브블록 기반 시간적 모션 벡터 예측자가 사용될 수 있음을 나타낸다. 이때, 픽쳐들의 슬라이스 타입(type)은 I 슬라이스를 제외한 타입(예: B 슬라이스, P 슬라이스)일 수 있다. sps_sbtmvp_enabled_flag의 값이 0이면, 서브블록 기반 시간적 모션 벡터 예측자는 비활성화되고, CLVS에서 픽쳐들의 디코딩에 서브블록 기반 시간적 모션 벡터 예측자는 사용되지 않음을 나타낸다.
- no_amvr_constraint_flag
no_amvr_constraint_flag는 sps_amvr_enabled_flag를 제어하는 플래그이다. 예를 들어, no_amvr_constraint_flag의 값이 1이면 sps_amvr_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_amvr_constraint_flag의 값이 0이면 sps_amvr_enabled_flag의 값에 대한 제약이 없다. 즉, sps_amvr_enabled_flag 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_amvr_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 모션 백터 차이 해상도(motion vector difference resolution)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_amvr_enabled_flag의 값이 1이면, 모션 백터 차이 해상도는 활성화되고, CLVS에서 픽쳐들의 디코딩에 모션 백터 차이 해상도가 사용될 수 있음을 나타낸다. sps_amvr_enabled_flag의 값이 0이면, 모션 백터 차이 해상도는 비활성화되고, CLVS에서 픽쳐들의 디코딩에 모션 백터 차이 해상도는 사용되지 않음을 나타낸다.
- no_bdof_constraint_flag
no_bdof_constraint_flag는 sps_bdof_enabled_flag를 제어하는 플래그이다. 예를 들어, no_bdof_constraint_flag의 값이 1이면 sps_bdof_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_bdof_constraint_flag의 값이 0이면 sps_bdof_enabled_flag의 값에 대한 제약이 없다. 즉, sps_bdof_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_bdof_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 양-방향 옵티컬 플로우 인터 예측(bi-directional optical flow inter prediction)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_bdof_enabled_flag의 값이 1이면, 양-방향 옵티컬 플로우 인터 예측은 활성화되고, CLVS에서 픽쳐들의 디코딩에 양-방향 옵티컬 플로우 인터 예측은 사용될 수 있음을 나타낸다. sps_bdof_enabled_flag의 값이 0이면, 양-방향 옵티컬 플로우 인터 예측은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 양-방향 옵티컬 플로우 인터 예측은 사용되지 않음을 나타낸다.
- no_dmvr_constraint_flag
no_dmvr_constraint_flag는 sps_dmvr_enabled_flag를 제어하는 플래그이다. 예를 들어, no_dmvr_constraint_flag의 값이 1이면 sps_dmvr_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_dmvr_constraint_flag의 값이 0이면 sps_dmvr_enabled_flag의 값에 대한 제약이 없다. 즉, sps_dmvr_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_dmvr_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 디코더 모션 벡터 리파인먼트(decoder motion vector refinement)에 기초한 양-방향 예측(bi-prediction)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_dmvr_enabled_flag의 값이 1이면, 디코더 모션 벡터 리파인먼트에 기초한 양-방향 예측은 활성화되고, CLVS에서 픽쳐들의 디코딩에 디코더 모션 벡터 리파인먼트에 기초한 양-방향 예측이 사용될 수 있음을 나타낸다. sps_dmvr_enabled_flag의 값이 0이면, 디코더 모션 벡터 리파인먼트에 기초한 양-방향 예측은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 디코더 모션 벡터 리파인먼트에 기초한 양-방향 예측은 사용되지 않음을 나타낸다.
- no_cclm_constraint_flag
no_cclm_constraint_flag는 sps_cclm_enabled_flag를 제어하는 플래그이다. 예를 들어, no_cclm_constraint_flag의 값이 1이면 sps_cclm_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_cclm_constraint_flag의 값이 0이면 sps_cclm_enabled_flag의 값에 대한 제약이 없다. 즉, sps_cclm_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_cclm_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 루마 성분에서 크로마 성분으로의 교차-성분 선형 모델 인트라 예측(cross-component linear model intra prediction)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_cclm_enabled_flag의 값이 1이면, 루마 성분에서 크로마 성분으로의 교차-성분 선형 모델 인트라 예측은 활성화되고, CLVS에서 픽쳐들의 디코딩에 루마 성분에서 크로마 성분으로의 교차-성분 선형 모델 인트라 예측이 사용될 수 있음을 나타낸다. sps_cclm_enabled_flag의 값이 0이면, 루마 성분에서 크로마 성분으로의 교차-성분 선형 모델 인트라 예측은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 루마 성분에서 크로마 성분으로의 교차-성분 선형 모델 인트라 예측은 사용되지 않음을 나타낸다. 한편, sps_cclm_enabled_flag가 존재하지 않을 수 있는데, 이때에는 sps_cclm_enabled_flag의 값은 0으로 추론될 수 있다.
- no_mts_constraint_flag
no_mts_constraint_flag는 sps_mts_enabled_flag를 제어하는 플래그이다. 예를 들어, no_mts_constraint_flag의 값이 1이면 sps_mts_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_mts_constraint_flag의 값이 0이면 sps_mts_enabled_flag 값에 대한 제약이 없다. 즉, sps_mts_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_mts_enabled_flag는 시퀀스 파라미터 세트(sequence parameter set, SPS)에 sps_explicit_mts_intra_enabled_flag 및 sps_explicit_mts_inter_enabled_flag가 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_mts_enabled_flag의 값이 1이면, SPS에 sps_explicit_mts_intra_enabled_flag 및 sps_explicit_mts_inter_enabled_flag가 존재함을 나타낸다. sps_mts_enabled_flag의 값이 0이면, SPS에 sps_explicit_mts_intra_enabled_flag 및 sps_explicit_mts_inter_enabled_flag가 존재하지 않음을 나타낸다.
이때, sps_explicit_mts_intra_enabled_flag 및 sps_explicit_mts_inter_enabled_flag는, mts_idx가 CLVS의 인트라 코딩 유닛 신택스에 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_explicit_mts_intra_enabled_flag/sps_explicit_mts_inter_enabled_flag의 값이 1이면 mts_idx는 CLVS의 인트라/인터 코딩 유닛 신택스에 존재할 수 있음을 나타낸다. sps_explicit_mts_intra_enabled_flag/sps_explicit_mts_inter_enabled_flag의 값이 0이면 mts_idx는 CLVS의 인트라/인터 코딩 유닛 신택스에 존재하지 않음을 나타낸다. 한편, sps_explicit_mts_intra_enabled_flag/sps_explicit_mts_inter_enabled_flag가 존재하지 않을 수 있는데 이때에는 sps_explicit_mts_intra_enabled_flag/sps_explicit_mts_inter_enabled_flag의 값은 0으로 추론될 수 있다.
상술한 mts_idx는 현재 코딩 유닛에서 연관된 루마 변환 블록의 수평 및 수직 방향을 따라 적용되는 변환 커널을 지시하는 신택스 요소이다.
- no_sbt_constraint_flag
no_sbt_constraint_flag는 sps_sbt_enabled_flag를 제어하는 플래그이다. 예를 들어, no_sbt_constraint_flag의 값이 1이면 sps_sbt_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_sbt_constraint_flag의 값이 0이면 sps_sbt_enabled_flag 값에 대한 제약이 없다. 즉, sps_sbt_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_sbt_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 인터 예측된 코딩 유닛들(inter-predicted coding unit(CU)s)에 대한 서브 블록 변환의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_sbt_enabled_flag의 값이 1이면, 인터 예측된 코딩 유닛들에 대한 서브 블록 변환은 활성화되고, CLVS에서 픽쳐들의 디코딩에 인터 예측된 코딩 유닛들에 대한 서브 블록 변환이 사용될 수 있음을 나타낸다. sps_sbt_enabled_flag의 값이 0이면, 인터 예측된 코딩 유닛들에 대한 서브 블록 변환은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 인터 예측된 코딩 유닛들에 대한 서브 블록 변환은 사용되지 않음을 나타낸다.
- no_affine_motion_constraint_flag
no_affine_motion_constraint_flag는 sps_affine_enabled_flag를 제어하는 플래그이다. 예를 들어, no_affine_motion_constraint_flag의 값이 1이면 sps_affine_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_affine_motion_constraint_flag의 값이 0이면 sps_affine_enabled_flag의 값에 대한 제약이 없다. 즉, sps_affine_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_affine_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 어파인 모델 기반 모션 보상(affine model based motion compensation)의 활성화 여부를 나타내는 플래그이다. 또한, sps_affine_enabled_flag는 CLVS의 코딩 유닛 신택스에 inter_affine_flag 및 cu_affine_type_flag가 존재하는지 여부를 나타낸다. 예를 들어, sps_affine_enabled_flag의 값이 1이면, 어파인 모델 기반 모션 보상은 활성화되고, CLVS에서 픽쳐들의 디코딩에 어파인 모델 기반 모션 보상이 사용될 수 있음을 나타낸다. 또한, sps_affine_enabled_flag의 값이 1이면, CLVS의 코딩 유닛 신택스에 inter_affine_flag 및 cu_affine_type_flag가 존재할 수 있음을 나타낸다. sps_affine_enabled_flag의 값이 0이면, 어파인 모델 기반 모션 보상은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 어파인 모델 기반 모션 보상이 사용되지 않음을 나타낸다. sps_affine_enabled_flag의 값이 0이면, CLVS의 코딩 유닛 신택스에 inter_affine_flag 및 cu_affine_type_flag가 존재하지 않음을 나타낸다.
이때, inter_affine_flag는 현재 코딩 유닛을 디코딩할 때 현재 코딩 유닛의 예측 샘플을 생성하기 위해 어파인 모델 기반 모션 보상이 사용되는지 여부를 나타내는 플래그이다. cu_affine_type_flag는 현재 코딩 유닛을 디코딩할 때 4개의 파라미터를 사용하는 어파인 모델 기반 모션 보상이 사용되는지 6개의 파라미터를 사용하는 어파인 모델 기반 모션 보상이 사용되는지를 나타내는 플래그이다.
- no_bcw_constraint_flag
no_bcw_constraint_flag는 sps_bcw_enabled_flag를 제어하는 플래그이다. 예를 들어, no_bcw_constraint_flag의 값이 1이면 sps_bcw_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_bcw_constraint_flag의 값이 0이면 sps_bcw_enabled_flag의 값에 대한 제약이 없다. 즉, sps_bcw_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_bcw_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 코딩 유닛 가중치들(weights)을 사용한 양-방향 예측의 활성화 여부를 나타내는 플래그이다. 또한, sps_bcw_enabled_flag는 CLVS의 코딩 유닛 신택스에 bcw_idx가 존재하는지 여부를 나타낼 수도 있다. 예를 들어, sps_bcw_enabled_flag의 값이 1이면, 코딩 유닛 가중치들을 사용한 양-방향 예측은 활성화되고, CLVS에서 픽쳐들의 디코딩에 코딩 유닛 가중치들을 사용한 양-방향 예측이 사용될 수 있음을 나타낸다. 또한, sps_bcw_enabled_flag 값이 1이면, CLVS의 코딩 유닛 신택스에 bcw_idx가 존재할 수 있음을 나타낸다. sps_bcw_enabled_flag의 값이 0이면, 코딩 유닛 가중치들을 사용한 양-방향 예측은 비활성화되고, CLVS에서 픽쳐들의 디코딩에 코딩 유닛 가중치들을 사용한 양-방향 예측은 사용되지 않음을 나타낸다. 또한, sps_bcw_enabled_flag의 값이 0이면, CLVS의 코딩 유닛 신택스에 bcw_idx가 존재하지 않음을 나타낸다.
이때, bcw_idx는, 코딩 유닛 가중치들을 사용한 양-방향 예측과 관련된 인덱스를 지시하는 신택스 요소이다.
- no_ibc_constraint_flag
no_ibc_constraint_flag는 sps_ibc_enabled_flag를 제어하는 플래그이다. 예를 들어, no_ibc_constraint_flag의 값이 1이면 sps_ibc_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_ibc_constraint_flag의 값이 0이면 sps_ibc_enabled_flag 값에 대한 제약이 없다. 즉, sps_ibc_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_ibc_enabled_flag는 CLVS에서 픽쳐들의 디코딩에 사용되는 IBC(intra block copy) 예측 모드의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_ibc_enabled_flag의 값이 1이면, IBC 예측 모드는 활성화되고, CLVS에서 픽쳐들의 디코딩에 IBC 예측 모드가 사용될 수 있음을 나타낸다. sps_ibc_enabled_flag의 값이 0이면, IBC 예측 모드는 비활성화되고, CLVS에서 픽쳐들의 디코딩에 IBC 예측 모드는 사용되지 않음을 나타낸다.
- no_ciip_constraint_flag
no_ciip_constraint_flag는 sps_ciip_enabled_flag를 제어하는 플래그이다. 예를 들어, no_ciip_constraint_flag의 값이 1이면 sps_ciip_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_ciip_constraint_flag의 값이 0이면 sps_ciip_enabled_flag의 값에 대한 제약이 없다. 즉, sps_ciip_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_ciip_enabled_flag는 ciip_flag가 인터 코딩 유닛들에 대한 코딩 유닛 신택스에 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_ciip_enabled_flag의 값이 0이면, ciip_flag가 인터 코딩 유닛들에 대한 코딩 유닛 신택스에 존재하지 않음을 나타낸다. sps_ciip_enabled_flag의 값이 1이면, ciip_flag가 인터 코딩 유닛들에 대한 코딩 유닛 신택스에 존재할수도 있음을 나타낸다.
ciip_flag는 결합된 인터-픽쳐 머지(inter-picture merge) 및 인트라-픽쳐 예측(intra-picture prediction)이 현재 코딩 유닛에 대해 적용되는지 여부를 나타내는 플래그이다.
- no_fpel_mmvd_constraint_flag
no_fpel_mmvd_constraint_flag는 sps_fpel_mmvd_enabled_flag를 제어하는 플래그이다. 예를 들어, no_fpel_mmvd_constraint_flag의 값이 1이면 sps_fpel_mmvd_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_fpel_mmvd_constraint_flag 값이 0이면 sps_fpel_mmvd_enabled_flag의 값에 대한 제약이 없다. 즉, sps_fpel_mmvd_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_fpel_mmvd_enabled_flag는 모션 벡터 차이(motion vector difference)를 사용하는 머지 모드(merge mode)에서 사용되는 샘플 정밀도의 타입을 나타내는 플래그이다. 예를 들어, sps_fpel_mmvd_enabled_flag의 값이 1이면, 모션 벡터 차이를 사용하는 머지 모드에서 사용되는 샘플 정밀도가 정수 샘플 정밀도(integer sample precision)임을 나타낸다. sps_fpel_mmvd_enabled_flag의 값이 0이면, 모션 벡터 차이를 사용하는 머지 모드에서 사용되는 샘플 정밀도가 분수 샘플 정밀도(fractional sample precision)임을 나타낸다. 한편, sps_fpel_mmvd_enabled_flag 가 존재하지 않을 수 있는데, 이때에는 sps_fpel_mmvd_enabled_flag의 값은 0으로 추론될 수 있다. sps_fpel_mmvd_enabled_flag는, sps_mmvd_fullpel_only_flag로 지칭될 수도 있다.
- no_triangle_constraint_flag
no_triangle_constraint_flag는 sps_triangle_enabled_flag를 제어하는 플래그이다. 예를 들어, no_triangle_constraint_flag의 값이 1이면 sps_triangle_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_triangle_constraint_flag의 값이 0이면 sps_triangle_enabled_flag의 값에 대한 제약이 없다. 즉, sps_triangle_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_triangle_enabled_flag는 삼각형 모양 기반 모션 보상이 적용될 수 있는 지 여부를 나타내는 플래그이다. 삼각형 모양 기반 모션 보상 예측 방법은 인터 코딩 유닛의 사선을 기준으로 두개의 삼각형 모형으로 구분될 수 있으며 각 삼각형 영역의 모션 정보 세트가 상이할 수 있고, 이를 기반으로 모션 보상을 수행하여 예측 샘플을 생성할 수 있다.
- no_ladf_constraint_flag
no_ladf_constraint_flag는 sps_ladf_enabled_flag를 제어하는 플래그이다. 예를 들어, no_ladf_constraint_flag의 값이 1이면 sps_ladf_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_ladf_constraint_flag의 값이 0이면 sps_ladf_enabled_flag의 값에 대한 제약이 없다. 즉, sps_ladf_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_ladf_enabled_flag는 SPS 내에 sps_num_ladf_intervals_minus2, sps_ladf_lowest_interval_qp_offset, sps_ladf_qp_offset[i], 및 sps_ladf_delta_threshold_minus1[i]가 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_ladf_enabled_flag의 값이 1이면, SPS 내에 sps_num_ladf_intervals_minus2, sps_ladf_lowest_interval_qp_offset, sps_ladf_qp_offset[i], 및 sps_ladf_delta_threshold_minus1[i]가 존재함을 나타낸다. sps_ladf_enabled_flag의 값이 0이면, SPS 내에 sps_num_ladf_intervals_minus2, sps_ladf_lowest_interval_qp_offset, sps_ladf_qp_offset[i], 및 sps_ladf_delta_threshold_minus1[i]가 존재하지 않음을 나타낸다.
sps_num_ladf_intervals_minus2는 SPS에 존재하는 신택스 요소인 sps_ladf_delta_threshold_minus1[i], 및 sps_ladf_qp_offset[i]의 개수를 나타내는 신택스 요소이다. sps_num_ladf_intervals_minus2는 0 내지 3 사이의 값을 가질 수 있다.
sps_ladf_lowest_interval_qp_offset은 변수인 양자화 파라미터(quantization parameter, QP)를 도출하기 위해 사용되는 오프셋을 나타내는 신택스 요소이다. sps_ladf_lowest_interval_qp_offset는 -63 내지 63 사이의 값을 가질 수 있다.
sps_ladf_qp_offset[i]는 변수인 양자화 파라미터를 도출하기 위해 사용되는 오프셋 배열을 나타내는 신택스 요소이다. sps_ladf_qp_offset[i]는 -63 내지 63 사이의 값을 가질 수 있다.
sps_ladf_delta_threshold_minus1[i]는 i번째 루마 강도 레벨 인터벌(luma intensity level interval)의 하한을 지정하는 신택스 요소인 SpsLadfIntervalLowerBound[i]의 값을 계산하기 위해 사용되는 신택스 요소이다. sps_ladf_delta_threshold_minus1[i]는 0 내지 2BitDepth - 3 사이의 값을 가질 수 있다. BitDepth는 비트 심도를 나타내는 것으로 영상의 밝기를 표현하는데 필요한 비트 수를 의미한다.
- no_transform_skip_constraint_flag
no_transform_skip_constraint_flag는 sps_transform_skip_enabled_flag를 제어하는 플래그이다. 예를 들어, no_transform_skip_constraint_flag의 값이 1이면 sps_transform_skip_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_transform_skip_constraint_flag의 값이 0이면 sps_transform_skip_enabled_flag의 값에 대한 제약이 없다. 즉, sps_transfrom_skip_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_transform_skip_enabled_flag는 변환 유닛(transform unit) 신택스 내에 transform_skip_flag가 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_transform_skip_enabled_flag의 값이 1이면, 변환 유닛 신택스 내에 transform_skip_flag가 존재할 수 있음을 나타낸다. sps_transform_skip_enabled_flag의 값이 0이면, 변환 유닛 신택스 내에 transform_skip_flag가 존재하지 않음을 나타낸다.
transform_skip_flag는 변환 블록에 변환이 적용되었는지 여부를 나타내는 플래그이다.
- no_bdpcm_constraint_flag
no_bdpcm_constraint_flag는 sps_bdpcm_enabled_flag를 제어하는 플래그이다. 예를 들어, no_bdpcm_constraint_flag의 값이 1이면 sps_bdpcm_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_bdpcm_constraint_flag의 값이 0이면 sps_bdpcm_enabled_flag의 값에 대한 제약이 없다. 즉, sps_bdpcm_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_bdpcm_enabled_flag는 intra_bdpcm_luma_flag 및 intra_bdpcm_chroma_flag가 인트라 코딩 유닛들에 대한 코딩 유닛 신택스에 존재하는지 여부를 나타내는 플래그이다. 예를 들어, sps_bdpcm_enabled_flag의 값이 1이면, intra_bdpcm_luma_flag 및 intra_bdpcm_chroma_flag가 인트라 코딩 유닛들에 대한 코딩 유닛 신택스에 존재할 수 있음을 나타낸다. sps_bdpcm_enabled_flag의 값이 0이면, intra_bdpcm_luma_flag 및 intra_bdpcm_chroma_flag가 인트라 코딩 유닛들에 대한 코딩 유닛 신택스에 존재하지 않음을 나타낸다. 한편, sps_bdpcm_enabled_flag가 존재하지 않을 수 있는데 이때에는 sps_bdpcm_enabled_flag의 값은 0으로 추론될 수 있다.
intra_bdpcm_luma_flag/intra_bdpcm_chroma_flag는 bdpcm(Block-based Delta Pulse Code Modulation)이 특정 위치(x0, y0)의 루마/크로마 코딩 블록에 적용되는지 여부를 나타내는 플래그들이다.
- no_qp_delta_constraint_flag
no_qp_delta_constraint_flag는 cu_qp_delta_enabled_flag를 제어하는 플래그이다. 예를 들어, no_qp_delta_constraint_flag 값이 1이면 cu_qp_delta_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_qp_delta_constraint_flag의 값이 0이면 cu_qp_delta_enabled_flag의 값에 대한 제약이 없다. 즉, cu_qp_delta_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, cu_qp_delta_enabled_flag는 PPS를 참조하는 PH들 내에 신택스 요소인 ph_cu_qp_delta_subdiv_intra_slice 및 ph_cu_qp_delta_subdiv_inter_slice가 존재하는지 여부를 나타내는 플래그이다. 또한, cu_qp_delta_enabled_flag는 변환 유닛 신택스 및 팔레트 코딩 신택스 내에 포함되는 신택스 요소인 cu_qp_delta_abs 및 cu_qp_delta_sign_flag가 존재하는지 여부를 나타낸다. 예를 들어, cu_qp_delta_enabled_flag의 값이 1이면, PPS를 참조하는 PH들 내에 신택스 요소인 ph_cu_qp_delta_subdiv_intra_slice 및 ph_cu_qp_delta_subdiv_inter_slice가 존재할 수 있음을 나타낸다. 또한 cu_qp_delta_enabled_flag의 값이 1이면, 변환 유닛 신택스 및 팔레트 코딩 신택스 내에 신택스 요소인 cu_qp_delta_abs 및 cu_qp_delta_sign_flag가 존재할 수 있음을 나타낸다. cu_qp_delta_enabled_flag의 값이 0이면, PPS를 참조하는 PH들 내에 신택스 요소인 ph_cu_qp_delta_subdiv_intra_slice 및 ph_cu_qp_delta_subdiv_inter_slice가 존재하지 않음을 나타낸다. 또한 cu_qp_delta_enabled_flag의 값이 0이면, 변환 유닛 신택스 및 팔레트 코딩 신택스 내에 신택스 요소인 cu_qp_delta_abs 및 cu_qp_delta_sign_flag가 존재하지 않음을 나타낸다.
ph_cu_qp_delta_subdiv_intra_slice/ph_cu_qp_delta_subdiv_inter_slice는 cu_qp_delta_abs 및 cu_qp_delta_sign_flag를 전달(convey)하는 인트라/인터 슬라이스 내의 코딩 유닛의 최대 값 'cbSubdiv'을 나타내는 신택스 요소이다. 이때, 'cbSubdiv'는 블록의 하위분할 값을 나타낸다.
cu_qp_delta_abs는 현재 코딩 유닛의 양자화 파라미터와 현재 코딩 유닛의 양자화 파라미터 예측 값의 차이 'CuQpDeltaVal'의 절대 값을 나타내는 신택스 요소이다.
cu_qp_delta_sign_flag는 상기 'CuQpDeltaVal'의 부호(sign)를 나타내는 플래그이다.
- no_dep_quant_constraint_flag
no_dep_quant_constraint_flag는 sps_dep_quant_enabled_flag를 제어하는 플래그이다. 예를 들어, no_dep_quant_constraint_flag의 값이 1이면 sps_dep_quant_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_dep_quant_constraint_flag의 값이 0이면 sps_dep_quant_enabled_flag의 값에 대한 제약이 없다. 즉, sps_dep_quant_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_dep_quant_enabled_flag는 SPS를 참조하는 픽쳐들에 사용되는 종속 양자화(dependent quantization)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_dep_quant_enabled_flag의 값이 1이면, 종속 양자화는 활성화되고, SPS를 참조하는 픽쳐들에 종속 양자화가 사용될 수 있음을 나타낸다. sps_dep_quant_enabled_flag의 값이 0이면, 종속 양자화는 비활성화되고, SPS를 참조하는 픽쳐들에 종속 양자화는 사용되지 않음을 나타낸다.
- no_sign_data_hiding_constraint_flag
no_sign_data_hiding_constraint_flag는 sps_sign_data_hiding_enabled_flag를 제어하는 플래그이다. 예를 들어, no_sign_data_hiding_constraint_flag의 값이 1이면 sps_sign_data_hiding_enabled_flag의 값은 0으로 설정될 수 있다. 한편, no_sign_data_hiding_constraint_flag의 값이 0이면 sps_sign_data_hiding_enabled_flag의 값에 대한 제약이 없다. 즉, sps_sign_data_hiding_enabled_flag의 값은 SPS RBSP 신택스의 파싱 결과에 따라 결정될 수 있다.
이때, sps_sign_data_hiding_enabled_flag는 SPS를 참조하는 픽쳐들에 사용되는 부호 비트 숨김(sign bit hiding)의 활성화 여부를 나타내는 플래그이다. 예를 들어, sps_sign_data_hiding_enabled_flag의 값이 1이면, SPS를 참조하는 픽쳐들에 사용되는 부호 비트 숨김은 활성화되고, SPS를 참조하는 픽쳐에 부호 비트 숨김이 사용될 수 있음을 나타낸다. sps_sign_data_hiding_enabled_flag의 값이 0이면, SPS를 참조하는 픽쳐들에 사용되는 부호 비트 숨김은 비활성화되고, SPS를 참조하는 픽쳐에 부호 비트 숨김이 사용되지 않음을 나타낸다.
도 34는 본 발명의 일 실시예에 따른, 시퀀스 파라미터 세트(Sequence parameter set, SPS) RBSP 신택스(syntax)를 나타낸 도면이다.
도 34를 살펴보면 SPS RBSP 신택스 구조에는 sps_scaling_list_enabled_flag를 포함하여 높은 동적 범위(high dynamic range, hdr)에 관련된 파라미터 정보 및 후술하는 sps 파라미터를 추가하기 위한 확장 공간도 포함되어 있다. 도 34에 개시된 hrd_parameters_present_flag 이하 if 절이 hdr에 관련된 파라미터 정보일 수 있다.
도 35는 본 발명의 일 실시예에 따른 시퀀스 파라미터 세트 RBSP 신택스 구조를 나타낸 도면이다.
도 35를 참조하여 SPS RBSP 신택스 구조에 포함되는 신택스 요소들에 대해 살펴본다.
sps_entropy_coding_sync_enabled_flag의 값이 1이면 컨텍스트 변수들에 특정 동기화 프로세스(a specific synchronization process)가 적용될 수 있다. 특정 동기화 프로세스가 적용되는 시점은 SPS를 참조하는 개별 픽쳐 내 개별 타일에 있는 CTB 행의 첫번째 CTB를 포함하는 첫번째 CTU를 디코딩 하기 전이다. 또한 sps_entropy_coding_sync_enabled_flag의 값이 1이면 컨텍스트 변수들에 대해 특정 저장 프로세스(a specific storage process)가 적용될 수 있다. 특정 저장 프로세스가 적용되는 시점은 SPS를 참조하는 개별 픽쳐 내 개별 타일에 있는 CTB 행의 첫번째 CTB를 포함하는 CTU를 디코딩 한 후이다. sps_entropy_coding_sync_enabled_flag의 값이 0이면 컨텍스트 변수들에 특정 동기화 프로세스 및 특정 저장 프로세스는 적용되지 않을 수 있다. 특정 동기화 프로세스가 적용되지 않는다는 것은 SPS를 참조하는 개별 픽쳐 내 개별 타일에 있는 CTB 행의 첫번째 CTB를 포함하는 첫번째 CTU를 디코딩 하기 전에 판단된다. 특정 저장 프로세스가 적용되지 않는다는 것은 SPS를 참조하는 개별 픽쳐 내 개별 타일에 있는 CTB 행의 첫번째 CTB를 포함하는 CTU를 디코딩 한 후에 판단된다.
same_qp_table_for_chroma은 크로마 QP 매핑 테이블과 관련된 신택스 요소이다. same_qp_table_for_chroma의 값이 1이면 오직 1개의 크로마 QP 매핑 테이블이 사용됨을 나타내고, 1개의 크로마 QP 매핑 테이블은 Cb, Cr 잔차 신호 및 joint Cb-Cr 잔차 신호에도 사용된다. same_qp_table_for_chroma의 값이 0이면 Cb, Cr을 위한 2개, joint Cb-Cr을 위한 1개의 크로마 QP 매핑 테이블이 SPS에서 시그널링 된다. 크로마 QP 매핑 테이블은 sps_joint_cbcr_enabled_flag의 값이 1일 때 시그널링 될 수 있다. same_qp_table_for_chroma의 값이 존재하지 않으면 same_qp_table_for_chroma의 값은 1로 추론될 수 있다.
sps_explicit_mts_intra_enabled_flag는 mtx_idx가 인트라 CU 신택스에 존재하는지 여부를 나타내는 신택스 요소이다. sps_explicit_mts_intra_enabled_flag의 값이 1이면 mtx_idx가 인트라 CU 신택스에 존재할 수 있음을 나타낸다. sps_explicit_mts_intra_enabled_flag의 값이 0이면 mtx_idx는 인트라 CU 신택스에 존재하지 않음을 나타낸다. sps_explicit_mts_intra_enabled_flag가 존재하지 않으면 sps_explicit_mts_intra_enabled_flag의 값은 0으로 추론될 수 있다.
sps_explicit_mts_inter_enabled_flag는 mtx_idx가 인터 CU 신택스에 존재하는지 여부를 나타내는 신택스 요소이다. sps_explicit_mts_inter_enabled_flag의 값이 1이면 mtx_idx가 인터 CU 신택스에 존재할 수 있음을 나타낸다. sps_explicit_mts_inter_enabled_flag의 값이 0이면 mtx_idx는 인터 CU 신택스inter CU syntax에 존재하지 않음을 나타낸다. sps_explicit_mts_inter_enabled_flag가 존재하지 않으면 sps_explicit_mts_inter_enabled_flag의 값은 0으로 추론될 수 있다.
sps_affine_amvr_enabled_flag는 적응 모션 벡터 차이 해상도(adaptive motion vector difference resolution)가 어파인 인터 모드(affine inter mode)의 모션 벡터에 사용되는지 여부를 나타내는 신택스 요소이다. sps_affine_amvr_enabled_flag의 값이 1이면 적응 모션 벡터 차이 해상도가 어파인 인터 모드의 모션 벡터에 사용됨을 나타낸다. sps_affine_amvr_enabled_flag의 값이 0이면 적응 모션 벡터 차이 해상도가 어파인 인터 모드의 모션 벡터에 사용되지 않음을 나타낸다. sps_affine_amvr_enabled_flag가 존재하지 않으면 sps_affine_amvr_enabled_flag의 값은 0으로 추론될 수 있다.
sps_affine_prof_enabled_flag는 어파인 모션 보상(affine motion compensation)에 옵티컬 플로우(optical flow)의 예측 개선(prediction refinement)이 사용되는지 여부를 나타내는 신택스 요소이다. sps_affine_prof_enabled_flag의 값이 1이면 어파인 모션 보상은 옵티컬 플로우로 개선될 수 있다. sps_affine_prof_enabled_flag의 값이 0이면 어파인 모션 보상은 옵티컬 플로우로 개선되지 않는다. sps_affine_prof_enabled_flag가 존재하지 않으면 sps_affine_prof_enabled_flag의 값은 0으로 추론될 수 있다.
sps_explicit_scaling_list_enabled_flag는 명시적 스케일링 리스트(explicit scaling list)가 사용되는지 여부를 나타내는 신택스 요소이다. sps_explicit_scaling_list_enabled_flag의 값이 1이면 명시적 스케일링 리스트가 사용됨을 나타낼 수 있다. 명시적 스케일링 리스트는 APS(adaptation parameter set)의 스케일링 리스트에서 시그널링될 수 있다. 이때, 명시적 스케일링 리스트는 CLVS에 대한 슬라이스 디코딩이 활성화될 때 변환 계수에 대한 스케일링 프로세스에서 사용될 수 있다. sps_explicit_scaling_list_enabled_flag의 값이 0이면 CLVS에 대한 슬라이스 디코딩이 활성화되지 않을 때 변환 계수에 대한 스케일링 프로세스에서 명시적 스케일링 리스트가 사용됨을 나타낼 수 있다.
sps_virtual_boundaries_enabled_flag는 인-루프 필터링의 비활성화 여부를 나타내는 신택스 요소이다. sps_virtual_boundaries_enabled_flag의 값이 1이면 가상 경계에서의 인-루프 필터링의 비활성화가 CLVS 내 코딩된 픽쳐들에 적용될 수 있음을 나타낸다. sps_virtual_boundaries_enabled_flag의 값이 0이면 가상 경계에서의 인-루프 필터링의 비활성화가 CLVS 내 코딩된 픽쳐들에 적용되지 않는 것을 나타낸다. 루프 필터링 동작은 디블로킹 필터, 샘플 적응 오프셋 필터(sample adaptive offset filter), 적응 루프 필터(adaptive loop filter) 동작을 포함할 수 있다.
도 36은 본 발명의 일 실시예에 따른 일반 제약 정보(general constraint information) 신택스 구조를 나타낸 도면이다.
도 36을 참조하여 설명하는 일반 제약 정보(general constraint information, GCI)에 신택스 구조에 포함되는 신택스 요소들은, SPS RBSP 신택스 내에 정의된 플래그(신택스 요소)를 활성/비활성 시킬 수 있다. 이때, 플래그는 도 35에 나타낸 플래그일 수 있다. 이하 설명하는 GCI 신택스 구조에 포함되는 신택스 요소들은 상호 배타적 관계에 있는 것이고, 도 36에 개시된 명칭에 제한되는 것이 아니다. 또한, GCI 신택스 구조에 포함되는 신택스 요소들에 의해 제약되는 SPS 신택스 구조에 포함되는 플래그(신택스 요소) 중 도 35의 실시예와 동일하거나 상응하는 부분은 중복적인 설명을 생략한다.
no_weighted_pred_constraint_flag는 SPS 신택스 구조에 포함되는 sps_weighted_pred_flag를 제약하는 플래그이다. no_weighted_pred_constraint_flag의 값이 1이면 sps_weighted_pred_flag의 값은 0으로 제약된다. no_weighted_pred_constraint_flag의 값이 0이라면 sps_weighted_pred_flag는 제약되지 않는다. sps_weighted_pred_flag는 SPS를 참조하는 P 슬라이스에 가중치 예측이 적용되는지를 나타내는 신택스 요소이다. sps_weighted_pred_flag의 값이 1이면 P 슬라이스에 가중치 예측이 적용되고, sps_weighted_pred_flag의 값이 0이면 P 슬라이스에 가중치 예측이 적용되지 않는다.
no_weighted_bipred_constraint_flag는 SPS 신택스 구조에 포함되는 sps_weighted_bipred_flag를 제약하는 플래그이다. no_weighted_bipred_constraint_flag의 값이 1이면 sps_weighted_bipred_flag의 값은 0으로 제약된다. no_weighted_bipred_constraint_flag의 값이 0이면 sps_weighted_bipred_flag는 제약되지 않는다. sps_weighted_bipred_flag는 SPS를 참조하는 B 슬라이스에 가중치 예측이 적용되는지를 나타내는 신택스 요소이다. sps_weighted_bipred_flag의 값이 1이면 B 슬라이스에 가중치 예측이 적용되고, sps_weighted_bipred_flag의 값이 0이면 B 슬라이스에 가중치 예측이 적용되지 않는다.
no_same_qp_table_for_chroma_constraint_flag는 SPS 신택스 구조에 포함되는 same_qp_table_for_chroma를 제약하는 플래그이다. no_same_qp_table_for_chroma_constraint_flag의 값이 1이면 same_qp_table_for_chroma의 값은 0으로 제약된다. no_same_qp_table_for_chroma_constraint_flag의 값이 0이면 same_qp_table_for_chroma는 제약되지 않는다.
no_explicit_mts_intra_onstraint_flag은 SPS 신택스 구조에 포함되는 sps_explicit_mts_intra_enabled_flag를 제약하는 플래그이다. no_explicit_mts_intra_onstraint_flag의 값이 1이면 sps_explicit_mts_intra_enabled_flag의 값은 0으로 제약된다. no_explicit_mts_intra_onstraint_flag의 값이 0이면 sps_explicit_mts_intra_enabled_flag는 제약되지 않는다.
no_explicit_mts_inter_constraint_flag는 SPS 신택스 구조에 포함되는 sps_explicit_mts_inter_enabled_flag를 제약하는 플래그이다. no_explicit_mts_inter_constraint_flag의 값이 1이면 sps_explicit_mts_inter_enabled_flag의 값은 0으로 제약된다. no_explicit_mts_inter_constraint_flag의 값이 0이면 sps_explicit_mts_inter_enabled_flag는 제약되지 않는다.
no_affine_amvr_constraint_flag는 SPS 신택스 구조에 포함되는 sps_affine_amvr_enabled_flag를 제약하는 플래그이다. no_affine_amvr_constraint_flag의 값이 1이면 sps_affine_amvr_enabled_flag의 값은 0으로 제약된다. no_affine_amvr_constraint_flag의 값이 0이면 sps_affine_amvr_enabled_flag는 제약되지 않는다.
no_affine_prof_constraint_flag는 SPS 신택스 구조에 포함되는 sps_affine_prof_enabled_flag를 제약하는 플래그이다. no_affine_prof_constraint_flag의 값이 1이면 sps_affine_prof_enabled_flag의 값은 0으로 제약된다. no_affine_prof_constraint_flag의 값이 0이면 sps_affine_prof_enabled_flag는 제약되지 않는다.
no_explicit_scaling_list_constraint_flag는 SPS 신택스 구조에 포함되는 sps_explicit_scaling_list_enabled_flag를 제약하는 플래그이다. no_explicit_scaling_list_constraint_flag의 값이 1이면 sps_explicit_scaling_list_enabled_flag의 값은 0으로 제약된다. no_explicit_scaling_list_constraint_flag의 값이 0이면 sps_explicit_scaling_list_enabled_flag는 제약되지 않는다.
no_virtual_boundaries_constraint_flag는 SPS 신택스 구조에 포함되는 sps_virtual_boundaries_enabled_flag를 제약하는 플래그이다. no_virtual_boundaries_constraint_flag의 값이 1이면 sps_virtual_boundaries_enabled_flag의 값은 0으로 제약된다. no_virtual_boundaries_constraint_flag의 값이 0이면 sps_virtual_boundaries_enabled_flag는 제약되지 않는다.
본 명세서는 주로 디코더 관점에서 기술되었으나 인코더에서도 동일하게 동작될 수 있다. 본 명세서의 파싱이라는 용어는 비트 스트림으로부터 정보를 획득하는 과정을 중점으로하여 설명되었으나 인코더 측면에서는 비트스트림에 해당 정보를 구성하는 것으로 해석될 수 있다. 따라서 파싱이라는 용어는 디코더 동작으로만 한정되지 않고 인코더에서는 비트스트림을 구성하는 행위로까지 해석될 수 있다. 또한, 이러한 비트르스트림은 컴퓨터 판독 가능한 기록 매체에 저장되어 구성될 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 비디오 신호 복호화 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    비디오 신호의 비트스트림(bitstream)에 포함된 시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 복호화하고,
    상기 SPS RBSP 신택스의 복호화 결과에 기초하여, 상기 비트스트림을 복호화하되,
    상기 SPS RBSP 신택스는,
    하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고,
    상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 하는 비디오 신호 복호화 장치.
  2. 제 1항에 있어서,
    제1 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수에 1을 뺀 값을 나타내는 것을 특징으로 하는 비디오 신호 복호화 장치.
  3. 제 1항에 있어서,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐 경계에 루프 필터링이 적용되는지 여부를 추가적으로 더 나타내는 것을 특징으로 하는 비디오 신호 복호화 장치.
  4. 제 2항에 있어서,
    상기 제1 신택스 요소가 나타내는 값은 0보다 큰 것을 특징으로 하는 비디오 신호 복호화 장치.
  5. 제 1항에 있어서,
    상기 하나 이상의 서브픽쳐의 개수가 1인 경우, 상기 제2 신택스 요소는, 특정 동작을 지시하는 기 설정된 값으로 추론되는 것을 특징으로 하는 비디오 신호 복호화 장치.
  6. 제 1항에 있어서,
    상기 SPS RBSP 신택스는,
    상기 하나 이상의 서브픽쳐와 관련된 정보가 존재하는지 여부를 나타내는 제3 신택스 요소를 포함하고,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재하는지 여부를 나타내는 제4 신택스 요소를 포함하고,
    상기 제4 신택스 요소는, 상기 제3 신택스 요소가 상기 하나 이상의 서브픽쳐와 관련된 정보가 존재함을 나타내는 경우 파싱되고,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스에서 시그널링되는 것을 특징으로 하는 비디오 신호 복호화 장치.
  7. 제 6항에 있어서,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내고, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값이 상기 SPS RBSP 신택스에서 시그널링 되지 않는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스를 참조하는 픽쳐 파라미터 세트(Picture Parameter Set, PPS) RBSP 신택스에서 시그널링되는 것을 특징으로 하는 비디오 신호 복호화 장치.
  8. 비디오 신호 부호화 장치에 있어서,
    프로세서를 포함하며,
    상기 프로세서는,
    시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 획득하고,
    상기 SPS RBSP 신택스를 포함하는 비트스트림을 부호화하되,
    상기 SPS RBSP 신택스는,
    하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고,
    상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 하는 비디오 신호 부호화 장치.
  9. 제 8항에 있어서,
    제1 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수에 1을 뺀 값을 나타내는 것을 특징으로 하는 비디오 신호 부호화 장치.
  10. 제 8항에 있어서,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐 경계에 루프 필터링이 적용되는지 여부를 추가적으로 더 나타내는 것을 특징으로 하는 비디오 신호 부호화 장치.
  11. 제 9항에 있어서,
    상기 제1 신택스 요소가 나타내는 값은 0보다 큰 것을 특징으로 하는 비디오 신호 부호화 장치.
  12. 제 8항에 있어서,
    상기 하나 이상의 서브픽쳐의 개수가 1인 경우, 상기 제2 신택스 요소는, 특정 동작을 지시하는 기 설정된 값으로 추론되는 것을 특징으로 하는 비디오 신호 부호화 장치.
  13. 제 8항에 있어서,
    상기 SPS RBSP 신택스는,
    상기 하나 이상의 서브픽쳐와 관련된 정보가 존재하는지 여부를 나타내는 제3 신택스 요소를 포함하고,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재하는지 여부를 나타내는 제4 신택스 요소를 포함하고,
    상기 제4 신택스 요소는, 상기 제3 신택스 요소가 상기 하나 이상의 서브픽쳐와 관련된 정보가 존재함을 나타내는 경우 파싱되고,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스에서 시그널링되는 것을 특징으로 하는 비디오 신호 부호화 장치.
  14. 제 13항에 있어서,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내고, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값이 상기 SPS RBSP 신택스에서 시그널링 되지 않는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스를 참조하는 픽쳐 파라미터 세트(Picture Parameter Set, PPS) RBSP 신택스에서 시그널링되는 것을 특징으로 하는 비디오 신호 부호화 장치.
  15. 비디오 신호의 비트스트림(bitstream)을 저장하는 비-일시적인(non-transitory) 컴퓨터 판독 가능 매체(computer-readable medium)에 있어서,
    상기 비트스트림은,
    시퀀스 파라미터 세트(Sequence Parameter Set, SPS) RBSP(Raw Byte Sequence Payload) 신택스를 획득하는 단계; 및
    상기 SPS RBSP 신택스를 포함하는 비트스트림을 부호화하는 단계; 를 포함하는 부호화 방법을 통해 부호화되고,
    상기 SPS RBSP 신택스는,
    하나의 픽쳐를 구성하는 하나 이상의 서브픽쳐의 개수와 관련된 제1 신택스 요소를 포함하고,
    상기 제1 신택스 요소에 기초하여 상기 하나 이상의 서브픽쳐의 경계가 상기 하나의 픽쳐의 경계처럼 처리되는지 여부를 나타내는 제2 신택스 요소를 포함하고,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수가 2 이상인 경우에만 파싱되는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  16. 제 15항에 있어서,
    제1 신택스 요소는 상기 하나 이상의 서브픽쳐의 개수에 1을 뺀 값을 나타내는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  17. 제 15항에 있어서,
    상기 제2 신택스 요소는 상기 하나 이상의 서브픽쳐 경계에 루프 필터링이 적용되는지 여부를 추가적으로 더 나타내는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  18. 제 15항에 있어서,
    상기 제1 신택스 요소가 나타내는 값은 0보다 큰 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  19. 제 15항에 있어서,
    상기 SPS RBSP 신택스는,
    상기 하나 이상의 서브픽쳐와 관련된 정보가 존재하는지 여부를 나타내는 제3 신택스 요소를 포함하고,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재하는지 여부를 나타내는 제4 신택스 요소를 포함하고,
    상기 제4 신택스 요소는, 상기 제3 신택스 요소가 상기 하나 이상의 서브픽쳐와 관련된 정보가 존재함을 나타내는 경우 파싱되고,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스에서 시그널링되는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  20. 제 19항에 있어서,
    상기 제4 신택스 요소가 상기 하나 이상의 서브픽쳐에 대한 ID 매핑이 존재함을 나타내고, 상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값이 상기 SPS RBSP 신택스에서 시그널링 되지 않는 경우,
    상기 하나 이상의 서브픽쳐에 대한 ID 매핑 값은 상기 SPS RBSP 신택스를 참조하는 픽쳐 파라미터 세트(Picture Parameter Set, PPS) RBSP 신택스에서 시그널링되는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
KR1020227022405A 2019-12-20 2020-12-21 비디오 신호 처리 방법 및 이를 위한 장치 KR20220114570A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020190171788 2019-12-20
KR20190171788 2019-12-20
KR20200041255 2020-04-04
KR1020200041255 2020-04-04
KR1020200050377 2020-04-24
KR20200050377 2020-04-24
PCT/KR2020/018793 WO2021125912A1 (ko) 2019-12-20 2020-12-21 비디오 신호 처리 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20220114570A true KR20220114570A (ko) 2022-08-17

Family

ID=76478485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022405A KR20220114570A (ko) 2019-12-20 2020-12-21 비디오 신호 처리 방법 및 이를 위한 장치

Country Status (7)

Country Link
US (2) US11575943B2 (ko)
EP (1) EP4080885A4 (ko)
KR (1) KR20220114570A (ko)
CN (1) CN114846804A (ko)
AU (2) AU2020407738B2 (ko)
BR (1) BR112022012288A8 (ko)
WO (1) WO2021125912A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112022005495A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Sinalização de cabeçalho de imagem em codificação de vídeo
CN114503567B (zh) * 2020-04-22 2024-04-12 日本放送协会 编码装置、解码装置及程序
US11683528B2 (en) * 2020-05-11 2023-06-20 Qualcomm Incorporated Sub-picture extraction and constraints in video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US10009619B2 (en) * 2012-09-28 2018-06-26 Sony Corporation Image processing device for suppressing deterioration in encoding efficiency
RU2746310C2 (ru) * 2013-04-07 2021-04-12 Долби Интернэшнл Аб Способ для декодирования битового потока видео
US10003815B2 (en) * 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
JP6505026B2 (ja) * 2013-07-10 2019-04-24 シャープ株式会社 符号化方法
WO2015082763A1 (en) * 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
JP2023508680A (ja) 2019-12-27 2023-03-03 バイトダンス インコーポレイテッド ビデオコーディングにおけるサブピクチャシグナリング
US11146824B2 (en) 2019-12-30 2021-10-12 Mediatek Inc. Video encoding or decoding methods and apparatuses related to high-level information signaling
WO2021137295A1 (en) 2019-12-30 2021-07-08 Sharp Kabushiki Kaisha Systems and methods for signaling subpicture information in video coding
CA3153765A1 (en) 2020-02-11 2021-08-19 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for subpicture signalling in sequence parameter set
US20210297704A1 (en) 2020-03-20 2021-09-23 Qualcomm Incorporated Independent subpicture signaling in video coding
CN115443653A (zh) 2020-04-07 2022-12-06 抖音视界有限公司 高级别语法中的帧间预测的信令通知
MX2022013206A (es) 2020-04-21 2022-11-14 Dolby Laboratories Licensing Corp Semantica para procesamiento restringido y prueba de conformidad y en codificacion de video.

Also Published As

Publication number Publication date
AU2023251419A1 (en) 2023-11-09
EP4080885A1 (en) 2022-10-26
WO2021125912A1 (ko) 2021-06-24
AU2020407738A1 (en) 2022-08-04
US20220321922A1 (en) 2022-10-06
BR112022012288A8 (pt) 2023-03-21
AU2020407738B2 (en) 2023-07-20
CN114846804A (zh) 2022-08-02
US20230110989A1 (en) 2023-04-13
EP4080885A4 (en) 2023-07-05
BR112022012288A2 (pt) 2022-08-30
US11575943B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
EP4358514A2 (en) Video signal processing method and device
KR102618079B1 (ko) 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치
CA2949542C (en) Block adaptive color-space conversion coding
TWI663869B (zh) 區塊可適性顏色空間轉換寫碼
KR102625145B1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
AU2020407738B2 (en) Video signal processing method and device therefor
KR20210107733A (ko) 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
JP7293376B2 (ja) イントラ予測ベースのビデオ信号処理方法及び装置
JP7399973B2 (ja) イントラ予測ベースのビデオ信号処理方法及び装置
KR20210084567A (ko) 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
KR20220019694A (ko) Block dpcm 예측 방법을 사용하는 비디오 신호 처리 방법 및 장치
KR20220032566A (ko) 비디오 신호 처리 방법 및 장치
US20220217409A1 (en) Image decoding device using tool set and image decoding method thereby, and image coding device and image coding method thereby
KR20220064961A (ko) 크로마 인트라 모드에 기초한 크기 제한
CN114567786B (zh) 以4:4:4色度格式进行视频编解码的方法和装置
CN113826405B (zh) 多个颜色分量的变换量化旁路模式的使用
KR20210091208A (ko) 현재 픽쳐 참조를 이용한 비디오 신호 처리 방법 및 장치
KR20240026180A (ko) 인트라 예측을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
KR20200041491A (ko) 효율적인 블록 분할 구조와 시그널링 방법을 이용한 비디오 복호화 방법 및 장치
KR20200054052A (ko) 화면내 블록 복사를 사용하는 비디오 신호 처리 방법 및 장치