KR20220110846A - 하이 레벨 정보 시그널링과 관련된 비디오 인코딩 또는 디코딩 방법들 및 장치들 - Google Patents
하이 레벨 정보 시그널링과 관련된 비디오 인코딩 또는 디코딩 방법들 및 장치들 Download PDFInfo
- Publication number
- KR20220110846A KR20220110846A KR1020227024445A KR20227024445A KR20220110846A KR 20220110846 A KR20220110846 A KR 20220110846A KR 1020227024445 A KR1020227024445 A KR 1020227024445A KR 20227024445 A KR20227024445 A KR 20227024445A KR 20220110846 A KR20220110846 A KR 20220110846A
- Authority
- KR
- South Korea
- Prior art keywords
- subpicture
- flag
- video
- syntax element
- partitioning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000011664 signaling Effects 0.000 title description 10
- 238000000638 solvent extraction Methods 0.000 claims abstract description 134
- 238000012952 Resampling Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 9
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 6
- 101150067185 ppsA gene Proteins 0.000 description 5
- 101150010264 ppsB gene Proteins 0.000 description 5
- 229920000069 polyphenylene sulfide Polymers 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 101100508818 Mus musculus Inpp5k gene Proteins 0.000 description 2
- 101100366438 Rattus norvegicus Sphkap gene Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101150114515 CTBS gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
하이 레벨 신택스 세트를 참조하는 비디오 픽처들을 프로세싱하기 위한 비디오 프로세싱 방법들 및 장치들은, 입력 데이터를 수신하는 것, 참조 픽처 리샘플링이 디스에이블링 또는 제한되는지 여부를 표시하는 제1 신택스 요소를 결정하는 것, 서브픽처 파티셔닝이 디스에이블링 또는 제한되는지 여부를 표시하는 제2 신택스 요소를 결정하는 것, 및 비디오 픽처들을 인코딩 또는 디코딩하는 것을 포함한다. 제1 및 제2 신택스 요소들은 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하거나 또는 서브픽처 파티셔닝이 인에이블링될 때 참조 픽처 리샘플링을 디스에이블링 또는 제약하도록 제한된다. 제1 신택스 요소 및 제2 신택스 요소는, 하이 레벨 신택스 세트에서 시그널링되는 신택스 요소들이다.
Description
관련 출원에 대한 상호 참조
본 발명은, 2019년 12월 30일자로 출원되고 발명의 명칭이 "Methods and apparatus related to high-level information signaling for coding image and video data"인 미국 가특허 출원 일련번호 62/955,364, 및 2019년 12월 31일자로 출원되고 발명의 명칭이 "Methods and apparatus related to high-level information signaling for coding image and video data"인 미국 가특허 출원 일련번호 62/955,539에 대한 우선권을 주장한다. 이 미국 가특허 출원들은 이로써 그 전체가 참조로 포함된다.
발명의 분야
본 발명은 비디오 인코딩 및 디코딩 시스템들에서의 비디오 프로세싱 방법들 및 장치들에 관한 것이다. 특히, 본 발명은 참조 픽처 리샘플링(reference picture resampling) 및 서브픽처 파티셔닝(subpicture partitioning)을 위한 하이 레벨 정보 시그널링(high-level information signaling)에 관한 것이다.
다용도 비디오 코딩(Versatile Video Coding)(VVC) 표준은, 기존의 코딩 툴들을 향상시키고 코덱 구조체의 다양한 빌딩 블록들에 다수의 새로운 코딩 툴들을 도입시킴으로써 이전의 고효율 비디오 코딩(High Efficiency Video Coding)(HEVC) 표준에 기초하여 점진적으로 개발된 향후의 신흥 비디오 코딩 표준이다. 도 1은 HEVC 인코딩 시스템의 블록 다이어그램을 예시한다. 입력 비디오 신호(101)가 인트라 또는 인터 예측 모듈(Intra or Inter Prediction module)(102)에 의해 예측되어 예측 신호(103)를 형성하는데, 이 예측 신호(103)는 코딩된 픽처 영역들로부터 유도된다. 입력 비디오 신호(101)와 예측 신호(103) 사이의 예측 잔차 신호(prediction residual signal)(105)가 변환 및 양자화 모듈(106)에서 선형 변환에 의해 프로세싱된다. 변환 계수들이 변환 및 양자화 모듈(106)에서 양자화되고 엔트로피 코딩 모듈(108)에서 다른 사이드 정보와 함께 엔트로피 코딩되어 비디오 비트 스트림(107)을 형성한다. 재구축된 신호(109)가 예측 신호(103) 및 양자화된 잔차 신호(111)로부터 재구축 모듈(112)에 의해 생성되고, 여기서 양자화된 잔차 신호(111)는 양자화해제된(de-quantized) 변환 계수들에 대한 역변환 후에 역양자화 및 역변환(110)에 의해 생성된다. 재구축된 신호(109)는 코딩 아티팩트(coding artifact)들을 제거하기 위해 디블로킹 필터(Deblocking Filter)(114) 및 논-디블로킹 필터(Non-Deblocking Filter)들(116)에서의 인루프 필터링(in-loop filtering)에 의해 추가로 프로세싱된다. 디코딩된 픽처들(113)은 입력 비디오 신호(101)에서 장래의 픽처들을 예측하기 위해 프레임 버퍼(118)에 저장된다. HEVC 표준에서, 코딩된 픽처가, 연관된 코딩 트리 유닛(Coding Tree Unit)(CTU)들로 표현되는 비중첩 정사각형 블록 영역들로 파티셔닝된다. 코딩된 픽처가 슬라이스들의 콜렉션으로 표현될 수 있는데, 그 각각은 정수 수의 CTU들을 포함한다. 슬라이스에서의 개별 CTU들은 래스터 스캐닝 순서(raster scanning order)로 프로세싱된다. 최대 2개의 모션 벡터들 및 참조 인덱스들을 참조함으로써 인트라 예측 또는 인터 예측을 사용하여 양-예측(Bi-predictive)(B) 슬라이스가 디코딩되어 각각의 블록의 샘플 값들을 예측할 수도 있다. 최대 하나의 모션 벡터 및 참조 인덱스를 참조함으로써 인트라 예측 또는 인터 예측을 사용하여 예측(Predictive)(P) 슬라이스가 디코딩되어 각각의 블록의 샘플 값들을 예측한다. 인트라(Intra)(I) 슬라이스가 단지 인트라 예측만을 사용하여 디코딩된다.
CTU는 다양한 로컬 모션 및 텍스처 특성들에 적응시키기 위해 재귀적 쿼드트리(QuadTree)(QT) 구조체를 사용하여 다수의 비중첩 코딩 유닛(Coding Unit)(CU)들로 파티셔닝될 수 있다. 각각의 CU에 대해 하나 이상의 예측 유닛(Prediction Unit)(PU)이 특정된다. PU는, 연관된 CU 신택스(syntax)와 함께, 예측자 정보를 시그널링하기 위한 기본 유닛으로서 작동한다. 특정된 예측 프로세스는 PU 내측의 연관된 픽셀 샘플들의 값들을 예측하기 위해 채용된다. CU는 연관된 예측 잔차 신호를 표현하기 위한 잔차 쿼드트리(Residual QuadTree)(RQT) 구조체를 사용하여 추가로 파티셔닝될 수 있다. RQT의 리프 노드(leaf node)들이 변환 유닛(Transform Unit)(TU)들에 대응한다. TU는 사이즈 8x8, 16x16, 또는 32x32의 루마 샘플(luma sample)들의 변환 블록(Transform Block)(TB), 또는 사이즈 4x4의 루마 샘플들의 4개의 TB들, 및 4:2:0 컬러 포맷의 픽처의 크로마 샘플(chroma sample)들의 2개의 대응하는 TB들로 구성된다. TB에 정수 변환이 적용되고 다른 사이드 정보와 함께 양자화된 계수들의 레벨 값들이 비디오 비트 스트림에서 엔트로피 코딩된다. 도 2a는 예시적인 CTU의 블록 파티셔닝의 일 예를 예시하고 도 2b는 그의 대응하는 QT 표현을 예시한다. 도 2a와 도 2b 양측 모두에서의 실선들은 CTU 내측의 CU 경계들을 표시하고 파선들은 CTU 내측의 TU 경계들을 표시한다. 코딩 트리 블록(Coding Tree Block)(CTB), 코딩 블로킹(Coding Blocking)(CB), 예측 블록(Prediction Block)(PB), 및 변환 블록(TB)이라는 용어는 CTU, CU, PU, 및 TU 각각과 연관된 하나의 컬러 컴포넌트의 2-D 샘플 어레이를 특정하도록 정의된다. CTU는 하나의 루마 CTB, 2개의 크로마 CTB들, 및 연관된 신택스 요소들로 구성된다. 유사한 관계가 CU, PU, 및 TU에 대해 유효하다. 트리 파티셔닝은 일반적으로 루마 및 크로마 컴포넌트들 양측 모두에 동시에 적용되지만, 크로마 컴포넌트들에 대해 특정 최소 사이즈들에 도달될 때 예외들이 적용된다.
VVC 표준은 압축 성능과 송신 및 저장의 효율성을 개선시키고, 높은 다이내믹 레인지(High Dynamic Range) 및 무지향성(omni-directional) 360 비디오와 같은 새로운 포맷들을 지원한다. VVC 표준에 의해 인코딩된 비디오 픽처가, HEVC 표준과 유사하게, CTU들로 표현되는 비중첩 정사각형 블록 영역들로 파티셔닝된다. 각각의 CTU는, 바이너리(binary) 및 터너리(ternary) 분할을 사용하여 네스팅된 멀티-타입 트리를 갖는 쿼드트리에 의해 하나 이상의 더 작은 사이즈의 CU들로 파티셔닝된다. 결과적인 CU 파티션들 각각은 정사각형 또는 직사각형 형상으로 된다. VVC 표준은 모바일 네트워크들에서의 비디오 송신을 더 효율적으로 만드는데, 이는 그것이 데이터 레이트들이 열악한 시스템들 또는 위치들이 더 큰 파일들을 더 신속하게 수신하게 하기 때문이다. VVC 표준은 레이어 코딩, 공간 또는 신호 대 잡음비(Signal to Noise Ratio)(SNR) 시간 스케일러빌리티(temporal scalability)를 지원한다.
참조 픽처 리샘플링(Reference Picture Resampling)(RPR) VVC 표준에서, 각각이 상이한 속성들을 갖는, 동일한 비디오 콘텐츠의 다수의 표현들을 동시에 전달하기 위해 적응형 스트리밍 서비스들을 위한 빠른 표현 스위칭이 요망된다. 상이한 속성들은 상이한 공간 해상도들 또는 상이한 샘플 비트 깊이들과 관련된다. 실시간 비디오 통신들에서, I-픽처를 삽입하는 일 없이 코딩된 비디오 시퀀스 내에서 해상도 변경들을 허용함으로써, 비디오 데이터는 동적 채널 조건들 및 사용자 선호도에 대해 끊김없이 적응될 수 있을 뿐만 아니라, I-픽처들에 의해 야기되는 비팅 영향(beating effect)이 또한 제거될 수 있다. 참조 픽처 리샘플링(RPR)은 상이한 해상도들을 갖는 픽처들이 인터 예측에서 서로를 참조할 수 있는 것을 허용한다. RPR은, 대화 및 스트리밍 애플리케이션들 양측 모두에서, 공간 해상도 및 비트 레이트의 적응을 위해 더 높은 코딩 효율성을 제공한다. RPR은 전체 비디오 영역 또는 일부 관심 영역의 주밍(zooming)이 필요할 때 애플리케이션 시나리오에서 또한 사용될 수 있다. 도 3은 현재 픽처를 인코딩 또는 디코딩하기 위해 참조 픽처 리샘플링을 적용하는 일 예를 예시하고, 여기서 현재 픽처의 인터 코딩된 블록들은, 동일한 또는 상이한 사이즈들을 갖는 참조 픽처들로부터 예측된다. 참조 픽처의 픽처 사이즈는 스트리밍 애플리케이션들에서 공간 스케일러빌리티가 이롭기 때문에 공간 스케일러빌리티가 지원될 때 현재 픽처와는 상이할 수 있다. RPR은 VVC 표준에서 채택되어 온더플라이(on-the-fly) 업샘플링 및 다운샘플링 모션 보상을 지원한다.
현재 픽처 사이즈 및 해상도 스케일링 파라미터들이 픽처 파라미터 세트(Picture Parameter Set)(PPS)에서 시그널링되고, 코딩된 레이어 비디오 시퀀스(Coded Layer Video Sequence)(CLVS)에 대한 픽처 폭 및 높이의 최대 픽처 사이즈가 시퀀스 파라미터 세트(Sequence Parameter Set)(SPS)에서 특정된다. 하나의 CLVS에서의 비디오 픽처들은, 동일한 SPS와 연관된 그리고 동일한 레이어에서의 픽처들이다. 표 1은 SPS에서 RPR 인에이블링 플래그(RPR enabling flag) 및 최대 픽처 사이즈를 시그널링하는 일 예를 나타낸다. 시퀀스 파라미터 세트(SPS)에서 시그널링되는 RPR 인에이블링 플래그 sps_ref_pic_resampling_enabled_flag가, SPS를 참조하는 픽처들에 대해 RPR이 인에이블링되는지 여부를 표시하는 데 사용된다. 이 RPR 인에이블링 플래그가 1과 동일할 때, SPS를 참조하는 현재 픽처가, 현재 픽처의 것과는 상이한 다음의 7개의 파라미터들 중 하나 이상을 갖는 참조 픽처 레이어의 액티브 엔트리에서의 참조 픽처를 참조하는 슬라이스들을 가질 수도 있다. 7개의 파라미터들은, 픽처 폭 pps_pic_width_in_luma_samples, 픽처 높이 pps_pic_height_in_luma_samples, 좌측 스케일링 윈도우 오프셋 pps_scaling_win_left_offset, 우측 스케일링 윈도우 오프셋 pps_scaling_win_right_offset, 상부 스케일링 윈도우 오프셋 pps_scaling_win_top_offset, 저부 스케일링 윈도우 오프셋 pps_scaling_win_bottom_offset, 및 서브 픽처들의 수 sps_num_subpics_minus1과 연관된 신택스 요소들을 포함한다. 현재 픽처의 것과는 상이한 이들 7개의 파라미터들 중 하나 이상을 갖는 참조 픽처를 참조하는 현재 픽처의 경우, 참조 픽처는 동일한 레이어에 속하거나 또는 현재 픽처를 포함하는 레이어와는 상이한 레이어에 속할 수 있다. 신택스 요소 sps_res_change_in_clvs_allowed_flag가 1과 동일하여, SPS를 참조하는 CLVS 내에서 픽처 공간 해상도가 변경될 수도 있음을 특정하고, 이 신택스 요소가 0과 동일하여, SPS를 참조하는 어떠한 CLVS 내에서도 픽처 공간 해상도가 변경되지 않음을 특정한다. 이 신택스 요소 sps_res_change_in_clvs_allowed_flag가 SPS에 존재하지 않을 때, 값은, 0과 동일한 것으로 추론된다. 최대 픽처 사이즈는 신택스 요소들 sps_pic_width_max_in_luma_samples 및 sps_pic_height_max_in_luma_samples에 의해 SPS에서 시그널링되고, 최대 픽처 사이즈는, 대응하는 비디오 파라미터 세트(Video Parameter Set)(VPS)에서 시그널링되는 출력 레이어 세트(Output Layer Set)(OLS) 디코딩된 픽처 버퍼(Decoded Picture Buffer)(DPB) 픽처 사이즈보다 더 크지 않아야 한다. SPS에서 시그널링되는 RPR과 연관된 신택스 요소들이 표 1에 예시되어 있다.
PPS에서 시그널링되는 RPR과 관련된 신택스 요소들이 표 2에 나타나 있다. 신택스 요소 pic_width_in_luma_samples는, 루마 샘플들의 유닛들로 PPS를 참조하는 각각의 디코딩된 픽처의 폭을 특정한다. 이 신택스 요소는 0과 동일해서는 안 되고 Max(8, MinCbSizeY)의 정수 배수이어야 하며, 대응하는 SPS에서 시그널링되는 sps_pic_width_max_in_luma_samples 이하이도록 제약된다. 이 신택스 요소 pic_width_in_luma_samples의 값은 서브픽처 존재 플래그 subpics_present_flag가 1과 동일할 때 또는 RPR 인에이블링 플래그 ref_pic_resampling_enabled_flag가 0과 동일할 때 sps_pic_width_max_in_luma_samples와 동일해야 한다. 신택스 요소 pic_height_in_luma_samples는, 루마 샘플들의 유닛들로 PPS를 참조하는 각각의 디코딩된 픽처의 높이를 특정한다. 이 신택스 요소는 0과 동일해서는 안 되고 Max(8, MinCbSizeY)의 정수 배수이어야 하며, sps_pic_height_max_in_luma_samples 이하이어야 한다. 신택스 요소 pic_height_in_luma_samples의 값은 서브픽처 존재 플래그 subpics_present_flag가 1과 동일할 때 또는 RPR 인에이블링 플래그 ref_pic_resampling_enabled_flag가 0과 동일할 때 sps_pic_height_max_in_luma_samples와 동일하도록 설정된다.
신택스 요소 scaling_window_flag가 1과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재함을 특정하고, scaling_window_flag가 0과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재하지 않음을 특정한다. 이 신택스 요소 scaling_window_flag의 값은 RPR 인에이블링 플래그 ref_pic_resampling_enabled_flag가 0과 동일할 때 0과 동일해야 한다. 신택스 요소들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset은 루마 샘플들의 유닛들로 스케일링 오프셋들을 특정한다. 이들 스케일링 오프셋들은 스케일링 비율 계산을 위해 픽처 사이즈에 적용된다. 스케일링 오프셋들은 음수 값들일 수 있다. 이들 4개의 스케일링 오프셋 신택스 요소들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset의 값들은 스케일링 윈도우 플래그 scaling_window_flag가 0과 동일할 때 0과 동일한 것으로 추론된다.
RPR을 사용하여 현재 픽처에서 현재 블록을 예측할 때, scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset을 포함하는 이들 PPS 신택스 요소들에 의해 특정된 스케일링 윈도우 사이즈로부터 스케일링 비율이 유도된다. 스케일링 윈도우 폭 및 스케일링 윈도우 높이를 표현하는 변수들 PicOutputWidthL 및 PicOutputHeightL이 다음과 같이 유도된다:
PicOutputWidthL = pic_width_in_luma_samples - (scaling_win_right_offset + scaling_win_left_offset).
PicOutputHeightL = pic_height_in_luma_samples - (scaling_win_bottom_offset + scaling_win_top_offset).
스케일링 윈도우 폭을 표현하는 변수 PicOutputWidthL은, 픽처 폭으로부터 우측 및 좌측 오프셋들을 감산함으로써 유도되고, 스케일링 윈도우 높이를 표현하는 변수 PicOutputHeightL은, 픽처 높이로부터 상부 및 저부 오프셋들을 감산함으로써 유도된다. 좌측 및 우측 오프셋들 scaling_win_left_offset 및 scaling_win_right_offset의 합계의 값은 픽처 폭 pic_width_in_luma_samples보다 더 작아야 하고, 상부 및 저부 오프셋들 scaling_win_top_offset 및 scaling_win_bottom_offset의 합계의 값은 픽처 높이 pic_height_in_luma_samples보다 더 작아야 한다.
VVC 표준의 더 최근의 제안에서, 스케일링 윈도우 오프셋들은 크로마 샘플들에서 측정되고, 이들 스케일링 윈도우 오프셋 신택스 요소들이 PPS에 존재하지 않을 때, 이들 4개의 스케일링 오프셋 신택스 요소들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset의 값들은 conf_win_left_offset, conf_win_right_offset, conf_win_top_offset, 및 conf_win_bottom_offset과 각각 동일한 것으로 추론된다. 스케일링 윈도우 폭을 표시하는 변수 CurrPicScalWinWidthL은 픽처 폭, 변수 SubWidthC, 좌측 스케일링 오프셋, 및 우측 스케일링 오프셋에 의해 유도된다. 스케일링 윈도우 높이를 표시하는 변수 CurrPicScalWinHeightL은 다음의 것에 나타낸 바와 같이 픽처 높이, 변수 SubHeightC, 상부 스케일링 오프셋, 및 저부 스케일링 오프셋에 의해 유도된다. 예를 들어, 스케일링 윈도우 폭 및 스케일링 윈도우 높이는 다음의 식들에 의해 유도된다. CurrPicScalWinWidthL = pic_width_in_luma_samples - SubWidthC * ( scaling_win_right_offset + scaling_win_left_offset ); 그리고 CurrPicScalWinHeightL = pic_height_in_luma_samples - SubHeightC * ( scaling_win_bottom_offset + scaling_win_top_offset ).
서브픽처 파티셔닝 VVC 표준에서, 픽처는 인코딩 및 디코딩을 위해 하나 이상의 서브 픽처로 추가로 분할될 수도 있다. VVC 표준에서 제안된 서브픽처들은 HEVC 표준에서의 모션-제약된 타일 세트(Motion-Constrained Tile Set)(MCTS)들과 유사하다. 이 코딩 툴은, 뷰포트-의존적 360도 비디오 스트리밍 최적화 및 관심 영역 애플리케이션들과 같은 경우들에 대해, 코딩된 픽처의 시퀀스의 직사각형 서브세트의 독립적 코딩 및 추출을 가능하게 한다. 서브픽처는 심지어 서브픽처가 추출가능할 때에도 서브픽처의 외측을 가리키는 코딩 블록의 모션 벡터들을 허용하여, 따라서 이 경우에 서브픽처 경계들에서 패딩(padding)이 허용된다. VVC 표준에서의 서브픽처의 레이아웃이 SPS에서 시그널링되어, 따라서 서브픽처의 레이아웃이 CLVS 내에서 일정하다. 각각의 서브픽처는 하나 이상의 완전한 직사각형 슬라이스들로 구성된다. 서브픽처 ID(Identification)가 각각의 서브픽처에 임의로 할당될 수 있다. 표 3은 SPS에서 시그널링되는 서브픽처 파티셔닝과 연관된 예시적인 신택스 요소들을 나타낸다.
비디오 데이터를 프로세싱하기 위한 비디오 프로세싱 방법의 예시적인 실시예들에서, 비디오 프로세싱 방법을 구현하는 비디오 인코딩 또는 디코딩 시스템은, 하이 레벨 신택스 세트(high-level syntax set)를 참조하는 비디오 픽처들과 연관된 입력 비디오 데이터를 수신하고, 하이 레벨 신택스 세트와 연관된 비디오 픽처에 대해 RPR이 디스에이블링(disable) 또는 제약되는지 여부를 표시하는 하이 레벨 신택스 세트에서 시그널링된 또는 시그널링될 제1 신택스 요소를 결정하고, 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 표시하는 제2 신택스 요소를 결정하고, RPR이 인에이블링될 때 상이한 해상도들을 갖는 픽처들이 인터 예측에서 참조되도록 허용하거나 또는 RPR이 디스에이블링될 때 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 비디오 픽처들을 인코딩 또는 디코딩하고, 서브픽처 파티셔닝이 인에이블링될 때 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 또는 서브픽처 파티셔닝이 디스에이블링될 때 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 비디오 픽처들을 인코딩 또는 디코딩한다. 일부 실시예들에서, 제1 신택스 요소 및 제2 신택스 요소는 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한된다. 하이 레벨 신택스 세트의 일 예는 시퀀스 파라미터 세트이다. 일부 실시예들에서, 제2 신택스 요소가 RPR이 디스에이블링될 때에만 단지 시그널링되므로, 즉, 서브픽처 파티셔닝이 RPR이 디스에이블링될 때에만 단지 허용되므로, 제2 신택스 요소는 하이 레벨 신택스 세트에서 조건부로 시그널링된다.
일부 실시예들에서, 하이 레벨 신택스 세트를 참조하는 비디오 픽처들 모두가, 서브픽처 파티셔닝이 인에이블링될 때 스케일링 윈도우 폭의 동일한 유도된 값 및 스케일링 윈도우 높이의 동일한 유도된 값을 갖는다. 픽처에 대한 스케일링 윈도우 폭은, 픽처에 의해 참조되는 픽처 파라미터 세트(PPS)에서 시그널링되는 픽처 폭, 좌측 스케일링 윈도우 오프셋, 및 우측 스케일링 윈도우 오프셋으로부터 유도되고, 픽처에 대한 스케일링 윈도우 높이는 픽처 높이, 상부 스케일링 윈도우 오프셋, 및 저부 스케일링 윈도우 오프셋으로부터 유도된다. 스케일링 윈도우 오프셋들이 크로마 샘플들에서 측정되는 경우들에서, 스케일링 윈도우 폭 및 높이는 변수들 SubWidthC 및 SubHeightC 각각에 의해 추가로 유도된다.
일부 실시예들에 따르면, 제1 및 제2 신택스 요소들은 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한되거나, 또는 제1 및 제2 신택스 요소들은 서브픽처 파티셔닝이 인에이블링될 때 RPR을 디스에이블링 또는 제약하도록 제한된다. 하나의 실시예에서, 제1 신택스 요소는 하이 레벨 신택스 세트에서 조건부로 시그널링되고, 제1 신택스 요소는 서브픽처 파티셔닝이 디스에이블링될 때에만 단지 시그널링된다. 일부 특정 실시예들에서, 제1 신택스 요소는, RPR이 인에이블링되는지 여부를 특정하는 RPR 인에이블링 플래그이고, 제2 신택스 요소는, 서브픽처 파라미터들이 하이 레벨 신택스 세트에 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그이다. 하나의 실시예에서, RPR 인에이블링 플래그는 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때 시그널링되지 않거나 또는 0과 동일한 것으로 추론되고, RPR 인에이블링 플래그는 서브픽처 파티셔닝 존재 플래그가 0과 동일할 때에만 하이 레벨 신택스 세트에서 단지 시그널링된다. RPR 인에이블링 플래그는 RPR 인에이블링 플래그가 시그널링되지 않을 때 0과 동일한 것으로 추론된다. 다른 실시예에서, 서브픽처 파티셔닝 존재 플래그는 RPR 인에이블링 플래그가 1과 동일할 때 시그널링되지 않거나 또는 0과 동일한 것으로 추론되고, 서브픽처 파티셔닝 존재 플래그는 RPR 인에이블링 플래그가 0과 동일할 때에만 하이 레벨 신택스 세트에서 단지 시그널링된다. 서브픽처 파티셔닝 존재 플래그는 서브픽처 파티셔닝 존재 플래그가 시그널링되지 않을 때 0과 동일한 것으로 추론된다.
일 실시예에서, 제1 신택스 요소는, 픽처 공간 해상도가 CLVS 내에서 변경가능한지 여부를 특정하는 해상도 변경 플래그이고, 제2 신택스 요소는, 하이 레벨 신택스 세트에서 CLVS에 대해 서브픽처 정보가 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그이다. 이 실시예에서, 서브픽처 정보는 해상도 변경 플래그가 1과 동일할 때 서브픽처 파티셔닝 존재 플래그가 0과 동일한 것으로 추론함으로써 하이 레벨 신택스 세트를 참조하는 CLVS 내에서 픽처 공간 해상도가 변경가능할 때 하이 레벨 신택스 세트에서 CLVS에 대해 존재하지 않는다.
비디오 프로세싱 방법의 일 실시예는, 제2 신택스 요소에 따라 제3 신택스 요소를 결정하는 단계를 더 포함한다. 이 실시예에서 제2 신택스 요소는, 하이 레벨 신택스 세트에서 CLVS에 대해 서브픽처 정보가 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그이고, 제3 신택스 요소는, 하이 레벨 신택스 세트에 서브픽처 ID 매핑이 존재하는지 여부를 특정하는 서브픽처 ID 플래그이다. 비디오 프로세싱 방법은, 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때 관련된 서브픽처 레이아웃을 결정한다. 서브픽처 ID 플래그는 서브픽처 파티셔닝 존재 플래그가 0과 동일할 때 0과 동일한 것으로 추론되고 코딩되지 않으며, 서브픽처 ID 플래그는 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때에만 하이 레벨 신택스 세트에서 단지 시그널링된다.
본 개시내용의 양태들은, 비디오 인코딩 또는 디코딩 시스템에서 비디오 프로세싱을 위한 장치를 추가로 제공하고, 이 장치는 하나 이상의 전자 회로를 포함하고, 이 하나 이상의 전자 회로는, 하이 레벨 신택스 세트를 참조하는 비디오 픽처들의 입력 비디오 데이터를 수신하고, RPR이 디스에이블링 또는 제약되는지 여부를 표시하는 하이 레벨 신택스 세트에서 시그널링된 또는 시그널링될 제1 신택스 요소를 결정하고, 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 표시하는 제2 신택스 요소를 결정하고, RPR이 인에이블링될 때 상이한 해상도들을 갖는 픽처들이 인터 예측에서 참조되도록 허용함으로써 비디오 픽처들을 인코딩 또는 디코딩하거나, 또는 서브픽처 파티셔닝이 인에이블링될 때 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 비디오 픽처들을 인코딩 또는 디코딩하도록 구성된다. 비디오 인코딩 또는 디코딩 시스템의 실시예들은 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제한하거나 또는 서브픽처 파티셔닝이 인에이블링될 때 RPR을 디스에이블링 또는 제약하는 비트 스트림 적합성 요건(bit stream conformance requirement)에 따라 비디오 픽처들을 인코딩 또는 디코딩한다.
본 개시내용의 양태들은, 장치의 프로세싱 회로로 하여금, 하이 레벨 신택스 세트를 참조하는 비디오 픽처들을 인코딩 또는 디코딩하기 위해 비디오 프로세싱 방법을 수행하게 하기 위한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 추가로 제공한다. 비디오 프로세싱 방법은 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하거나 또는 서브픽처 파티셔닝이 인에이블링될 때 RPR을 디스에이블링 또는 제약함으로써 비디오 픽처들을 인코딩 또는 디코딩한다. 본 발명의 다른 양태들 및 피처(feature)들은 특정 실시예들의 다음의 설명들의 검토 시에 본 기술분야의 통상의 기술자들에게 명백해질 것이다.
예들로서 제안되는 본 개시내용의 다양한 실시예들은 다음의 도면들을 참조하여 상세히 설명될 것이고, 여기서:
도 1은 HEVC 표준에서 다양한 코딩 툴들을 구현하는 비디오 인코딩 시스템의 시스템 블록 다이어그램을 예시한다.
도 2a는 HEVC 표준에 따른, 코딩 트리 유닛 내의 블록 파티셔닝의 예를 입증한다.
도 2b는 도 2a에 도시된 바와 같은 코딩 트리 유닛에 대응하는 쿼드 트리 기반 코딩 트리 표현을 예시한다.
도 3은 참조 픽처 리샘플링을 인에이블링하는 예시적인 예를 예시한다.
도 4는 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링하는 일 실시예를 입증하는 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다.
도 5는 서브픽처 파티셔닝이 인에이블링될 때 참조 픽처 리샘플링을 디스에이블링하는 일 실시예를 입증하는 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다.
도 6은 본 발명의 실시예들에 따른, 비디오 프로세싱 방법을 포함하는 비디오 인코딩 시스템에 대한 예시적인 시스템 블록 다이어그램을 예시한다.
도 7은 본 발명의 실시예들에 따른, 비디오 프로세싱 방법을 포함하는 비디오 디코딩 시스템에 대한 예시적인 시스템 블록 다이어그램을 예시한다.
도 1은 HEVC 표준에서 다양한 코딩 툴들을 구현하는 비디오 인코딩 시스템의 시스템 블록 다이어그램을 예시한다.
도 2a는 HEVC 표준에 따른, 코딩 트리 유닛 내의 블록 파티셔닝의 예를 입증한다.
도 2b는 도 2a에 도시된 바와 같은 코딩 트리 유닛에 대응하는 쿼드 트리 기반 코딩 트리 표현을 예시한다.
도 3은 참조 픽처 리샘플링을 인에이블링하는 예시적인 예를 예시한다.
도 4는 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링하는 일 실시예를 입증하는 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다.
도 5는 서브픽처 파티셔닝이 인에이블링될 때 참조 픽처 리샘플링을 디스에이블링하는 일 실시예를 입증하는 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다.
도 6은 본 발명의 실시예들에 따른, 비디오 프로세싱 방법을 포함하는 비디오 인코딩 시스템에 대한 예시적인 시스템 블록 다이어그램을 예시한다.
도 7은 본 발명의 실시예들에 따른, 비디오 프로세싱 방법을 포함하는 비디오 디코딩 시스템에 대한 예시적인 시스템 블록 다이어그램을 예시한다.
본 명세서의 도면들에 일반적으로 설명 및 예시되는 바와 같은, 본 발명의 컴포넌트들은 매우 다양한 상이한 구성들로 배열 및 설계될 수도 있다는 것이 쉽게 이해될 것이다. 따라서, 도면들에 표현된 바와 같은, 본 발명의 시스템들 및 방법들의 실시예들의 다음의 더 상세한 설명은, 청구된 바와 같은, 본 발명의 범주를 제한하도록 의도된 것이 아니라, 단지 본 발명의 선택된 실시예들을 대표하는 것이다.
동일한 픽처 사이즈에 대한 동일한 스케일링 윈도우 서브픽처 파티셔닝이 인에이블링될 때의 경우들에서, 동일한 SPS를 참조하는 모든 픽처들이, SPS에 특정된 최대 픽처 사이즈와 동일한 픽처 사이즈를 가져야 하는 것은 비트 스트림 적합성의 요건이다. 그러나, 동일한 SPS를 참조하는 모든 픽처들이, 동일한 픽처 사이즈를 갖지만 상이한 공간 스케일링 파라미터들을 가질 때, SPS에 특정된 서브픽처 레이아웃과 같은, 공간 포지션들 및 파티션들을 시그널링하는 것과 관련된 코딩 파라미터들이, 코딩된 비디오 시퀀스에서 픽처마다 일치하지 않을 수도 있다. 본 발명의 일부 실시예들에서, 스케일링 파라미터들의 값들은, 동일한 SPS를 참조하는 임의의 2개의 픽처들에 대해, 이들 2개의 픽처들이 동일한 픽처 사이즈를 가질 때 동일하도록 제약된다. 이러한 방식으로, 동일한 SPS를 참조하고 동일한 픽처 사이즈를 갖는 모든 픽처들은, 스케일링 윈도우 폭 PicOutputWidthL 및 스케일링 윈도우 높이 PicOutputHeightL 각각의 동일한 유도된 값들을 가질 것이다. 일 실시예에 따른, 픽처 파라미터 세트 RBSP와 연관된 의미론에 대한 제안된 수정들이 다음과 같이 제공된다.
신택스 요소 scaling_window_flag가 1과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재함을 특정하고, scaling_window_flag가 0과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재하지 않음을 특정한다. 신택스 요소 ref_pic_resampling_enabled_flag가 0과 동일할 때, scaling_window_flag의 값은 0과 동일해야 한다. 스케일링 윈도우 오프셋 파라미터들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset은, 스케일링 비율 계산을 위해 픽처 사이즈에 적용되는 오프셋들을 루마 샘플들의 유닛들로 특정한다. 신택스 요소 scaling_window_flag가 0과 동일할 때, 이들 4개의 스케일링 윈도우 오프셋 파라미터들의 값들은 0과 동일한 것으로 추론된다. 픽처의 좌측 및 우측 스케일링 윈도우 오프셋들의 합계의 값은 픽처 폭 pic_width_in_luma_samples보다 더 작아야 하고, 상부 및 저부 스케일링 윈도우 오프셋들의 합계의 값은 픽처 높이 pic_height_in_luma_samples보다 더 작아야 한다. 변수들 스케일링 윈도우 폭 PicOutputWidthL 및 스케일링 윈도우 높이 PicOutputHeightL이 다음과 같이 유도된다: PicOutputWidthL = pic_width_in_luma_samples - (scaling_win_right_offset + scaling_win_left_offset), 그리고 PicOutputHeightL = pic_height_in_luma_samples - (scaling_win_bottom_offset + scaling_win_top_offset). ppsA 및 ppsB를 동일한 SPS를 참조하는 임의의 2개의 PPS들이라고 하자. ppsA 및 ppsB가 pic_width_in_luma_samples 및 pic_height_in_luma_samples 각각의 동일한 값들을 가질 때, ppsA 및 ppsB가 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset 각각의 동일한 값들을 가져야 하는 것이 비트 스트림 적합성의 요건이다.
특정 툴들을 인에이블링할 때의 동일한 스케일링 윈도우 일부 실시예들에서, 특정 할당된 세트들의 툴들 중 적어도 하나가 인에이블링될 때 동일한 스케일링 윈도우 제약이 적용된다. 하나의 예에서, 서브픽처 파티셔닝은 특정 할당된 세트들의 툴들 중 하나여서, 서브픽처 파티셔닝이 인에이블링될 때 동일한 스케일링 윈도우 제약이 적용된다. 이러한 방식으로, 동일한 SPS를 참조하는 모든 픽처들은, 서브픽처 존재 플래그 subpics_present_flag가 1과 동일할 때, 스케일링 윈도우 폭 PicOutputWidthL 및 스케일링 윈도우 높이 PicOutputHeightL 각각의 동일한 유도된 값들을 가져야 한다. 일 실시예에서, 서브픽처 파티셔닝이 인에이블링될 때, 동일한 스케일링 윈도우 제약은, 동일한 스케일링 윈도우 오프셋 파라미터들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottomg_offset을 갖도록 동일한 SPS를 참조하는 모든 픽처들을 제한한다. 픽처 파라미터 세트 RBSP와 연관된 의미론에 대한 제안된 수정들이 다음과 같이 제공된다. 신택스 요소 scaling_window_flag가 1과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재함을 특정하고, scaling_window_flag가 0과 동일하여, 스케일링 윈도우 오프셋 파라미터들이 PPS에 존재하지 않음을 특정한다. 참조 픽처 리샘플링 인에이블링된 플래그 ref_pic_resampling_enabled_flag가 0과 동일할 때, scaling_window_flag의 값은 0과 동일해야 한다. 스케일링 윈도우 오프셋 파라미터들 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset은, 스케일링 비율 계산을 위해 픽처 사이즈에 적용되는 스케일링 윈도우 오프셋들을 루마 샘플들의 유닛들로 특정한다. 신택스 요소 scaling_window_flag가 0과 동일할 때, scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset의 값들은 0과 동일한 것으로 추론된다. 픽처의 좌측 및 우측 스케일링 윈도우 오프셋들의 합계의 값은 픽처 폭 pic_width_in_luma_samples보다 더 작아야 하고, 상부 및 저부 스케일링 윈도우 오프셋들의 합계의 값은 픽처 높이 pic_height_in_luma_samples보다 더 작아야 한다. 변수들 스케일링 윈도우 폭 PicOutputWidthL 및 스케일링 윈도우 높이 PicOutputHeightL이 다음과 같이 유도된다: PicOutputWidthL = pic_width_in_luma_samples - (scaling_win_right_offset + scaling_win_left_offset), 그리고 PicOutputHeightL = pic_height_in_luma_samples - (scaling_win_bottom_offset + scaling_win_top_offset). ppsA 및 ppsB를 동일한 SPS를 참조하는 임의의 2개의 PPS들이라고 하자. 이 실시예에서, SPS에서 시그널링되는 서브픽처 존재 플래그 subpics_present_flag가 1과 동일할 때, ppsA 및 ppsB가 scaling_win_left_offset, scaling_win_right_offset, scaling_win_top_offset, 및 scaling_win_bottom_offset 각각의 동일한 값들을 가져야 하는 것이 비트 스트림 적합성의 요건이다.
특정 툴들을 인에이블링할 때의 참조 픽처 리샘플링의 디스에이블링 일부 실시예들에서, 비디오 인코더 또는 디코더는 특정 할당된 세트들의 코딩 툴들이 인에이블링될 때 RPR의 사용을 디스에이블링 또는 제약한다. 일부 다른 등가 실시예들에서, 비디오 인코더 또는 디코더는 RPR이 인에이블링될 때 특정 할당된 세트들의 코딩 툴들의 사용을 디스에이블링 또는 제약한다. 특정 실시예에서, 특정 할당된 세트들의 코딩 툴들은 서브픽처 파티셔닝을 포함하고, 비디오 인코더 또는 디코더는 서브픽처 파티셔닝이 인에이블링될 때 RPR을 디스에이블링하는 비트 스트림 적합성 요건에 따라 비디오 데이터를 인코딩 또는 디코딩한다. 예를 들어, SPS에서 시그널링된 RPR 인에이블링 플래그 ref_pic_resampling_enabled_flag와 연관된 신택스 요소는 서브픽처 파티셔닝 존재 플래그 subpics_present_flag가 1과 동일할 때 0과 동일해야 한다. 이러한 방식으로, 서브픽처 파티셔닝이 인에이블링될 때 RPR이 디스에이블링되므로, 동일한 SPS를 참조하는 모든 픽처들은, 서브픽처 파티셔닝 존재 플래그 subpics_present_flag가 1과 동일할 때, 스케일링 윈도우 폭 PicOutputWidthL 및 스케일링 윈도우 높이 PicOutputHeightL 각각의 동일한 유도된 값들을 가져야 한다. 대안적인 실시예에서, 비디오 인코더 또는 디코더는 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링하는 비트 스트림 적합성 요건에 따라 비디오 데이터를 인코딩 또는 디코딩한다. 예를 들어, 비디오 인코더 또는 디코더는 RPR 인에이블링 플래그 ref_pic_resampling_enabled_flag가 1과 동일할 때 서브픽처 파티셔닝 존재 플래그 subpics_present_flag의 값이 0과 동일한 것으로 추론한다. 표 4는 SPS에서 시그널링되는 신택스 요소들을 예시하는 수정된 신택스 표의 일 예를 나타낸다. 이 예에서, 서브픽처 파티셔닝 존재 플래그 subpics_present_flag는 RPR 인에이블링된 플래그 ref_pic_resampling_enabled_flag가 0과 동일할 때에만 SPS에서 단지 시그널링되는데, 즉, 단지 RPR이 디스에이블링될 때에만 서브픽처 파티셔닝이 허용된다. 서브픽처 파티셔닝 존재 플래그 subpics_present_flag의 값은 이 플래그가 SPS에서 시그널링되지 않을 때 0인 것으로 추론된다. 서브픽처 파티셔닝 존재 플래그가 1과 동일하여, 서브픽처 관련 파라미터들이 SPS에 존재함을 특정하고, 서브픽처 파티셔닝 존재 플래그가 0과 동일하여, 서브픽처 관련 파라미터들이 SPS에 존재하지 않음을 특정한다.
표 5는 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링하는 다른 실시예를 예시하는 SPS에 대한 신택스 표를 나타낸다. 이 실시예에서, SPS에서 시그널링되는 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag는, SPS를 참조하는 코딩된 레이어 비디오 시퀀스(CLVS) 내에서 픽처 공간 해상도가 변경가능한지 여부를 특정한다. 이 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag가 0과 동일할 때 SPS를 참조하는 어떠한 CLVS 내에서도 픽처 공간 해상도가 변경되지 않으며, 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag가 1과 동일할 때 SPS를 참조하는 CLVS 내에서 픽처 해상도가 변경될 수도 있다. 서브픽처 파티셔닝 존재 플래그 sps_subpic_info_present_flag가 1과 동일하여, 서브픽처 정보가 CLVS에 대해 존재하고 CLVS의 각각의 픽처에 하나 이상의 서브 픽처가 있을 수도 있음을 특정하고, sps_subpic_info_present_flag가 0과 동일하여, 서브픽처 정보가 CLVS에 대해 존재하지 않고 CLVS의 각각의 픽처에 단지 하나의 서브픽처만이 있음을 특정한다. 이 예에서, 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag가 1과 동일할 때, 서브픽처 파티셔닝 존재 플래그 sps_subpic_info_present_flag의 값은 0과 동일해야 한다. 다시 말해, SPS를 참조하는 CLVS 내에서 픽처 공간 해상도가 변경가능할 때 SPS에서 CLVS에 대해 서브픽처 정보가 존재할 수 없기 때문에 서브픽처 파티셔닝이 제약된다. 하나의 실시예에서, RPR이 인에이블링될 때, 단지 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag가 0과 동일한 경우에만 서브픽처 파티셔닝 존재 플래그가 1로 설정되도록 허용되고, 동등하게, 서브픽처 파티셔닝이 인에이블링될 때, 단지 해상도 변경 플래그 sps_res_change_in_clvs_allowed_flag가 0과 동일한 경우에만 RPR 인에이블링된 플래그가 1로 설정되도록 허용된다.
신택스 요소 sps_subpic_id_len_minus1 플러스 1은, 신택스 요소 sps_subpic_id[i], 신택스 요소 pps_subpic_id[i], 및 신택스 요소 sh_subpic_id를 표현하는 데 사용되는 비트들의 수를 특정한다. sps_subpic_id_len_minus1의 값은 0 내지 15의 범위에 있어야 한다. 1 << (sps_subpic_id_len_minus1 +1)의 값은 sps_num_subpics_minus1+1 이상이어야 한다. 신택스 요소 sps_subpic_id_mapping_explicitly_signalled_flag가 1과 동일하여, CLVS의 코딩된 픽처들에 의해 참조되는 PPS들에서 또는 SPS에서, 서브픽처 ID 매핑이 명시적으로 시그널링됨을 특정한다. 이 신택스 요소가 0과 동일하여, CLVS에 대해 서브픽처 ID 매핑이 명시적으로 시그널링되지 않음을 특정하고, 이 신택스 요소의 값은 존재하지 않을 때 0과 동일한 것으로 추론된다. 신택스 요소 sps_subpic_id_mapping_present_flag가 1과 동일하여, sps_subpic_id_mapping_explicilty_signalled_flag가 1과 동일할 때 SPS에서 서브픽처 ID 매핑이 시그널링됨을 특정한다. 이 신택스 요소 sps_subpic_id_mapping_present_flag가 0과 동일하여, sps_subpic_id_mapping_explicitly_signalled_flag가 1과 동일할 때 CLVS의 코딩된 픽처들에 의해 참조되는 PPS들에서 서브픽처 ID 매핑이 시그널링됨을 특정한다. 신택스 요소 sps_subpic_id[i]는 i번째 서브픽처의 서브픽처 ID를 특정한다. sps_subpic_id[i] 신택스 요소의 길이는 sps_subpic_id_len_minus1+1 비트들이다.
서브픽처 파티셔닝이 디스에이블링될 때의 서브픽처 ID 플래그의 추론 본 발명의 일부 실시예들에서, 비디오 인코더 또는 디코더는, 서브픽처 파티셔닝이 하이 레벨 신택스 세트에서 인에이블링 또는 디스에이블링되는지 여부를 표시하는 제1 신택스 플래그를 인코딩 또는 디코딩한다. 예를 들어, 제1 신택스 플래그는, SPS에서 시그널링되는 서브픽처 파티셔닝 존재 플래그 subpics_present_flag이다. 제1 신택스 플래그가 1과 동일할 때 관련된 서브픽처 레이아웃이 시그널링된다; 그렇지 않으면, 관련된 서브픽처 정보가 시그널링되지 않는다. 비디오 인코더 또는 디코더는, 서브픽처 ID들과 관련된 정보가 추가로 시그널링되어야 하는지 여부를 표시하는 제2 신택스 플래그를 추가로 인코딩 또는 디코딩할 수도 있다. 본 발명의 일부 실시예들에서, 제2 신택스 플래그는 서브픽처 파티셔닝 존재 플래그가 0과 동일할 때 0과 동일한 것으로 추론되고 코딩되지 않는다. 제2 신택스 플래그의 일 예는, SPS에서 시그널링되는 서브픽처 파티셔닝 ID 존재 플래그 sps_subpic_id_present_flag이다. 서브픽처 파티셔닝 ID 존재 플래그가 1과 동일하여, 서브픽처 ID 매핑이 SPS에 존재함을 특정하고, sps_subpic_id_present_flag가 0과 동일하여, 서브픽처 ID 매핑이 SPS에 존재하지 않음을 특정한다. 표 6에 예시된 예시적인 신택스 표는 서브픽처 파티셔닝이 디스에이블링될 때 서브픽처 ID 플래그를 추론하는 일 실시예를 입증한다. 이 실시예에서, 서브픽처 파티셔닝 ID 존재 플래그 sps_subpic_id_present_flag는 서브픽처 파티셔닝 존재 플래그 subpics_present_flag가 1과 동일할 때에만 SPS에서 단지 시그널링되는데, 이는 서브픽처 파티셔닝 존재 플래그 subpics_present_flag가 0과 동일할 때 서브픽처 파티셔닝 ID 존재 플래그 sps_subpic_id_present_flag가 SPS에 존재하지 않음을 의미한다. 서브픽처 파티셔닝 ID 존재 플래그 sps_subpic_id_present_flag는 그것이 존재하지 않을 때 0과 동일한 것으로 추론된다.
도 4 및 도 5에 대한 예시적인 흐름도는 RPR 및 서브픽처 파티셔닝의 상호 배타적인 사용의 실시예들을 입증하는 예시적인 흐름도들을 예시한다. 도 4에 도시된 바와 같은 실시예에서의 비디오 인코딩 또는 디코딩 시스템은 RPR이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링한다. 비디오 인코딩 또는 디코딩 시스템은 단계 S402에서 SPS를 참조하는 비디오 픽처들과 연관된 입력 비디오 데이터를 수신하고, 단계 S404에서 SPS를 참조하는 비디오 픽처들에서 RPR이 인에이블링되는지 여부를 결정한다. 예를 들어, 비디오 인코딩 시스템은 참조 픽처 리샘플링이 인에이블링 또는 디스에이블링되는지 여부를 특정하는 제1 신택스 요소를 SPS에서 시그널링하고, 비디오 디코딩 시스템은 SPS에서 시그널링된 제1 신택스 요소를 파싱함으로써 RPR이 인에이블링 또는 디스에이블링되는지 여부를 결정한다. 단계 S406에서, 단계 S404에서 비디오 픽처들에 대해 RPR이 인에이블링된 것으로 결정될 때 SPS를 참조하는 비디오 픽처들에 대해 서브픽처 파티셔닝이 디스에이블링된다. 예를 들어, 비디오 인코딩 시스템은 제1 신택스 요소가 RPR이 인에이블링됨을 표시할 때 서브픽처 파티셔닝이 인에이블링 또는 디스에이블링되는지 여부를 특정하는 제2 신택스 요소를 시그널링하지 않을 것이거나, 또는 비디오 디코딩 시스템은, 제2 신택스 요소를, 서브픽처 파티셔닝이 디스에이블링됨을 표시하는 0인 것으로 추론한다. 비디오 인코딩 또는 디코딩 시스템은 단계 S408에서 상이한 해상도들을 갖는 픽처들을 인터 예측에서 참조되도록 허용함으로써 그리고 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 비디오 픽처들의 비디오 데이터를 인코딩 또는 디코딩한다. 단계 S410에서, 비디오 인코딩 또는 디코딩은 단계 S404에서 비디오 픽처들의 인코딩 또는 디코딩에 대해 RPR이 디스에이블링된 것으로 결정될 때 SPS를 참조하는 비디오 픽처들에서 서브픽처 파티셔닝이 인에이블링되는지 여부를 추가로 결정한다. 예를 들어, 비디오 디코딩 시스템은 서브픽처 파티셔닝이 인에이블링 또는 디스에이블링되는지 여부를 특정하는 제2 신택스 요소를 시그널링하거나, 또는 비디오 디코딩 시스템은 SPS로부터의 제2 신택스 요소를 파싱함으로써 서브픽처 파티셔닝이 인에이블링 또는 디스에이블링되는지 여부를 결정한다. 단계 S410에서 서브픽처 파티셔닝이 인에이블링된 것으로 결정되는 경우들에서, 비디오 인코딩 또는 디코딩 시스템은 단계 S412에서 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 그리고 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 비디오 픽처들에서의 비디오 데이터를 인코딩 또는 디코딩한다. 그렇지 않으면, 비디오 인코딩 또는 디코딩 시스템은 RPR과 서브픽처 파티셔닝 양측 모두가 디스에이블링될 때 단계 S414에서 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 그리고 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 비디오 픽처들에서의 비디오 데이터를 인코딩 또는 디코딩한다.
도 5는 서브픽처 파티셔닝이 인에이블링될 때 RPR을 디스에이블링하는 실시예를 입증하기 위한 비디오 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다. 비디오 인코딩 또는 디코딩 시스템은 단계 S502에서 SPS를 참조하는 비디오 픽처들의 입력 비디오 데이터를 수신하고, 단계 S504에서 SPS를 참조하는 비디오 픽처들에서 서브픽처 파티셔닝이 인에이블링되는지 여부를 결정한다. 예를 들어, 비디오 디코딩 시스템은 SPS에서 시그널링되는 제2 신택스 요소를 파싱함으로써 서브픽처 파티셔닝이 인에이블링 또는 디스에이블링된다는 것을 결정한다. 서브 픽처 파티셔닝이 인에이블링될 때 단계 S506에서 SPS를 참조하는 비디오 픽처들에 대해 RPR이 디스에이블링된다. 예를 들어, 비디오 인코딩 시스템은 서브픽처 파티셔닝이 인에이블링될 때 SPS에서 RPR이 인에이블링 또는 디스에이블링되는지 여부를 특정하는 제1 신택스 요소를 시그널링하지 않을 것이거나, 또는 비디오 디코딩 시스템은, 이 제1 신택스 요소를, 제2 신택스 요소가 서브픽처 파티셔닝이 인에이블링됨을 특정할 때 RPR이 디스에이블링됨을 특정하는 0인 것으로 추론한다. 비디오 인코딩 또는 디코딩 시스템은 단계 S508에서 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 그리고 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 SPS를 참조하는 비디오 픽처들에서의 비디오 데이터를 인코딩 또는 디코딩한다. 비디오 인코딩 또는 디코딩 시스템은 단계 S510에서 SPS를 참조하는 비디오 픽처들에서 RPR이 인에이블링되는지를 추가로 결정한다. 예를 들어, 비디오 인코딩 시스템은 RPR이 인에이블링 또는 디스에이블링되는지 여부를 특정하는 제1 신택스 요소를 SPS에서 시그널링하거나, 또는 비디오 디코딩 시스템은 SPS로부터의 제1 신택스 요소를 파싱함으로써 RPR이 인에이블링 또는 디스에이블링되는지 여부를 결정한다. 단계 512에서, 비디오 픽처들에서의 비디오 데이터는, RPR이 인에이블링된 것으로 결정될 때 상이한 해상도들을 갖는 픽처들이 인터 예측에서 참조되도록 허용함으로써 그리고 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 인코딩 또는 디코딩된다. 비디오 픽처들에서의 비디오 데이터는, RPR과 서브픽처 파티셔닝 양측 모두가 디스에이블링될 때 단계 S514에서 동일한 해상도를 갖는 픽처들이 인터 예측에서 참조되도록 단지 허용함으로써 그리고 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 인코딩 또는 디코딩된다.
비디오 인코더 및 디코더 구현들 하이 레벨 정보 시그널링과 관련된 앞서 제안된 비디오 프로세싱 방법들은 비디오 인코더들 또는 디코더들에서 구현될 수 있다. 도 6은 본 발명의 다양한 실시예들 중 하나 이상을 구현하는 비디오 인코더(600)에 대한 예시적인 시스템 블록 다이어그램을 예시한다. 일부 실시예들에 따르면, RPR 및 서브픽처 파티셔닝이 동시에 인에이블링될 수 없다는 것은 비트 스트림 적합성의 요건이다. 예를 들어, RPR이 인에이블링될 때, 비디오 인코더는 SPS에서 RPR이 인에이블링됨을 특정하는 제1 신택스 요소를 시그널링하고, 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 특정하는 제2 신택스 요소를 시그널링하는 것을 스킵한다. 제2 신택스 요소가 SPS에 존재하지 않을 때 서브픽처 파티셔닝이 디스에이블링된 것으로 추론된다. 다른 예에서, 서브픽처 파티셔닝이 인에이블링될 때, 비디오 인코더는 SPS에서 서브픽처 파티셔닝이 인에이블링됨을 특정하는 제2 신택스 요소를 시그널링하고, RPR이 디스에이블링 또는 제약되는지 여부를 특정하는 제1 신택스 요소를 시그널링하는 것을 스킵한다. RPR은 제1 신택스 요소가 SPS에 존재하지 않을 때 디스에이블링된 것으로 추론된다. 일부 다른 실시예들에서, RPR이 인에이블링될 때 서브픽처 파티셔닝이 제약되거나 또는 서브픽처 파티셔닝이 인에이블링될 때 RPR이 제약되는 것은 비트 스트림 적합성의 요건이다. 인트라 예측 모듈(612)이 현재 픽처의 재구축된 비디오 데이터에 기초하여 인트라 예측자들을 제공한다. 인터 예측 모듈(614)이 모션 추정(Motion Estimation)(ME) 및 모션 보상(Motion Compensation)(MC)을 수행하여 다른 픽처 또는 픽처들로부터의 비디오 데이터에 기초하여 인터 예측자들을 제공한다. 인트라 예측 모듈(612) 또는 인터 예측 모듈(614) 중 어느 하나는 선택된 예측자를 가산기(618)에 공급하여, 예측 잔차라고도 또한 불리는 예측 에러들을 형성한다. 현재 블록의 예측 잔차는 변환 모듈(T)(620)에 뒤이어 양자화 모듈(Q)(622)에 의해 추가로 프로세싱된다. 변환되고 양자화된 잔차 신호는 그 후에 엔트로피 인코더(634)에 의해 인코딩되어 비디오 비트 스트림을 형성한다. 그 후에, 비디오 비트 스트림은 사이드 정보로 패킹된다. 현재 블록의 변환되고 양자화된 잔차 신호는 그 후에 역양자화 모듈(IQ)(624) 및 역변환 모듈(IT)(626)에 의해 프로세싱되어 예측 잔차를 복구한다. 도 6에 도시된 바와 같이, 예측 잔차는 재구축 모듈(REC)(628)에서 선택된 예측자에 다시 가산함으로써 복구되어 재구축된 비디오 데이터를 생성한다. 재구축된 비디오 데이터는 참조 픽처 버퍼(Ref. Pict. 버퍼)(632)에 저장되고 다른 픽처들의 예측을 위해 사용될 수도 있다. REC 모듈(628)로부터 복구된 재구축된 비디오 데이터는 인코딩 프로세싱으로 인해 다양한 손상들을 받을 수도 있다; 결과적으로, 인루프 프로세싱 필터(630)가 참조 픽처 버퍼(632)에 저장하기 전에 재구축된 비디오 데이터에 적용되어 픽처 품질을 더욱 향상시킨다.
도 6의 비디오 인코더(600)로부터 생성된 비디오 비트 스트림을 디코딩하기 위한 대응하는 비디오 디코더(700)가 도 7에 도시되어 있다. 본 발명의 일부 예들에서, 하이 레벨 신택스 세트에서 시그널링되는 제1 신택스 요소는, RPR이 디스에이블링 또는 제약되는지 여부를 표시하고, 하이 레벨 신택스 세트에서 시그널링되는 제2 신택스 요소는, 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 표시한다. 예를 들어, 제1 신택스 요소는 RPR 인에이블링 플래그이고, 제2 신택스 요소는, SPS에서 시그널링되는 서브픽처 파티셔닝 존재 플래그이다. 하나의 실시예에서, RPR 인에이블링 플래그는 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때 0인 것으로 추론되고, 다른 실시예들에서, 서브픽처 파티셔닝 존재 플래그는 RPR 인에이블링 플래그가 1과 동일할 때 0인 것으로 추론된다. 또 다른 실시예에서, 제1 신택스 요소는 해상도 변경 플래그이고 제2 신택스 요소는 서브픽처 파티셔닝 존재 플래그이고, 여기서 서브픽처 파티셔닝 존재 플래그는 단지 해상도 변경 플래그가 0과 동일할 때에만 이 서브픽처 파티셔닝 존재 플래그가 1로 설정되도록 허용되도록 제약된다. 비디오 비트 스트림은 비디오 디코더(700)에 대한 입력이고 엔트로피 디코더(710)에 의해 디코딩되어, 변환되고 양자화된 잔차 신호 및 다른 시스템 정보를 파싱 및 복구한다. 디코더(700)의 디코딩 프로세스는, 디코더(700)가 인터 예측 모듈(716)에서 모션 보상 예측만을 단지 요구한다는 점을 제외하고는, 인코더(600)에서의 재구축 루프와 유사하다. 각각의 블록은 인트라 예측 모듈(714) 또는 인터 예측 모듈(716) 중 어느 하나에 의해 디코딩된다. 스위치(718)가 디코딩된 모드 정보에 따라 인트라 예측 모듈(714)로부터 인트라 예측자를 또는 인터 예측 모듈(716)로부터 인터 예측자를 선택한다. 각각의 블록과 연관된 변환되고 양자화된 잔차 신호는 역양자화 모듈(IQ)(722) 및 역변환 모듈(IT)(724)에 의해 복구된다. 복구된 잔차 신호는 REC 모듈(720)에서 예측자를 다시 가산함으로써 재구축되어 재구축된 비디오를 생성한다. 재구축된 비디오는 인루프 프로세싱 필터(필터)(726)에 의해 추가로 프로세싱되어 최종의 디코딩된 비디오를 생성한다. 현재 디코딩된 픽처가 디코딩 순서로 추후의 픽처들에 대한 참조 픽처인 경우, 현재 디코딩된 픽처의 재구축된 비디오가 또한 Ref. Pict. 버퍼(728)에 저장된다.
도 6 및 도 7의 비디오 인코더(600) 및 비디오 디코더(700)의 다양한 컴포넌트들은 하드웨어 컴포넌트들, 메모리에 저장되는 프로그램 명령어들을 실행하도록 구성되는 하나 이상의 프로세서들, 또는 하드웨어와 프로세서의 조합에 의해 구현될 수도 있다. 예를 들어, 프로세서는 하이 레벨 신택스 세트를 참조하는 비디오 픽처들과 연관된 입력 데이터의 수신을 제어하기 위해 프로그램 명령어들을 실행한다. 프로세서에는 단일 또는 다수의 프로세싱 코어들이 구비되어 있다. 일부 예들에서, 프로세서는 인코더(600) 및 디코더(700)에서의 일부 컴포넌트들에서 기능들을 수행하기 위해 프로그램 명령어들을 실행하고, 프로세서와 전기적으로 커플링되는 메모리는 프로그램 명령어들, 블록들의 재구축된 이미지들에 대응하는 정보, 및/또는 인코딩 또는 디코딩 프로세스 동안의 중간 데이터를 저장하는 데 사용된다. 일부 실시예들에서 메모리는 반도체 또는 솔리드 스테이트 메모리, 랜덤 액세스 메모리(random access memory)(RAM), 판독 전용 메모리(read-only memory)(ROM), 하드 디스크, 광 디스크, 또는 다른 적합한 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체를 포함한다. 메모리는 또한, 상기에 리스팅된 비일시적 컴퓨터 판독가능 매체들 중 2개 이상의 것의 조합일 수도 있다. 도 6 및 도 7에 도시된 바와 같이, 인코더(600) 및 디코더(700)는 동일한 전자 디바이스에서 구현될 수도 있어서, 인코더(600) 및 디코더(700)의 다양한 기능 컴포넌트들은 동일한 전자 디바이스에서 구현되는 경우 공유 또는 재사용될 수도 있다.
인코딩 또는 디코딩을 위한 비디오 프로세싱 방법의 실시예들은 상술된 프로세싱을 수행하기 위해 비디오 압축 칩 내에 통합된 회로 또는 비디오 압축 소프트웨어 내에 통합된 프로그램 코드들에서 구현될 수도 있다. 예를 들어, 서브픽처 파티셔닝 또는 참조 픽처 리샘플링을 이용한 인코딩 또는 디코딩은 컴퓨터 프로세서, 디지털 신호 프로세서(Digital Signal Processor)(DSP), 마이크로프로세서, 또는 필드 프로그래밍가능 게이트 어레이(field programmable gate array)(FPGA) 상에서 실행될 프로그램 코드들에서 실현될 수도 있다. 이들 프로세서들은, 본 발명에 의해 구체화되는 특정 방법들을 정의하는 머신 판독가능 소프트웨어 코드들 또는 펌웨어 코드들을 실행함으로써, 본 발명에 따른 특정 태스크들을 수행하도록 구성될 수 있다.
본 명세서 전반에 걸쳐 "일 실시예(an embodiment)", "일부 실시예들(some embodiments)", 또는 유사한 언어에 대한 언급은 실시예들과 관련하여 설명된 특정 피처, 구조체, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수도 있다는 것을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 장소들에서 "일 실시예에서(in an embodiment)" 또는 "일부 실시예들에서(in some embodiments)"라는 어구들의 출현은 반드시 모두 동일한 실시예를 지칭하는 것은 아니며, 이들 실시예들은 개별적으로 또는 하나 이상의 다른 실시예들과 함께 구현될 수 있다. 게다가, 설명된 피처들, 구조체들, 또는 특성들은 하나 이상의 실시예들에서 임의의 적합한 방식으로 조합될 수도 있다. 그러나, 관련 기술분야의 통상의 기술자는 본 발명이 하나 이상의 특정 세부사항들 없이, 또는 다른 방법들, 컴포넌트들 등과 함께 실시될 수 있다는 것을 인식할 것이다. 다른 경우들에서, 잘 알려져 있는 구조체들 또는 동작들은 본 발명의 양태들을 모호하게 하는 것을 회피하기 위해 상세히 도시 또는 설명되지 않는다.
본 발명은 그의 사상 또는 본질적인 특성들로부터 벗어남이 없이 다른 특정 형태들로 구체화될 수도 있다. 설명된 예들은 모든 면들에서 한정적이 아니라 단지 예시적인 것으로서 간주되어야 한다. 그에 따라, 본 발명의 범주는 전술한 설명보다는 오히려 첨부된 청구범위에 의해 표시된다. 청구범위의 등가의 의미 및 범위 내에 있는 모든 변경들이 이들의 범주 내에 포괄되어야 한다.
Claims (17)
- 비디오 인코딩 또는 디코딩 시스템에서의 비디오 프로세싱 방법에 있어서,
하이 레벨 신택스 세트(high-level syntax set)를 참조하는 비디오 픽처들의 입력 비디오 데이터를 수신하는 단계;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 참조 픽처 리샘플링(reference picture resampling)이 디스에이블링(disable) 또는 제약되는지 여부를 표시하는 상기 하이 레벨 신택스 세트에서 시그널링된 또는 시그널링될 제1 신택스 요소를 결정하는 단계;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 서브픽처 파티셔닝(subpicture partitioning)이 디스에이블링 또는 제약되는지 여부를 표시하는 제2 신택스 요소를 결정하는 단계 - 상기 제1 신택스 요소 및 상기 제2 신택스 요소는 참조 픽처 리샘플링이 인에이블링(enable)될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한됨 -; 및
참조 픽처 리샘플링이 인에이블링될 때 상이한 해상도들을 갖는 픽처들이 인터 예측(inter prediction)에서 참조되도록 허용하거나 또는 참조 픽처 리샘플링이 디스에이블링될 때 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하고, 서브픽처 파티셔닝이 인에이블링될 때 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 또는 서브픽처 파티셔닝이 디스에이블링될 때 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하는 단계
를 포함하는, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 하이 레벨 신택스 세트는 시퀀스 파라미터 세트(Sequence Parameter Set)(SPS)인, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 제2 신택스 요소는 상기 하이 레벨 신택스 세트에서 조건부로 시그널링되고, 상기 제2 신택스 요소는 단지 참조 픽처 리샘플링이 디스에이블링될 때에만 시그널링되는, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 하이 레벨 신택스 세트를 참조하는 비디오 픽처들 모두가, 서브픽처 파티셔닝이 인에이블링될 때 스케일링 윈도우 폭의 동일한 유도된 값 및 스케일링 윈도우 높이의 동일한 유도된 값을 갖는, 비디오 프로세싱 방법. - 제4항에 있어서,
픽처에 대한 상기 스케일링 윈도우 폭은, 상기 픽처에 의해 참조되는 픽처 파라미터 세트(Picture Parameter Set)(PPS)에서 시그널링되는 픽처 폭, 좌측 스케일링 윈도우 오프셋, 및 우측 스케일링 윈도우 오프셋으로부터 유도되고, 상기 픽처에 대한 상기 스케일링 윈도우 높이는 픽처 높이, 상부 스케일링 윈도우 오프셋, 및 저부 스케일링 윈도우 오프셋으로부터 유도되는, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 제1 및 제2 신택스 요소들은 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한되거나, 또는 상기 제1 및 제2 신택스 요소들은 서브픽처 파티셔닝이 인에이블링될 때 참조 픽처 리샘플링을 디스에이블링 또는 제약하도록 제한되는, 비디오 프로세싱 방법. - 제6항에 있어서,
상기 제1 신택스 요소는 상기 하이 레벨 신택스 세트에서 조건부로 시그널링되고, 상기 제1 신택스 요소는 단지 서브픽처 파티셔닝이 디스에이블링될 때에만 시그널링되는, 비디오 프로세싱 방법. - 제6항에 있어서,
상기 제1 신택스 요소는, 참조 픽처 리샘플링이 인에이블링되는지 여부를 특정하는 참조 픽처 리샘플링 인에이블링 플래그이고, 상기 제2 신택스 요소는, 서브픽처 파라미터들이 상기 하이 레벨 신택스 세트에 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그인, 비디오 프로세싱 방법. - 제8항에 있어서,
상기 참조 픽처 리샘플링 인에이블링 플래그는 상기 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때 시그널링되지 않거나 또는 0과 동일한 것으로 추론되고, 상기 참조 픽처 리샘플링 인에이블링 플래그는 단지 상기 서브픽처 파티셔닝 존재 플래그가 0과 동일할 때에만 상기 하이 레벨 신택스 세트에서 시그널링되고, 상기 참조 픽처 리샘플링 인에이블링 플래그는 상기 참조 픽처 리샘플링 인에이블링 플래그가 시그널링되지 않을 때 0과 동일한 것으로 추론되는, 비디오 프로세싱 방법. - 제8항에 있어서,
상기 서브픽처 파티셔닝 존재 플래그는 상기 참조 픽처 리샘플링 인에이블링 플래그가 1과 동일할 때 시그널링되지 않거나 또는 0과 동일한 것으로 추론되고, 상기 서브픽처 파티셔닝 존재 플래그는 단지 상기 참조 픽처 리샘플링 인에이블링 플래그가 0과 동일할 때에만 상기 하이 레벨 신택스 세트에서 시그널링되고, 상기 서브픽처 파티셔닝 존재 플래그는 상기 서브픽처 파티셔닝 존재 플래그가 시그널링되지 않을 때 0과 동일한 것으로 추론되는, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 제1 신택스 요소는, 픽처 공간 해상도가 코딩된 레이어 비디오 시퀀스(Coded Layer Video Sequence)(CLVS) 내에서 변경가능한지 여부를 특정하는 해상도 변경 플래그이고, 상기 제2 신택스 요소는, 상기 하이 레벨 신택스 세트에서 상기 CLVS에 대해 서브픽처 정보가 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그인, 비디오 프로세싱 방법. - 제11항에 있어서,
상기 해상도 변경 플래그가 1과 동일할 때 서브픽처 파티셔닝 존재 플래그가 0과 동일한 것으로 추론함으로써, 상기 하이 레벨 신택스 세트를 참조하는 상기 CLVS 내에서 상기 픽처 공간 해상도가 변경가능할 때 상기 하이 레벨 신택스 세트에서 상기 CLVS에 대해 상기 서브픽처 정보가 존재하지 않는, 비디오 프로세싱 방법. - 제1항에 있어서,
상기 제2 신택스 요소에 따라 제3 신택스 요소를 결정하는 단계를 더 포함하고,
상기 제2 신택스 요소는, 상기 하이 레벨 신택스 세트에서 CLVS에 대해 서브픽처 정보가 존재하는지 여부를 특정하는 서브픽처 파티셔닝 존재 플래그이고, 상기 제3 신택스 요소는, 상기 하이 레벨 신택스 세트에 서브픽처 ID 매핑이 존재하는지 여부를 특정하는 서브픽처 ID(Identification) 플래그인, 비디오 프로세싱 방법. - 제13항에 있어서,
상기 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때 관련된 서브픽처 레이아웃을 결정하는 단계를 더 포함하는, 비디오 프로세싱 방법. - 제13항에 있어서,
상기 서브픽처 ID 플래그는 상기 서브픽처 파티셔닝 존재 플래그가 0과 동일할 때 0과 동일한 것으로 추론되고 코딩되지 않으며, 상기 서브픽처 ID 플래그는 단지 상기 서브픽처 파티셔닝 존재 플래그가 1과 동일할 때에만 상기 하이 레벨 신택스 세트에서 시그널링되는, 비디오 프로세싱 방법. - 비디오 인코딩 또는 디코딩 시스템에서 비디오 데이터를 프로세싱하는 장치에 있어서,
상기 장치는 하나 이상의 전자 회로를 포함하고,
상기 하나 이상의 전자 회로는:
하이 레벨 신택스 세트를 참조하는 비디오 픽처들의 입력 비디오 데이터를 수신하고;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 참조 픽처 리샘플링이 디스에이블링 또는 제약되는지 여부를 표시하는 상기 하이 레벨 신택스 세트에서 시그널링된 또는 시그널링될 제1 신택스 요소를 결정하고;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 표시하는 제2 신택스 요소를 결정하고 - 상기 제1 신택스 요소 및 상기 제2 신택스 요소는 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한됨 -;
참조 픽처 리샘플링이 인에이블링될 때 상이한 해상도들을 갖는 픽처들이 인터 예측에서 참조되도록 허용하거나 또는 참조 픽처 리샘플링이 디스에이블링될 때 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하고, 서브픽처 파티셔닝이 인에이블링될 때 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 또는 서브픽처 파티셔닝이 디스에이블링될 때 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하도록
구성되는, 장치. - 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독가능 매체에 있어서,
상기 프로그램 명령어는 장치의 프로세싱 회로로 하여금 비디오 데이터에 대한 비디오 프로세싱 방법을 수행하게 하고,
상기 비디오 프로세싱 방법은:
하이 레벨 신택스 세트를 참조하는 비디오 픽처들의 입력 비디오 데이터를 수신하는 단계;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 참조 픽처 리샘플링이 디스에이블링 또는 제약되는지 여부를 표시하는 상기 하이 레벨 신택스 세트에서 시그널링된 또는 시그널링될 제1 신택스 요소를 결정하는 단계;
상기 하이 레벨 신택스 세트와 연관된 비디오 픽처들에 대해 서브픽처 파티셔닝이 디스에이블링 또는 제약되는지 여부를 표시하는 제2 신택스 요소를 결정하는 단계 - 상기 제1 신택스 요소 및 상기 제2 신택스 요소는 참조 픽처 리샘플링이 인에이블링될 때 서브픽처 파티셔닝을 디스에이블링 또는 제약하도록 제한됨 -; 및
참조 픽처 리샘플링이 인에이블링될 때 상이한 해상도들을 갖는 픽처들이 인터 예측에서 참조되도록 허용하거나 또는 참조 픽처 리샘플링이 디스에이블링될 때 단지 동일한 해상도를 갖는 픽처들만이 인터 예측에서 참조되도록 허용함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하고, 서브픽처 파티셔닝이 인에이블링될 때 각각의 픽처를 하나 이상의 서브 픽처로 분할함으로써 또는 서브픽처 파티셔닝이 디스에이블링될 때 서브 픽처들로 분할하는 일 없이 각각의 픽처를 프로세싱함으로써 상기 비디오 픽처들을 인코딩 또는 디코딩하는 단계
를 포함하는, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962955364P | 2019-12-30 | 2019-12-30 | |
| US62/955,364 | 2019-12-30 | ||
| US201962955539P | 2019-12-31 | 2019-12-31 | |
| US62/955,539 | 2019-12-31 | ||
| US17/134,672 | 2020-12-28 | ||
| US17/134,672 US11146824B2 (en) | 2019-12-30 | 2020-12-28 | Video encoding or decoding methods and apparatuses related to high-level information signaling |
| PCT/CN2020/141402 WO2021136375A1 (en) | 2019-12-30 | 2020-12-30 | Video encoding or decoding methods and apparatuses related to high-level information signaling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220110846A true KR20220110846A (ko) | 2022-08-09 |
Family
ID=76546758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227024445A KR20220110846A (ko) | 2019-12-30 | 2020-12-30 | 하이 레벨 정보 시그널링과 관련된 비디오 인코딩 또는 디코딩 방법들 및 장치들 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11146824B2 (ko) |
| EP (1) | EP4082187A4 (ko) |
| KR (1) | KR20220110846A (ko) |
| CN (1) | CN114902660A (ko) |
| MX (1) | MX2022008150A (ko) |
| TW (1) | TWI773058B (ko) |
| WO (1) | WO2021136375A1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4020984A4 (en) | 2019-08-20 | 2023-07-19 | Apple Inc. | IMAGE SIGNAL ENCODING/DECODING METHOD AND RELATED DEVICE |
| EP4080885A4 (en) | 2019-12-20 | 2023-07-05 | Wilus Institute of Standards and Technology Inc. | VIDEO SIGNAL PROCESSING METHOD AND RELATED DEVICE |
| JP7415027B2 (ja) | 2020-02-29 | 2024-01-16 | 北京字節跳動網絡技術有限公司 | ハイレベルシンタックス要素のための制約 |
| JP7540871B2 (ja) | 2020-05-22 | 2024-08-27 | 北京字節跳動網絡技術有限公司 | 一般制約フラグのシグナリング |
| CN114025168B (zh) * | 2021-09-30 | 2023-08-04 | 浙江大华技术股份有限公司 | 视频图像的处理方法、处理设备、电子设备以及存储介质 |
| CN116156203A (zh) * | 2021-11-22 | 2023-05-23 | 中兴通讯股份有限公司 | 语法元素的编码、解码方法、装置、电子设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10129550B2 (en) * | 2013-02-01 | 2018-11-13 | Qualcomm Incorporated | Inter-layer syntax prediction control |
| US9998735B2 (en) | 2013-04-01 | 2018-06-12 | Qualcomm Incorporated | Inter-layer reference picture restriction for high level syntax-only scalable video coding |
| US9648335B2 (en) * | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
| MX2017008774A (es) | 2014-12-31 | 2018-02-13 | Nokia Technologies Oy | Prediccion inter-capa para codificacion y decodificacion de video escalable. |
| CN107566848B (zh) | 2016-06-30 | 2020-04-14 | 华为技术有限公司 | 编解码的方法及装置 |
| EP3422724B1 (en) | 2017-06-26 | 2024-05-01 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
-
2020
- 2020-12-28 US US17/134,672 patent/US11146824B2/en active Active
- 2020-12-29 TW TW109146636A patent/TWI773058B/zh active
- 2020-12-30 WO PCT/CN2020/141402 patent/WO2021136375A1/en unknown
- 2020-12-30 CN CN202080090562.3A patent/CN114902660A/zh active Pending
- 2020-12-30 KR KR1020227024445A patent/KR20220110846A/ko not_active Application Discontinuation
- 2020-12-30 EP EP20910241.7A patent/EP4082187A4/en active Pending
- 2020-12-30 MX MX2022008150A patent/MX2022008150A/es unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021136375A1 (en) | 2021-07-08 |
| EP4082187A1 (en) | 2022-11-02 |
| TWI773058B (zh) | 2022-08-01 |
| MX2022008150A (es) | 2022-07-21 |
| CN114902660A (zh) | 2022-08-12 |
| EP4082187A4 (en) | 2024-01-03 |
| TW202131685A (zh) | 2021-08-16 |
| US11146824B2 (en) | 2021-10-12 |
| US20210203996A1 (en) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10419755B2 (en) | Confusion of multiple filters in adaptive loop filtering in video coding | |
| KR101881710B1 (ko) | 인트라블록 카피를 위한 디블록 필터링 | |
| AU2015330676B2 (en) | Intra block copy prediction restrictions for parallel processing | |
| JP6297670B2 (ja) | ハイレベルシンタックスのみのスケーラブルビデオコーディングのための、レイヤ間参照ピクチャ制限 | |
| JP6388929B2 (ja) | マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること | |
| US11146824B2 (en) | Video encoding or decoding methods and apparatuses related to high-level information signaling | |
| US20190075328A1 (en) | Method and apparatus of video data processing with restricted block size in video coding | |
| US11792388B2 (en) | Methods and apparatuses for transform skip mode information signaling | |
| TW201711461A (zh) | 片級內部區塊複製及其他視訊寫碼改善 | |
| US9584808B2 (en) | Device and method for scalable coding of video information | |
| JP6526574B2 (ja) | レイヤ間シンタックス予測制御 | |
| US12022082B2 (en) | Method for reconstructing residual blocks of chroma blocks, and video decoding apparatus | |
| JP2023029423A (ja) | ビデオコーディング方法及び機器 | |
| US11711513B2 (en) | Methods and apparatuses of coding pictures partitioned into subpictures in video coding systems | |
| CN113557746A (zh) | 视频编解码中的复合三叉树 | |
| US12120320B2 (en) | Method for adaptively setting resolution, and image decoding apparatus | |
| KR20240051257A (ko) | 디코더 측 인트라 모드 도출을 위한 방법 및 장치 | |
| WO2023158765A1 (en) | Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order | |
| KR20210043436A (ko) | 참조픽처 리스트를 구성하는 방법 및 장치 | |
| WO2023154574A1 (en) | Methods and devices for geometric partitioning mode with adaptive blending | |
| CN117296319A (zh) | 基于邻居的分割约束 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |