KR20210107126A - 비디오 인코더, 비디오 디코더 및 대응하는 방법 - Google Patents
비디오 인코더, 비디오 디코더 및 대응하는 방법 Download PDFInfo
- Publication number
- KR20210107126A KR20210107126A KR1020217024917A KR20217024917A KR20210107126A KR 20210107126 A KR20210107126 A KR 20210107126A KR 1020217024917 A KR1020217024917 A KR 1020217024917A KR 20217024917 A KR20217024917 A KR 20217024917A KR 20210107126 A KR20210107126 A KR 20210107126A
- Authority
- KR
- South Korea
- Prior art keywords
- subpicture
- subpictures
- picture
- bitstream
- flag
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 114
- 230000033001 locomotion Effects 0.000 claims abstract description 186
- 230000002123 temporal effect Effects 0.000 claims abstract description 88
- 238000000638 solvent extraction Methods 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 abstract description 20
- 241000023320 Luma <angiosperm> Species 0.000 description 69
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 69
- 230000008569 process Effects 0.000 description 32
- 239000013598 vector Substances 0.000 description 32
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 31
- 238000013139 quantization Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000011664 signaling Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 238000005192 partition Methods 0.000 description 17
- 238000007906 compression Methods 0.000 description 15
- 230000006835 compression Effects 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000009795 derivation Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 229920000069 polyphenylene sulfide Polymers 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000034188 Stiff person spectrum disease Diseases 0.000 description 1
- 229920010524 Syndiotactic polystyrene Polymers 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000012112 ischiocoxopodopatellar syndrome Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002490 spark plasma sintering Methods 0.000 description 1
- 108010004034 stable plasma protein solution Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Time-Division Multiplex Systems (AREA)
- Television Systems (AREA)
- Control Of El Displays (AREA)
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
비디오 코딩 메커니즘이 개시된다. 이 메커니즘은 픽처로부터 파티셔닝된 하나 이상의 서브픽처들 및 파라미터 세트를 포함하는 비트스트림을 포함한다. 현재 서브픽처가 시간적 모션 제약 서브픽처임을 지시하는 플래그를 획득하도록 파라미터 세트가 파싱된다. 픽처와 독립적으로 그리고 플래그에 기초하여 비트스트림으로부터 현재 서브픽처가 추출된다. 현재 서브픽처는 디코딩되어 비디오 시퀀스를 생성한다. 비디오 시퀀스는 디스플레이를 위해 전달된다.
Description
본 특허출원은 Ye-Kui Wang 등에 의해 "Sub-Pictures in Video Coding"이라는 명칭으로 2019년 1월 9일자 출원된 미국 가특허출원 제62/790,207호를 우선권으로 주장하며, 이로써 그 가특허출원은 인용에 의해 포함된다.
본 개시내용은 일반적으로 비디오 코딩에 관한 것으로, 구체적으로는 비디오 코딩에서의 서브픽처(sub-picture) 관리에 관한 것이다.
비교적 짧은 비디오라도 묘사하는 데 필요한 비디오 데이터의 양은 상당할 수 있으며, 이는 데이터가 스트리밍(stream)되거나 아니면 제한된 대역폭 용량을 갖는 통신 네트워크를 통해 전달되어야 할 때 어려움들을 야기할 수 있다. 따라서 비디오 데이터는 일반적으로 현대의 통신 네트워크들을 통해 전달되기 전에 압축된다. 메모리 자원들이 제한될 수 있기 때문에 비디오가 저장 디바이스에 저장될 때 비디오의 크기가 또한 문제가 될 수 있다. 비디오 압축 디바이스들은 종종 소스에서 소프트웨어 및/또는 하드웨어를 사용하여 전송 또는 저장 전에 비디오 데이터를 코딩함으로써, 디지털 비디오 이미지들을 표현하는 데 필요한 데이터의 양을 감소시킨다. 압축된 데이터는 다음에, 비디오 데이터를 디코딩하는 비디오 압축 해제 디바이스에 의해 목적지에서 수신된다. 제한된 네트워크 자원들을 이용하여 그리고 더 높은 비디오 품질에 대한 요구들이 계속 증가함에 따라, 이미지 품질을 거의 또는 전혀 희생하지 않고 압축비를 개선하는 개선된 압축 및 압축 해제 기술들이 바람직하다.
일 실시예에서, 본 개시내용은 디코더(decoder)에서 구현되는 방법을 포함하며, 이 방법은: 디코더의 수신기에 의해, 픽처로부터 파티셔닝(partition)된 하나 이상의 서브픽처들 및 파라미터 세트(parameter set)를 포함하는 비트스트림(bitstream)을 수신하는 단계; 디코더의 프로세서(processor)에 의해, 현재 서브픽처가 시간적 모션 제약 서브픽처(temporal motion constrained sub-picture)임을 지시하는 플래그(flag)를 획득하도록 파라미터 세트를 파싱(parse)하는 단계; 프로세서에 의해, 픽처와 독립적으로 그리고 플래그에 기초하여 비트스트림으로부터 현재 서브픽처를 추출하는 단계; 프로세서에 의해, 비디오 시퀀스를 생성하도록 현재 서브픽처를 디코딩하는 단계; 및 프로세서에 의해, 디스플레이(display)를 위해 비디오 시퀀스를 전달하는 단계를 포함한다. 일부 비디오 코딩 시스템들에서, 모든 서브픽처들은 집합적으로 시간적 모션 제약 서브픽처들로 설정될 수 있거나, 시간적 모션 제약 서브픽처들의 사용이 완전히 허용되지 않을 수 있다. 이러한 시간적 모션 제약 서브픽처들은 감소된 코딩 효율을 희생시키면서 독립적인 추출 기능을 제공한다. 그러나 관심 구역 기반 애플리케이션들에서, 관심 구역은 독립적인 추출을 위해 코딩되어야 하는 한편, 관심 구역 외부의 구역들은 그러한 기능을 필요로 하지 않는다. 그러므로 나머지 서브픽처들은 어떠한 실질적인 이익도 제공하지 않으면서 감소된 코딩 효율을 겪는다. 본 예들에서는, 서브픽처가 시간적 모션 제약된 서브픽처인 경우를 지시하기 위해, 플래그가 SPS에서 시그널링될 수 있다. 플래그는, 독립적인 추출이 요구되지 않을 때 증가된 코딩 효율을 위해 독립적인 추출 기능을 제공하는 시간적 모션 제약 서브픽처들과 비-모션 제약 서브픽처들의 혼합을 가능하게 한다. 그러므로 플래그는 증가된 기능 및/또는 증가된 코딩 효율을 가능하게 하며, 이는 인코더(encoder) 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 플래그를 포함하는 파라미터 세트는 시퀀스 파라미터 세트(SPS: sequence parameter set)이다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 파라미터 세트는 시간적 모션 제약 서브픽처들인 하나 이상의 서브픽처들 각각에 대한 적어도 하나의 플래그를 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 시간적 모션 제약 서브픽처들이 아닌 하나 이상의 서브픽처들 각각에 대해서는 플래그들이 생략되고, 이 구현은 프로세서에 의해, 각각의 생략된 플래그의 값이 0과 같다고 추론하는 것을 더 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 플래그는 subpic_motion_constrained_flag[ i ]이며, i는 현재 서브픽처의 인덱스이다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 파라미터는 하나 이상의 서브픽처들 각각에 대한 서브픽처 식별자(ID: identifier)들을 더 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 파라미터 세트는 하나 이상의 서브픽처들 각각에 대한 서브픽처 크기 및 하나 이상의 서브픽처들 각각에 대한 서브픽처 위치를 더 포함한다.
일 실시예에서, 본 개시내용은 인코더에서 구현되는 방법을 포함하며, 이 방법은: 인코더의 프로세서에 의해, 픽처를 복수의 서브픽처들로 파티셔닝하는 단계; 프로세서에 의해, 현재 서브픽처를 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩하는 단계; 프로세서에 의해, 현재 서브픽처가 픽처와 독립적으로 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함하는 파라미터 세트를 비트스트림으로 인코딩하는 단계; 및 디코더를 향한 통신을 위해 비트스트림을 인코더의 메모리에 저장하는 단계를 포함한다. 일부 비디오 코딩 시스템들에서, 모든 서브픽처들은 집합적으로 시간적 모션 제약 서브픽처들로 설정될 수 있거나, 시간적 모션 제약 서브픽처들의 사용이 완전히 허용되지 않을 수 있다. 이러한 시간적 모션 제약 서브픽처들은 감소된 코딩 효율을 희생시키면서 독립적인 추출 기능을 제공한다. 그러나 관심 구역 기반 애플리케이션들에서, 관심 구역은 독립적인 추출을 위해 코딩되어야 하는 한편, 관심 구역 외부의 구역들은 그러한 기능을 필요로 하지 않는다. 그러므로 나머지 서브픽처들은 어떠한 실질적인 이익도 제공하지 않으면서 감소된 코딩 효율을 겪는다. 본 예들에서는, 서브픽처가 시간적 모션 제약된 서브픽처인 경우를 지시하기 위해, 플래그가 SPS에서 시그널링될 수 있다. 플래그는, 독립적인 추출이 요구되지 않을 때 증가된 코딩 효율을 위해 독립적인 추출 기능을 제공하는 시간적 모션 제약 서브픽처들과 비-모션 제약 서브픽처들의 혼합을 가능하게 한다. 그러므로 플래그는 증가된 기능 및/또는 증가된 코딩 효율을 가능하게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 플래그를 포함하는 파라미터 세트는 시퀀스 파라미터 세트(SPS)이다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 파라미터 세트는 시간적 모션 제약 서브픽처들인 하나 이상의 서브픽처들 각각에 대한 적어도 하나의 플래그를 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 플래그들은 시간적 모션 제약 서브픽처들이 아닌 하나 이상의 서브픽처들 각각에 대해 생략된다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 플래그는 subpic_motion_constrained_flag[ i ]이며, i는 현재 서브픽처의 인덱스이다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 이 구현은 프로세서에 의해, 하나 이상의 서브픽처들 각각에 대한 서브픽처 ID들을 파라미터 세트로 인코딩하는 것을 더 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 이 구현은 프로세서에 의해, 하나 이상의 서브픽처들 각각에 대한 서브픽처 크기 및 하나 이상의 서브픽처들 각각에 대한 서브픽처 위치를 파라미터 세트로 인코딩하는 단계를 더 포함한다.
일 실시예에서, 본 개시내용은: 프로세서, 메모리, 프로세서에 결합된 수신기, 및 프로세서에 결합된 전송기를 포함하는 비디오 코딩 디바이스를 포함하며, 프로세서, 메모리, 수신기 및 전송기는 이전의 양상들 중 임의의 양상의 방법을 수행하도록 구성된다.
일 실시예에서, 본 개시내용은 비디오 코딩 디바이스에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때 비디오 코딩 디바이스로 하여금 이전의 양상들 중 임의의 양상의 방법을 수행하게 하도록 비-일시적 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 실행 가능 명령들을 포함한다.
일 실시예에서, 본 개시내용은 디코더를 포함하며, 이 디코더는: 픽처로부터 파티셔닝된 하나 이상의 서브픽처들 및 파라미터 세트를 포함하는 비트스트림을 수신하기 위한 수신 수단; 현재 서브픽처가 시간적 모션 제약 서브픽처임을 지시하는 플래그를 획득하도록 파라미터 세트를 파싱하기 위한 파싱 수단; 픽처와 독립적으로 그리고 플래그에 기초하여 비트스트림으로부터 현재 서브픽처를 추출하기 위한 추출 수단; 비디오 시퀀스를 생성하도록 현재 서브픽처를 디코딩하기 위한 디코딩 수단; 및 디스플레이를 위해 비디오 시퀀스를 전달하기 위한 전달 수단을 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 디코더는 이전의 양상들 중 임의의 양상의 방법을 수행하도록 추가로 구성된다.
일 실시예에서, 본 개시내용은 인코더를 포함하며, 이 인코더는: 픽처를 복수의 서브픽처들로 파티셔닝하기 위한 파티셔닝 수단; 현재 서브픽처를 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩하기 위한 인코딩 수단; 현재 서브픽처가 픽처와 독립적으로 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함하는 파라미터 세트를 비트스트림으로 인코딩하기 위한 인코딩 수단; 및 디코더를 향한 통신을 위해 비트스트림을 저장하기 위한 저장 수단을 포함한다.
선택적으로, 이전의 양상들 중 임의의 양상에서, 양상의 다른 구현이 제공되는데, 여기서 인코더는 이전의 양상들 중 임의의 양상의 방법을 수행하도록 추가로 구성된다.
명확성의 목적으로, 앞서 말한 실시예들 중 임의의 실시예는 앞서 말한 다른 실시예들 중 임의의 하나 이상과 조합되어 본 개시내용의 범위 내에서 새로운 실시예를 생성할 수 있다.
이들 및 다른 특징들은 첨부 도면들 및 청구항들과 함께 취해진 다음의 상세한 설명으로부터 보다 명확하게 이해될 것이다.
본 개시내용의 보다 완벽한 이해를 위해, 이제 첨부 도면들 및 상세한 설명과 관련하여 제시되는 다음의 간단한 설명에 대해 참조가 이루어지며, 여기서 유사한 참조 번호들은 유사한 부분들을 나타낸다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱(codec)) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 예시적인 비트스트림 및 비트스트림으로부터 추출된 서브 비트스트림을 예시하는 개략도이다.
도 6은 서브픽처들로 파티셔닝된 예시적인 픽처를 예시하는 개략도이다.
도 7은 슬라이스(slice)들을 서브픽처 레이아웃(layout)에 관련시키기 위한 예시적인 메커니즘을 예시하는 개략도이다.
도 8은 서브픽처들로 파티셔닝된 다른 예시적인 픽처를 예시하는 개략도이다.
도 9는 예시적인 비디오 코딩 디바이스의 개략도이다.
도 10은 시간적 모션 제약 서브픽처들의 비트스트림을 인코딩하는 예시적인 방법의 흐름도이다.
도 11은 시간적 모션 제약 서브픽처들의 비트스트림을 디코딩하는 예시적인 방법의 흐름도이다.
도 12는 시간적 모션 제약 서브픽처들의 비트스트림을 시그널링하기 위한 예시적인 시스템의 개략도이다.
도 1은 비디오 신호를 코딩하는 예시적인 방법의 흐름도이다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱(codec)) 시스템의 개략도이다.
도 3은 예시적인 비디오 인코더를 예시하는 개략도이다.
도 4는 예시적인 비디오 디코더를 예시하는 개략도이다.
도 5는 예시적인 비트스트림 및 비트스트림으로부터 추출된 서브 비트스트림을 예시하는 개략도이다.
도 6은 서브픽처들로 파티셔닝된 예시적인 픽처를 예시하는 개략도이다.
도 7은 슬라이스(slice)들을 서브픽처 레이아웃(layout)에 관련시키기 위한 예시적인 메커니즘을 예시하는 개략도이다.
도 8은 서브픽처들로 파티셔닝된 다른 예시적인 픽처를 예시하는 개략도이다.
도 9는 예시적인 비디오 코딩 디바이스의 개략도이다.
도 10은 시간적 모션 제약 서브픽처들의 비트스트림을 인코딩하는 예시적인 방법의 흐름도이다.
도 11은 시간적 모션 제약 서브픽처들의 비트스트림을 디코딩하는 예시적인 방법의 흐름도이다.
도 12는 시간적 모션 제약 서브픽처들의 비트스트림을 시그널링하기 위한 예시적인 시스템의 개략도이다.
하나 이상의 실시예들의 예시적인 구현이 아래에서 제공되지만, 개시된 시스템들 및/또는 방법들은 현재 알려져 있든 또는 존재하든, 임의의 수의 기술들을 사용하여 구현될 수 있다고 처음에 이해되어야 한다. 본 개시내용은 본 명세서에서 예시되고 설명되는 예시적인 설계들 및 구현들을 포함하여, 아래에서 예시되는 예시적인 구현들, 도면들 및 기술들로 결코 제한되지 않아야 하지만, 첨부된 청구항들의 범위 내에서 이들의 등가물들의 전체 범위와 함께 수정될 수 있다.
코딩 트리 블록(CTB: coding tree block), 코딩 트리 유닛(CTU: coding tree unit), 코딩 유닛(CU: coding unit), 코딩된 비디오 시퀀스(CVS: coded video sequence), 공동 비디오 전문가 팀(JVET: Joint Video Experts Team), 모션 제약 타일 세트(MCTS: motion constrained tile set), 최대 전송 유닛(MTU: maximum transfer unit), 네트워크 추상화 계층(NAL: network abstraction layer), 픽처 순서 카운트(POC: picture order count), 원시 바이트 시퀀스 페이로드(RBSP: raw byte sequence payload), 시퀀스 파라미터 세트(SPS), 다용도 비디오 코딩(VVC: versatile video coding) 및 규격 초안(WD: working draft)과 같은 다양한 약어들이 본 명세서에서 이용된다.
데이터의 최소 손실로 비디오 파일들의 크기를 감소시키기 위해 많은 비디오 압축 기술들이 이용될 수 있다. 예를 들어, 비디오 압축 기술들은 공간(예컨대, 픽처 내(intra-picture)) 예측 및/또는 시간(예컨대, 픽처 간(inter-picture)) 예측을 수행하여 비디오 시퀀스들에서 데이터 중복을 감소시키거나 제거하는 것을 포함할 수 있다. 블록 기반 비디오 코딩의 경우, 비디오 슬라이스(예컨대, 비디오 픽처 또는 비디오 픽처의 일부)는 비디오 블록들로 분할될 수 있으며, 비디오 블록들은 트리 블록들, 코딩 트리 블록(CTB)들, 코딩 트리 유닛(CTU)들, 코딩 유닛(CU)들 및/또는 코딩 노드로도 또한 지칭될 수 있다. 픽처의 인트라 코딩된(I) 슬라이스의 비디오 블록들은 동일한 픽처의 이웃 블록들의 참조 샘플들에 대한 공간 예측을 사용하여 코딩된다. 픽처의 인터 코딩된 단방향 예측(P) 또는 양방향 예측(B) 슬라이스의 비디오 블록들은 동일한 픽처의 이웃 블록들의 참조 샘플들에 대한 공간 예측 또는 다른 참조 픽처들의 참조 샘플들에 대한 시간 예측을 이용함으로써 코딩될 수 있다. 픽처들은 프레임들 및/또는 이미지들로 지칭될 수 있고, 참조 픽처들은 참조 프레임들 및/또는 참조 이미지들로 지칭될 수 있다. 공간 또는 시간 예측은 이미지 블록을 나타내는 예측 블록을 야기한다. 잔차 데이터는 원래의 이미지 블록과 예측 블록 간의 픽셀(pixel) 차이들을 나타낸다. 이에 따라, 인터 코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 가리키는 모션 벡터, 및 코딩된 블록과 예측 블록 간의 차이를 나타내는 잔차 데이터에 따라 인코딩된다. 인트라 코딩된 블록은 인트라 코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가 압축을 위해, 잔차 데이터는 픽셀 도메인에서 변환 도메인으로 변환될 수 있다. 이들은 양자화될 수 있는 잔차 변환 계수들이 된다. 양자화된 변환 계수들은 초기에는 2차원 어레이(array)로 배열될 수 있다. 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캔(scan)될 수 있다. 엔트로피 코딩(entropy coding)이 적용되어 훨씬 더 많은 압축을 달성할 수 있다. 그러한 비디오 압축 기술들은 아래에서 더 상세히 논의된다.
인코딩된 비디오가 정확하게 디코딩될 수 있음을 보장하기 위해, 비디오는 대응하는 비디오 코딩 표준들에 따라 인코딩 및 디코딩된다. 비디오 코딩 표준들은 국제 전기통신 연합(ITU: International Telecommunication Union) 표준화 부문(ITU-T) H.261, 국제 표준화 기구/국제 전기 기술위원회(ISO/IEC: International Organization for Standardization/International Electrotechnical Commission) 동화상 전문가 그룹(MPEG: Motion Picture Experts Group)-1 Part 2, ITU-T H.262 또는 ISO/IEC MPEG-2 Part 2, ITU-T H.263, ISO/IEC MPEG-4 Part 2, ITU-T H.264 또는 ISO/IEC MPEG-4 Part 10으로도 또한 알려진 고급 비디오 코딩(AVC: Advanced Video Coding), 및 ITU-T H.265 또는 MPEG-H Part 2로도 또한 알려진 고효율 비디오 코딩(HEVC: High Efficiency Video Coding)을 포함한다. AVC는 스케일러블 비디오 코딩(SVC: Scalable Video Coding), 다시점 비디오 코딩(MVC: Multiview Video Coding) 및 다시점 비디오 코딩 + 깊이(MVC+D: Multiview Video Coding plus Depth) 및 3차원(3D) AVC(3D-AVC)와 같은 확장들을 포함한다. HEVC는 스케일러블 HEVC(SHVC: Scalable HEVC), 다시점 HEVC(MV-HEVC: Multiview HEVC) 및 3D HEVC(3D-HEVC)와 같은 확장들을 포함한다. ITU-T 및 ISO/IEC의 공동 비디오 전문가 팀(JVET)은 다용도 비디오 코딩(VVC)으로 지칭되는 비디오 코딩 표준을 개발하기 시작했다. VVC는 JVET-L1001-v9를 포함하는 규격 초안(WD)에 포함된다.
비디오 이미지를 코딩하기 위해, 이미지가 먼저 파티셔닝되고, 파티션들이 비트스트림으로 코딩된다. 다양한 픽처 파티셔닝 방식들이 이용 가능하다. 예를 들어, 이미지는 정규 슬라이스들, 종속 슬라이스들, 타일들로 그리고/또는 파면 병렬 처리(WPP: Wavefront Parallel Processing)에 따라 파티셔닝될 수 있다. 단순화를 위해, HEVC는 비디오 코딩을 위해 슬라이스를 CTB들의 그룹들로 파티셔닝할 때 정규 슬라이스들, 종속 슬라이스들, 타일들, WPP 및 이들의 조합들만이 사용될 수 있도록 인코더들을 제한한다. 이러한 파티셔닝이 적용되어 최대 전송 유닛(MTU) 크기 매칭, 병렬 처리 및 감소된 종단간 지연을 지원할 수 있다. MTU는 단일 패킷으로 전송될 수 있는 최대 데이터 양을 나타낸다. 패킷 페이로드가 MTU를 초과한다면, 그 페이로드는 프래그먼트화(fragmentation)로 불리는 프로세스를 통해 2개의 패킷들로 분할된다.
단순히 슬라이스로 또한 지칭되는 정규 슬라이스는 루프 필터링(loop filtering) 동작들로 인한 일부 상호 의존성들에도 불구하고, 동일한 픽처 내의 다른 정규 슬라이스들과 독립적으로 재구성될 수 있는 이미지의 파티셔닝된 부분이다. 각각의 정규 슬라이스는 전송을 위해 각자의 네트워크 추상화 계층(NAL) 유닛에 캡슐화(encapsulate)된다. 또한, 픽처 내 예측(인트라 샘플 예측, 모션 정보 예측, 코딩 모드 예측) 및 슬라이스 경계들에 걸친 엔트로피 코딩 의존성이 불가능하게 되어 독립적인 재구성을 지원할 수 있다. 이러한 독립적인 재구성은 병렬화를 지원한다. 예를 들어, 정규 슬라이스 기반 병렬화는 최소 프로세서 간 또는 코어 간 통신을 이용한다. 그러나 각각의 정규 슬라이스가 독립적이기 때문에, 각각의 슬라이스는 개별 슬라이스 헤더와 연관된다. 정규 슬라이스들의 사용은 각각의 슬라이스에 대한 슬라이스 헤더의 비트 비용으로 인해 그리고 슬라이스 경계들에 걸친 예측의 결여로 인해 상당한 코딩 오버헤드(overhead)를 초래할 수 있다. 추가로, MTU 크기 요건들에 대한 매칭을 지원하기 위해 정규 슬라이스들이 이용될 수 있다. 구체적으로, 정규 슬라이스가 개별 NAL 유닛에 캡슐화되고 독립적으로 코딩될 수 있기 때문에, 각각의 정규 슬라이스는 슬라이스를 다수의 패킷들로 쪼개는 것을 피하기 위해 MTU 방식들의 MTU보다 작아야 한다. 이에 따라, 병렬화의 목표 및 MTU 크기 매칭의 목표는 픽처의 슬라이스 레이아웃에 대한 모순되는 요구들을 제기할 수 있다.
종속 슬라이스들은 정규 슬라이스들과 유사하지만, 단축된 슬라이스 헤더들을 가지며, 픽처 내 예측을 중단시키지 않으면서 이미지 트리 블록 경계들의 파티셔닝을 가능하게 한다. 이에 따라, 종속 슬라이스들은 정규 슬라이스가 다수의 NAL 유닛들로 프래그먼트화될 수 있게 하며, 이는 전체 정규 슬라이스의 인코딩이 완료되기 전에 정규 슬라이스의 일부가 송신될 수 있게 함으로써 감소된 종단간 지연을 제공한다.
타일은 타일들의 열들 및 행들을 생성하는 수평 및 수직 경계들에 의해 생성된 이미지의 파티셔닝된 부분이다. 타일들은 래스터 스캔 순서로(오른쪽에서 왼쪽으로 그리고 위에서 아래로) 코딩될 수 있다. CTB들의 스캔 순서는 타일 내에서 로컬이다. 이에 따라, 첫 번째 타일의 CTB들은 다음 타일의 CTB들로 진행하기 전에 래스터 스캔 순서로 코딩된다. 정규 슬라이스들과 유사하게, 타일들은 픽처 내 예측 종속성들뿐만 아니라 엔트로피 디코딩 종속성들을 중단시킨다. 그러나 타일들은 개개의 NAL 유닛들에 포함되지 않을 수 있고, 그러므로 타일들은 MTU 크기 매칭에 사용되지 않을 수 있다. 각각의 타일은 하나의 프로세서/코어에 의해 처리될 수 있고, 이웃 타일들을 디코딩하는 처리 유닛들 간의 픽처 내 예측을 위해 이용되는 프로세서 간/코어 간 통신은 (인접한 타일들이 동일한 슬라이스 내에 있을 때) 공유 슬라이스 헤더를 전달하는 것, 그리고 재구성된 샘플들 및 메타데이터의 루프 필터링 관련 공유를 수행하는 것으로 제한될 수 있다. 하나보다 많은 타일이 슬라이스에 포함될 때, 슬라이스 내의 첫 번째 진입점 오프셋 이외의 각각의 타일에 대한 진입점 바이트 오프셋이 슬라이스 헤더에서 시그널링될 수 있다. 각각의 슬라이스 및 타일에 대해, 다음 조건들 중 적어도 하나가 충족되어야 한다: 1) 슬라이스 내의 모든 코딩된 트리 블록들이 동일한 타일에 속하고; 그리고 2) 타일 내의 모든 코딩된 트리 블록들이 동일한 슬라이스에 속한다.
WPP에서 이미지는 CTB들의 단일 행들로 파티셔닝된다. 엔트로피 디코딩 및 예측 메커니즘들은 다른 행들에서 CTB들로부터의 데이터를 사용할 수 있다. CTB 행들의 병렬 디코딩을 통해 병렬 처리가 가능해진다. 예를 들어, 현재 행은 선행하는 행과 병렬로 디코딩될 수 있다. 그러나 현재 행의 디코딩은 선행하는 행들의 디코딩 프로세스로부터 2개의 CTB들만큼 지연된다. 이러한 지연은 현재 CTB가 코딩되기 전에, 현재 행의 현재 CTB의 오른쪽과 그리고 위의 CTB와 관련된 데이터가 이용 가능함을 보장한다. 이 접근 방식은 그래픽으로 표현될 때 파면으로 나타난다. 이러한 엇갈린 시작은 이미지가 CTB 행들을 포함하는 만큼의 프로세서들/코어들까지의 병렬화를 가능하게 한다. 픽처 내의 이웃하는 트리 블록 행들 사이의 픽처 내 예측이 허용되기 때문에, 픽처 내 예측을 가능하게 하는 프로세서 간/코어 간 통신이 실질적일 수 있다. WPP 파티셔닝은 NAL 유닛 크기들을 고려한다. 그러므로 WPP는 MTU 크기 매칭을 지원하지 않는다. 그러나 원하는 대로 MTU 크기 매칭을 구현하기 위해, 특정 코딩 오버헤드로 정규 슬라이스들이 WPP와 함께 사용될 수 있다.
타일들은 또한 모션 제약 타일 세트들을 포함할 수 있다. 모션 제약 타일 세트(MCTS)는 연관된 모션 벡터들이 MCTS 내부의 전체 샘플 위치들을 그리고 보간을 위해 MCTS 내부의 전체 샘플 위치들만을 요구하는 부분 샘플 위치들을 가리키도록 제한되게 설계된 타일 세트이다. 추가로, MCTS 외부의 블록들로부터 도출된 시간적 모션 벡터 예측을 위한 모션 벡터 후보들의 사용은 허용되지 않는다. 이러한 방식으로, 각각의 MCTS는 MCTS에 포함되지 않는 타일들의 존재 없이 독립적으로 디코딩될 수 있다. 시간적 MCTS들의 부가 확장 정보(SEI: supplemental enhancement information) 메시지들은 비트스트림 내의 MCTS들의 존재를 지시하고 MCTS들을 시그널링하는 데 사용될 수 있다. MCTS들의 SEI 메시지는, (SEI 메시지의 시맨틱(semantic)들의 일부로서 명시된) MCTS 서브 비트스트림 추출에서 MCTS 세트에 대한 일치하는 비트스트림을 생성하는 데 사용될 수 있는 보완 정보를 제공한다. 이 정보는 다수의 추출 정보 세트들을 포함하며, 이들 각각은 다수의 MCTS 세트들을 정의하고, MCTS 서브 비트스트림 추출 프로세스 동안 사용될 대체 비디오 파라미터 세트(VPS: video parameter set)들, 시퀀스 파라미터 세트(SPS)들 및 픽처 파라미터 세트(PPS: picture parameter set)들의 원시 바이트 시퀀스 페이로드(RBSP) 바이트들을 포함한다. MCTS 서브 비트스트림 추출 프로세스에 따라 서브 비트스트림을 추출할 때, 파라미터 세트들(VPS들, SPS들 및 PPS들)이 재기록되거나 교체될 수 있으며, (first_slice_segment_in_pic_flag 및 slice_segment_address를 포함하는) 슬라이스 어드레스 관련 신택스 엘리먼트들 중 하나 또는 전부가 추출된 서브 비트스트림에서 상이한 값들을 이용할 수 있으므로, 슬라이스 헤더들이 업데이트될 수 있다.
픽처는 또한 하나 이상의 서브픽처들로 파티셔닝될 수 있다. 서브픽처는 0과 같은 tile_group_address를 갖는 타일 그룹으로 시작하는 타일 그룹들/슬라이스들의 직사각형 세트이다. 각각의 서브픽처는 개별 PPS를 참조할 수 있고, 따라서 개별 타일 파티셔닝을 가질 수 있다. 서브픽처들은 디코딩 프로세스에서 픽처들처럼 취급될 수 있다. 현재 서브픽처를 디코딩하기 위한 참조 서브픽처들은 디코딩된 픽처 버퍼 내의 참조 픽처들로부터 현재 서브픽처와 콜로케이트(collocate)된 영역을 추출함으로써 생성된다. 추출된 영역은 디코딩된 서브픽처로서 취급된다. 픽처 내의 동일한 위치 및 동일한 크기의 서브픽처들 사이에서 인터 예측이 이루어질 수 있다. 슬라이스로도 또한 알려진 타일 그룹은 픽처 또는 서브픽처 내의 관련된 타일들의 시퀀스이다. 픽처 내의 서브픽처의 위치를 결정하기 위해 여러 항목들이 도출될 수 있다. 예를 들어, 각각의 현재 서브픽처는 픽처 경계들 내에 현재 서브픽처를 포함하기에 충분히 큰 픽처 내에서 CTU 래스터 스캔 순서로, 점유되지 않은 다음 위치에 포지셔닝될 수 있다.
추가로, 픽처 파티셔닝은 픽처 레벨 타일들 및 시퀀스 레벨 타일들에 기초할 수 있다. 시퀀스 레벨 타일들은 MCTS의 기능을 포함할 수 있고, 서브픽처들로서 구현될 수 있다. 예를 들어, 픽처 레벨 타일은 픽처 내의 특정 타일 열 및 특정 타일 행 내의 코딩 트리 블록들의 직사각형 구역으로서 정의될 수 있다. 시퀀스 레벨 타일은 상이한 프레임들에 포함된 코딩 트리 블록들의 직사각형 구역들의 세트로서 정의될 수 있으며, 여기서 각각의 직사각형 구역은 하나 이상의 픽처 레벨 타일들을 더 포함하고, 코딩 트리 블록들의 직사각형 구역들의 세트는 유사한 직사각형 구역들의 임의의 다른 세트로부터 독립적으로 디코딩 가능하다. 시퀀스 레벨 타일 그룹 세트(STGPS: sequence level tile group set)는 이러한 시퀀스 레벨 타일들의 그룹이다. STGPS는 NAL 유닛 헤더 내의 연관된 식별자(ID)를 갖는 비-비디오 코딩 계층(VCL: video coding layer) NAL 유닛에서 시그널링될 수 있다.
선행하는 서브픽처 기반 파티셔닝 방식은 특정 문제들과 연관될 수 있다. 예를 들어, 서브픽처들이 인에이블(enable)될 때, 서브픽처들 내에서의 타일링(서브픽처들을 타일들로 파티셔닝)이 사용되어 병렬 처리를 지원할 수 있다. 병렬 처리 목적들로 서브픽처들의 타일 파티셔닝은 (예컨대, 병렬 처리 로드 밸런싱 목적들로) 픽처마다 변할 수 있고, 따라서 픽처 레벨에서(예컨대, PPS에서) 관리될 수 있다. 그러나 관심 구역(ROI: region of interest) 및 서브픽처 기반 픽처 액세스를 지원하기 위해 서브픽처 파티셔닝(픽처들을 서브픽처들로 파티셔닝)이 이용될 수 있다. 이러한 경우, PPS에서 서브픽처들 또는 MCTS의 시그널링은 효율적이지 않다.
다른 예에서, 픽처 내의 임의의 서브픽처가 시간적 모션 제약 서브픽처로서 코딩될 때, 픽처 내의 모든 서브픽처들은 시간적 모션 제약 서브픽처들로서 코딩될 수 있다. 이러한 픽처 파티셔닝은 제한적일 수 있다. 예를 들어, 서브픽처를 시간적 모션 제약 서브픽처로서 코딩하는 것은 추가 기능에 대한 대가로 코딩 효율을 감소시킬 수 있다. 그러나 관심 구역 기반 애플리케이션들에서, 대개 서브픽처들 중 단지 하나 또는 몇 개만이 시간적 모션 제약 서브픽처 기반 기능을 사용한다. 그러므로 나머지 서브픽처들은 어떠한 실질적인 이익도 제공하지 않으면서 감소된 코딩 효율을 겪는다.
다른 예에서, 서브픽처의 크기를 특정하기 위한 신택스 엘리먼트들은 루마(luma) CTU 크기들의 단위로 특정될 수 있다. 이에 따라, 서브픽처 폭과 높이 둘 다 CtbSizeY의 정수배가 되어야 한다. 서브픽처 폭 및 높이를 특정하는 이러한 메커니즘은 다양한 문제들을 야기할 수 있다. 예를 들어, 서브픽처 파티셔닝은 CtbSizeY의 정수배인 픽처 폭 및/또는 픽처 높이를 갖는 픽처들에만 적용 가능하다. 이는, CTbSizeY의 정수배가 아닌 치수들을 포함하는 픽처들에 대해 이용 가능하지 않은 것으로서 서브픽처 파티셔닝을 렌더링한다. 픽처 치수가 CtbSizeY의 정수배가 아닐 때 픽처 폭 및/또는 높이에 서브픽처 파티셔닝이 적용되었다면, 최우측 서브픽처 및 최하부 서브픽처에 대한 루마 샘플들의 서브픽처 폭 및/또는 서브픽처 높이의 도출은 부정확할 것이다. 이러한 부정확한 도출은 일부 코딩 툴들에서 잘못된 결과들을 야기할 것이다.
다른 예에서, 픽처 내의 서브픽처의 위치는 시그널링되지 않을 수 있다. 대신에, 위치는 다음의 규칙을 사용하여 도출된다. 현재 서브픽처는 픽처 경계들 내에 서브픽처를 포함하기에 충분히 큰 픽처 내에서 CTU 래스터 스캔 순서로, 이러한 점유되지 않은 다음 위치에 포지셔닝된다. 이런 식으로 서브픽처 위치들을 도출하는 것은 일부 경우들에서 에러들을 야기할 수 있다. 예를 들어, 전송 시에 서브픽처가 손실된다면, 다른 서브픽처들의 위치들이 부정확하게 도출되고, 디코딩된 샘플들은 잘못된 위치들에 배치된다. 서브픽처들이 잘못된 순서로 도달하면 동일한 문제가 적용된다.
다른 예에서, 서브픽처를 디코딩하는 것은 참조 픽처들에서 콜로케이트된 서브픽처들의 추출을 요구할 수 있다. 이는 프로세서 및 메모리 자원 사용 측면에서 추가 복잡도 및 결과적인 부담들을 부과할 수 있다.
다른 예에서, 서브픽처가 시간적 모션 제약 서브픽처로서 지정되면, 서브픽처 경계를 가로지르는 루프 필터들이 디세이블(disable)된다. 이는 타일 경계들을 가로지르는 루프 필터들이 인에이블되는지 여부에 관계 없이 발생한다. 이러한 제약은 너무 제한적일 수 있으며, 다수의 서브픽처들을 이용하는 비디오 픽처들에 대한 시각적 아티팩트(artefact)들을 야기할 수 있다.
다른 예에서, SPS, STGPS, PPS 및 타일 그룹 헤더들 간의 관계는 다음과 같다. STGPS는 SPS를 참조하고, PPS는 STGPS를 참조하며, 타일 그룹 헤더들/슬라이스 헤더들은 PPS를 참조한다. 그러나 STGPS 및 PPS는 STGPS를 참조하는 PPS보다는 직교해야 한다. 이전의 어레인지먼트(arrangement)는 또한, 동일한 픽처의 모든 타일 그룹들이 동일한 PPS를 참조하는 것을 허용하지 않을 수 있다.
다른 예에서, 각각의 STGPS는 서브픽처의 4개의 면들에 대한 ID들을 포함할 수 있다. 이러한 ID들은 동일한 경계를 공유하여 이들의 상대적인 공간 관계가 정의될 수 있는 서브픽처들을 식별하는 데 사용된다. 그러나 이러한 정보는 일부 경우들에서, 시퀀스 레벨 타일 그룹 세트에 대한 포지션 및 크기 정보를 도출하기에 충분하지 않을 수 있다. 다른 경우들에서, 포지션 및 크기 정보를 시그널링하는 것은 중복될 수 있다.
다른 예에서, STGPS ID는 8 비트를 사용하여 VCL NAL 유닛의 NAL 유닛 헤더에서 시그널링될 수 있다. 이는 서브픽처 추출을 보조할 수 있다. 이러한 시그널링은 NAL 유닛 헤더의 길이를 불필요하게 증가시킬 수 있다. 다른 문제는 시퀀스 레벨 타일 그룹 세트들이 오버랩(overlap)들을 방지하도록 제한되지 않는 한, 하나의 타일 그룹이 다수의 시퀀스 레벨 타일 그룹 세트들과 연관될 수 있다는 점이다.
위에서 언급된 문제들 중 하나 이상을 해결하기 위한 다양한 메커니즘들이 본 명세서에서 개시된다. 제1 예에서, 서브픽처들에 대한 레이아웃 정보는 PPS 대신에 SPS에 포함된다. 서브픽처 레이아웃 정보는 서브픽처 위치 및 서브픽처 크기를 포함한다. 서브픽처 위치는 서브픽처의 최상부 좌측 샘플과 픽처의 최상부 좌측 샘플 사이의 오프셋이다. 서브픽처 크기는 루마 샘플들에서 측정된 서브픽처의 높이 및 폭이다. 위에서 언급된 바와 같이, 타일들이 픽처마다 변할 수 있기 때문에, 일부 시스템들은 타일링 정보를 PPS에 포함한다. 그러나 ROI 애플리케이션들 및 서브픽처 기반 액세스를 지원하기 위해 서브픽처들이 사용될 수 있다. 이러한 기능들은 픽처 단위로 변하지 않는다. 추가로, 비디오 시퀀스는 단일 SPS(또는 비디오 세그먼트(segment)당 하나)를 포함할 수 있고, 픽처당 하나만큼 많은 PPS를 포함할 수 있다. SPS에 서브픽처들에 대한 레이아웃 정보를 배치하는 것은 레이아웃이 각각의 PPS에 대해 중복으로 시그널링되기보다는 시퀀스/세그먼트에 대해 단지 한번만 시그널링되는 것을 보장한다. 이에 따라, SPS에서 서브픽처 레이아웃을 시그널링하는 것은 코딩 효율을 증가시키고, 그러므로 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다. 또한, 일부 시스템들은 디코더에 의해 도출된 서브픽처 정보를 갖는다. 서브픽처 정보를 시그널링하는 것은 패킷들이 손실된 경우에 에러의 가능성을 감소시키고, 서브픽처들을 추출하는 측면에서 추가 기능을 지원한다. 이에 따라, SPS에서 서브픽처 레이아웃을 시그널링하는 것은 인코더 및/또는 디코더의 기능을 개선한다.
제2 예에서, 서브픽처 폭들 및 서브픽처 높이들은 CTU 크기의 배수들로 제한된다. 그러나 이러한 제약들은 서브픽처가 픽처의 우측 경계 또는 픽처의 최하부 경계에 각각 포지셔닝될 때 제거된다. 위에서 언급된 바와 같이, 일부 비디오 시스템들은 CTU 크기의 배수인 높이들 및 폭들을 포함하도록 서브픽처들을 제한할 수 있다. 이는 서브픽처들이 다수의 픽처 레이아웃들로 정확하게 동작하는 것을 막는다. 최하부 및 우측 서브픽처들이 각각 CTU 크기의 배수들이 아닌 높이들 및 폭들을 포함할 수 있게 함으로써, 서브픽처들은 디코딩 에러들을 야기하지 않으면서 임의의 픽처와 함께 사용될 수 있다. 이는 인코더 및 디코더 기능의 증가를 야기한다. 추가로, 증가된 기능은 인코더가 픽처들을 보다 효율적으로 코딩할 수 있게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
제3 예에서, 서브픽처들은 갭 또는 오버랩 없이 픽처를 커버하도록 제한된다. 위에서 언급된 바와 같이, 일부 비디오 코딩 시스템들은 서브픽처들이 갭들 및 오버랩들을 포함할 수 있게 한다. 이는 타일 그룹들/슬라이스들이 다수의 서브픽처들과 연관될 가능성을 생성한다. 이것이 인코더에서 허용된다면, 디코더들은 디코딩 방식이 별로 사용되지 않는 경우에도 이러한 코딩 방식을 지원하도록 구축되어야 한다. 서브픽처 갭들 및 오버랩들을 허용하지 않음으로써, 디코더가 서브픽처 크기들 및 위치들을 결정할 때 잠재적인 갭들 및 오버랩들을 고려할 필요가 없기 때문에, 디코더의 복잡도가 감소될 수 있다. 추가로, 서브픽처 갭들 및 오버랩들을 허용하지 않는 것은, 인코더가 비디오 시퀀스에 대한 인코딩을 선택할 때 갭 및 오버랩 경우들을 고려하는 것을 생략할 수 있기 때문에, 인코더에서의 레이트 왜곡 최적화(RDO: rate distortion optimization) 프로세스들의 복잡도를 감소시킨다. 이에 따라, 갭들 및 오버랩들을 피하는 것은 인코더 및 디코더에서 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킬 수 있다.
제4 예에서, 서브픽처가 시간적 모션 제약 서브픽처인 경우를 지시하기 위해, 플래그가 SPS에서 시그널링될 수 있다. 위에서 언급된 바와 같이, 일부 시스템들은 집합적으로 모든 서브픽처들을 시간적 모션 제약 서브픽처들로 설정하거나 시간적 모션 제약 서브픽처들의 사용을 완전히 허용하지 않을 수 있다. 이러한 시간적 모션 제약 서브픽처들은 감소된 코딩 효율을 희생시키면서 독립적인 추출 기능을 제공한다. 그러나 관심 구역 기반 애플리케이션들에서, 관심 구역은 독립적인 추출을 위해 코딩되어야 하는 한편, 관심 구역 외부의 구역들은 그러한 기능을 필요로 하지 않는다. 그러므로 나머지 서브픽처들은 어떠한 실질적인 이익도 제공하지 않으면서 감소된 코딩 효율을 겪는다. 이에 따라, 플래그는, 독립적인 추출이 요구되지 않을 때 증가된 코딩 효율을 위해 독립적인 추출 기능을 제공하는 시간적 모션 제약 서브픽처들과 비-모션 제약 서브픽처들의 혼합을 가능하게 한다. 그러므로 플래그는 증가된 기능 및/또는 증가된 코딩 효율을 가능하게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
제5 예에서, 서브픽처 ID들의 완전한 세트가 SPS에서 시그널링되고, 슬라이스 헤더들은 대응하는 슬라이스들을 포함하는 서브픽처를 지시하는 서브픽처 ID를 포함한다. 위에서 언급된 바와 같이, 일부 시스템들은 다른 서브픽처들에 대한 서브픽처 포지션들을 시그널링한다. 이는 서브픽처들이 손실되거나 개별적으로 추출된다면 문제를 야기한다. 각각의 서브픽처를 ID로 지정함으로써, 서브픽처들은 다른 서브픽처들에 대한 참조 없이 포지셔닝되고 크기가 정해질 수 있다. 이는 결국, 서브픽처들 중 일부만을 추출하고 다른 서브픽처들을 전송하는 것을 피하는 애플리케이션들뿐만 아니라 에러 정정을 지원한다. 모든 서브픽처 ID들의 완전한 리스트는 관련 크기 정보와 함께 SPS에서 송신될 수 있다. 각각의 슬라이스 헤더는 대응하는 슬라이스를 포함하는 서브픽처를 지시하는 서브픽처 ID를 포함할 수 있다. 이런 식으로, 서브픽처들 및 대응하는 슬라이스들은 다른 서브픽처들에 대한 참조 없이 추출 및 포지셔닝될 수 있다. 그러므로 서브픽처 ID들은 증가된 기능 및/또는 증가된 코딩 효율을 지원하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
제6 예에서, 각각의 서브픽처에 대해 레벨들이 시그널링된다. 일부 비디오 코딩 시스템들에서는, 픽처들에 대해 레벨들이 시그널링된다. 레벨은 픽처를 디코딩하는 데 필요한 하드웨어 자원들을 지시한다. 위에서 언급된 바와 같이, 상이한 서브픽처들은 일부 경우들에서 상이한 기능을 가질 수 있고, 그러므로 코딩 프로세스 동안 상이하게 취급될 수 있다. 이에 따라, 픽처 기반 레벨은 일부 서브픽처들을 디코딩하는 데 유용하지 않을 수 있다. 그러므로 본 개시내용은 각각의 서브픽처에 대한 레벨들을 포함한다. 이런 식으로, 각각의 서브픽처는 덜 복잡한 메커니즘들에 따라 코딩된 서브픽처들에 대해 디코딩 요건들을 너무 높게 설정함으로써 디코더를 쓸데없이 과도하게 설정하지 않으면서 다른 서브픽처들과 독립적으로 코딩될 수 있다. 시그널링된 서브픽처 레벨 정보는 증가된 기능 및/또는 증가된 코딩 효율을 지원하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
도 1은 비디오 신호를 코딩하는 예시적인 동작 방법(100)의 흐름도이다. 구체적으로, 비디오 신호는 인코더에서 인코딩된다. 인코딩 프로세스는 다양한 메커니즘들을 이용하여 비디오 파일 크기를 감소시킴으로써 비디오 신호를 압축한다. 더 작은 파일 크기는 압축된 비디오 파일이 사용자를 향해 전송될 수 있게 하면서, 연관된 대역폭 오버헤드를 감소시킨다. 그런 다음, 디코더는 압축된 비디오 파일을 디코딩하여, 최종 사용자에게 디스플레이하기 위해 원본 비디오 신호를 재구성한다. 디코딩 프로세스는 일반적으로, 디코더가 비디오 신호를 일관되게 재구성할 수 있게 하도록 인코딩 프로세스를 미러링한다.
단계(101)에서, 비디오 신호가 인코더에 입력된다. 예를 들어, 비디오 신호는 메모리에 저장된 압축되지 않은 비디오 파일일 수 있다. 다른 예로서, 비디오 파일은 비디오 카메라와 같은 비디오 캡처 디바이스에 의해 캡처되고, 비디오의 라이브 스트리밍을 지원하도록 인코딩될 수 있다. 비디오 파일은 오디오 컴포넌트와 비디오 컴포넌트를 모두 포함할 수 있다. 비디오 컴포넌트는 시퀀스에서 볼 때, 모션의 시각적인 인상을 제공하는 일련의 이미지 프레임들을 포함한다. 프레임들은 본 명세서에서 루마 컴포넌트들(또는 루마 샘플들)로 지칭되는 광 및 크로마(chroma) 컴포넌트들(또는 컬러 샘플들)로 지칭되는 컬러의 관점에서 표현되는 픽셀들을 포함한다. 일부 예들에서, 프레임들은 3차원 시청(viewing)을 지원하도록 깊이 값들을 또한 포함할 수 있다.
단계(103)에서, 비디오는 블록들로 파티셔닝된다. 파티셔닝은 각각의 프레임 내의 픽셀들을 압축을 위해 정사각형 및/또는 직사각형 블록들로 세분하는 것을 포함한다. 예를 들어, (H.265 및 MPEG-H Part 2로도 또한 알려진) 고효율 비디오 코딩(HEVC)에서, 프레임은 먼저, 미리 정의된 크기(예컨대, 64 픽셀들 x 64 픽셀들)의 블록들인 코딩 트리 유닛(CTU)들로 분할될 수 있다. CTU들은 루마 및 크로마 샘플들 모두를 포함한다. 코딩 트리들은 CTU들을 블록들로 분할한 다음, 추가 인코딩을 지원하는 구성들이 달성될 때까지 블록들을 재귀적으로 세분화하는 데 이용될 수 있다. 예를 들어, 프레임의 루마 컴포넌트들은, 개별 블록들이 비교적 균질한 조명 값들을 포함할 때까지 세분될 수 있다. 추가로, 프레임의 크로마 컴포넌트들은, 개별 블록들이 비교적 균질한 색상 값들을 포함할 때까지 세분될 수 있다. 이에 따라, 파티셔닝 메커니즘들은 비디오 프레임들의 콘텐츠에 따라 달라진다.
단계(105)에서는, 단계(103)에서 파티셔닝된 이미지 블록들을 압축하기 위해 다양한 압축 메커니즘들이 이용된다. 예를 들어, 인터 예측 및/또는 인트라 예측이 이용될 수 있다. 인터 예측은 공통 장면의 객체들이 연속적인 프레임들에 나타나는 경향이 있다는 사실을 이용하도록 설계된다. 이에 따라, 참조 프레임 내의 객체를 묘사하는 블록은 인접한 프레임들에서 반복적으로 설명될 필요가 없다. 구체적으로, 테이블과 같은 객체는 다수의 프레임들에 걸쳐 일정한 포지션으로 유지될 수 있다. 그러므로 표가 일단 기술되고, 인접한 프레임들이 참조 프레임을 다시 참조할 수 있다. 다수의 프레임들에 걸쳐 객체들을 매칭시키기 위해 패턴 매칭 메커니즘들이 이용될 수 있다. 추가로, 예를 들어, 객체 움직임 또는 카메라 움직임으로 인해 움직이는 객체들이 다수의 프레임들에 걸쳐 표현될 수 있다. 특정 예로서, 비디오는 다수의 프레임들에 걸쳐 스크린을 가로질러 움직이는 자동차를 보여줄 수 있다. 이러한 움직임을 설명하기 위해 모션 벡터들이 이용될 수 있다. 모션 벡터는 프레임 내의 객체의 좌표들로부터 참조 프레임 내의 객체의 좌표들까지의 오프셋을 제공하는 2차원 벡터이다. 이에 따라, 인터 예측은 참조 프레임에서 대응하는 블록으로부터의 오프셋을 지시하는 모션 벡터들의 세트로서 현재 프레임의 이미지 블록을 인코딩할 수 있다.
인트라 예측은 공통 프레임의 블록들을 인코딩한다. 인트라 예측은 루마 및 크로마 컴포넌트들이 프레임에 클러스터링(cluster)되는 경향이 있다는 사실을 이용한다. 예를 들어, 트리의 일부에서의 녹색의 패치는 녹색의 유사한 패치들에 인접하게 포지셔닝되는 경향이 있다. 인트라 예측은 다수의 방향성 예측 모드들(예컨대, HEVC에서는 33개), 평면 모드 및 직류(DC: direct current) 모드를 이용한다. 방향성 모드들은 현재 블록이 대응하는 방향에서 이웃 블록의 샘플들과 유사/동일하다는 것을 지시한다. 평면 모드는 행/열(예컨대, 평면)을 따라 일련의 블록들이 행의 에지들에서 이웃 블록들에 기반하여 보간될 수 있음을 지시한다. 사실상, 평면 모드는 변화하는 값들에서 비교적 일정한 경사를 이용함으로써 행/열에 걸친 광/컬러의 매끄러운 전환을 지시한다. DC 모드는 경계 평활화를 위해 이용되며, 블록이 방향성 예측 모드들의 각도 방향들과 연관된 모든 이웃 블록들의 샘플들과 연관된 평균 값과 유사/동일하다는 것을 지시한다. 이에 따라, 인트라 예측 블록들은 실제 값들 대신에 다양한 관계형 예측 모드 값들로서 이미지 블록들을 표현할 수 있다. 추가로, 인터 예측 블록들은 이미지 블록들을 실제 값들 대신 모션 벡터 값들로서 표현할 수 있다. 어느 경우든, 예측 블록들은 일부 경우들에서 이미지 블록들을 정확하게 표현하지 않을 수 있다. 임의의 차이들이 잔차 블록들에 저장된다. 파일을 더 압축하기 위해, 변환들이 잔차 블록들에 적용될 수 있다.
단계(107)에서, 다양한 필터링 기술들이 적용될 수 있다. HEVC에서, 필터들은 인-루프 필터링(in-loop filtering) 방식에 따라 적용된다. 위에서 논의된 블록 기반 예측은 디코더에서 블록 이미지들의 생성을 야기할 수 있다. 추가로, 블록 기반 예측 방식은 블록을 인코딩한 다음, 인코딩된 블록을 참조 블록으로서 추후 사용을 위해 재구성할 수 있다. 인-루프 필터링 방식은 잡음 억제 필터들, 블록 분리(de-blocking) 필터들, 적응 루프 필터들 및 샘플 적응 오프셋(SAO: sample adaptive offset) 필터들을 블록들/프레임들에 반복적으로 적용한다. 이러한 필터들은 인코딩된 파일이 정확하게 재구성될 수 있도록 이러한 블로킹 아티팩트들을 완화한다. 또한, 이러한 필터들은 재구성된 참조 블록들에서 아티팩트들을 완화하여, 아티팩트들이 재구성된 참조 블록들에 기반하여 인코딩되는 후속 블록들에서 추가 아티팩트들을 생성할 가능성이 더 낮아진다.
비디오 신호가 파티셔닝되고, 압축되고, 필터링되면, 단계(109)에서 결과적인 데이터가 비트스트림으로 인코딩된다. 비트스트림은 위에서 논의된 데이터뿐만 아니라 디코더에서의 적절한 비디오 신호 재구성을 지원하기 위해 요구되는 임의의 시그널링 데이터를 포함한다. 예를 들어, 이러한 데이터는 파티션 데이터, 예측 데이터, 잔차 블록들, 및 코딩 명령들을 디코더에 제공하는 다양한 플래그들을 포함할 수 있다. 비트스트림은 요청 시에 디코더를 향한 전송을 위해 메모리에 저장될 수 있다. 비트스트림은 또한 복수의 디코더들을 향해 브로드캐스트 및/또는 멀티캐스트될 수 있다. 비트스트림의 생성은 반복적인 프로세스이다. 이에 따라, 단계들(101, 103, 105, 107, 109)은 많은 프레임들 및 블록들에 걸쳐 연속적으로 그리고/또는 동시에 발생할 수 있다. 도 1에 도시된 순서는 명확성 및 논의의 편의를 위해 제시되며, 비디오 코딩 프로세스를 특정 순서로 제한하는 것으로 의도되지 않는다.
디코더는 비트스트림을 수신하고 단계(111)에서 디코딩 프로세스를 시작한다. 구체적으로, 디코더는 엔트로피 디코딩 방식을 이용하여 비트스트림을 대응하는 신택스 및 비디오 데이터로 변환한다. 디코더는 단계(111)에서 프레임들에 대한 파티션들을 결정하기 위해 비트스트림으로부터의 신택스 데이터를 이용한다. 파티셔닝은 단계(103)에서의 블록 파티셔닝의 결과들과 매칭되어야 한다. 이제 단계(111)에서 이용되는 엔트로피 인코딩/디코딩이 설명된다. 인코더는 입력 이미지(들)에서의 값들의 공간적 포지셔닝에 기반하여 여러 가능한 선택들로부터 블록 파티셔닝 방식들을 선택하는 것과 같이, 압축 프로세스 동안 많은 선택들을 한다. 정확한 선택들을 시그널링하는 것은 상당한 수의 빈(bin)들을 이용할 수 있다. 본 명세서에서 사용되는 바와 같이, 빈은 변수로서 취급되는 이진 값(예컨대, 컨텍스트(context)에 따라 달라질 수 있는 비트 값)이다. 엔트로피 코딩은 인코더가 특정 경우에 대해 명확하게 실행 가능하지 않은 임의의 옵션들을 폐기하여, 한 세트의 허용 가능한 옵션들을 남길 수 있게 한다. 그 다음, 각각의 허용 가능한 옵션에 코드워드(code word)가 할당된다. 코드워드들의 길이는 허용 가능한 옵션들의 수(예컨대, 2개의 옵션들에 대한 하나의 빈, 3개 내지 4개의 옵션들에 대한 2개의 빈들 등)에 기반한다. 그런 다음, 인코더는 선택된 옵션에 대한 코드워드를 인코딩한다. 이러한 방식은, 모든 가능한 옵션들의 잠재적으로 큰 세트로부터의 선택을 고유하게 지시하는 것과는 대조적으로, 허용 가능한 옵션들의 작은 서브세트로부터의 선택을 고유하게 지시하기 위해 요구되는 것만큼 코드워드들이 크므로, 코드워드들의 크기를 감소시킨다. 그런 다음, 디코더는 인코더와 유사한 방식으로 허용 가능한 옵션들의 세트를 결정함으로써 선택을 디코딩한다. 허용 가능한 옵션들의 세트를 결정함으로써, 디코더는 코드워드를 판독하고 인코더에 의해 이루어진 선택을 결정할 수 있다.
단계(113)에서, 디코더는 블록 디코딩을 수행한다. 구체적으로, 디코더는 잔차 블록들을 생성하기 위해 역변환들을 이용한다. 그런 다음, 디코더는 파티셔닝에 따라 이미지 블록들을 재구성하기 위해 잔차 블록들 및 대응하는 예측 블록들을 이용한다. 예측 블록들은 단계(105)에서 인코더에서 생성된 인트라 예측 블록들과 인터 예측 블록들 모두를 포함할 수 있다. 이어서, 재구성된 이미지 블록들은 단계(111)에서 결정된 파티셔닝 데이터에 따라, 재구성된 비디오 신호의 프레임들로 포지셔닝된다. 단계(113)에 대한 신택스는 또한 위에서 논의된 바와 같이 엔트로피 코딩을 통해 비트스트림에서 시그널링될 수 있다.
단계(115)에서는, 재구성된 비디오 신호의 프레임들에 대해 인코더에서의 단계(107)와 유사한 방식으로 필터링이 수행된다. 예를 들어, 잡음 억제 필터들, 블록 분리 필터들, 적응 루프 필터들 및 SAO 필터들이 프레임들에 적용되어 블로킹 아티팩트들을 제거할 수 있다. 프레임들이 필터링되면, 비디오 신호는 최종 사용자에 의한 시청을 위해 단계(117)에서 디스플레이에 출력될 수 있다.
도 2는 비디오 코딩을 위한 예시적인 코딩 및 디코딩(코덱) 시스템(200)의 개략도이다. 구체적으로, 코덱 시스템(200)은 동작 방법(100)의 구현을 지원하기 위한 기능을 제공한다. 코덱 시스템(200)은 인코더와 디코더 둘 다에서 이용되는 컴포넌트들을 도시하도록 일반화된다. 코덱 시스템(200)은 동작 방법(100)의 단계들(101, 103)과 관련하여 논의된 바와 같이 비디오 신호를 수신하고 파티셔닝하며, 이는 파티셔닝된 비디오 신호(201)를 야기한다. 그런 다음, 코덱 시스템(200)은 방법(100)에서 단계들(105, 107, 109)에 대해 논의된 바와 같이 인코더로서 동작할 때, 파티셔닝된 비디오 신호(201)를 코딩된 비트스트림으로 압축한다. 디코더로서 동작할 때, 코덱 시스템(200)은 동작 방법(100)에서 단계들(111, 113, 115, 117)과 관련하여 논의된 바와 같이 비트스트림으로부터 출력 비디오 신호를 생성한다. 코덱 시스템(200)은 일반 코더 제어 컴포넌트(211), 변환 스케일링(scaling) 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 모션 추정 컴포넌트(221), 스케일링 및 역변환 컴포넌트(229), 필터 제어 분석 컴포넌트(227), 인-루프 필터 컴포넌트(225), 디코딩된 픽처 버퍼 컴포넌트(223) 및 헤더 포맷팅 및 컨텍스트 적응 이진 산술 코딩(CABAC: context adaptive binary arithmetic coding) 컴포넌트(231)를 포함한다. 이러한 컴포넌트들은 도시된 바와 같이 결합된다. 도 2에서, 흑색 선들은 인코딩/디코딩될 데이터의 이동을 지시하는 한편, 파선들은 다른 컴포넌트들의 동작을 제어하는 제어 데이터의 이동을 지시한다. 코덱 시스템(200)의 컴포넌트들은 모두 인코더에 존재할 수 있다. 디코더는 코덱 시스템(200)의 컴포넌트들의 서브세트를 포함할 수 있다. 예를 들어, 디코더는 인트라 픽처 예측 컴포넌트(217), 모션 보상 컴포넌트(219), 스케일링 및 역변환 컴포넌트(229), 인-루프 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)를 포함할 수 있다. 이제 이러한 컴포넌트들이 설명된다.
파티셔닝된 비디오 신호(201)는 코딩 트리에 의해 픽셀들의 블록들로 파티셔닝된 캡처된 비디오 시퀀스이다. 코딩 트리는 픽셀들의 블록을 픽셀들의 더 작은 블록들로 세분하기 위해 다양한 분할 모드들을 이용한다. 그런 다음, 이러한 블록들은 더 작은 블록들로 추가로 세분될 수 있다. 블록들은 코딩 트리 상의 노드들로 지칭될 수 있다. 더 큰 부모 노드들은 더 작은 자식 노드들로 분할된다. 노드가 세분되는 횟수는 노드/코딩 트리의 깊이로 지칭된다. 분할된 블록들은 일부 경우들에는 코딩 유닛(CU)들에 포함될 수 있다. 예를 들어, CU는 CU에 대한 대응하는 신택스 명령들과 함께 루마 블록, 적색 차 크로마(Cr) 블록(들) 및 청색 차 크로마(Cb) 블록(들)을 포함하는 CTU의 하위 부분일 수 있다. 분할 모드들은 이용되는 분할 모드들에 따라 다양한 형상들의 2개, 3개 또는 4개의 자식 노드들로 각각 노드를 파티셔닝하는 데 이용되는 이진 트리(BT: binary tree), 트리플 트리(TT: triple tree) 및 쿼드 트리(QT: quad tree)를 포함할 수 있다. 파티셔닝된 비디오 신호(201)는 압축을 위해 일반 코더 제어 컴포넌트(211), 변환 스케일링 및 양자화 컴포넌트(213), 인트라 픽처 추정 컴포넌트(215), 필터 제어 분석 컴포넌트(227) 및 모션 추정 컴포넌트(221)로 전달된다.
일반 코더 제어 컴포넌트(211)는 애플리케이션 제약들에 따라 비디오 시퀀스의 이미지들을 비트스트림으로 코딩하는 것과 관련된 결정들을 내리도록 구성된다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 비트 레이트/비트스트림 크기 대 재구성 품질의 최적화를 관리한다. 이러한 결정들은 저장 공간/대역폭 이용 가능성 및 이미지 해상도 요청들에 기반하여 이루어질 수 있다. 일반 코더 제어 컴포넌트(211)는 또한, 버퍼 언더런(underrun) 및 오버런(overrun) 문제들을 완화하기 위해 전송 속도의 관점에서 버퍼 이용을 관리한다. 이러한 문제들을 관리하기 위해, 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트들에 의한 파티셔닝, 예측 및 필터링을 관리한다. 예를 들어, 일반 코더 제어 컴포넌트(211)는 압축 복잡도를 동적으로 증가시켜 해상도를 증가시키고 대역폭 사용량을 증가시키거나 압축 복잡도를 감소시켜 해상도 및 대역폭 사용량을 감소시킬 수 있다. 그러므로 일반 코더 제어 컴포넌트(211)는 비디오 신호 재구성 품질과 비트 레이트 우려들의 균형을 맞추도록 코덱 시스템(200)의 다른 컴포넌트들을 제어한다. 일반 코더 제어 컴포넌트(211)는 다른 컴포넌트들의 동작을 제어하는 제어 데이터를 생성한다. 제어 데이터는 또한, 디코더에서 디코딩하기 위한 파라미터들을 시그널링하기 위해 비트스트림으로 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.
파티셔닝된 비디오 신호(201)는 또한, 인터 예측을 위해 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 송신된다. 파티셔닝된 비디오 신호(201)의 프레임 또는 슬라이스는 다수의 비디오 블록들로 분할될 수 있다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 하나 이상의 참조 프레임들에서 하나 이상의 블록들에 대해 수신된 비디오 블록의 인터 예측 코딩을 수행하여 시간 예측을 제공한다. 코덱 시스템(200)은 예컨대, 비디오 데이터의 각각의 블록에 대해 적절한 코딩 모드를 선택하기 위해 다수의 코딩 패스(coding pass)들을 수행할 수 있다.
모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)는 고도로 집적될 수 있지만, 개념을 위해 별도로 예시된다. 모션 추정 컴포넌트(221)에 의해 수행되는 모션 추정은 비디오 블록들에 대한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 예를 들어, 모션 벡터는 예측 블록에 대한 코딩된 객체의 변위를 지시할 수 있다. 예측 블록은 픽셀 차이 측면에서, 코딩될 블록과 밀접하게 매칭하는 것으로 확인된 블록이다. 예측 블록은 또한 참조 블록으로 지칭될 수 있다. 이러한 픽셀 차이는 절대 차의 합(SAD: sum of absolute difference), 제곱 차의 합(SSD: sum of square difference) 또는 다른 차이 메트릭들에 의해 결정될 수 있다. HEVC는 CTU, 코딩 트리 블록(CTB)들 및 CU들을 포함하는 여러 코딩된 객체들을 이용한다. 예를 들어, CTU는 CTB들로 분할될 수 있고, 이어서 CTB들은 CU들에 포함되도록 CB들로 분할될 수 있다. CU는 예측 데이터를 포함하는 예측 유닛(PU: prediction unit) 및/또는 CU에 대한 변환된 잔차 데이터를 포함하는 변환 유닛(TU: transform unit)으로서 인코딩될 수 있다. 모션 추정 컴포넌트(221)는 레이트 왜곡 최적화 프로세스의 일부로서 레이트 왜곡 분석을 사용함으로써 모션 벡터들, PU들 및 TU들을 생성한다. 예를 들어, 모션 추정 컴포넌트(221)는 현재 블록/프레임에 대한 다수의 참조 블록들, 다수의 모션 벡터들 등을 결정할 수 있고, 최상의 레이트 왜곡 특징들을 갖는 참조 블록들, 모션 벡터들 등을 선택할 수 있다. 최상의 레이트 왜곡 특징들은 비디오 재구성의 품질(예컨대, 압축에 의한 데이터 손실량)과 코딩 효율(예컨대, 최종 인코딩의 크기) 모두의 균형을 맞춘다.
일부 예들에서, 코덱 시스템(200)은 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된 참조 픽처들의 정수 미만(sub-integer) 픽셀 포지션들에 대한 값들을 계산할 수 있다. 예를 들어, 비디오 코덱 시스템(200)은 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 부분 픽셀 포지션들의 값들을 보간할 수 있다. 따라서 모션 추정 컴포넌트(221)는 전체 픽셀 포지션들 및 부분 픽셀 포지션들에 대한 모션 탐색을 수행하고 부분 픽셀 정밀도로 모션 벡터를 출력할 수 있다. 모션 추정 컴포넌트(221)는 참조 픽처의 예측 블록의 포지션과 PU의 포지션을 비교함으로써, 인터 코딩된 슬라이스에서 비디오 블록의 PU에 대한 모션 벡터를 계산한다. 모션 추정 컴포넌트(221)는, 모션 보상 컴포넌트(219)에 대한 인코딩 및 모션을 위해, 계산된 모션 벡터를 모션 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)에 출력한다.
모션 보상 컴포넌트(219)에 의해 수행되는 모션 보상은 모션 추정 컴포넌트(221)에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치(fetch) 또는 생성하는 것을 수반할 수 있다. 또한, 모션 추정 컴포넌트(221)와 모션 보상 컴포넌트(219)는 일부 예들에서는 기능적으로 통합될 수 있다. 현재 비디오 블록의 PU에 대한 모션 벡터를 수신하면, 모션 보상 컴포넌트(219)는 모션 벡터가 가리키는 예측 블록의 위치를 찾을 수 있다. 그 다음, 코딩되고 있는 현재 비디오 블록의 픽셀 값들에서 예측 블록의 픽셀 값들을 감산함으로써 잔차 비디오 블록이 형성되어, 픽셀 차 값들을 형성한다. 일반적으로, 모션 추정 컴포넌트(221)는 루마 성분들에 대한 모션 추정을 수행하고, 모션 보상 컴포넌트(219)는 크로마 성분들과 루마 성분들 모두에 대해 루마 성분들에 기초하여 계산된 모션 벡터들을 사용한다. 예측 블록 및 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)로 전달된다.
파티셔닝된 비디오 신호(201)는 또한, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)로 송신된다. 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에서와 같이, 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 고도로 집적될 수 있지만, 개념을 위해 별도로 예시된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 위에서 설명된 바와 같이, 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)에 의해 프레임들 간에 수행되는 인터 예측에 대한 대안으로서, 현재 프레임의 블록들에 대해 현재 블록을 인트라 예측한다. 특히, 인트라 픽처 추정 컴포넌트(215)는 현재 블록을 인코딩하기 위해 사용할 인트라 예측 모드를 결정한다. 일부 예들에서, 인트라 픽처 추정 컴포넌트(215)는 다수의 시험된 인트라 예측 모드들로부터 현재 블록을 인코딩하기 위해 적절한 인트라 예측 모드를 선택한다. 그런 다음, 선택된 인트라 예측 모드들은 인코딩을 위해 헤더 포맷팅 및 CABAC 컴포넌트(231)에 전달된다.
예를 들어, 인트라 픽처 추정 컴포넌트(215)는 다양한 시험된 인트라 예측 모드들에 대한 레이트 왜곡 분석을 사용하여 레이트 왜곡 값들을 계산하고, 시험된 모드들 중 가장 양호한 레이트 왜곡 특징들을 갖는 인트라 예측 모드를 선택한다. 레이트 왜곡 분석은 일반적으로 인코딩된 블록과 인코딩된 블록을 생성하기 위해 인코딩된 원래의 인코딩되지 않은 블록 간의 왜곡(또는 에러)의 양뿐만 아니라, 인코딩된 블록을 생성하는 데 사용되는 비트 레이트(예컨대, 비트들의 수)를 결정한다. 인트라 픽처 추정 컴포넌트(215)는 어떤 인트라 예측 모드가 블록에 대해 최상의 레이트 왜곡 값을 나타내는지를 결정하기 위해 다양한 인코딩된 블록들에 대한 왜곡들 및 레이트들로부터 비율들을 계산한다. 추가로, 인트라 픽처 추정 컴포넌트(215)는 레이트 왜곡 최적화(RDO)에 기반하여 깊이 모델링 모드(DMM: depth modeling mode)를 사용하여 깊이 맵의 깊이 블록들을 코딩하도록 구성될 수 있다.
인트라 픽처 예측 컴포넌트(217)는 인코더 상에서 구현될 때 인트라 픽처 추정 컴포넌트(215)에 의해 결정된 선택된 인트라 예측 모드들에 기초하여 예측 블록으로부터 잔차 블록을 생성하거나, 디코더 상에서 구현될 때 비트스트림으로부터 잔차 블록을 판독할 수 있다. 잔차 블록은 행렬로서 표현된, 예측 블록과 원래 블록 간의 값들의 차이를 포함한다. 그 다음, 잔차 블록은 변환 스케일링 및 양자화 컴포넌트(213)에 전달된다. 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)는 루마 및 크로마 컴포넌트들 모두에 대해 동작할 수 있다.
변환 스케일링 및 양자화 컴포넌트(213)는 잔차 블록을 추가로 압축하도록 구성된다. 변환 스케일링 및 양자화 컴포넌트(213)는 이산 코사인 변환(DCT: discrete cosine transform), 이산 사인 변환(DST: discrete sine transform) 또는 개념적으로 유사한 변환과 같은 변환을 잔차 블록에 적용하여, 잔차 변환 계수 값들을 포함하는 비디오 블록을 생성한다. 웨이블릿(wavelet) 변환들, 정수 변환들, 부대역 변환들 또는 다른 타입들의 변환들도 또한 사용될 수 있다. 변환은 잔차 정보를 픽셀 값 도메인에서 주파수 도메인과 같은 변환 도메인으로 변환할 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한, 변환된 잔차 정보를 예를 들어, 주파수에 기반하여 스케일링하도록 구성된다. 이러한 스케일링은, 상이한 주파수 정보가 상이한 입도들로 양자화되도록, 스케일링 팩터를 잔차 정보에 적용하는 것을 수반하며, 이는 재구성된 비디오의 최종 시각적 품질에 영향을 미칠 수 있다. 변환 스케일링 및 양자화 컴포넌트(213)는 또한 변환 계수들을 양자화하여 비트 레이트를 더 감소시키도록 구성된다. 양자화 프로세스는 계수들 중 일부 또는 전부와 연관된 비트 깊이를 감소시킬 수 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수 있다. 일부 예들에서, 변환 스케일링 및 양자화 컴포넌트(213)는 다음에, 양자화된 변환 계수들을 포함하는 행렬의 스캔을 수행할 수 있다. 양자화된 변환 계수들은 비트스트림으로 인코딩되도록 헤더 포맷팅 및 CABAC 컴포넌트(231)로 전달된다.
스케일링 및 역변환 컴포넌트(229)는 변환 스케일링 및 양자화 컴포넌트(213)의 역 동작을 적용하여 모션 추정을 지원한다. 스케일링 및 역변환 컴포넌트(229)는 역 스케일링, 변환 및/또는 양자화를 적용하여, 픽셀 도메인의 잔차 블록을 예컨대, 다른 현재 블록에 대한 예측 블록이 될 수 있는 참조 블록으로서 나중에 사용하기 위해 재구성한다. 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)는 나중 블록/프레임의 모션 추정에 사용하기 위해 잔차 블록을 대응하는 예측 블록에 다시 추가함으로써 참조 블록을 계산할 수 있다. 재구성된 참조 블록들에 필터들이 적용되어, 스케일링, 양자화 및 변환 동안 생성된 아티팩트들을 완화한다. 그렇지 않으면, 이러한 아티팩트들은 후속 블록들이 예측될 때 부정확한 예측을 야기(그리고 추가 아티팩트들을 생성)할 수 있다.
필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 필터들을 잔차 블록들에 그리고/또는 재구성된 이미지 블록들에 적용한다. 예를 들어, 스케일링 및 역변환 컴포넌트(229)로부터의 변환된 잔차 블록은 인트라 픽처 예측 컴포넌트(217) 및/또는 모션 보상 컴포넌트(219)로부터의 대응하는 예측 블록과 조합되어 원본 이미지 블록을 재구성할 수 있다. 이어서, 필터들이 재구성된 이미지 블록에 적용될 수 있다. 일부 예들에서는, 필터들이 대신 잔차 블록들에 적용될 수 있다. 도 2의 다른 컴포넌트들에서와 같이, 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)는 고도로 통합되고 함께 구현될 수 있지만, 개념을 위해 개별적으로 도시된다. 재구성된 참조 블록들에 적용된 필터들은 특정 공간 구역들에 적용되고, 이러한 필터들이 어떻게 적용되는지를 조정하기 위한 다수의 파라미터들을 포함한다. 필터 제어 분석 컴포넌트(227)는 재구성된 참조 블록들을 분석하여 이러한 필터들이 어디에 적용되어야 하는지를 결정하고, 대응하는 파라미터들을 설정한다. 이러한 데이터는 인코딩을 위한 필터 제어 데이터로서 헤더 포맷팅 및 CABAC 컴포넌트(231)에 전달된다. 인-루프 필터 컴포넌트(225)는 필터 제어 데이터에 기반하여 이러한 필터들을 적용한다. 필터들은 블록 분리 필터, 잡음 억제 필터, SAO 필터 및 적응 루프 필터를 포함할 수 있다. 이러한 필터들은 예에 따라 공간/픽셀 도메인에서(예컨대, 재구성된 픽셀 블록 상에) 또는 주파수 도메인에서 적용될 수 있다.
인코더로서 동작할 때, 필터링된 재구성된 이미지 블록, 잔차 블록 및/또는 예측 블록은 위에서 논의된 바와 같이 모션 추정에서의 추후 사용을 위해, 디코딩된 픽처 버퍼 컴포넌트(223)에 저장된다. 디코더로서 동작할 때, 디코딩된 픽처 버퍼 컴포넌트(223)는 출력 비디오 신호의 일부로서 재구성되고 필터링된 블록들을 저장하고 디스플레이를 향해 전달한다. 디코딩된 픽처 버퍼 컴포넌트(223)는 예측 블록들, 잔차 블록들 및/또는 재구성된 이미지 블록들을 저장할 수 있는 임의의 메모리 디바이스일 수 있다.
헤더 포맷팅 및 CABAC 컴포넌트(231)는 코덱 시스템(200)의 다양한 컴포넌트들로부터 데이터를 수신하고, 이러한 데이터를 디코더를 향한 전송을 위해 코딩된 비트스트림으로 인코딩한다. 구체적으로, 헤더 포맷팅 및 CABAC 컴포넌트(231)는 제어 데이터, 이를테면 일반 제어 데이터 및 필터 제어 데이터를 인코딩하기 위한 다양한 헤더들을 생성한다. 추가로, 인트라 예측 및 모션 데이터를 포함하는 예측 데이터뿐만 아니라, 양자화된 변환 계수 데이터 형태의 잔차 데이터가 모두 비트스트림으로 인코딩된다. 최종 비트스트림은 원래의 파티셔닝된 비디오 신호(201)를 재구성하기 위해 디코더에 의해 요구되는 모든 정보를 포함한다. 이러한 정보는 또한, (코드워드 매핑 표들로도 또한 지칭되는) 인트라 예측 모드 인덱스 표들, 다양한 블록들에 대한 인코딩 컨텍스트들의 정의들, 가장 가능성 있는 인트라 예측 모드들의 지시들, 파티션 정보의 지시 등을 포함할 수 있다. 이러한 데이터는 엔트로피 코딩을 이용함으로써 인코딩될 수 있다. 예를 들어, 정보는 컨텍스트 적응적 가변 길이 코딩(CAVLC: context adaptive variable length coding), CABAC, 신택스 기반 컨텍스트 적응적 이진 산술 코딩(SBAC: syntax-based context-adaptive binary arithmetic coding), 확률 간격 분할 엔트로피(PIPE: probability interval partitioning entropy) 코딩 또는 다른 엔트로피 코딩 기술을 이용함으로써 인코딩될 수 있다. 엔트로피 코딩에 이어, 코딩된 비트스트림은 다른 디바이스(예컨대, 비디오 디코더)로 전송되거나 이후의 전송 또는 검색을 위해 보관될 수 있다.
도 3은 예시적인 비디오 인코더(300)를 예시하는 블록도이다. 비디오 인코더(300)는 코덱 시스템(200)의 인코딩 기능들을 구현하고 그리고/또는 동작 방법(100)의 단계들(101, 103, 105, 107 및/또는 109)을 구현하는 데 이용될 수 있다. 인코더(300)는 입력 비디오 신호를 파티셔닝하여, 파티셔닝된 비디오 신호(301)를 야기하며, 이는 파티셔닝된 비디오 신호(201)와 실질적으로 유사하다. 그 다음, 파티셔닝된 비디오 신호(301)는 인코더(300)의 컴포넌트들에 의해 비트스트림으로 압축 및 인코딩된다.
구체적으로, 파티셔닝된 비디오 신호(301)는 인트라 예측을 위해 인트라 픽처 예측 컴포넌트(317)에 전달된다. 인트라 픽처 예측 컴포넌트(317)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 실질적으로 유사할 수 있다. 파티셔닝된 비디오 신호(301)는 또한 디코딩된 픽처 버퍼 컴포넌트(323) 내의 참조 블록들에 기반한 인터 예측을 위해 모션 보상 컴포넌트(321)에 전달된다. 모션 보상 컴포넌트(321)는 모션 추정 컴포넌트(221) 및 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 인트라 픽처 예측 컴포넌트(317) 및 모션 보상 컴포넌트(321)로부터의 예측 블록들 및 잔차 블록들은 잔차 블록들의 변환 및 양자화를 위해 변환 및 양자화 컴포넌트(313)에 전달된다. 변환 및 양자화 컴포넌트(313)는 변환 스케일링 및 양자화 컴포넌트(213)와 실질적으로 유사할 수 있다. 변환 및 양자화된 잔차 블록들 및 대응하는 예측 블록들은 (연관된 제어 데이터와 함께) 비트스트림으로의 코딩을 위해 엔트로피 코딩 컴포넌트(331)에 전달된다. 엔트로피 코딩 컴포넌트(331)는 헤더 포맷팅 및 CABAC 컴포넌트(231)와 실질적으로 유사할 수 있다.
변환 및 양자화된 잔차 블록들 및/또는 대응하는 예측 블록들은 또한, 모션 보상 컴포넌트(321)에 의한 사용을 위한 참조 블록들로의 재구성을 위해 변환 및 양자화 컴포넌트(313)로부터 역변환 및 양자화 컴포넌트(329)로 전달된다. 역변환 및 양자화 컴포넌트(329)는 스케일링 및 역변환 컴포넌트(229)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)의 인-루프 필터들은 또한, 예에 따라 잔차 블록들 및/또는 재구성된 참조 블록들에 적용된다. 인-루프 필터 컴포넌트(325)는 필터 제어 분석 컴포넌트(227) 및 인-루프 필터 컴포넌트(225)와 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(325)는 인-루프 필터 컴포넌트(225)와 관련하여 논의된 바와 같이 다수의 필터들을 포함할 수 있다. 그 다음, 필터링된 블록들은 모션 보상 컴포넌트(321)에 의한 참조 블록들로서의 사용을 위해 디코딩된 픽처 버퍼 컴포넌트(323)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(323)는 디코딩된 픽처 버퍼 컴포넌트(223)와 실질적으로 유사할 수 있다.
도 4는 예시적인 비디오 디코더(400)를 예시하는 블록도이다. 비디오 디코더(400)는 코덱 시스템(200)의 디코딩 기능들을 구현하고 그리고/또는 동작 방법(100)의 단계들(111, 113, 115 및/또는 117)을 구현하는 데 이용될 수 있다. 디코더(400)는 예를 들어, 인코더(300)로부터 비트스트림을 수신하고, 최종 사용자에게 디스플레이하기 위해 비트스트림에 기초하여, 재구성된 출력 비디오 신호를 생성한다.
비트스트림은 엔트로피 디코딩 컴포넌트(433)에 의해 수신된다. 엔트로피 디코딩 컴포넌트(433)는 CAVLC, CABAC, SBAC, PIPE 코딩, 또는 다른 엔트로피 코딩 기술들과 같은 엔트로피 디코딩 방식을 구현하도록 구성된다. 예를 들어, 엔트로피 디코딩 컴포넌트(433)는 비트스트림의 코드워드들로서 인코딩된 추가 데이터를 해석하기 위한 컨텍스트를 제공하기 위해 헤더 정보를 이용할 수 있다. 디코딩된 정보는 비디오 신호를 디코딩하기 위한 임의의 원하는 정보, 이를테면 일반 제어 데이터, 필터 제어 데이터, 파티션 정보, 모션 데이터, 예측 데이터, 및 잔차 블록들로부터의 양자화된 변환 계수들을 포함한다. 양자화된 변환 계수들은 잔차 블록들로의 재구성을 위해 역변환 및 양자화 컴포넌트(429)에 전달된다. 역변환 및 양자화 컴포넌트(429)는 역변환 및 양자화 컴포넌트(329)와 유사할 수 있다.
재구성된 잔차 블록들 및/또는 예측 블록들은 인트라 예측 동작들에 기반하여 이미지 블록들로의 재구성을 위해 인트라 픽처 예측 컴포넌트(417)에 전달된다. 인트라 픽처 예측 컴포넌트(417)는 인트라 픽처 추정 컴포넌트(215) 및 인트라 픽처 예측 컴포넌트(217)와 유사할 수 있다. 구체적으로, 인트라 픽처 예측 컴포넌트(417)는 프레임에서 참조 블록을 로케이팅하기 위해 예측 모드들을 이용하고, 결과에 잔차 블록을 적용하여 인트라 예측된 이미지 블록들을 재구성한다. 재구성된 인트라 예측된 이미지 블록들 및/또는 잔차 블록들 및 대응하는 인터 예측 데이터는 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)에 전달되는데, 이들은 루프 필터 컴포넌트(225) 및 디코딩된 픽처 버퍼 컴포넌트(223)와 각각 실질적으로 유사할 수 있다. 인-루프 필터 컴포넌트(425)는 재구성된 이미지 블록들, 잔차 블록들 및/또는 예측 블록들을 필터링하고, 이러한 정보는 디코딩된 픽처 버퍼 컴포넌트(423)에 저장된다. 디코딩된 픽처 버퍼 컴포넌트(423)로부터의 재구성된 이미지 블록들은 인터 예측을 위해 모션 보상 컴포넌트(421)에 전달된다. 모션 보상 컴포넌트(421)는 모션 추정 컴포넌트(221) 및/또는 모션 보상 컴포넌트(219)와 실질적으로 유사할 수 있다. 구체적으로, 모션 보상 컴포넌트(421)는 예측 블록을 생성하기 위해 참조 블록으로부터의 모션 벡터들을 이용하고, 이미지 블록을 재구성하기 위해 결과에 잔차 블록을 적용한다. 결과적인 재구성된 블록들은 또한 인-루프 필터 컴포넌트(425)를 통해 디코딩된 픽처 버퍼 컴포넌트(423)에 전달될 수 있다. 디코딩된 픽처 버퍼 컴포넌트(423)는 파티션 정보를 통해 프레임들로 재구성될 수 있는 추가 재구성된 이미지 블록들을 계속해서 저장한다. 이러한 프레임들은 또한 시퀀스로 배치될 수 있다. 시퀀스는 재구성된 출력 비디오 신호로서 디스플레이를 향해 출력된다.
도 5는 예시적인 비트스트림(500) 및 비트스트림(500)으로부터 추출된 서브 비트스트림(501)을 예시하는 개략도이다. 예를 들어, 비트스트림(500)은 코덱 시스템(200) 및/또는 디코더(400)에 의한 디코딩을 위해 코덱 시스템(200) 및/또는 인코더(300)에 의해 생성될 수 있다. 다른 예로서, 비트스트림(500)은 단계(111)에서 디코더에 의한 사용을 위해 방법(100)의 단계(109)에서 인코더에 의해 생성될 수 있다.
비트스트림(500)은 시퀀스 파라미터 세트(SPS)(510), 복수의 픽처 파라미터 세트(PPS)들(512), 복수의 슬라이스 헤더들(514), 이미지 데이터(520) 및 하나 이상의 SEI 메시지들(515)을 포함한다. SPS(510)는 비트스트림(500)에 포함된 비디오 시퀀스의 모든 픽처들에 공통인 시퀀스 데이터를 포함한다. 이러한 데이터는 픽처 크기 결정, 비트 깊이, 코딩 툴 파라미터들, 비트 레이트 제약들 등을 포함할 수 있다. PPS(512)는 하나 이상의 대응하는 픽처들에 특정한 파라미터들을 포함한다. 그러므로 비디오 시퀀스의 각각의 픽처는 하나의 PPS(512)를 참조할 수 있다. PPS(512)는 대응하는 픽처들 내의 타일들에 대해 이용 가능한 코딩 툴들, 양자화 파라미터들, 오프셋들, 픽처 특정 코딩 툴 파라미터들(예컨대, 필터 제어들) 등을 지시할 수 있다. 슬라이스 헤더(514)는 픽처의 하나 이상의 대응하는 슬라이스들(524)에 특정한 파라미터들을 포함한다. 그러므로 비디오 시퀀스의 각각의 슬라이스(524)는 슬라이스 헤더(514)를 참조할 수 있다. 슬라이스 헤더(514)는 슬라이스 타입 정보, 픽처 순서 카운트(POC)들, 참조 픽처 리스트들, 예측 가중치들, 타일 진입점들, 블록 분리 파라미터들 등을 포함할 수 있다. 일부 예들에서, 슬라이스들(524)은 타일 그룹들로 지칭될 수 있다. 이러한 경우, 슬라이스 헤더(514)는 타일 그룹 헤더로 지칭될 수 있다. SEI 메시지들(515)은, 블록 디코딩에 필요하지 않지만, 픽처 출력 타이밍, 디스플레이 설정들, 손실 검출, 손실 은닉 등의 지시와 같은 관련 목적들로 이용될 수 있는 메타데이터를 포함하는 선택적인 메시지들이다.
이미지 데이터(520)는 인터 예측 및/또는 인트라 예측에 따라 인코딩된 비디오 데이터뿐만 아니라 대응하는 변환 및 양자화된 잔차 데이터를 포함한다. 이러한 이미지 데이터(520)는 인코딩 전에 이미지를 파티셔닝하는 데 사용되는 파티셔닝에 따라 정렬된다. 예를 들어, 비디오 시퀀스는 픽처들(521)로 분할된다. 픽처들(521)은 서브픽처들(522)로 추가 분할될 수 있으며, 서브픽처들(522)은 슬라이스들(524)로 분할된다. 슬라이스들(524)은 타일들 및/또는 CTU들로 추가 분할될 수 있다. CTU들은 코딩 트리들에 기반하여 코딩 블록들로 추가 분할된다. 이어서, 코딩 블록들은 예측 메커니즘들에 따라 인코딩/디코딩될 수 있다. 예를 들어, 픽처(521)는 하나 이상의 서브픽처들(522)을 포함할 수 있다. 서브픽처(522)는 하나 이상의 슬라이스들(524)을 포함할 수 있다. 픽처(521)는 PPS(512)를 참조하고, 슬라이스들(524)은 슬라이스 헤더(514)를 참조한다. 서브픽처들(522)은 (세그먼트로 또한 알려진) 전체 비디오 시퀀스에 걸쳐 일관되게 파티셔닝될 수 있고, 그러므로 SPS(510)를 참조할 수 있다. 각각의 슬라이스(524)는 하나 이상의 타일들을 포함할 수 있다. 각각의 슬라이스(524) 및 그에 따른 픽처(521) 및 서브픽처(522)는 또한 복수의 CTU들을 포함할 수 있다.
각각의 픽처(521)는 대응하는 시간 순간에 대한 비디오 시퀀스와 연관된 시각적 데이터의 전체 세트를 포함할 수 있다. 그러나 특정 애플리케이션들은 일부 경우들에는 픽처(521)의 일부만을 디스플레이하기를 원할 수 있다. 예를 들어, 가상 현실(VR: virtual reality) 시스템은 픽처(521)의 사용자 선택 구역을 디스플레이할 수 있으며, 이는 픽처(521)에 묘사된 장면에 존재하는 느낌을 생성한다. 사용자가 보기를 원할 수 있는 구역은 비트스트림(500)이 인코딩될 때 알려지지 않는다. 이에 따라, 픽처(521)는 사용자가 잠재적으로 서브픽처들(522)로서 볼 수 있는 각각의 가능한 구역을 포함할 수 있으며, 이는 사용자 입력에 기반하여 개별적으로 디코딩되어 디스플레이될 수 있다. 다른 애플리케이션들은 관심 구역을 개별적으로 디스플레이할 수 있다. 예를 들어, 픽처 내에 픽처를 갖는 텔레비전은 관련되지 않은 비디오 시퀀스의 픽처(521)에 걸쳐 하나의 비디오 시퀀스로부터 특정 구역, 및 그에 따라 서브픽처(522)를 디스플레이하기를 원할 수 있다. 또 다른 예에서, 원격 회의 시스템들은 현재 말하고 있는 사용자의 전체 픽처(521) 및 현재 말하고 있지 않은 사용자의 서브픽처(522)를 디스플레이할 수 있다. 이에 따라, 서브픽처(522)는 픽처(521)의 정의된 구역을 포함할 수 있다. 일시적으로 모션 제약되는 서브픽처(522)는 픽처(521)의 나머지로부터 개별적으로 디코딩 가능할 수 있다. 구체적으로, 시간적 모션 제약 서브픽처는 시간적 모션 제약 서브픽처 외부의 샘플들에 대한 참조 없이 인코딩되고, 따라서 픽처(521)의 나머지에 대한 참조 없이 완전한 디코딩을 위한 충분한 정보를 포함한다.
각각의 슬라이스(524)는 상부 좌측 코너에서의 CTU 및 최하부 우측 코너에서의 CTU에 의해 정의된 직사각형일 수 있다. 일부 예들에서, 슬라이스(524)는 좌측에서 우측으로 그리고 위에서 아래로 진행하는 래스터 스캔 순서로 일련의 타일들 및/또는 CTU들을 포함한다. 다른 예들에서, 슬라이스(524)는 직사각형 슬라이스이다. 직사각형 슬라이스는 래스터 스캔 순서에 따라 픽처의 전체 폭을 가로지르지 않을 수 있다. 대신에, 직사각형 슬라이스는 CTU 및/또는 타일 행들 그리고 CTU 및/또는 타일 열들에 관해 정의된 픽처(521) 및/또는 서브픽처(522)의 직사각형 및/또는 정사각형 구역을 포함할 수 있다. 슬라이스(524)는 디코더에 의해 개별적으로 디스플레이될 수 있는 가장 작은 유닛이다. 그러므로 픽처(521)로부터의 슬라이스들(524)이 상이한 서브픽처들(522)에 할당되어 픽처(521)의 원하는 구역들을 개별적으로 묘사할 수 있다.
디코더는 픽처(521)의 하나 이상의 서브픽처들(523)을 디스플레이할 수 있다. 서브픽처들(523)은 서브픽처들(522)의 사용자 선택 또는 미리 정의된 하위 그룹이다. 예를 들어, 픽처(521)는 9개의 서브픽처들(522)로 분할될 수 있지만, 디코더는 서브픽처들(522)의 그룹으로부터의 단일 서브픽처(523)만을 디스플레이할 수 있다. 서브픽처들(523)은 슬라이스들(524)의 선택된 또는 미리 정의된 하위 그룹인 슬라이스들(525)을 포함한다. 서브픽처들(523)의 개별 디스플레이를 허용하기 위해, 서브 비트스트림(501)이 비트스트림(500)으로부터 추출(529)될 수 있다. 추출(529)은 디코더가 서브 비트스트림(501)만을 수신하도록 인코더 측에서 발생할 수 있다. 다른 경우들에는, 전체 비트스트림(500)이 디코더에 전송되고, 디코더는 개별 디코딩을 위해 서브 비트스트림(501)을 추출(529)한다. 서브 비트스트림(501)은 또한, 일부 경우들에는 일반적으로 비트스트림으로 지칭될 수 있다는 점이 주목되어야 한다. 서브 비트스트림(501)은 SPS(510), PPS(512), 선택된 서브픽처들(523)뿐만 아니라, 서브픽처들(523) 및/또는 슬라이스들(525)과 관련된 SEI 메시지들(515) 및 슬라이스 헤더들(514)을 포함한다.
본 개시내용은 디코더에서의 서브픽처들(523)의 선택 및 디스플레이를 위한 서브픽처들(522)의 효율적인 코딩을 지원하기 위해 다양한 데이터를 시그널링한다. SPS(510)는 서브픽처들(522)의 완전한 세트와 관련된 서브픽처 크기(531), 서브픽처 위치(532) 및 서브픽처 ID들(533)을 포함한다. 서브픽처 크기(531)는 대응하는 서브픽처(522)에 대한 루마 샘플들의 서브픽처 높이 및 루마 샘플들의 서브픽처 폭을 포함한다. 서브픽처 위치(532)는 대응하는 서브픽처(522)의 최상부 좌측 샘플과 픽처(521)의 최상부 좌측 샘플 간의 오프셋 거리를 포함한다. 서브픽처 위치(532) 및 서브픽처 크기(531)는 대응하는 서브픽처(522)의 레이아웃을 정의한다. 서브픽처 ID(533)는 대응하는 서브픽처(522)를 고유하게 식별하는 데이터를 포함한다. 서브픽처 ID(533)는 서브픽처(522) 래스터 스캔 인덱스 또는 다른 정의된 값일 수 있다. 그러므로 디코더는 SPS(510)를 판독하고, 각각의 서브픽처(522)의 크기, 위치 및 ID를 결정할 수 있다. 일부 비디오 코딩 시스템들에서는, 서브픽처(522)가 픽처(521)로부터 파티셔닝되기 때문에, 서브픽처들(522)에 관련된 데이터가 PPS(512)에 포함될 수 있다. 그러나 서브픽처들(522)을 생성하기 위해 사용되는 파티션들은 비디오 시퀀스/세그먼트에 걸쳐 일관된 서브픽처(522) 파티션들에 의존하는 애플리케이션들, 이를테면 ROI 기반 애플리케이션들, VR 애플리케이션들 등에 의해 사용될 수 있다. 이에 따라, 서브픽처(522) 파티션들은 일반적으로 픽처 단위로 변하지 않는다. SPS(510)에 서브픽처들(522)에 대한 레이아웃 정보를 배치하는 것은 레이아웃이 (일부 경우들에는 각각의 픽처(521)에 대해 시그널링될 수 있는) 각각의 PPS(512)에 대해 중복으로 시그널링되기보다는 시퀀스/세그먼트에 대해 단지 한번만 시그널링되는 것을 보장한다. 또한, 이러한 정보를 도출하기 위해 디코더에 의존하는 대신에, 서브픽처(522) 정보를 시그널링하는 것은, 손실된 패킷들의 경우에 에러의 가능성을 감소시키고, 서브픽처들(523)을 추출하는 측면에서 추가 기능을 지원한다. 이에 따라, SPS(510)에서 서브픽처(522) 레이아웃을 시그널링하는 것은 인코더 및/또는 디코더의 기능을 개선한다.
SPS(510)는 또한 서브픽처들(522)의 완전한 세트와 관련된 모션 제약 서브픽처 플래그들(534)을 포함한다. 모션 제약 서브픽처 플래그들(534)은 각각의 서브픽처(522)가 시간적 모션 제약 서브픽처인지 여부를 지시한다. 그러므로 디코더는 모션 제약 서브픽처 플래그들(534)을 판독하고, 다른 서브픽처들(522)을 디코딩하지 않고서 서브픽처들(522) 중 어느 것이 개별적으로 추출되고 디스플레이될 수 있는지를 결정할 수 있다. 이는 선택된 서브픽처들(522)이 시간적 모션 제약 서브픽처들로서 코딩될 수 있게 하는 한편, 증가된 코딩 효율을 위해 다른 서브픽처들(522)이 이러한 제약들 없이 코딩될 수 있게 한다.
서브픽처 ID들(533)은 또한 슬라이스 헤더들(514)에 포함된다. 각각의 슬라이스 헤더(514)는 슬라이스들(524)의 대응하는 세트에 관련된 데이터를 포함한다. 이에 따라, 슬라이스 헤더(514)는 슬라이스 헤더(514)와 연관된 슬라이스들(524)에 대응하는 서브픽처 ID들(533)만을 포함한다. 이에 따라, 디코더는 슬라이스(524)를 수신하고, 슬라이스 헤더(514)로부터 서브픽처 ID(533)를 획득하여, 어느 서브픽처(522)가 슬라이스(524)를 포함하는지를 결정할 수 있다. 디코더는 또한 슬라이스 헤더(514)로부터의 서브픽처 ID(533)를 사용하여 SPS(510) 내의 관련 데이터와 상관시킬 수 있다. 이에 따라, 디코더는 SPS(510) 및 관련 슬라이스 헤더들(514)을 판독함으로써 서브픽처들(522/523) 및 슬라이스들(524/525)을 어떻게 포지셔닝할지를 결정할 수 있다. 이는, 일부 서브픽처들(522)이 전송 시에 손실되거나 코딩 효율을 높이기 위해 의도적으로 생략되더라도, 서브픽처들(523) 및 슬라이스들(525)이 디코딩될 수 있게 한다.
SEI 메시지(515)는 또한 서브픽처 레벨(535)을 포함할 수 있다. 서브픽처 레벨(535)은 대응하는 서브픽처(522)를 디코딩하는 데 필요한 하드웨어 자원들을 지시한다. 이런 식으로, 각각의 서브픽처(522)는 다른 서브픽처들(522)과 독립적으로 코딩될 수 있다. 이는, 각각의 서브픽처(522)가 디코더에서 정확한 양의 하드웨어 자원들을 할당 받을 수 있음을 보장한다. 이러한 서브픽처 레벨(535)이 없으면, 각각의 서브픽처(522)에는 가장 복잡한 서브픽처(522)를 디코딩하기에 충분한 자원들이 할당될 것이다. 그러므로 서브픽처 레벨(535)은, 서브픽처들(522)이 다양한 하드웨어 자원 요건들과 연관된다면, 디코더가 하드웨어 자원들을 오버 할당하는 것을 방지한다.
도 6은 서브픽처들(622)로 파티셔닝된 예시적인 픽처(600)를 예시하는 개략도이다. 예를 들어, 픽처(600)는 예를 들어, 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해 비트스트림(500)으로 인코딩되고 비트스트림(500)으로부터 디코딩될 수 있다. 추가로, 픽처(600)는 방법(100)에 따른 인코딩 및 디코딩을 지원하도록 서브 비트스트림(501)으로 파티셔닝되고 그리고/또는 포함될 수 있다.
픽처(600)는 픽처(521)와 실질적으로 유사할 수 있다. 또한, 픽처(600)는 서브픽처들(522)과 실질적으로 유사한 서브픽처들(622)로 파티셔닝될 수 있다. 서브픽처들(622)은 각각, 서브픽처 크기(531)로서 비트스트림(500)에 포함될 수 있는 서브픽처 크기(631)를 포함한다. 서브픽처 크기(631)는 서브픽처 폭(631a) 및 서브픽처 높이(631b)를 포함한다. 서브픽처 폭(631a)은 루마 샘플들의 단위들의 대응하는 서브픽처(622)의 폭이다. 서브픽처 높이(631b)는 루마 샘플들의 단위들의 대응하는 서브픽처(622)의 높이이다. 서브픽처들(622)은 각각 서브픽처 ID(633)를 포함하며, 이는 서브픽처 ID(633)로서 비트스트림(500)에 포함될 수 있다. 서브픽처 ID(633)는 각각의 서브픽처(622)를 고유하게 식별하는 임의의 값일 수 있다. 도시된 예에서, 서브픽처 ID(633)는 서브픽처(622) 인덱스이다. 서브픽처들(622)은 각각, 서브픽처 위치(532)로서 비트스트림(500)에 포함될 수 있는 위치(632)를 포함한다. 위치(632)는 대응하는 서브픽처(622)의 최상부 좌측 샘플과 픽처(600)의 최상부 좌측 샘플(642) 간의 오프셋으로서 표현된다.
또한 도시된 바와 같이, 일부 서브픽처들(622)은 시간적 모션 제약 서브픽처들(634)일 수 있고, 다른 서브픽처들(622)은 그렇지 않을 수 있다. 도시된 예에서, 5의 서브픽처 ID(633)를 갖는 서브픽처(622)는 시간적 모션 제약 서브픽처(634)이다. 이는 5로서 식별된 서브픽처(622)가 어떠한 다른 서브픽처(622)에 대한 참조도 없이 코딩되고, 따라서 다른 서브픽처들(622)로부터의 데이터를 고려하지 않고 추출되어 개별적으로 디코딩될 수 있음을 나타낸다. 어느 서브픽처들(622)이 시간적 모션 제약 서브픽처들(634)인지의 지시는 비트스트림(500)에서 모션 제약 서브픽처 플래그들(534)로 시그널링될 수 있다.
도시된 바와 같이, 서브픽처들(622)은 갭 또는 오버랩 없이 픽처(600)를 커버하도록 제한될 수 있다. 갭은 임의의 서브픽처(622)에 포함되지 않는 픽처(600)의 구역이다. 오버랩은 하나보다 많은 서브픽처(622)에 포함되는 픽처(600)의 구역이다. 도 6에 도시된 예에서, 서브픽처들(622)은 갭들과 오버랩들 모두를 방지하도록 픽처(600)로부터 파티셔닝된다. 갭들은 픽처(600) 샘플들이 서브픽처들(622)에서 제외되게 한다. 오버랩들은 연관된 슬라이스들이 다수의 서브픽처들(622)에 포함되게 한다. 따라서 갭들 및 오버랩들은 서브픽처들(622)이 상이하게 코딩될 때 샘플들이 차등 처리에 의해 영향을 받게 할 수 있다. 이것이 인코더에서 허용된다면, 디코더는 디코딩 방식이 별로 사용되지 않는 경우에도 이러한 코딩 방식을 지원해야 한다. 서브픽처(622) 갭들 및 오버랩들을 허용하지 않음으로써, 디코더가 서브픽처 크기들(631) 및 위치들(632)을 결정할 때 잠재적인 갭들 및 오버랩들을 고려할 필요가 없기 때문에, 디코더의 복잡도가 감소될 수 있다. 추가로, 서브픽처(622) 갭들 및 오버랩들을 허용하지 않는 것은 인코더에서 RDO 프로세스들의 복잡성을 감소시킨다. 이는, 인코더가 비디오 시퀀스에 대한 인코딩을 선택할 때 갭 및 오버랩 경우들을 고려하는 것을 생략할 수 있다. 이에 따라, 갭들 및 오버랩들을 피하는 것은 인코더 및 디코더에서 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킬 수 있다.
도 7은 슬라이스들(724)을 서브픽처(722) 레이아웃에 관련시키기 위한 예시적인 메커니즘(700)을 예시하는 개략도이다. 예를 들어, 메커니즘(700)은 픽처(600)에 적용될 수 있다. 추가로, 메커니즘(700)은 비트스트림(500)의 데이터에 기초하여, 예를 들어 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해 적용될 수 있다. 또한, 메커니즘(700)은 방법(100)에 따른 인코딩 및 디코딩을 지원하는 데 이용될 수 있다.
메커니즘(700)은 서브픽처(722) 내의 슬라이스들(724), 이를테면 슬라이스들(524/525) 및 서브픽처들(522/523)에 각각 적용될 수 있다. 도시된 예에서, 서브픽처(722)는 제1 슬라이스(724a), 제2 슬라이스(724b) 및 제3 슬라이스(724c)를 포함한다. 슬라이스들(724) 각각에 대한 슬라이스 헤더들은 서브픽처(722)에 대한 서브픽처 ID(733)를 포함한다. 디코더는 슬라이스 헤더로부터의 서브픽처 ID(733)를 SPS의 서브픽처 ID(733)와 매칭시킬 수 있다. 그런 다음, 디코더는 서브픽처 ID(733)에 기초하여 SPS로부터 서브픽처(722)의 위치(732) 및 크기를 결정할 수 있다. 위치(732)를 사용하여, 서브픽처(722)는 픽처의 최상부 좌측 코너(742)에서 최상부 좌측 샘플에 대해 배치될 수 있다. 크기는 위치(732)에 대한 서브픽처(722)의 높이 및 폭을 설정하는 데 사용될 수 있다. 그 다음, 슬라이스들(724)이 서브픽처(722)에 포함될 수 있다. 이에 따라, 슬라이스들(724)은 다른 서브픽처들에 대한 참조 없이 서브픽처 ID(733)에 기초하여 정확한 서브픽처(722)에 포지셔닝될 수 있다. 이는, 다른 손실된 서브픽처들이 서브픽처(722)의 디코딩을 변경하지 않기 때문에 에러 정정을 지원한다. 이는 또한, 서브픽처(722)만을 추출하고 다른 서브픽처들을 전송하는 것을 피하는 애플리케이션들을 지원한다. 그러므로 서브픽처 ID들(733)은 증가된 기능 및/또는 증가된 코딩 효율을 지원하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
도 8은 서브픽처들(822)로 파티셔닝된 다른 예시적인 픽처(800)를 예시하는 개략도이다. 픽처(800)는 픽처(600)와 실질적으로 유사할 수 있다. 추가로, 픽처(800)는 예를 들어, 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)에 의해 비트스트림(500)으로 인코딩되고 비트스트림(500)으로부터 디코딩될 수 있다. 추가로, 픽처(800)는 방법(100) 및/또는 메커니즘(700)에 따른 인코딩 및 디코딩을 지원하도록 서브 비트스트림(501)으로 파티셔닝되고 그리고/또는 포함될 수 있다.
픽처(800)는 서브픽처들(522, 523, 622 및/또는 722)과 실질적으로 유사할 수 있는 서브픽처들(822)을 포함한다. 서브픽처들(822)은 복수의 CTU들(825)로 분할된다. CTU(825)는 표준화된 비디오 코딩 시스템들에서의 기본 코딩 유닛이다. CTU(825)는 코딩 트리에 의해 코딩 블록들로 세분되며, 코딩 블록들은 인터 예측 또는 인트라 예측에 따라 코딩된다. 도시된 바와 같이, 일부 서브픽처들(822a)은 CTU(825) 크기의 배수들인 서브픽처 폭들 및 서브픽처 높이들을 포함하도록 제한된다. 도시된 예에서, 서브픽처들(822a)은 6개의 CTU들(825)의 높이 및 5개의 CTU들(825)의 폭을 갖는다. 픽처들의 우측 경계(801) 상에 포지셔닝된 서브픽처들(822b) 및 픽처들의 최하부 경계(802) 상에 포지셔닝된 서브픽처들(822c)에 대해서는 이러한 제약이 제거된다. 도시된 예에서, 서브픽처들(822b)은 5개 내지 6개의 CTU들(825)의 폭을 갖는다. 그러나 픽처 최하부 경계(802) 상에 포지셔닝되지 않은 서브픽처들(822b)은 CTU(825) 크기의 배수인 서브픽처 높이를 유지하도록 여전히 제한된다. 도시된 예에서, 서브픽처들(822c)은 6개 내지 7개의 CTU들(825)의 높이를 갖는다. 그러나 픽처 우측 경계(801) 상에 포지셔닝되지 않은 서브픽처들(822c)은 CTU(825) 크기의 배수인 서브픽처 폭을 유지하도록 여전히 제한된다.
위에서 언급된 바와 같이, 일부 비디오 시스템들은 CTU(825) 크기의 배수인 높이들 및 폭들을 포함하도록 서브픽처들(822)을 제한할 수 있다. 이는 서브픽처들(822)이 다수의 픽처 레이아웃들, 예를 들어 CTU(825) 크기의 배수가 아닌 전체 폭 또는 높이를 포함하는 픽처(800)로 정확하게 동작하는 것을 막을 수 있다. 최하부 서브픽처들(822c) 및 우측 서브픽처들(822b)이 각각 CTU(825) 크기의 배수들이 아닌 높이들 및 폭들을 포함할 수 있게 함으로써, 서브픽처들(822)은 디코딩 에러들을 야기하지 않으면서 임의의 픽처(800)와 함께 사용될 수 있다. 이는 인코더 및 디코더 기능의 증가를 야기한다. 추가로, 증가된 기능은 인코더가 픽처들을 보다 효율적으로 코딩할 수 있게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
본 명세서에서 설명되는 바와 같이, 본 개시내용은 비디오 코딩에서 서브픽처 기반 픽처 파티셔닝을 위한 설계들을 설명한다. 서브픽처는 픽처에 대해 사용되는 것과 유사한 디코딩 프로세스를 사용하여 독립적으로 디코딩될 수 있는 픽처 내의 직사각형 영역이다. 본 개시내용은 코딩된 비디오 시퀀스 및/또는 비트스트림에서의 서브픽처들의 시그널링뿐만 아니라 서브픽처 추출을 위한 프로세스에 관한 것이다. 기술들의 설명들은 ITU-T 및 ISO/IEC의 JVET에 의한 VVC에 기반한다. 그러나 이 기술들은 다른 비디오 코덱 규격들에도 또한 적용된다. 다음은 본 명세서에서 설명되는 예시적인 실시예들이다. 이러한 실시예들은 개별적으로 또는 조합하여 적용될 수 있다.
코딩된 비디오 시퀀스(CVS)에 존재할 수 있는 서브픽처들에 관련된 정보는 SPS와 같은 시퀀스 레벨 파라미터 세트에서 시그널링될 수 있다. 이러한 시그널링은 다음의 정보를 포함할 수 있다. CVS의 각각의 픽처에 존재하는 서브픽처들의 수는 SPS에서 시그널링될 수 있다. SPS 또는 CVS와 관련하여, 모든 액세스 유닛(AU: access unit)들에 대한 콜로케이트된 서브픽처들은 집합적으로 서브픽처 시퀀스로 지칭될 수 있다. 각각의 서브픽처의 특성들을 설명하는 정보를 추가로 특정하기 위한 루프가 또한 SPS에 포함될 수 있다. 이 정보는 서브픽처 식별, 서브픽처의 위치(예컨대, 서브픽처의 최상부 좌측 코너 루마 샘플과 픽처의 최상부 좌측 코너 루마 샘플 간의 오프셋 거리) 및 서브픽처의 크기를 포함할 수 있다. 추가로, SPS는 각각의 서브픽처가 (MCTS의 기능을 포함하는) 모션 제약 서브픽처인지 여부를 시그널링할 수 있다. 각각의 서브픽처에 대한 프로파일(profile), 티어(tier) 및 레벨 정보는 또한 디코더에서 시그널링되거나 도출 가능할 수 있다. 이러한 정보는 원본 비트스트림으로부터 서브픽처들을 추출함으로써 생성된 비트스트림에 대한 프로파일, 티어 및 레벨 정보를 결정하는 데 이용될 수 있다. 각각의 서브픽처의 프로파일 및 티어는 전체 비트스트림의 프로파일 및 티어와 동일하도록 도출될 수 있다. 각각의 서브픽처에 대한 레벨은 명시적으로 시그널링될 수 있다. 이러한 시그널링은 SPS에 포함된 루프에 존재할 수 있다. 시퀀스 레벨 가상 참조 디코더(HRD: hypothetical reference decoder) 파라미터들은 각각의 서브픽처(또는 동등하게, 각각의 서브픽처 시퀀스)에 대해 SPS의 비디오 사용성 정보(VUI: video usability information) 섹션에서 시그널링될 수 있다.
픽처가 2개 이상의 서브픽처들로 파티셔닝되지 않을 때, 서브픽처 ID를 제외한 서브픽처의 특성들(예컨대, 위치, 크기 등)은 비트스트림에 존재하지/시그널링되지 않을 수 있다. CVS에서 픽처들의 서브픽처가 추출될 때, 새로운 비트스트림의 각각의 액세스 유닛은 서브픽처들을 포함하지 않을 수 있다. 이 경우, 새로운 비트스트림의 각각의 AU의 픽처는 다수의 서브픽처들로 파티셔닝되지 않는다. 따라서 SPS에서의 위치 및 크기와 같은 서브픽처 특성들을 시그널링할 필요가 없는데, 이는 그러한 정보가 픽처 특성들로부터 도출될 수 있기 때문이다. 그러나 서브픽처 식별은, 추출된 서브픽처에 포함되는 VCL NAL 유닛들/타일 그룹들에 의해 참조될 수 있는 ID로서 여전히 시그널링될 수 있다. 이는 서브픽처 ID들이 서브픽처를 추출할 때 동일하게 유지될 수 있게 할 수 있다.
픽처에서의 서브픽처의 위치(x 오프셋 및 y 오프셋)는 루마 샘플들의 단위로 시그널링될 수 있다. 위치는 서브픽처의 최상부 좌측 코너 루마 샘플과 픽처의 최상부 좌측 코너 루마 샘플 간의 거리를 나타낸다. 대안으로, 픽처에서의 서브픽처의 위치는 최소 코딩 루마 블록 크기(MinCbSizeY)의 단위로 시그널링될 수 있다. 대안으로, 서브픽처 위치 오프셋들의 단위는 파라미터 세트의 신택스 엘리먼트에 의해 명시적으로 지시될 수 있다. 유닛은 CtbSizeY, MinCbSizeY, 루마 샘플 또는 다른 값들일 수 있다.
서브픽처의 크기(서브픽처 폭 및 서브픽처 높이)는 루마 샘플들의 단위로 시그널링될 수 있다. 대안으로, 서브픽처의 크기는 최소 코딩 루마 블록 크기(MinCbSizeY)의 단위로 시그널링될 수 있다. 대안으로, 서브픽처 크기 값들의 단위는 파라미터 세트의 신택스 엘리먼트에 의해 명시적으로 지시될 수 있다. 유닛은 CtbSizeY, MinCbSizeY, 루마 샘플 또는 다른 값들일 수 있다. 서브픽처의 우측 경계가 픽처의 우측 경계와 일치하지 않을 때, 서브픽처의 폭은 루마 CTU 크기(CtbSizeY)의 정수배일 것이 요구될 수 있다. 마찬가지로, 서브픽처의 최하부 경계가 픽처의 최하부 경계와 일치하지 않을 때, 서브픽처의 높이는 루마 CTU 크기(CtbSizeY)의 정수배일 것이 요구될 수 있다. 서브픽처의 폭이 루마 CTU 크기의 정수배가 아니라면, 서브픽처는 픽처에서 최우측 포지션에 위치될 것이 요구될 수 있다. 마찬가지로, 서브픽처의 높이가 루마 CTU 크기의 정수배가 아니라면, 서브픽처는 픽처에서 최하부 포지션에 위치될 것이 요구될 수 있다. 일부 경우들에서, 서브픽처의 폭은 루마 CTU 크기의 단위로 시그널링될 수 있지만, 서브픽처의 폭은 루마 CTU 크기의 정수배가 아니다. 이 경우, 루마 샘플들의 실제 폭은 서브픽처의 오프셋 위치에 기반하여 도출될 수 있다. 서브픽처의 폭은 루마 CTU 크기에 기반하여 도출될 수 있고, 픽처의 높이는 루마 샘플들에 기반하여 도출될 수 있다. 마찬가지로, 서브픽처의 높이는 루마 CTU 크기의 단위로 시그널링될 수 있지만, 서브픽처의 높이는 루마 CTU 크기의 정수배가 아니다. 이러한 경우, 루마 샘플의 실제 높이는 서브픽처의 오프셋 위치에 기반하여 도출될 수 있다. 서브픽처의 높이는 루마 CTU 크기에 기반하여 도출될 수 있고, 픽처의 높이는 루마 샘플들에 기반하여 도출될 수 있다.
임의의 서브픽처에 대해, 서브픽처 ID는 서브픽처 인덱스와 상이할 수 있다. 서브픽처 인덱스는 SPS 내의 서브픽처들의 루프에서 시그널링되는 서브픽처의 인덱스일 수 있다. 서브픽처 ID는 픽처에서 서브픽처 래스터 스캔 순서의 서브픽처의 인덱스일 수 있다. 각각의 서브픽처의 서브픽처 ID의 값이 서브픽처 인덱스와 동일할 때, 서브픽처 ID가 시그널링되거나 도출될 수 있다. 각각의 서브픽처의 서브픽처 ID가 서브픽처 인덱스와 상이할 때, 서브픽처 ID는 명시적으로 시그널링된다. 서브픽처 ID들의 시그널링을 위한 비트들의 수는 서브픽처 특성들을 포함하는 동일한 파라미터 세트에서(예컨대, SPS에서) 시그널링될 수 있다. 서브픽처 ID에 대한 일부 값들은 특정 목적들로 예비될 수 있다. 예를 들어, 어느 서브픽처가 타일 그룹을 포함하는지를 특정하기 위해 타일 그룹 헤더들이 서브픽처 ID들을 포함할 때, 0 값이 예비되고 서브픽처들에 대해 사용되지 않아, 에뮬레이션 방지 코드의 우발적인 포함을 피하도록 타일 그룹 헤더의 처음 몇 비트들이 전부 0이 아닌 것을 보장할 수 있다. 픽처의 서브픽처들이 갭 없이 그리고 오버랩 없이 픽처의 전체 영역을 커버하지 않는 선택적인 경우들에서, 값(예컨대, 1 값)은 임의의 서브픽처의 일부가 아닌 타일 그룹들에 대해 예비될 수 있다. 대안으로, 나머지 영역의 서브픽처 ID는 명시적으로 시그널링된다. 서브픽처 ID를 시그널링하기 위한 비트들의 수는 다음과 같이 제한될 수 있다. 값 범위는 서브픽처 ID의 예비된 값들을 포함하여, 픽처 내의 모든 서브픽처들을 고유하게 식별하기에 충분해야 한다. 예를 들어, 서브픽처 ID에 대한 비트들의 최소 수는 Ceil( Log2( 픽처 내의 서브픽처들의 수 + 예비된 서브픽처 ID의 수 )의 값일 수 있다.
서브픽처들의 결합은 갭 없이 그리고 오버랩 없이 전체 픽처를 커버해야 한다고 제한될 수 있다. 이러한 제약이 적용될 때, 각각의 서브픽처에 대해, 서브픽처가 모션 제약 서브픽처인지 여부를 특정하기 위한 플래그가 존재할 수 있으며, 이는 서브픽처가 추출될 수 있음을 지시한다. 대안으로, 서브픽처들의 결합이 전체 픽처를 커버하지 않을 수 있지만, 오버랩들은 허용되지 않을 수 있다.
추출기가 NAL 유닛 비트들의 나머지를 파싱할 것을 요구하지 않으면서, 서브픽처 추출 프로세스를 보조하기 위해 NAL 유닛 헤더 바로 뒤에 서브픽처 ID들이 존재할 수 있다. VCL NAL 유닛들의 경우, 서브픽처 ID는 타일 그룹 헤더들의 첫 번째 비트들에 존재할 수 있다. 비 -VCL NAL 유닛의 경우, 다음이 적용될 수 있다. SPS의 경우, 서브픽처 ID가 NAL 유닛 헤더 바로 뒤에 존재할 필요는 없다. PPS의 경우, 동일한 픽처의 모든 타일 그룹들이 동일한 PPS를 참조하도록 제한된다면, 서브픽처 ID는 이것의 NAL 유닛 헤더 바로 뒤에 존재할 필요는 없다. 동일한 픽처의 타일 그룹들이 상이한 PPS들을 참조하도록 허용된다면, 서브픽처 ID는 PPS의 첫 번째 비트들에(예컨대, NAL 유닛 헤더 바로 다음에) 존재할 수 있다. 이 경우, 하나의 픽처의 임의의 타일 그룹들이 동일한 PPS를 공유하도록 허용될 수 있다. 대안으로, 동일한 픽처의 타일 그룹들이 상이한 PPS들을 참조하도록 허용되고, 동일한 픽처의 상이한 타일 그룹이 또한 동일한 PPS를 공유하도록 허용될 때는, 어떠한 서브픽처 ID도 PPS 신택스에 존재하지 않을 수 있다. 대안으로, 동일한 픽처의 타일 그룹들이 상이한 PPS들을 참조하도록 허용되고, 동일한 픽처의 상이한 타일 그룹이 또한 동일한 PPS를 공유하도록 허용될 때, 서브픽처 ID들의 리스트가 PPS 신택스에 존재할 수 있다. 리스트는 PPS가 적용되는 서브픽처들을 지시한다. 다른 비-VCL NAL 유닛들의 경우, 비-VCL 유닛이 픽처 레벨 이상(예컨대, 액세스 유닛 구분자(delimiter), 시퀀스의 끝, 비트스트림의 끝 등)에 적용된다면, 서브픽처 ID는 NAL 유닛 헤더 바로 뒤에 존재하지 않을 수 있다. 그렇지 않으면, 서브픽처 ID는 NAL 유닛 헤더 바로 뒤에 존재할 수 있다.
위의 SPS 시그널링에 의해, 개별 서브픽처들 내의 타일 파티셔닝이 PPS에서 시그널링될 수 있다. 동일한 픽처 내의 타일 그룹들은 상이한 PPS들을 참조하도록 허용될 수 있다. 이 경우, 타일 그룹화는 각각의 서브픽처 내에만 있을 수 있다. 타일 그룹화 개념은 서브픽처를 타일들로 파티셔닝하는 것이다.
대안으로, 개별 서브픽처들 내의 타일 파티셔닝을 설명하기 위한 파라미터 세트가 정의된다. 이러한 파라미터 세트는 서브픽처 파라미터 세트(SPPS: Sub-Picture Parameter Set)로 지칭될 수 있다. SPPS는 SPS를 참조한다. SPS ID를 참조하는 신택스 엘리먼트가 SPPS에 존재한다. SPPS는 서브픽처 ID를 포함할 수 있다. 서브픽처 추출 목적들로, 서브픽처 ID를 참조하는 신택스 엘리먼트는 SPPS의 첫 번째 신택스 엘리먼트이다. SPPS는 타일 구조(예컨대, 다수의 열들, 다수의 행들, 균일한 타일 간격 등)를 포함한다. SPPS는 연관된 서브픽처 경계들에 걸쳐 루프 필터가 인에이블되는지 여부를 지시하기 위한 플래그를 포함할 수 있다. 대안으로, 각각의 서브픽처에 대한 서브픽처 특성들은 SPS에서가 아니라 SPPS에서 시그널링될 수 있다. 개별 서브픽처들 내의 타일 파티셔닝은 여전히 PPS에서 시그널링될 수 있다. 동일한 픽처 내의 타일 그룹들은 상이한 PPS들을 참조하도록 허용된다. 일단 SPPS가 활성화되면, SPPS는 디코딩 순서로 연속적인 AU들의 시퀀스 동안 지속된다. 그러나 SPPS는 CVS의 시작이 아닌 AU에서 비활성화/활성화될 수 있다. 일부 AU들에서 다수의 서브픽처들을 갖는 단일 계층 비트스트림의 디코딩 프로세스 동안의 임의의 순간에, 다수의 SPPS들이 활성일 수 있다. SPPS는 AU의 상이한 서브픽처들에 의해 공유될 수 있다. 대안으로, SPPS 및 PPS는 하나의 파라미터 세트로 병합될 수 있다. 이러한 경우, 동일한 픽처의 모든 타일 그룹들은 동일한 PPS를 참조하도록 요구되지 않을 수 있다. 동일한 서브픽처 내의 모든 타일 그룹들이 SPPS와 PPS 간의 병합으로부터 야기되는 동일한 파라미터 세트를 참조할 수 있도록 제약이 적용될 수 있다.
서브픽처 ID를 시그널링하기 위해 사용되는 비트들의 수는 NAL 유닛 헤더에서 시그널링될 수 있다. 이러한 정보는 NAL 유닛 헤더에 존재할 때, NAL 유닛의 페이로드의 시작에서 서브픽처 ID 값(예컨대, NAL 유닛 헤더 바로 뒤의 처음 몇 비트)을 파싱하는 데 있어 서브픽처 추출 프로세스들을 보조할 수 있다. 이러한 시그널링의 경우, NAL 유닛 헤더의 예비 비트들(예컨대, 7개의 예비 비트들) 중 일부는 NAL 유닛 헤더의 길이를 증가시키는 것을 피하는 데 사용될 수 있다. 이러한 시그널링을 위한 비트들의 수는 sub-picture-ID-bit-len의 값을 커버할 수 있다. 예를 들어, VVC NAL 유닛 헤더의 7개의 예비 비트들 중 4개의 비트가 이러한 목적으로 사용될 수 있다.
서브픽처를 디코딩할 때, 각각의 코딩 트리 블록의 위치(예컨대, xCtb 및 yCtb)는 서브픽처 내의 루마 샘플 위치 대신에 픽처 내의 실제 루마 샘플 위치로 조정될 수 있다. 이런 식으로, 코딩 트리 블록이 서브픽처 대신에 픽처를 참조하여 디코딩되기 때문에, 각각의 참조 픽처로부터의 콜로케이트된 서브픽처의 추출이 회피될 수 있다. 코딩 트리 블록의 위치를 조정하기 위해, 서브픽처 포지션(subpic_x_offset 및 subpic_y_offset)에 기초하여 SubpictureXOffset 및 SubpictureYOffset 변수들이 도출될 수 있다. 변수들의 값들은 서브픽처 내의 각각의 코딩 트리 블록의 루마 샘플 위치인 x 좌표 및 y 좌표의 값들에 각각 더해질 수 있다.
서브픽처 추출 프로세스는 다음과 같이 정의될 수 있다. 프로세스에 대한 입력은 추출될 타깃 서브픽처이다. 이는 서브픽처 ID 또는 서브픽처 위치의 형태일 수 있다. 입력이 서브픽처의 위치일 때, 연관된 서브픽처 ID는 SPS 내의 서브픽처 정보를 해석함으로써 해결될 수 있다. 비 -VCL NAL 유닛들의 경우, 다음이 적용된다. 픽처 크기 및 레벨과 관련된 SPS 내의 신택스 엘리먼트들은 서브픽처의 크기 및 레벨 정보로 업데이트될 수 있다. 다음의 비-VCL NAL 유닛들: PPS, 액세스 유닛 구분자(AUD: Access Unit Delimiter), 시퀀스의 끝(EOS: End of Sequence), 비트스트림의 끝(EOB: End of Bitstream), 및 픽처 레벨 이상에 적용 가능한 임의의 다른 비-VCL NAL 유닛들은 변경 없이 유지된다. 타깃 서브픽처 ID와 동일하지 않은 서브픽처 ID를 갖는 나머지 비-VCL NAL 유닛들이 제거될 수 있다. 타깃 서브픽처 ID와 동일하지 않은 서브픽처 ID를 갖는 VCL NAL 유닛들이 또한 제거될 수 있다.
시퀀스 레벨 서브픽처 네스팅(nesting) SEI 메시지가 한 세트의 서브픽처들에 대한 AU 레벨 또는 서브픽처 레벨 SEI 메시지들의 네스팅을 위해 사용될 수 있다. 이는 버퍼링 기간, 픽처 타이밍 및 비-HRD SEI 메시지들을 포함할 수 있다. 이 서브픽처 네스팅 SEI 메시지의 신택스 및 시맨틱들은 다음과 같을 수 있다. 이를테면, 전방향성 미디어 포맷(OMAF: omnidirectional media format) 환경들에서의 시스템 동작들의 경우, 뷰포트를 커버하는 한 세트의 서브픽처 시퀀스들이 OMAF 플레이어에 의해 요청되고 디코딩될 수 있다. 따라서 시퀀스 레벨 SEI 메시지는 직사각형 픽처 구역을 집합적으로 커버하는 한 세트의 서브픽처 시퀀스들의 정보를 반송하는 데 사용된다. 정보는 시스템들에 의해 사용될 수 있고, 정보는 한 세트의 서브픽처 시퀀스들의 비트레이트뿐만 아니라 요구되는 디코딩 능력을 지시한다. 정보는 한 세트의 서브픽처 시퀀스들만을 포함하는 비트스트림의 레벨을 지시한다. 이 정보는 또한 한 세트의 서브픽처 시퀀스들만을 포함하는 비트스트림의 비트 레이트를 지시한다. 선택적으로, 한 세트의 서브픽처 시퀀스들에 대해 서브 비트스트림 추출 프로세스가 특정될 수 있다. 이를 행하는 이점은 한 세트의 서브픽처 시퀀스들만을 포함하는 비트스트림이 또한 준수될 수 있다는 점이다. 단점은, 상이한 뷰포트 크기 가능성들을 고려할 때, 이미 가능한 많은 수의 개별 서브픽처 시퀀스들에 추가로 많은 이러한 세트들이 존재할 수 있다는 점이다.
예시적인 실시예에서, 개시된 예들 중 하나 이상은 다음과 같이 구현될 수 있다. 서브픽처는 픽처 내의 하나 이상의 타일 그룹들의 직사각형 구역으로서 정의될 수 있다. 허용되는 이진 분할 프로세스는 다음과 같이 정의될 수 있다. 이 프로세스에 대한 입력들은: 이진 분할 모드(btSplit), 코딩 블록 폭(cbWidth), 코딩 블록 높이(cbHeight), 픽처의 최상부 좌측 루마 샘플에 대한 고려되는 코딩 블록의 죄상부 좌측 루마 샘플의 위치( x0, y0 ), 다중 타입 트리 깊이(mttDepth), 오프셋을 갖는 최대 다중 타입 트리 깊이(maxMttDepth), 최대 이진 트리 크기(maxBtSize) 및 파티션 인덱스(partIdx)이다. 이 프로세스의 출력은 변수 allowBtSplit이다.
btSplit에 기반한 parallelTtSplit 및 cbSize의 규격
위에서 특정된 바와 같이, parallelTtSplit 및 cbSize 변수들이 도출된다. 변수 allowBtSplit는 다음과 같이 도출된다. 다음 조건들 중 하나 이상이 참이라면, allowBtSplit는 FALSE와 같게 설정된다: cbSize는 MinBtSizeY보다 작거나 같고, cbWidth는 maxBtSize보다 크고, cbHeight는 maxBtSize보다 크며, mttDepth는 maxMttDepth보다 크거나 같다. 그렇지 않으면, 다음의 모든 조건들이 참이라면, allowBtSplit는 FALSE와 같게 설정된다: btSplit는 SPLIT_BT_VER과 같고, y0 + cbHeight는 SubPicBottomBorderInPic보다 크다. 그렇지 않으면, 다음의 모든 조건들이 참이라면, allowBtSplit는 FALSE와 같게 설정된다, btSplit는 SPLIT_BT_HOR과 같고, x0 + cbWidth는 SubPicRightBorderInPic보다 크고, y0 + cbHeight는 SubPicBottomBorderInPic보다 작거나 같다. 그렇지 않으면, 다음의 모든 조건들이 참이라면, allowBtSplit는 FALSE와 같게 설정된다: mttDepth는 0보다 크고, partIdx는 1과 같고, MttSplitMode[ x0 ][ y0 ][ mttDepth - 1 ]은 parallelTtSplit과 같다. 그렇지 않으면, 다음의 모든 조건들이 참이라면, allowBtSplit는 FALSE와 같게 설정된다: btSplit는 SPLIT_BT_VER과 같고, cbWidth는 MaxTbSizeY보다 작거나 같고, cbHeight는 MaxTbSizeY보다 크다. 그렇지 않으면, 다음의 모든 조건들이 참이라면, allowBtSplit는 FALSE와 같게 설정된다: btSplit는 SPLIT_BT_HOR과 같고, cbWidth는 MaxTbSizeY보다 크고, cbHeight는 MaxTbSizeY보다 작거나 같다. 그렇지 않으면, allowBtSplit는 TRUE와 같게 설정된다.
허용되는 삼진(ternary) 분할 프로세스는 다음과 같이 정의될 수 있다. 이 프로세스에 대한 입력들은: 삼진 분할 모드(ttSplit), 코딩 블록 폭(cbWidth), 코딩 블록 높이(cbHeight), 픽처의 최상부 좌측 루마 샘플에 대한 고려되는 코딩 블록의 죄상부 좌측 루마 샘플의 위치( x0, y0 ), 다중 타입 트리 깊이(mttDepth), 오프셋을 갖는 최대 다중 타입 트리 깊이(maxMttDepth) 및 최대 이진 트리 크기(maxTtSize)이다. 이 프로세스의 출력은 변수 allowTtSplit이다.
ttSplit에 기반한 cbSize의 규격
위에서 특정된 바와 같이, 변수 cbSize가 도출된다. 변수 allowTtSplit는 다음과 같이 도출된다. 다음 조건들 중 하나 이상이 참이라면, allowTtSplit는 FALSE와 같게 설정된다: cbSize는 2 * MinTtSizeY보다 작거나 같고, cbWidth는 Min( MaxTbSizeY, maxTtSize )보다 크고, cbHeight는 Min( MaxTbSizeY, maxTtSize )보다 크고, mttDepth는 maxMttDepth보다 크거나 같고, x0 + cbWidth는 SubPicRightBorderInPic보다 크고, y0 + cbHeight는 SubPicBottomBorderInPic보다 크다. 그렇지 않으면, allowTtSplit는 TRUE와 같게 설정된다.
시퀀스 파라미터 세트 RBSP 신택스 및 시맨틱들은 다음과 같다.
pic_width_in_luma_samples는 각각의 디코딩된 픽처의 폭을 루마 샘플들의 단위로 특정한다. pic_width_in_luma_samples는 0과 같지 않을 것이고 MinCbSizeY의 정수배일 것이다. pic_height_in_luma_samples specifies는 각각의 디코딩된 픽처의 높이를 루마 샘플들의 단위로 특정한다. pic_height_in_luma_samples는 0과 같지 않을 것이고 MinCbSizeY의 정수배일 것이다. num_subpicture_minus1 + 1은 코딩된 비디오 시퀀스에 속하는 코딩된 픽처들에서 파티셔닝된 서브픽처들의 수를 특정한다. subpic_id_len_minus1 + 1은 SPS에서의 신택스 엘리먼트 subpic_id[ i ], SPS를 참조하는 SPPS에서의 spps_subpic_id, 및 SPS를 참조하는 타일 그룹 헤더들에서의 tile_group_subpic_id를 표현하는 데 사용되는 비트들의 수를 특정한다. subpic_id_len_minus1의 값은 Ceil( Log2( num_subpic_minus1 + 2 )부터 8까지의 범위에 있을 것이다. subpic_id[ i ]는 SPS를 참조하는 픽처들의 i번째 서브픽처의 서브픽처 ID를 특정한다. subpic_id[ i ]의 길이는 subpic_id_len_minus1 + 1 비트이다. subpic_id[i]의 값은 0보다 클 것이다. subpic_level_idc[ i ]는, i번째 서브픽처들의 추출로부터 야기된 CVS가 특정된 자원 요건들을 준수하는 레벨을 지시한다. 비트스트림들은 특정된 것들 이외에는 subpic_level_idc[ i ]의 값들을 포함하지 않을 것이다. subpic_level_idc[ i ]의 다른 값들은 예비된다. subpic_level_idc[ i ]의 값은, 존재하지 않는 경우 general_level_idc의 값과 같은 것으로 추론된다.
subpic_x_offset[ i ]는 픽처의 최상부 좌측 코너에 대한 i번째 서브픽처의 최상부 좌측 코너의 수평 오프셋을 특정한다. subpic_x_offset[ i ]의 값은, 존재하지 않는 경우 0과 같은 것으로 추론된다. 서브픽처 x 오프셋의 값은 다음과 같이 도출된다: SubpictureXOffset[ i ] = subpic_x_offset[ i ]. subpic_y_offset[ i ]는 픽처의 최상부 좌측 코너에 대한 i번째 서브픽처의 최상부 좌측 코너의 수직 오프셋을 특정한다. subpic_y_offset[ i ]의 값은, 존재하지 않는 경우 0과 같은 것으로 추론된다. 서브픽처 y 오프셋의 값은 다음과 같이 도출된다: SubpictureYOffset[ i ] = subpic_y_offset[ i ]. subpic_width_in_luma_samples[ i ]는 이 SPS가 활성 SPS인 i번째 디코딩된 서브픽처의 폭을 특정한다. SubpictureXOffset[ i ]와 subpic_width_in_luma_samples[ i ]의 합이 pic_width_in_luma_samples보다 작을 때, subpic_width_in_luma_samples[ i ]의 값은 CtbSizeY의 정수배일 것이다. subpic_width_in_luma_samples[ i ]의 값은, 존재하지 않는 경우 pic_width_in_luma_samples의 값과 같은 것으로 추론된다. subpic_height_in_luma_samples[ i ]는 이 SPS가 활성 SPS인 i번째 디코딩된 서브픽처의 높이를 특정한다. SubpictureYOffset[ i ]와 subpic_height_in_luma_samples[ i ]의 합이 pic_height_in_luma_samples보다 작을 때, subpic_height_in_luma_samples[ i ]의 값은 CtbSizeY의 정수배일 것이다. subpic_height_in_luma_samples[ i ]의 값은, 존재하지 않는 경우 pic_height_in_luma_samples의 값과 같은 것으로 추론된다.
서브픽처들의 결합이 오버랩 및 갭 없이 픽처의 전체 영역을 커버할 것이라는 것이 비트스트림 적합성 요건이다. 1과 같은 subpic_motion_constrained_flag[ i ]는 i번째 서브픽처가 시간적 모션 제약 서브픽처임을 특정한다. 0과 같은 subpic_motion_constrained_flag[ i ]는 i번째 서브픽처가 시간적 모션 제약 서브픽처일 수 있음을 또는 시간적 모션 제약 서브픽처가 아닐 수 있음을 특정한다. subpic_motion_constrained_flag의 값은, 존재하지 않는 경우 0과 같은 것으로 추론된다.
변수들 SubpicWidthInCtbsY, SubpicHeightInCtbsY, SubpicSizeInCtbsY, SubpicWidthInMinCbsY, SubpicHeightInMinCbsY, SubpicSizeInMinCbsY, SubpicSizeInSamplesY, SubpicWidthInSamplesC 및 SubpicHeightInSamplesC는 다음과 같이 도출된다:
서브픽처 파라미터 세트 RBSP 신택스 및 시맨틱들은 다음과 같다.
spps_subpic_id는 SPPS가 속하는 서브픽처를 식별한다. spps_subpic_id의 길이는 subpic_id_len_minus1 + 1 비트이다. spps_subpic_parameter_set_id는 다른 신택스 엘리먼트들에 의한 참조를 위해 SPPS를 식별한다. spps_subpic_parameter_set_id의 값은 0부터 63까지의 범위에 있을 것이다. spps_seq_parameter_set_id는 활성 SPS에 대한 sps_seq_parameter_set_id의 값을 특정한다. spps_seq_parameter_set_id의 값은 0부터 15까지의 범위에 있을 것이다. 1과 같은 single_tile_in_subpic_flag는 SPPS를 참조하는 각각의 서브픽처에 단 하나의 타일만이 존재함을 특정한다. 0과 같은 single_tile_in_subpic_flag는 SPPS를 참조하는 각각의 서브픽처에 하나보다 많은 타일이 존재함을 특정한다. num_tile_columns_minus1 + 1은 서브픽처를 파티셔닝하는 타일 열들의 수를 특정한다. num_tile_columns_minus1은 0부터 PicWidthInCtbsY[ spps_subpic_id ] - 1까지의 범위에 있을 것이다. num_tile_columns_minus1의 값은, 존재하지 않는 경우 0과 같은 것으로 추론된다. num_tile_rows_minus1 + 1은 서브픽처를 파티셔닝하는 타일 행들의 수를 특정한다. num_tile_rows_minus1은 0부터 PicHeightInCtbsY[ spps_subpic_id ] - 1까지의 범위에 있을 것이다. num_tile_rows_minus1의 값은, 존재하지 않는 경우 0과 같은 것으로 추론된다. 변수 NumTilesInPic은 ( num_tile_columns_minus1 + 1 ) * ( num_tile_rows_minus1 + 1 )과 같게 설정된다.
single_tile_in_subpic_flag가 0과 같을 때, NumTilesInPic은 0보다 클 것이다. 1과 같은 uniform_tile_spacing_flag는 타일 열 경계들 그리고 마찬가지로 타일 행 경계들이 서브픽처에 걸쳐 균일하게 분포됨을 특정한다. 0과 같은 uniform_tile_spacing_flag는 타일 열 경계들 그리고 마찬가지로 타일 행 경계들이 서브픽처에 걸쳐 균일하게 분포되는 것이 아니라, 신택스 엘리먼트들 tile_column_width_minus1[ i ] 및 tile_row_height_minus1[ i ]를 사용하여 명시적으로 시그널링됨을 특정한다. uniform_tile_spacing_flag의 값은, 존재하지 않는 경우 1과 같은 것으로 추론된다. tile_column_width_minus1[ i ] + 1은 i번째 타일 열의 폭을 CTB들의 단위로 특정한다. tile_row_height_minus1[ i ] + 1은 i번째 타일 행의 높이를 CTB들의 단위로 특정한다.
CTB 래스터 및 타일 스캔 변환 프로세스를 호출함으로써 다음의 변수들이 도출된다: num_tile_columns_minus1까지의 범위의 i에 대한 리스트 ColWidth[ i ], 이는 i번째 타일 열의 폭을 CTB들의 단위로 특정함; 0부터 num_tile_rows_minus1까지의 범위의 j에 대한 리스트 RowHeight[ j ], 이는 j번째 타일 행의 높이를 CTB들의 단위로 특정함; 0부터 num_tile_columns_minus1 + 1까지의 범위의 i에 대한 리스트 ColBd[ i ], 이는 i번째 타일 열 경계의 위치를 CTB들의 단위로 특정함; 0부터 num_tile_rows_minus1 + 1까지의 범위의 j에 대한 리스트 RowBd[ j ], 이는 j번째 타일 행 경계의 위치를 CTB들의 단위로 특정함; 0부터 PicSizeInCtbsY - 1까지의 범위의 ctbAddrRs에 대한 리스트 CtbAddrRsToTs[ ctbAddrRs ], 이는 픽처의 CTB 래스터 스캔에서의 CTB 어드레스에서 타일 스캔에서의 CTB 어드레스로의 변환을 특정함; 0부터 PicSizeInCtbsY - 1까지의 범위의 ctbAddrTs에 대한 리스트 CtbAddrTsToRs[ ctbAddrTs ], 이는 타일 스캔에서의 CTB 어드레스에서 픽처의 CTB 래스터 스캔에서의 CTB 어드레스로의 변환을 특정함; 0부터 PicSizeInCtbsY - 1까지의 범위의 ctbAddrTs에 대한 리스트 TileId[ ctbAddrTs ], 이는 타일 스캔에서의 CTB 어드레스에서 타일 ID로의 변환을 특정함; 0부터 PicSizeInCtbsY - 1까지의 범위의 tileIdx에 대한 리스트 NumCtusInTile[ tileIdx ], 이는 타일 인덱스에서 타일 내의 CTU들의 수로의 변환을 특정함; 0부터 NumTilesInPic - 1까지의 범위의 tileIdx에 대한 리스트 FirstCtbAddrTs[ tileIdx ], 이는 타일 내의 첫 번째 CTB의 타일 스캔에서 타일 ID에서 CTB 어드레스로의 변환을 특정함; 0부터 num_tile_columns_minus1까지의 범위의 i에 대한 리스트 ColumnWidthInLumaSamples[ i ], 이는 i번째 열들의 폭을 루마 샘플들의 단위로 특정함; 및 0부터 num_tile_rows_minus1까지의 범위의 j에 대한 리스트 RowHeightInLumaSamples[ j ], 이는 j번째 타일 행의 높이를 루마 샘플들의 단위로 특정함. num_tile_columns_minus1까지의 범위의 i에 대한 ColumnWidthInLumaSamples[ i ] 및 0부터 num_tile_rows_minus1까지의 범위의 j에 대한 RowHeightInLumaSamples[ j ]의 값들은 모두 0보다 클 것이다.
1과 같은 loop_filter_across_tiles_enabled_flag는 SPPS를 참조하는 서브픽처들의 타일 경계들에 걸쳐 인-루프 필터링 동작들이 수행될 수 있음을 특정한다. 0과 같은 loop_filter_across_tiles_enabled_flag는 SPPS를 참조하는 서브픽처들의 타일 경계들에 걸쳐 인-루프 필터링 동작들이 수행되지 않음을 특정한다. 인-루프 필터링 동작들은 블록 분리 필터, 샘플 적응 오프셋 필터 및 적응 루프 필터 동작들을 포함한다. loop_filter_across_tiles_enabled_flag의 값은, 존재하지 않는 경우 1과 같은 것으로 추론된다. 1과 같은 loop_filter_across_subpic_enabled_flag는 SPPS를 참조하는 서브픽처들의 서브픽처 경계들에 걸쳐 인-루프 필터링 동작들이 수행될 수 있음을 특정한다. 0과 같은 loop_filter_across_subpic_enabled_flag는 SPPS를 참조하는 서브픽처들의 서브픽처 경계들에 걸쳐 인-루프 필터링 동작들이 수행되지 않음을 특정한다. 인-루프 필터링 동작들은 블록 분리 필터, 샘플 적응 오프셋 필터 및 적응 루프 필터 동작들을 포함한다. loop_filter_across_subpic_enabled_flag의 값은, 존재하지 않는 경우 loop_filter_across_tiles_enabled_flag의 값과 같은 것으로 추론된다.
일반적인 타일 그룹 헤더 신택스 및 시맨틱들은 다음과 같다.
타일 그룹 헤더 신택스 엘리먼트 tile_group_pic_parameter_set_id 및 tile_group_pic_order_cnt_lsb의 값은 코딩된 픽처의 모든 타일 그룹 헤더들에서 동일할 것이다. 타일 그룹 헤더 신택스 엘리먼트 tile_group_subpic_id의 값은 코딩된 서브픽처의 모든 타일 그룹 헤더들에서 동일할 것이다. tile_group_subpic_id는 타일 그룹이 속하는 서브픽처를 식별한다. tile_group_subpic_id의 길이는 subpic_id_len_minus1 + 1 비트이다. tile_group_subpic_parameter_set_id는 사용 중인 SPPS에 대한 spps_subpic_parameter_set_id의 값을 특정한다. tile_group_spps_parameter_set_id의 값은 0부터 63까지의 범위에 있을 것이다.
다음의 변수들이 도출되어 활성 SPS로부터 도출된 각각의 변수들을 오버라이드(override)한다:
코딩 트리 유닛 신택스는 다음과 같다.
코딩 쿼드 트리 신택스 및 시맨틱들은 다음과 같다.
qt_split_cu_flag[ x0 ][ y0 ]은 코딩 유닛이 절반의 수평 및 수직 크기를 갖는 코딩 유닛들로 분할되는지 여부를 특정한다. 어레이 인덱스들(x0, y0)은 픽처의 최상부 좌측 루마 샘플에 대한 고려되는 코딩 블록의 최상부 좌측 루마 샘플의 위치( x0, y0 )를 특정한다. qt_split_cu_flag[ x0 ][ y0 ]이 존재하지 않을 때, 다음이 적용된다: 다음 조건들 중 하나 이상이 참이라면, qt_split_cu_flag[ x0 ][ y0 ]의 값은 1과 같은 것으로 추론된다. x0 + ( 1 << log2CbSize )는 SubPicRightBorderInPic보다 크고, ( 1 << log2CbSize )는 treeType이 DUAL_TREE_CHROMA와 같다면 MaxBtSizeC보다 크거나 그렇지 않으면 MaxBtSizeY보다 크다. y0 + ( 1 << log2CbSize )는 SubPicBottomBorderInPic보다 크고, ( 1 << log2CbSize )는 treeType이 DUAL_TREE_CHROMA와 같다면 MaxBtSizeC보다 크거나 그렇지 않으면 MaxBtSizeY보다 크다.
그렇지 않으면, 다음의 모든 조건들이 참이라면, qt_split_cu_flag[ x0 ][ y0 ]의 값은 1과 같은 것으로 추론된다: x0 + ( 1 << log2CbSize )가 SubPicRightBorderInPic보다 크고, y0 + ( 1 << log2CbSize )가 SubPicBottomBorderInPic보다 크고, ( 1 << log2CbSize )는 treeType이 DUAL_TREE_CHROMA와 같다면 MinQtSizeC보다 크거나 그렇지 않으면 MinQtSizeY보다 크다. 그렇지 않으면, qt_split_cu_flag[ x0 ][ y0 ]의 값은 0과 같은 것으로 추론된다.
다중 타입 트리 신택스 및 시맨틱들은 다음과 같다.
0과 같은 mtt_split_cu_flag는 코딩 유닛이 분할되지 않음을 특정한다. 1과 같은 mtt_split_cu_flag는, 신택스 엘리먼트 mtt_split_cu_binary_flag에 의해 지시된 바와 같이, 코딩 유닛이 이진 분할을 사용하여 2개의 코딩 유닛들로 또는 삼진 분할을 사용하여 3개의 코딩 유닛들로 분할됨을 특정한다. 이진 또는 삼진 분할은 신택스 엘리먼트 mtt_split_cu_vertical_flag에 의해 지시된 바와 같이 수직 또는 수평일 수 있다. mtt_split_cu_flag가 존재하지 않는 경우, mtt_split_cu_flag의 값은 다음과 같이 추론된다. 다음 조건들 중 하나 이상이 참이라면, mtt_split_cu_flag의 값은 1과 같은 것으로 추론된다: x0 + cbWidth는 SubPicRightBorderInPic보다 크고, y0 + cbHeight는 SubPicBottomBorderInPic보다 크다. 그렇지 않으면, mtt_split_cu_flag의 값은 0과 같은 것으로 추론된다.
시간적 루마 모션 벡터 예측을 위한 도출 프로세스는 다음과 같다. 이 프로세스의 출력들은: 1/16 부분 샘플(fractional-sample) 정확도의 모션 벡터(예측 mvLXCol), 및 이용 가능 플래그(availability flag)이다. 변수 currCb는 루마 위치( xCb, yCb )에서 현재 루마 코딩 블록을 특정한다. 변수들 mvLXCol 및 availableFlagLXCol은 다음과 같이 도출된다. tile_group_temporal_mvp_enabled_flag가 0과 같다면, 또는 참조 픽처가 현재 픽처라면, mvLXCol의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXCol은 0과 같게 설정된다. 그렇지 않으면(tile_group_temporal_mvp_enabled_flag는 1과 같고 참조 픽처는 현재 픽처가 아니라면), 다음의 순서화된 단계들이 적용된다. 최하부 우측의 콜로케이트된 모션 벡터는 다음과 같이 도출된다:
xColBr = xCb + cbWidth
(8-355)
yColBr = yCb + cbHeight
(8-356)
yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 같고, yColBr이 SubPicBottomBorderInPic보다 작으며, xColBr이 SubPicRightBorderInPic보다 작다면, 다음이 적용된다. 변수 colCb는 ColPic에 의해 특정된 콜로케이트된 픽처 내부에서 ( ( xColBr >> 3 ) << 3, ( yColBr >> 3 ) << 3 )으로 주어진 수정된 위치를 커버하는 루마 코딩 블록을 특정한다. 루마 위치( xColCb, yColCb )는 ColPic에 의해 특정된 콜로케이트된 픽처의 최상부 좌측 루마 샘플에 대해, colCb에 의해 특정된 콜로케이트된 루마 코딩 블록의 최상부 좌측 샘플과 같게 설정된다. 콜로케이트된 모션 벡터들에 대한 도출 프로세스는, 입력들로서 0과 같게 설정된 currCb, colCb, ( xColCb, yColCb ), refIdxLX 및 sbFlag를 이용하여 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다. 그렇지 않으면, mvLXCol의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXCol은 0과 같게 설정된다.
시간적 삼각형 병합 후보들에 대한 도출 프로세스는 다음과 같다. 변수들 mvLXColC0, mvLXColC1, availableFlagLXColC0 및 availableFlagLXColC1은 다음과 같이 도출된다. tile_group_temporal_mvp_enabled_flag가 0과 같다면, mvLXColC0 및 mvLXColC1의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXColC0 및 availableFlagLXColC1은 0과 같게 설정된다. 그렇지 않으면(tile_group_temporal_mvp_enabled_flag가 1과 같게 설정된다면), 다음의 순서화된 단계들이 적용된다. 최하부 우측의 콜로케이트된 모션 벡터 mvLXColC0은 다음과 같이 도출된다:
xColBr = xCb + cbWidth
(8-392)
yColBr = yCb + cbHeight
(8-393)
yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 같고, yColBr이 SubPicBottomBorderInPic보다 작으며, xColBr이 SubPicRightBorderInPic보다 작다면, 다음이 적용된다. 변수 colCb는 ColPic에 의해 특정된 콜로케이트된 픽처 내부에서 ( ( xColBr >> 3 ) << 3, ( yColBr >> 3 ) << 3 )으로 주어진 수정된 위치를 커버하는 루마 코딩 블록을 특정한다. 루마 위치( xColCb, yColCb )는 ColPic에 의해 특정된 콜로케이트된 픽처의 최상부 좌측 루마 샘플에 대해, colCb에 의해 특정된 콜로케이트된 루마 코딩 블록의 최상부 좌측 샘플과 같게 설정된다. 콜로케이트된 모션 벡터들에 대한 도출 프로세스는, 입력들로서 0과 같게 설정된 currCb, colCb, ( xColCb, yColCb ), refIdxLXC0 및 sbFlag를 이용하여 호출되고, 출력은 mvLXColC0 및 availableFlagLXColC0에 할당된다. 그렇지 않으면, mvLXColC0의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXColC0은 0과 같게 설정된다.
구성된 아핀(affine) 제어 포인트 모션 벡터 병합 후보들에 대한 도출 프로세스는 다음과 같다. X가 0 및 1인 네 번째(콜로케이트된 최하부 우측) 제어 포인트 모션 벡터 cpMvLXCorner[ 3 ], 참조 인덱스 refIdxLXCorner[ 3 ], 예측 리스트 이용 플래그 predFlagLXCorner[ 3 ] 및 이용 가능성 플래그 availableFlagCorner[ 3 ]은 다음과 같이 도출된다. X가 0 또는 1인 시간적 병합 후보에 대한 참조 인덱스 refIdxLXCorner[ 3 ]은 0과 같게 설정된다. X가 0 또는 1인 변수들 mvLXCol 및 availableFlagLXCol은 다음과 같이 도출된다. tile_group_temporal_mvp_enabled_flag가 0과 같다면, mvLXCol의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXCol은 0과 같게 설정된다. 그렇지 않으면(tile_group_temporal_mvp_enabled_flag가 1과 같다면), 다음이 적용된다:
xColBr = xCb + cbWidth
(8-566)
yColBr = yCb + cbHeight
(8-567)
yCb >> CtbLog2SizeY가 yColBr >> CtbLog2SizeY와 같고, yColBr이 SubPicBottomBorderInPic보다 작으며, xColBr이 SubPicRightBorderInPic보다 작다면, 다음이 적용된다. 변수 colCb는 ColPic에 의해 특정된 콜로케이트된 픽처 내부에서 ( ( xColBr >> 3 ) << 3, ( yColBr >> 3 ) << 3 )으로 주어진 수정된 위치를 커버하는 루마 코딩 블록을 특정한다. 루마 위치( xColCb, yColCb )는 ColPic에 의해 특정된 콜로케이트된 픽처의 최상부 좌측 루마 샘플에 대해, colCb에 의해 특정된 콜로케이트된 루마 코딩 블록의 최상부 좌측 샘플과 같게 설정된다. 콜로케이트된 모션 벡터들에 대한 도출 프로세스는, 입력들로서 0과 같게 설정된 currCb, colCb, ( xColCb, yColCb ), refIdxLX 및 sbFlag를 이용하여 호출되고, 출력은 mvLXCol 및 availableFlagLXCol에 할당된다. 그렇지 않으면, mvLXCol의 두 컴포넌트들 모두 0과 같게 설정되고, availableFlagLXCol은 0과 같게 설정된다. pic_width_in_luma_samples의 모든 발생들을 PicWidthInLumaSamples로 대체한다. pic_height_in_luma_samples의 모든 발생들을 PicHeightInLumaSamples로 대체한다.
제2 예시적인 실시예에서, 시퀀스 파라미터 세트 RBSP 신택스 및 시맨틱들은 다음과 같다.
subpic_id_len_minus1 + 1은 SPS에서의 신택스 엘리먼트 subpic_id[ i ], SPS를 참조하는 SPPS에서의 spps_subpic_id, 및 SPS를 참조하는 타일 그룹 헤더들에서의 tile_group_subpic_id를 표현하는 데 사용되는 비트들의 수를 특정한다. subpic_id_len_minus1의 값은 Ceil( Log2( num_subpic_minus1 + 3 )부터 8까지의 범위에 있을 것이다. 0부터 num_subpic_minus1까지의 i에 대한 sub-picture[i] 사이에 오버랩이 없을 것이라는 것이 비트스트림 적합성의 요건이다. 각각의 서브픽처는 시간적 모션 제약 서브픽처일 수 있다.
일반적인 타일 그룹 헤더 시맨틱들은 다음과 같다. tile_group_subpic_id는 타일 그룹이 속하는 서브픽처를 식별한다. tile_group_subpic_id의 길이는 subpic_id_len_minus1 + 1 비트이다. 1과 같은 tile_group_subpic_id는 타일 그룹이 어떠한 서브픽처에도 속하지 않음을 지시한다.
제3 예시적인 실시예에서, NAL 유닛 헤더 신택스 및 시맨틱들은 다음과 같다.
nuh_subpicture_id_len은 서브픽처 ID를 특정하는 신택스 엘리먼트를 표현하는 데 사용되는 비트들의 수를 특정한다. nuh_subpicture_id_len의 값이 0보다 클 때, nuh_reserved_zero_4bits 이후의 첫 번째 nuh_subpicture_id_len-th 비트들은 NAL 유닛의 페이로드가 속하는 서브픽처의 ID를 특정한다. nuh_subpicture_id_len이 0보다 클 때, nuh_subpicture_id_len의 값은 활성 SPS에서의 subpic_id_len_minus1의 값과 같을 것이다. non-VCL NAL 유닛들에 대한 nuh_subpicture_id_len의 값은 다음과 같이 제한된다. nal_unit_type이 SPS_NUT 또는 PPS_NUT와 같다면, nuh_subpicture_id_len은 0과 같을 것이다. nuh_reserved_zero_3bits는 '000'과 같을 것이다. 디코더들은 '000'과 같지 않은 nuh_reserved_zero_3bits의 값들을 갖는 NAL 유닛들을 무시(예컨대, 비트스트림에서 삭제하고 폐기)할 것이다.
제4 예시적인 실시예에서, 서브픽처 네스팅 신택스는 다음과 같다.
1과 같은 all_sub_pictures_flag는 네스팅된 SEI 메시지들이 모든 서브픽처들에 적용됨을 특정한다. 1과 같은 all_sub_pictures_flag는, 네스팅된 SEI 메시지들이 적용되는 서브픽처들이 후속 신택스 엘리먼트들에 의해 명시적으로 시그널링됨을 특정한다. nesting_num_sub_pictures_minus1 + 1은 네스팅된 SEI 메시지들이 적용되는 서브픽처들의 수를 특정한다. nesting_sub_picture_id[ i ]는 네스팅된 SEI 메시지들이 적용되는 i번째 서브픽처의 서브픽처 ID를 지시한다. nesting_sub_picture_id[ i ] 신택스 엘리먼트는 Ceil( Log2( nesting_num_sub_pictures_minus1 + 1 ) ) 비트들로 표현된다. sub_picture_nesting_zero_bit는 0과 같을 것이다.
도 9는 예시적인 비디오 코딩 디바이스(900)의 개략도이다. 비디오 코딩 디바이스(900)는 본 명세서에서 설명되는 바와 같이 개시된 예들/실시예들을 구현하기에 적합하다. 비디오 코딩 디바이스(900)는 다운스트림 포트들(920), 업스트림 포트들(950), 및/또는 네트워크를 통해 업스트림 및/또는 다운스트림 데이터를 통신하기 위한 전송기들 및/또는 수신기들을 포함하는 트랜시버 유닛들(Tx/Rx)(910)을 포함한다. 비디오 코딩 디바이스(900)는 또한, 데이터를 처리하기 위한 로직 유닛 및/또는 중앙 처리 유닛(CPU: central processing unit)을 포함하는 프로세서(930) 및 데이터를 저장하기 위한 메모리(932)를 포함한다. 비디오 코딩 디바이스(900)는 또한, 전기, 광 또는 무선 통신 네트워크들을 통한 데이터의 통신을 위해 업스트림 포트들(950) 및/또는 다운스트림 포트들(920)에 결합된 전기, 광-전기(OE: optical-to-electrical) 컴포넌트들, 전기-광(EO: electrical-to-optical) 컴포넌트들 및/또는 무선 통신 컴포넌트들을 포함할 수 있다. 비디오 코딩 디바이스(900)는 또한, 사용자에게 그리고 사용자로부터 데이터를 전달하기 위한 입력 및/또는 출력(I/O) 디바이스들(960)을 포함할 수 있다. I/O 디바이스들(960)은 비디오 데이터를 디스플레이하기 위한 디스플레이, 오디오 데이터를 출력하기 위한 스피커들 등과 같은 출력 디바이스들을 포함할 수 있다. I/O 디바이스들(960)은 또한 키보드, 마우스, 트랙볼 등과 같은 입력 디바이스들, 및/또는 이러한 출력 디바이스와 상호 작용하기 위한 대응하는 인터페이스들을 포함할 수 있다.
프로세서(930)는 하드웨어 및 소프트웨어에 의해 구현된다. 프로세서(930)는 하나 이상의 CPU 칩(chip)들, (예컨대, 멀티 코어 프로세서(multi-core processor)로서) 코어들, 필드 프로그래밍 가능 게이트 어레이(FPGA: field-programmable gate array)들, 주문형 집적 회로(ASIC: application specific integrated circuit)들 및 디지털 신호 프로세서(DSP: digital signal processor)들로서 구현될 수 있다. 프로세서(930)는 다운스트림 포트들(920), Tx/Rx(910), 업스트림 포트들(950) 및 메모리(932)와 통신한다. 프로세서(930)는 코딩 모듈(914)을 포함한다. 코딩 모듈(914)은 비트스트림(500), 픽처(600) 및/또는 픽처(800)를 이용할 수 있는 방법들(100, 1000, 1100) 및/또는 메커니즘(700)과 같은 위에서 설명된 개시된 실시예들을 구현한다. 코딩 모듈(914)은 또한 본 명세서에 설명된 임의의 다른 방법/메커니즘을 구현할 수 있다. 추가로, 코딩 모듈(914)은 코덱 시스템(200), 인코더(300) 및/또는 디코더(400)를 구현할 수 있다. 예를 들어, 코딩 모듈(914)은 SPS에서 서브픽처 위치들 및 크기들을 시그널링 및/또는 획득하기 위해 이용될 수 있다. 다른 예에서, 코딩 모듈(914)은, 서브픽처들이 픽처의 우측 경계 또는 픽처의 최하부 경계에 각각 포지셔닝되지 않는 한, 서브픽처 폭들 및 서브픽처 높이들을 CTU 크기의 배수들이 되도록 제한할 수 있다. 다른 예에서, 코딩 모듈(914)은 갭 또는 오버랩 없이 픽처를 커버하도록 서브픽처들을 제한할 수 있다. 다른 예에서, 코딩 모듈(914)은 일부 서브픽처들이 시간적 모션 제약 서브픽처들이고 다른 서브픽처들은 그렇지 않음을 지시하는 데이터를 시그널링 및/또는 획득하기 위해 이용될 수 있다. 다른 예에서, 코딩 모듈(914)은 SPS 내의 서브픽처 ID들의 완전한 세트를 시그널링하고, 대응하는 슬라이스들을 포함하는 서브픽처를 지시하도록 각각의 슬라이스 헤더에 서브픽처 ID를 포함할 수 있다. 다른 예에서, 코딩 모듈(914)은 각각의 서브픽처에 대한 레벨들을 시그널링할 수 있다. 이에 따라, 코딩 모듈(914)은 비디오 코딩 디바이스(900)로 하여금 추가 기능을 제공하게 하고, 특정 처리를 피하여 처리 오버헤드를 감소시키게 하고, 그리고/또는 비디오 데이터를 파티셔닝하여 코딩할 때 코딩 효율을 증가시키게 한다. 이에 따라, 코딩 모듈(914)은 비디오 코딩 디바이스(900)의 기능을 개선할 뿐만 아니라 비디오 코딩 기술들에 특정한 문제들을 해결한다. 또한, 코딩 모듈(914)은 비디오 코딩 디바이스(900)의 다른 상태로의 변환을 수행한다. 대안으로, 코딩 모듈(914)은 메모리(932)에 저장되어 프로세서(930)에 의해 실행되는 명령들로서(예컨대, 비-일시적인 매체 상에 저장된 컴퓨터 프로그램 제품으로서) 구현될 수 있다.
메모리(932)는 디스크들, 테이프 드라이브들, 솔리드 스테이트 드라이브들, 판독 전용 메모리(ROM: read only memory), 랜덤 액세스 메모리(RAM: random access memory), 플래시 메모리, 3원 내용 주소화 메모리(TCAM: ternary content-addressable memory), 정적 랜덤 액세스 메모리(SRAM: static random-access memory) 등을 포함한다. 메모리(932)는 프로그램들이 실행을 위해 선택될 때 그러한 프로그램들을 저장하기 위한, 그리고 프로그램 실행 중에 판독되는 명령들 및 데이터를 저장하기 위한 오버플로우(over-flow) 데이터 저장 디바이스로서 사용될 수 있다.
도 10은 서브픽처들(522, 523, 622, 722 및/또는 822)과 같은 시간적 모션 제약 서브픽처들의 비트스트림, 이를테면 비트스트림(500) 및/또는 서브 비트스트림(501)을 인코딩하는 예시적인 방법(1000)의 흐름도이다. 방법(1000)은 방법(100)을 수행할 때 인코더, 이를테면 코덱 시스템(200), 인코더(300) 및/또는 비디오 코딩 디바이스(900)에 의해 이용될 수 있다.
인코더가 복수의 픽처들을 포함하는 비디오 시퀀스를 수신하고, 예를 들어 사용자 입력에 기초하여 그 비디오 시퀀스를 비트스트림으로 인코딩하기로 결정할 때 방법(1000)이 시작될 수 있다. 비디오 시퀀스는 인코딩 전에 추가 파티셔닝을 위해 픽처들/이미지들/프레임들로 파티셔닝된다. 단계(1001)에서, 픽처가 복수의 서브픽처들로 파티셔닝된다. 단계(1003)에서, 현재 서브픽처가 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩된다.
단계(1005)에서, 파라미터 세트가 비트스트림으로 인코딩된다. 파라미터 세트는, 현재 서브픽처가 픽처와 독립적으로 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함한다. 일부 예들에서, 플래그를 포함하는 파라미터 세트는 SPS이다. 일부 예들에서, 파라미터 세트는 시간적 모션 제약 서브픽처들인 하나 이상의 서브픽처들 각각에 대한 적어도 하나의 플래그를 포함한다. 일부 예들에서는, 코딩 효율을 높이기 위해, 시간적 모션 제약 서브픽처들이 아닌 하나 이상의 서브픽처들 각각에 대해 플래그들이 생략된다. 이러한 경우, 생략된 플래그들은 디코더에서 0인 것으로 추론될 수 있으며, 이는 연관된 서브픽처들이 시간적 모션 제약 서브픽처들이 아님을 지시한다. 일부 예들에서, 플래그는 subpic_motion_constrained_flag[ i ]이며, 여기서 i는 현재 서브픽처의 인덱스이다.
단계(1007)에서, 하나 이상의 서브픽처들 각각에 대한 서브픽처 ID들이 파라미터 세트로 인코딩될 수 있다. 또한, 하나 이상의 서브픽처들 각각에 대한 서브픽처 크기가 파라미터 세트로 인코딩될 수 있다. 추가로, 하나 이상의 서브픽처들 각각에 대한 서브픽처 위치가 파라미터 세트로 인코딩될 수 있다. 단계(1009)에서 비트스트림은 디코더를 향한 통신을 위해 저장된다. 그런 다음, 비트스트림은 원하는 대로 디코더를 향해 전송될 수 있다. 일부 예들에서, 서브 비트스트림은 인코딩된 비트스트림으로부터 추출될 수 있다. 이러한 경우, 전송된 비트스트림은 서브 비트스트림이다. 다른 예들에서, 인코딩된 비트스트림은 디코더에서 서브 비트스트림 추출을 위해 전송될 수 있다. 또 다른 예들에서, 인코딩된 비트스트림은 서브 비트스트림 추출 없이 디코딩되어 디스플레이될 수 있다. 이러한 예들 중 임의의 예에서, 시간적 모션 제약 서브픽처들 및 비-시간적 모션 제약 서브픽처들의 혼합을 포함하도록 픽처들이 코딩될 수 있게 하도록 플래그가 코딩될 수 있다. 이는, 독립적인 추출이 요구되지 않을 때 증가된 코딩 효율을 위해 독립적인 추출 기능을 제공하는 시간적 모션 제약 서브픽처들과 비-모션 제약 서브픽처들의 혼합을 가능하게 한다. 그러므로 플래그는 증가된 기능 및/또는 증가된 코딩 효율을 가능하게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
도 11은 서브픽처들(522, 523, 622, 722 및/또는 822)과 같은 시간적 모션 제약 서브픽처들의 비트스트림, 이를테면 비트스트림(500) 및/또는 서브 비트스트림(501)을 디코딩하는 예시적인 방법(1100)의 흐름도이다. 방법(1100)은 방법(100)을 수행할 때 디코더, 이를테면 코덱 시스템(200), 디코더(400) 및/또는 비디오 코딩 디바이스(900)에 의해 이용될 수 있다. 예를 들어, 방법(1100)은 방법(1000)의 결과로서 생성된 비트스트림을 디코딩하기 위해 적용될 수 있다.
디코더가 서브픽처들을 포함하는 비트스트림을 수신하기 시작할 때 방법(1100)이 시작될 수 있다. 비트스트림은 완전한 비디오 시퀀스를 포함할 수 있거나, 비트스트림은 개별 추출을 위한 서브픽처들의 감소된 세트를 포함하는 서브 비트스트림일 수 있다. 단계(1101)에서, 비트스트림이 수신된다. 비트스트림은 픽처로부터 파티셔닝된 하나 이상의 서브픽처들 및 파라미터 세트를 포함한다. 파라미터 세트는, 현재 서브픽처가 픽처와 독립적으로 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함한다. 일부 예들에서, 플래그를 포함하는 파라미터 세트는 SPS이다. 일부 예들에서, 파라미터 세트는 시간적 모션 제약 서브픽처들인 하나 이상의 서브픽처들 각각에 대한 적어도 하나의 플래그를 포함한다. 일부 예들에서는, 코딩 효율을 높이기 위해, 시간적 모션 제약 서브픽처들이 아닌 하나 이상의 서브픽처들 각각에 대해 플래그들이 생략된다. 이러한 경우, 각각의 생략된 플래그의 값은 0인 것으로 추론될 수 있으며, 이는 연관된 서브픽처들이 시간적 모션 제약 서브픽처들이 아님을 지시한다. 일부 예들에서, 플래그는 subpic_motion_constrained_flag[ i ]이며, 여기서 i는 현재 서브픽처의 인덱스이다.
단계(1103)에서, 현재 서브픽처가 시간적 모션 제약 서브픽처임을 지시하는 플래그를 획득하도록 파라미터 세트가 파싱된다. 이어서, 픽처와 독립적으로 그리고 플래그에 기초하여 비트스트림으로부터 현재 서브픽처가 추출될 수 있다. 파라미터는 하나 이상의 서브픽처들 각각에 대한 서브픽처 ID들, 하나 이상의 서브픽처들 각각에 대한 서브픽처 크기, 및/또는 하나 이상의 서브픽처들 각각에 대한 서브픽처 위치를 더 포함할 수 있다. 파라미터 세트는 또한, 이러한 정보를 획득하도록 파싱될 수 있다.
단계(1105)에서, 현재 서브픽처가 디코딩되어, 예를 들어 플래그, 서브픽처 ID들, 서브픽처 크기 및/또는 서브픽처 위치를 기초로 비디오 시퀀스를 생성할 수 있다.
이어서, 단계(1107)에서, 비디오 시퀀스는 디스플레이를 위해 전달될 수 있다. 플래그는, 코딩된 픽처가 시간적 모션 제약 서브픽처들과 비-시간적 모션 제약 서브픽처들의 혼합을 포함함을 지시하는 데 사용될 수 있다. 이는, 독립적인 추출이 요구되지 않을 때 증가된 코딩 효율을 위해 독립적인 추출 기능을 제공하는 시간적 모션 제약 서브픽처들과 비-모션 제약 서브픽처들의 혼합을 가능하게 한다. 그러므로 플래그는 증가된 기능 및/또는 증가된 코딩 효율을 가능하게 하며, 이는 인코더 및 디코더에서의 네트워크 자원들, 메모리 자원들 및/또는 처리 자원들의 사용을 감소시킨다.
도 12는 서브픽처들(522, 523, 622, 722 및/또는 822)과 같은 시간적 모션 제약 서브픽처들의 비트스트림, 이를테면 비트스트림(500) 및/또는 서브 비트스트림(501)을 시그널링하기 위한 예시적인 시스템(1200)의 개략도이다. 시스템(1200)은 인코더 및 디코더, 이를테면 코덱 시스템(200), 인코더(300), 디코더(400) 및/또는 비디오 코딩 디바이스(900)에 의해 구현될 수 있다. 추가로, 시스템(1200)은 방법(100, 1000 및/또는 1100)을 구현할 때 이용될 수 있다.
시스템(1200)은 비디오 인코더(1202)를 포함한다. 비디오 인코더(1202)는 픽처를 복수의 서브픽처들로 파티셔닝하기 위한 파티셔닝 모듈(1201)을 포함한다. 비디오 인코더(1202)는 현재 서브픽처를 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩하기 위한, 그리고 현재 서브픽처가 픽처와 독립적으로 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함하는 파라미터 세트를 비트스트림으로 인코딩하기 위한 인코딩 모듈(1203)을 더 포함한다. 비디오 인코더(1202)는 디코더를 향한 통신을 위해 비트스트림을 저장하기 위한 저장 모듈(1205)을 더 포함한다. 비디오 인코더(1202)는 현재 서브픽처를 포함하는 비트스트림을 디코더를 향해 전송하기 위한 전송 모듈(1207)을 더 포함한다. 비디오 인코더(1202)는 방법(1000)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.
시스템(1200)은 또한 비디오 디코더(1210)를 포함한다. 비디오 디코더(1210)는 픽처로부터 파티셔닝된 하나 이상의 서브픽처들 및 파라미터 세트를 포함하는 비트스트림을 수신하기 위한 수신 모듈(1211)을 포함한다. 비디오 디코더(1210)는 현재 서브픽처가 시간적 모션 제약 서브픽처임을 지시하는 플래그를 획득하도록 파라미터 세트를 파싱하기 위한 파싱 모듈(1213)을 더 포함한다. 비디오 디코더(1210)는 픽처와 독립적으로 그리고 플래그에 기초하여 비트스트림으로부터 현재 서브픽처를 추출하기 위한 추출 모듈(1215)을 더 포함한다. 비디오 디코더(1210)는 비디오 시퀀스를 생성하도록 현재 서브픽처를 디코딩하기 위한 디코딩 모듈(1217)을 더 포함한다. 비디오 디코더(1210)는 디스플레이를 위해 비디오 시퀀스를 전달하기 위한 전달 모듈(1219)을 더 포함한다. 비디오 디코더(1210)는 방법(1100)의 단계들 중 임의의 단계를 수행하도록 추가로 구성될 수 있다.
제1 컴포넌트는 제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스(trace) 또는 다른 매체를 제외하고 어떠한 개재 컴포넌트도 없을 때 제2 컴포넌트에 직접 결합된다. 제1 컴포넌트는 제1 컴포넌트와 제2 컴포넌트 사이에 라인, 트레이스 또는 다른 매체 이외의 개재 컴포넌트들이 있을 때 제2 컴포넌트에 간접적으로 결합된다. "결합된"이라는 용어 및 그의 변형들은 직접 결합된 및 간접적으로 결합된 둘 모두를 포함한다. "약"이라는 용어의 사용은 달리 언급되지 않는 한, 후속 수의 ±10%를 포함하는 범위를 의미한다.
본 명세서에서 제시된 예시적인 방법들의 단계들이 반드시 설명된 순서로 수행될 필요는 없다고 또한 이해되어야 하며, 그러한 방법들의 단계들의 순서는 단지 예시인 것으로 이해되어야 한다. 마찬가지로, 본 개시내용의 다양한 실시예들과 일치하는 방법들에서, 추가 단계들이 그러한 방법들에 포함될 수 있고, 특정 단계들이 생략 또는 조합될 수 있다.
본 개시내용에서 여러 실시예들이 제공되었지만, 개시된 시스템들 및 방법들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 많은 다른 특정 형태들로 구현될 수도 있다고 이해되어야 한다. 본 예들은 제한이 아닌 예시로서 고려되어야 하며, 그 의도는 본 명세서에서 주어진 세부사항들로 제한되지 않아야 한다. 예를 들어, 다양한 엘리먼트들 또는 컴포넌트들이 다른 시스템으로 조합 또는 통합될 수 있거나, 일부 특징들이 생략될 수 있거나 구현되지 않을 수 있다.
추가로, 다양한 실시예들에서 개별적인 또는 분리된 것으로 설명되고 예시된 기술들, 시스템들, 서브시스템들 및 방법들은 본 개시내용의 범위를 벗어나지 않으면서 다른 시스템들, 컴포넌트들, 기술들 또는 방법과 조합 또는 통합될 수 있다. 변화들, 대체들 및 변경들의 다른 예들이 당해 기술분야에서 통상의 지식을 가진 자에 의해 확인 가능하며, 본 명세서에 개시된 사상 및 범위를 벗어나지 않으면서 이루어질 수 있다.
Claims (20)
- 디코더에서 구현되는 방법으로서,
상기 디코더의 수신기에 의해, 픽처로부터 파티셔닝된 하나 이상의 서브픽처(sub-picture)들 및 파라미터 세트)를 포함하는 비트스트림을 수신하는 단계;
상기 디코더의 프로세서에 의해, 현재 서브픽처가 시간적 모션 제약 서브픽처(temporal motion constrained sub-picture)임을 지시하는 플래그(flag)를 획득하도록 파라미터 세트를 파싱(parse)하는 단계;
상기 프로세서에 의해, 상기 픽처와 독립적으로 그리고 상기 플래그에 기초하여 상기 비트스트림으로부터 상기 현재 서브픽처를 추출하는 단계;
상기 프로세서에 의해, 비디오 시퀀스를 생성하도록 상기 현재 서브픽처를 디코딩하는 단계; 및
상기 프로세서에 의해, 디스플레이를 위해 상기 비디오 시퀀스를 전달하는 단계를 포함하는,
방법. - 제1항에 있어서,
상기 플래그를 포함하는 상기 파라미터 세트는 시퀀스 파라미터 세트(SPS: sequence parameter set)인, 방법. - 제1항 또는 제2항에 있어서,
상기 파라미터 세트는 시간적 모션 제약 서브픽처인 하나 이상의 서브픽처들 각각에 대해 적어도 하나의 플래그를 포함하는, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
시간적 모션 제약 서브픽처가 아닌 하나 이상의 서브픽처들 각각에 대해서는 플래그가 생략되고,
상기 방법은, 상기 프로세서에 의해, 각각의 생략된 플래그의 값이 0과 같다고 추론하는 단계를 더 포함하는, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 플래그는 subpic_motion_constrained_flag[ i ]이며, 여기서 i는 상기 현재 서브픽처의 인덱스인, 방법. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 파라미터 세트는 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 식별자(ID: identifier)를 더 포함하는, 방법. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 파라미터 세트는 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 크기 및 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 위치를 더 포함하는, 방법. - 인코더에서 구현되는 방법으로서,
상기 인코더의 프로세서에 의해, 픽처를 복수의 서브픽처들로 파티셔닝하는 단계;
상기 프로세서에 의해, 현재 서브픽처를 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩하는 단계;
상기 프로세서에 의해, 상기 현재 서브픽처가 상기 픽처와 독립적으로 상기 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함하는 파라미터 세트를 상기 비트스트림으로 인코딩하는 단계; 및
디코더를 향한 통신을 위해 상기 비트스트림을 상기 인코더의 메모리에 저장하는 단계를 포함하는,
방법. - 제8항에 있어서,
상기 플래그를 포함하는 상기 파라미터 세트는 시퀀스 파라미터 세트(SPS)인,
방법. - 제8항 또는 제9항에 있어서,
상기 파라미터 세트는 시간적 모션 제약 서브픽처인 하나 이상의 서브픽처 각각에 대해 적어도 하나의 플래그를 포함하는, 방법. - 제8항 내지 제10항 중 어느 한 항에 있어서,
시간적 모션 제약 서브픽처가 아닌 상기 하나 이상의 서브픽처 각각에 대해서는 플래그가 생략되는, 방법. - 제8항 내지 제11항 중 어느 한 항에 있어서,
상기 플래그는 subpic_motion_constrained_flag[ i ]이며, 여기서 i는 상기 현재 서브픽처의 인덱스인, 방법. - 제8항 내지 제12항 중 어느 한 항에 있어서,
상기 프로세서에 의해, 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 식별자(ID)를 상기 파라미터 세트로 인코딩하는 단계를 더 포함하는 방법. - 제8항 내지 제13항 중 어느 한 항에 있어서,
상기 프로세서에 의해, 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 크기 및 상기 하나 이상의 서브픽처 각각에 대한 서브픽처 위치를 상기 파라미터 세트로 인코딩하는 단계를 더 포함하는 방법. - 비디오 코딩 디바이스로서,
프로세서, 메모리, 상기 프로세서에 결합된 수신기, 및 상기 프로세서에 결합된 전송기를 포함하며, 상기 프로세서, 상기 메모리, 상기 수신기 및 상기 전송기는 제1항 내지 제14항 중 어느 한 항의 방법을 수행하도록 구성되는,
비디오 코딩 디바이스. - 비디오 코딩 디바이스에 의한 사용을 위한 컴퓨터 프로그램 제품을 포함하는 비-일시적 컴퓨터 판독 가능 매체로서,
상기 컴퓨터 프로그램 제품은 프로세서에 의해 실행될 때 상기 비디오 코딩 디바이스로 하여금 제1항 내지 제14항 중 어느 한 항의 방법을 수행하게 하도록 상기 비-일시적 컴퓨터 판독 가능 매체 상에 저장된 컴퓨터 실행 가능 명령들을 포함하는,
비-일시적 컴퓨터 판독 가능 매체. - 디코더로서,
픽처로부터 파티셔닝된 하나 이상의 서브픽처 및 파라미터 세트를 포함하는 비트스트림을 수신하기 위한 수신 수단;
현재 서브픽처가 시간적 모션 제약 서브픽처임을 지시하는 플래그를 획득하기 위해 상기 파라미터 세트를 파싱하기 위한 파싱 수단;
상기 픽처와 독립적으로 그리고 상기 플래그에 기초하여 상기 비트스트림으로부터 상기 현재 서브픽처를 추출하기 위한 추출 수단;
비디오 시퀀스를 생성하기 위해 상기 현재 서브픽처를 디코딩하기 위한 디코딩 수단; 및
디스플레이를 위해 상기 비디오 시퀀스를 전달하기 위한 전달 수단을 포함하는,
디코더. - 제17항에 있어서,
상기 디코더는 제1항 내지 제7항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는,
디코더. - 인코더로서,
픽처를 복수의 서브픽처들로 파티셔닝하기 위한 파티셔닝 수단;
인코딩 수단 ― 상기 인코딩 수단은:
현재 서브픽처를 시간적 모션 제약 서브픽처로서 비트스트림으로 인코딩하고; 그리고
상기 현재 서브픽처가 상기 픽처와 독립적으로 상기 비트스트림으로부터 추출될 수 있는 시간적 모션 제약 서브픽처임을 지시하는 플래그를 포함하는 파라미터 세트를 상기 비트스트림으로 인코딩함 ―; 및
디코더를 향한 통신을 위해 상기 비트스트림을 저장하기 위한 저장 수단을 포함하는,
인코더. - 제19항에 있어서,
상기 인코더는 제8항 내지 제14항 중 어느 한 항의 방법을 수행하도록 추가로 구성되는,
인코더.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962790207P | 2019-01-09 | 2019-01-09 | |
| US62/790,207 | 2019-01-09 | ||
| PCT/US2020/012907 WO2020146614A1 (en) | 2019-01-09 | 2020-01-09 | Temporal motion constrained sub-picture signaling in video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210107126A true KR20210107126A (ko) | 2021-08-31 |
| KR102650474B1 KR102650474B1 (ko) | 2024-03-21 |
Family
ID=71520341
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217024938A KR20210107128A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020217025036A KR102648032B1 (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 레벨 지표 시그널링 |
| KR1020217024921A KR20210109630A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020247013391A KR20240056798A (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 식별자 시그널링 |
| KR1020217025126A KR20210110710A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020217024917A KR102650474B1 (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020217024925A KR102661006B1 (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 식별자 시그널링 |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217024938A KR20210107128A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020217025036A KR102648032B1 (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 레벨 지표 시그널링 |
| KR1020217024921A KR20210109630A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| KR1020247013391A KR20240056798A (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 식별자 시그널링 |
| KR1020217025126A KR20210110710A (ko) | 2019-01-09 | 2020-01-09 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217024925A KR102661006B1 (ko) | 2019-01-09 | 2020-01-09 | 비디오 코딩의 서브 픽처 식별자 시그널링 |
Country Status (21)
| Country | Link |
|---|---|
| US (8) | US20210337227A1 (ko) |
| EP (10) | EP4221214A1 (ko) |
| JP (11) | JP7404373B2 (ko) |
| KR (7) | KR20210107128A (ko) |
| CN (10) | CN115550648B (ko) |
| AU (2) | AU2020206246B2 (ko) |
| BR (5) | BR112021013499A2 (ko) |
| CY (3) | CY1126078T1 (ko) |
| DK (6) | DK3906665T3 (ko) |
| ES (4) | ES2951060T3 (ko) |
| FI (5) | FI3909246T3 (ko) |
| HR (3) | HRP20230702T1 (ko) |
| HU (4) | HUE062631T2 (ko) |
| LT (3) | LT3906665T (ko) |
| MX (6) | MX2021008347A (ko) |
| PL (4) | PL3906665T3 (ko) |
| PT (6) | PT3909244T (ko) |
| RS (3) | RS64353B1 (ko) |
| SG (5) | SG11202107543SA (ko) |
| SI (3) | SI3909244T1 (ko) |
| WO (6) | WO2020146614A1 (ko) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112236998A (zh) * | 2019-01-02 | 2021-01-15 | 株式会社 Xris | 用于对视频信号进行编码/解码的方法及其装置 |
| JP7404373B2 (ja) * | 2019-01-09 | 2023-12-25 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
| WO2020164480A1 (en) * | 2019-02-11 | 2020-08-20 | Beijing Bytedance Network Technology Co., Ltd. | Condition dependent video block partition |
| CN113661714B (zh) * | 2019-03-11 | 2024-10-01 | 交互数字Vc控股公司 | 子画面比特流提取和重新定位 |
| US20220182681A1 (en) * | 2019-03-24 | 2022-06-09 | Lg Electronics Inc. | Image or video coding based on sub-picture handling structure |
| WO2020249124A1 (en) | 2019-06-14 | 2020-12-17 | Beijing Bytedance Network Technology Co., Ltd. | Handling video unit boundaries and virtual boundaries based on color format |
| CN118138754A (zh) | 2019-06-14 | 2024-06-04 | 北京字节跳动网络技术有限公司 | 处理视频单元边界和虚拟边界 |
| US20220272321A1 (en) * | 2019-06-19 | 2022-08-25 | Electronics And Telecommunications Research Institute | Method, device, and recording medium for encoding/decoding image using reference picture |
| KR20220042125A (ko) | 2019-08-10 | 2022-04-04 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 서브픽처 디코딩에서의 버퍼 관리 |
| CN112970251A (zh) | 2019-08-20 | 2021-06-15 | 株式会社 Xris | 用于对图像信号进行编码/解码的方法及其装置 |
| WO2021039578A1 (ja) * | 2019-08-29 | 2021-03-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
| JP2021044708A (ja) * | 2019-09-11 | 2021-03-18 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| KR102707780B1 (ko) | 2019-09-18 | 2024-09-20 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 적응형 루프 필터의 2-파트 시그널링 |
| EP4018652A4 (en) | 2019-09-22 | 2022-11-02 | Beijing Bytedance Network Technology Co., Ltd. | FILLING METHOD IN AN ADAPTIVE LOOP FILTER |
| US20220385924A1 (en) * | 2019-09-23 | 2022-12-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Segment position signalling with subpicture slice position deriving |
| JP7326600B2 (ja) | 2019-09-27 | 2023-08-15 | 北京字節跳動網絡技術有限公司 | 異なるビデオユニット間の適応ループフィルタリング |
| JP7322290B2 (ja) * | 2019-10-02 | 2023-08-07 | 北京字節跳動網絡技術有限公司 | ビデオビットストリームにおけるサブピクチャシグナリングのための構文 |
| EP4029263A4 (en) | 2019-10-10 | 2022-12-07 | Beijing Bytedance Network Technology Co., Ltd. | FILLING PROCEDURE AT UNAVAILABLE SAMPLING POINTS IN AN ADAPTIVE LOOP FILTERING |
| JP7482220B2 (ja) | 2019-10-18 | 2024-05-13 | 北京字節跳動網絡技術有限公司 | サブピクチャのパラメータセットシグナリングにおける構文制約 |
| KR102707834B1 (ko) | 2019-10-29 | 2024-09-19 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 루마 차이를 이용한 크로스 컴포넌트 적응적 루프 필터 |
| US11509938B2 (en) * | 2019-11-05 | 2022-11-22 | Hfi Innovation Inc. | Method and apparatus of signaling subpicture information in video coding |
| US20210176475A1 (en) * | 2019-12-05 | 2021-06-10 | Mediatek Inc. | Specifying Layout In Video Pictures |
| US12088848B2 (en) * | 2019-12-11 | 2024-09-10 | Sharp Kabushiki Kaisha | Systems and methods for signaling output layer set information in video coding |
| BR112022011466A2 (pt) | 2019-12-11 | 2022-08-23 | Beijing Bytedance Network Tech Co Ltd | Método de processamento de dados de vídeo, aparelho para processamento de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório |
| GB2590632B (en) * | 2019-12-20 | 2023-07-26 | Canon Kk | Video coding and decoding |
| EP4062634A4 (en) | 2019-12-26 | 2022-12-28 | ByteDance Inc. | LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS |
| WO2021134015A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Profile, tier and layer indication in video coding |
| CN114902567A (zh) | 2019-12-27 | 2022-08-12 | 字节跳动有限公司 | 视频编解码中的子图像信令 |
| US11778169B2 (en) * | 2019-12-27 | 2023-10-03 | Electronics And Telecommunications Research Institute | Method, apparatus and storage medium for image encoding/decoding using reference picture |
| US12058357B2 (en) * | 2020-03-31 | 2024-08-06 | Tencent America LLC | Method for signaling subpicture partitioning in coded video stream |
| CN116325728A (zh) | 2020-06-30 | 2023-06-23 | 抖音视界有限公司 | 自适应环路滤波的边界位置 |
| EP3972279A1 (en) | 2020-09-17 | 2022-03-23 | Lemon Inc. | Subpicture track referencing and processing |
| US20220086387A1 (en) | 2020-09-17 | 2022-03-17 | Lemon Inc. | Subpicture entity groups in video coding |
| US20220086497A1 (en) | 2020-09-17 | 2022-03-17 | Lemon Inc. | Subpicture entity group signaling in coded video |
| WO2022139459A1 (ko) * | 2020-12-23 | 2022-06-30 | 엘지전자 주식회사 | 서브 픽처 id 정보를 시그널링하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일을 저장한 컴퓨터 판독 가능한 기록 매체 |
| US20220345725A1 (en) | 2021-04-15 | 2022-10-27 | Lemon Inc. | Level Indicator For Sub-Picture Entity Group |
| WO2023244022A1 (ko) * | 2022-06-16 | 2023-12-21 | 엘지전자 주식회사 | 스캔 오더(scan order) 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014168650A1 (en) * | 2013-04-08 | 2014-10-16 | Microsoft Corporation | Motion-constrained tile set for region of interest coding |
Family Cites Families (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100496703B1 (ko) * | 1996-09-27 | 2005-11-24 | 마쯔시다덴기산교 가부시키가이샤 | 비디오데이터의택일적인재생이가능한멀티미디어스트림생성방법과멀티미디어광디스크오소링시스템 |
| GB2382940A (en) * | 2001-11-27 | 2003-06-11 | Nokia Corp | Encoding objects and background blocks |
| US20030112868A1 (en) * | 2001-12-17 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Shape assisted padding for object-based coding |
| JP2004128761A (ja) * | 2002-10-01 | 2004-04-22 | Pioneer Electronic Corp | 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造 |
| KR100539886B1 (ko) | 2004-09-10 | 2005-12-28 | 삼성전자주식회사 | 디지털 방송 수신 장치 및 그 방법 |
| JP2008536420A (ja) * | 2005-04-13 | 2008-09-04 | ノキア コーポレイション | スケーラビリティ情報の符号化、格納およびシグナリング |
| JP2010505318A (ja) * | 2006-09-26 | 2010-02-18 | エーエムビーエックス ユーケー リミテッド | ビデオフレームと補助データを含むビットストリームの形成及び処理 |
| US20140072058A1 (en) * | 2010-03-05 | 2014-03-13 | Thomson Licensing | Coding systems |
| JP2010041494A (ja) * | 2008-08-06 | 2010-02-18 | Sumitomo Electric Ind Ltd | ネットワーク端末 |
| US9602821B2 (en) * | 2008-10-01 | 2017-03-21 | Nvidia Corporation | Slice ordering for video encoding |
| US9036714B2 (en) * | 2009-01-26 | 2015-05-19 | Thomson Licensing | Frame packing for video coding |
| KR20110061468A (ko) * | 2009-12-01 | 2011-06-09 | (주)휴맥스 | 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치 |
| US20120179833A1 (en) * | 2010-06-02 | 2012-07-12 | Onmobile Global Limited | Method and apparatus for adapting media |
| US8780973B2 (en) * | 2010-08-13 | 2014-07-15 | Texas Instruments Incorporated | Limiting the maximum size of an encoded video picture using sub-picture based rate control |
| US8891889B2 (en) * | 2011-04-13 | 2014-11-18 | Huawei Technologies Co., Ltd. | Image encoding and decoding methods and related devices |
| US20130016769A1 (en) | 2011-07-17 | 2013-01-17 | Qualcomm Incorporated | Signaling picture size in video coding |
| US9584819B2 (en) * | 2011-10-24 | 2017-02-28 | Qualcomm Incorporated | Grouping of tiles for video coding |
| US20130107973A1 (en) | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
| US20130136180A1 (en) * | 2011-11-29 | 2013-05-30 | Futurewei Technologies, Inc. | Unified Partitioning Structures and Signaling Methods for High Efficiency Video Coding |
| US9819949B2 (en) * | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
| US9288506B2 (en) * | 2012-01-05 | 2016-03-15 | Qualcomm Incorporated | Signaling view synthesis prediction support in 3D video coding |
| US9332259B2 (en) | 2012-01-18 | 2016-05-03 | Qualcomm Incorporated | Indication of use of wavefront parallel processing in video coding |
| US10244246B2 (en) | 2012-02-02 | 2019-03-26 | Texas Instruments Incorporated | Sub-pictures for pixel rate balancing on multi-core platforms |
| US9756327B2 (en) * | 2012-04-03 | 2017-09-05 | Qualcomm Incorporated | Quantization matrix and deblocking filter adjustments for video coding |
| US9578326B2 (en) * | 2012-04-04 | 2017-02-21 | Qualcomm Incorporated | Low-delay video buffering in video coding |
| WO2013150944A1 (ja) | 2012-04-06 | 2013-10-10 | ソニー株式会社 | 復号装置および復号方法、並びに、符号化装置および符号化方法 |
| JP5888278B2 (ja) | 2012-04-06 | 2016-03-16 | 株式会社Ｊｖｃケンウッド | 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム |
| IN2014DN07859A (ko) * | 2012-04-16 | 2015-04-24 | Ericsson Telefon Ab L M | |
| US20130287093A1 (en) * | 2012-04-25 | 2013-10-31 | Nokia Corporation | Method and apparatus for video coding |
| CN115442623B (zh) | 2012-06-29 | 2024-08-23 | Ge视频压缩有限责任公司 | 解码视频数据流的方法、存储介质、编码器、解码器 |
| JP6376719B2 (ja) * | 2012-06-29 | 2018-08-22 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| US20140003504A1 (en) * | 2012-07-02 | 2014-01-02 | Nokia Corporation | Apparatus, a Method and a Computer Program for Video Coding and Decoding |
| US9602827B2 (en) * | 2012-07-02 | 2017-03-21 | Qualcomm Incorporated | Video parameter set including an offset syntax element |
| EP2871567A4 (en) * | 2012-07-06 | 2016-01-06 | Samsung Electronics Co Ltd | METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO |
| JP2014027371A (ja) * | 2012-07-24 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | イントラ予測処理装置及びプログラム |
| US8989508B2 (en) * | 2012-09-28 | 2015-03-24 | Sharp Kabushiki Kaisha | Electronic device for signaling a sub-picture buffer parameter |
| US9491457B2 (en) * | 2012-09-28 | 2016-11-08 | Qualcomm Incorporated | Signaling of regions of interest and gradual decoding refresh in video coding |
| EP2887663B1 (en) | 2012-09-29 | 2017-02-22 | Huawei Technologies Co., Ltd. | Method, apparatus and system for encoding and decoding video |
| RU2608465C1 (ru) * | 2013-01-04 | 2017-01-18 | Самсунг Электроникс Ко., Лтд. | Способ энтропийного кодирования сегмента слайса и устройство для него и способ энтропийного декодирования сегмента слайса и устройство для него |
| CN105144720B (zh) * | 2013-01-04 | 2018-12-28 | Ge视频压缩有限责任公司 | 高效可伸缩编码概念 |
| WO2014141142A1 (en) | 2013-03-14 | 2014-09-18 | Gamesys Ltd | Systems and methods for detection of gaming experience management implementations |
| GB2512829B (en) * | 2013-04-05 | 2015-05-27 | Canon Kk | Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme |
| US9635371B2 (en) * | 2013-05-31 | 2017-04-25 | Qualcomm Incorporated | Determining rounding offset using scaling factor in picture resampling |
| US8923640B1 (en) * | 2013-06-07 | 2014-12-30 | Apple Inc. | Coherence groups: region descriptors for low bit rate encoding |
| JP6505026B2 (ja) | 2013-07-10 | 2019-04-24 | シャープ株式会社 | 符号化方法 |
| WO2015009693A1 (en) * | 2013-07-15 | 2015-01-22 | Sony Corporation | Layer based hrd buffer management for scalable hevc |
| EP3008896B1 (en) * | 2013-07-15 | 2021-03-31 | Sony Corporation | Extensions of motion-constrained tile sets sei message for interactivity |
| GB2516824A (en) * | 2013-07-23 | 2015-02-11 | Nokia Corp | An apparatus, a method and a computer program for video coding and decoding |
| WO2015052979A1 (ja) * | 2013-10-11 | 2015-04-16 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| WO2015052943A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Kabushiki Kaisha | Signaling parameters in vps extension and dpb operation |
| EP3089452A4 (en) * | 2013-12-26 | 2017-10-25 | Samsung Electronics Co., Ltd. | Inter-layer video decoding method for performing subblock-based prediction and apparatus therefor, and inter-layer video encoding method for performing subblock-based prediction and apparatus therefor |
| US9912966B2 (en) * | 2014-01-03 | 2018-03-06 | Nokia Technologies Oy | Parameter set coding |
| US10320867B2 (en) | 2014-01-07 | 2019-06-11 | Canon Kabushiki Kaisha | Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data |
| JP6224516B2 (ja) * | 2014-05-07 | 2017-11-01 | 日本電信電話株式会社 | エンコード方法およびエンコードプログラム |
| US9699480B2 (en) * | 2014-06-13 | 2017-07-04 | Sharp Laboratories Of America, Inc. | Level limits |
| MX2021015798A (es) | 2014-06-20 | 2023-03-07 | Sony Corp | Dispositivo y metodo de codificacion de imagen, y dispositivo y metodo de decodificacion de imagen. |
| WO2015194187A1 (en) * | 2014-06-20 | 2015-12-23 | Sharp Kabushiki Kaisha | Harmonized palette coding |
| EP3248377B1 (en) * | 2015-02-16 | 2022-05-04 | HFI Innovation Inc. | Method and apparatus for palette predictor initialization for palette coding in video and image compression |
| GB2535990A (en) * | 2015-02-26 | 2016-09-07 | Univ Antwerpen | Computer program and method of determining a personalized head-related transfer function and interaural time difference function |
| EP3128485A1 (en) * | 2015-08-05 | 2017-02-08 | Thomson Licensing | Method and apparatus for hierarchical motion estimation using dfd-based image segmentation |
| WO2017088093A1 (en) | 2015-11-23 | 2017-06-01 | Mediatek Singapore Pte. Ltd. | On the smallest allowed block size in video coding |
| US20170180758A1 (en) * | 2015-12-22 | 2017-06-22 | Vallabhajosyula S. Somayazulu | Tiled Wireless Display |
| CN118784881A (zh) * | 2016-02-09 | 2024-10-15 | 弗劳恩霍夫应用研究促进协会 | 解码器、编码器、方法、网络设备以及可读存储介质 |
| EP3249928A1 (en) | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| US10812791B2 (en) * | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
| US10250776B2 (en) * | 2016-10-04 | 2019-04-02 | International Business Machines Corporation | Enhancing graph visualization with supplemental data |
| CN115022626A (zh) * | 2016-10-04 | 2022-09-06 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和计算机可读记录介质 |
| WO2018071666A1 (en) * | 2016-10-12 | 2018-04-19 | Arris Enterprises Llc | Coding schemes for virtual reality (vr) sequences |
| WO2018083378A1 (en) * | 2016-11-01 | 2018-05-11 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| GB2594615B (en) * | 2017-03-20 | 2022-11-30 | Canon Kk | Method and apparatus for encoding and transmitting at least a spatial part of a video sequence |
| CN115955560B (zh) * | 2017-03-20 | 2024-10-11 | Ge视频压缩有限责任公司 | 生成视频数据流的装置以及生成视频数据流的方法 |
| WO2018221368A1 (ja) * | 2017-05-31 | 2018-12-06 | シャープ株式会社 | 動画像復号装置、及び動画像符号化装置 |
| EP3422724B1 (en) * | 2017-06-26 | 2024-05-01 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
| CN116320400A (zh) * | 2017-07-03 | 2023-06-23 | 汉阳大学校产学协力团 | 利用包含追加区域的分割单位的影像解码方法以及装置 |
| CN118200610A (zh) * | 2017-07-04 | 2024-06-14 | 华为技术有限公司 | 边界强制分区的改进 |
| TWI812414B (zh) * | 2017-07-13 | 2023-08-11 | 美商松下電器（美國）知識產權公司 | 編碼裝置、解碼裝置及記錄媒體 |
| CN118018761A (zh) * | 2017-12-28 | 2024-05-10 | 韩国电子通信研究院 | 图像编码和解码的方法和装置以及存储比特流的记录介质 |
| KR102543953B1 (ko) | 2018-04-19 | 2023-06-20 | 엘지전자 주식회사 | 영상의 처리 방법 및 이를 위한 장치 |
| CN112544084B (zh) * | 2018-05-15 | 2024-03-01 | 夏普株式会社 | 图像编码装置、编码流提取装置以及图像解码装置 |
| EP3782369B1 (en) * | 2018-05-30 | 2023-08-23 | Huawei Technologies Co., Ltd. | Multi-type tree depth extension for picture boundary handling |
| US20210274217A1 (en) * | 2018-06-29 | 2021-09-02 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and apparatus for throughput enhancement, and recording medium storing bitstream |
| JP2021153213A (ja) * | 2018-06-29 | 2021-09-30 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
| US11290728B2 (en) * | 2018-07-02 | 2022-03-29 | Nokia Technologies Oy | Method and apparatus for tile-relative addressing in video coding |
| KR102545728B1 (ko) * | 2018-07-16 | 2023-06-20 | 엘지전자 주식회사 | 서브블록 단위의 시간적 움직임 정보 예측을 위한 인터 예측 방법 및 그 장치 |
| WO2020050705A1 (ko) * | 2018-09-07 | 2020-03-12 | 가온미디어 주식회사 | 그룹 단위 양자화 파라미터를 처리하는 영상 복호화 및 부호화 방법 |
| CN112703734A (zh) * | 2018-09-14 | 2021-04-23 | Vid拓展公司 | 用于灵活网格区域的方法和装置 |
| US11057636B2 (en) * | 2018-09-17 | 2021-07-06 | Qualcomm Incorporated | Affine motion prediction |
| WO2020060243A1 (ko) * | 2018-09-19 | 2020-03-26 | 한국전자통신연구원 | 경계 처리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| KR102660160B1 (ko) * | 2018-11-22 | 2024-04-24 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 서브 블록 기반 인터 예측을 위한 조정 방법 |
| EP3891983A1 (en) * | 2018-12-04 | 2021-10-13 | VID SCALE, Inc. | Tile group partitioning |
| US11102513B2 (en) * | 2018-12-06 | 2021-08-24 | Tencent America LLC | One-level transform split and adaptive sub-block transform |
| CN113196757B (zh) * | 2018-12-20 | 2024-04-26 | 瑞典爱立信有限公司 | 用于使用图片中的均匀片段分割进行视频编码的方法和装置 |
| CN118660160A (zh) * | 2018-12-28 | 2024-09-17 | 有限公司B1影像技术研究所 | 对图像进行编码/解码的方法和计算机可读存储介质 |
| WO2020135482A1 (en) * | 2018-12-29 | 2020-07-02 | Beijing Bytedance Network Technology Co., Ltd. | Construction method for default motion candidate in sub-block based inter prediction |
| EP3906677A4 (en) * | 2019-01-02 | 2022-10-19 | Nokia Technologies Oy | DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
| JP7404373B2 (ja) * | 2019-01-09 | 2023-12-25 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
| GB2584295A (en) | 2019-05-28 | 2020-12-02 | Canon Kk | Method and apparatus for encoding and decoding a video bitstream for merging regions of interest |
| JP7482220B2 (ja) * | 2019-10-18 | 2024-05-13 | 北京字節跳動網絡技術有限公司 | サブピクチャのパラメータセットシグナリングにおける構文制約 |
| JP7535584B2 (ja) * | 2019-12-12 | 2024-08-16 | エルジー エレクトロニクス インコーポレイティド | ループフィルタリングを制御するための映像コーディング装置及び方法 |
-
2020
- 2020-01-09 JP JP2021540003A patent/JP7404373B2/ja active Active
- 2020-01-09 HU HUE20738357A patent/HUE062631T2/hu unknown
- 2020-01-09 CN CN202211022376.3A patent/CN115550648B/zh active Active
- 2020-01-09 SG SG11202107543SA patent/SG11202107543SA/en unknown
- 2020-01-09 PL PL20738971.9T patent/PL3906665T3/pl unknown
- 2020-01-09 WO PCT/US2020/012907 patent/WO2020146614A1/en unknown
- 2020-01-09 LT LTEPPCT/US2020/012910T patent/LT3906665T/lt unknown
- 2020-01-09 CN CN202080008738.6A patent/CN113330745A/zh active Pending
- 2020-01-09 EP EP23166930.0A patent/EP4221214A1/en active Pending
- 2020-01-09 JP JP2021540004A patent/JP7467480B2/ja active Active
- 2020-01-09 KR KR1020217024938A patent/KR20210107128A/ko not_active Application Discontinuation
- 2020-01-09 SI SI202030210T patent/SI3909244T1/sl unknown
- 2020-01-09 CN CN202210114288.XA patent/CN114584770B/zh active Active
- 2020-01-09 EP EP20739138.4A patent/EP3906687B1/en active Active
- 2020-01-09 PT PT207383571T patent/PT3909244T/pt unknown
- 2020-01-09 JP JP2021540005A patent/JP7508462B2/ja active Active
- 2020-01-09 SG SG11202107546UA patent/SG11202107546UA/en unknown
- 2020-01-09 MX MX2021008347A patent/MX2021008347A/es unknown
- 2020-01-09 EP EP20738533.7A patent/EP3906684B9/en active Active
- 2020-01-09 JP JP2021539999A patent/JP7516389B2/ja active Active
- 2020-01-09 CN CN202080008683.9A patent/CN113508591A/zh active Pending
- 2020-01-09 WO PCT/US2020/012921 patent/WO2020146623A1/en unknown
- 2020-01-09 RS RS20230522A patent/RS64353B1/sr unknown
- 2020-01-09 RS RS20230572A patent/RS64374B1/sr unknown
- 2020-01-09 DK DK20738971.9T patent/DK3906665T3/da active
- 2020-01-09 JP JP2021540000A patent/JP7223146B2/ja active Active
- 2020-01-09 SG SG11202107549XA patent/SG11202107549XA/en unknown
- 2020-01-09 PL PL20739138.4T patent/PL3906687T3/pl unknown
- 2020-01-09 MX MX2021008348A patent/MX2021008348A/es unknown
- 2020-01-09 EP EP20738190.6A patent/EP3909246B1/en active Active
- 2020-01-09 CN CN202410210946.4A patent/CN118101934A/zh active Pending
- 2020-01-09 FI FIEP20738190.6T patent/FI3909246T3/fi active
- 2020-01-09 PT PT207382698T patent/PT3909245T/pt unknown
- 2020-01-09 EP EP24193014.8A patent/EP4451673A2/en active Pending
- 2020-01-09 CN CN202211021778.1A patent/CN115550647B/zh active Active
- 2020-01-09 SI SI202030220T patent/SI3906665T1/sl unknown
- 2020-01-09 DK DK20738190.6T patent/DK3909246T3/da active
- 2020-01-09 DK DK23169952.1T patent/DK4221215T3/da active
- 2020-01-09 WO PCT/US2020/012974 patent/WO2020146665A1/en unknown
- 2020-01-09 MX MX2021008345A patent/MX2021008345A/es unknown
- 2020-01-09 HR HRP20230702TT patent/HRP20230702T1/hr unknown
- 2020-01-09 BR BR112021013499-9A patent/BR112021013499A2/pt unknown
- 2020-01-09 SG SG11202107548WA patent/SG11202107548WA/en unknown
- 2020-01-09 LT LTEPPCT/US2020/012970T patent/LT3909244T/lt unknown
- 2020-01-09 AU AU2020206246A patent/AU2020206246B2/en active Active
- 2020-01-09 CN CN202080008699.XA patent/CN113302933A/zh active Pending
- 2020-01-09 HU HUE20738971A patent/HUE062301T2/hu unknown
- 2020-01-09 FI FIEP20738357.1T patent/FI3909244T3/fi active
- 2020-01-09 PT PT207381906T patent/PT3909246T/pt unknown
- 2020-01-09 EP EP20738357.1A patent/EP3909244B1/en active Active
- 2020-01-09 DK DK20738533.7T patent/DK3906684T3/da active
- 2020-01-09 KR KR1020217025036A patent/KR102648032B1/ko active IP Right Grant
- 2020-01-09 LT LTEPPCT/US2020/012921T patent/LT3909246T/lt unknown
- 2020-01-09 BR BR112021013512-0A patent/BR112021013512A2/pt unknown
- 2020-01-09 PL PL20738357.1T patent/PL3909244T3/pl unknown
- 2020-01-09 HR HRP20230682TT patent/HRP20230682T1/hr unknown
- 2020-01-09 WO PCT/US2020/012970 patent/WO2020146662A1/en unknown
- 2020-01-09 EP EP23169952.1A patent/EP4221215B1/en active Active
- 2020-01-09 ES ES20738357T patent/ES2951060T3/es active Active
- 2020-01-09 EP EP23165304.9A patent/EP4221213B1/en active Active
- 2020-01-09 PL PL20738190.6T patent/PL3909246T3/pl unknown
- 2020-01-09 WO PCT/US2020/012910 patent/WO2020146616A1/en unknown
- 2020-01-09 FI FIEP20738533.7T patent/FI3906684T3/fi active
- 2020-01-09 KR KR1020217024921A patent/KR20210109630A/ko not_active Application Discontinuation
- 2020-01-09 FI FIEP20738971.9T patent/FI3906665T3/fi active
- 2020-01-09 MX MX2021008339A patent/MX2021008339A/es unknown
- 2020-01-09 HU HUE20738190A patent/HUE062613T2/hu unknown
- 2020-01-09 CN CN202080008695.1A patent/CN113287313A/zh active Pending
- 2020-01-09 ES ES20738971T patent/ES2952079T3/es active Active
- 2020-01-09 BR BR112021013436-0A patent/BR112021013436A2/pt active Search and Examination
- 2020-01-09 SI SI202030212T patent/SI3909246T1/sl unknown
- 2020-01-09 EP EP20738971.9A patent/EP3906665B1/en active Active
- 2020-01-09 JP JP2021540001A patent/JP7556861B2/ja active Active
- 2020-01-09 KR KR1020247013391A patent/KR20240056798A/ko active Application Filing
- 2020-01-09 PT PT207385337T patent/PT3906684T/pt unknown
- 2020-01-09 DK DK20738269.8T patent/DK3909245T3/da active
- 2020-01-09 EP EP20738269.8A patent/EP3909245B1/en active Active
- 2020-01-09 BR BR112021013521-9A patent/BR112021013521A2/pt unknown
- 2020-01-09 MX MX2021008344A patent/MX2021008344A/es unknown
- 2020-01-09 PT PT207391384T patent/PT3906687T/pt unknown
- 2020-01-09 WO PCT/US2020/012862 patent/WO2020146582A1/en unknown
- 2020-01-09 FI FIEP20738269.8T patent/FI3909245T3/fi active
- 2020-01-09 PT PT207389719T patent/PT3906665T/pt unknown
- 2020-01-09 CN CN202080008756.4A patent/CN113330451A/zh active Pending
- 2020-01-09 RS RS20230521A patent/RS64330B1/sr unknown
- 2020-01-09 SG SG11202107545TA patent/SG11202107545TA/en unknown
- 2020-01-09 KR KR1020217025126A patent/KR20210110710A/ko active Search and Examination
- 2020-01-09 BR BR112021013531-6A patent/BR112021013531A2/pt unknown
- 2020-01-09 MX MX2021008346A patent/MX2021008346A/es unknown
- 2020-01-09 ES ES20739138T patent/ES2981568T3/es active Active
- 2020-01-09 HR HRP20230707TT patent/HRP20230707T1/hr unknown
- 2020-01-09 KR KR1020217024917A patent/KR102650474B1/ko active IP Right Grant
- 2020-01-09 DK DK20738357.1T patent/DK3909244T3/da active
- 2020-01-09 HU HUE20739138A patent/HUE066684T2/hu unknown
- 2020-01-09 KR KR1020217024925A patent/KR102661006B1/ko active IP Right Grant
- 2020-01-09 CN CN202080008660.8A patent/CN113302930A/zh active Pending
- 2020-01-09 ES ES20738190T patent/ES2951004T3/es active Active
-
2021
- 2021-07-08 US US17/370,887 patent/US20210337227A1/en active Pending
- 2021-07-08 US US17/370,911 patent/US20210337199A1/en active Pending
- 2021-07-08 US US17/370,913 patent/US11917173B2/en active Active
- 2021-07-08 US US17/370,904 patent/US20210337198A1/en active Pending
- 2021-07-08 US US17/370,918 patent/US12088835B2/en active Active
- 2021-07-08 US US17/370,879 patent/US11949893B2/en active Active
-
2023
- 2023-02-03 JP JP2023015475A patent/JP7467706B2/ja active Active
- 2023-05-02 JP JP2023076273A patent/JP2023101529A/ja active Pending
- 2023-06-02 US US18/328,040 patent/US20230319299A1/en active Pending
- 2023-07-06 CY CY20231100318T patent/CY1126078T1/el unknown
- 2023-07-11 CY CY20231100326T patent/CY1126131T1/el unknown
- 2023-07-18 CY CY20231100338T patent/CY1126094T1/el unknown
- 2023-12-12 JP JP2023209280A patent/JP2024019510A/ja active Pending
-
2024
- 2024-02-28 US US18/590,822 patent/US20240205437A1/en active Pending
- 2024-02-28 JP JP2024028639A patent/JP2024071391A/ja active Pending
- 2024-03-21 JP JP2024045089A patent/JP2024086733A/ja active Pending
- 2024-04-03 AU AU2024202115A patent/AU2024202115A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014168650A1 (en) * | 2013-04-08 | 2014-10-16 | Microsoft Corporation | Motion-constrained tile set for region of interest coding |
Non-Patent Citations (3)
| Title |
|---|
| Benjamin Bross, et al., Versatile Video Coding (Draft 3), JVET-L1001-v9, 2019.01.04.* * |
| Minhua Zhou, AHG4: Enable parallel decoding with tiles, JCTVC-I0118, 2012.04.27.* * |
| Miska M. Hannuksela, et al., AHG12: On grouping of tiles, JVET-M0261, 2019.01.02.* * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102650474B1 (ko) | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |