KR20230107713A - 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는픽처/비디오 데이터 스트림들에 대한 개념 - Google Patents
효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는픽처/비디오 데이터 스트림들에 대한 개념 Download PDFInfo
- Publication number
- KR20230107713A KR20230107713A KR1020237022832A KR20237022832A KR20230107713A KR 20230107713 A KR20230107713 A KR 20230107713A KR 1020237022832 A KR1020237022832 A KR 1020237022832A KR 20237022832 A KR20237022832 A KR 20237022832A KR 20230107713 A KR20230107713 A KR 20230107713A
- Authority
- KR
- South Korea
- Prior art keywords
- pictures
- picture
- data stream
- region
- video data
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 116
- 230000002123 temporal effect Effects 0.000 claims abstract description 85
- 230000000153 supplemental effect Effects 0.000 claims abstract description 58
- 238000006467 substitution reaction Methods 0.000 claims abstract description 31
- 230000002787 reinforcement Effects 0.000 claims abstract description 5
- 238000006073 displacement reaction Methods 0.000 claims description 101
- 230000011664 signaling Effects 0.000 claims description 92
- 238000012545 processing Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007717 exclusion Effects 0.000 claims description 8
- 238000011144 upstream manufacturing Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000002347 injection Methods 0.000 claims description 3
- 239000007924 injection Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000009467 reduction Effects 0.000 abstract description 21
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 238000013139 quantization Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 104
- 239000010410 layer Substances 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 229920000069 polyphenylene sulfide Polymers 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 239000003638 chemical reducing agent Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003139 buffering effect Effects 0.000 description 4
- 239000002356 single layer Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000014121 butter Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
비디오 데이터 스트림은, 감소에 의해, 원본 비디오 데이터 스트림의 픽처들의 단지 미리 결정된 하위 영역으로 감소된 비디오 데이터 스트림의 픽처들의 제한이 도출되는 방식으로, 및 재양자화와 같은 트랜스코딩이 회피될 수 있고, 원본 비디오 데이터 스트림의 기초가 되는 코덱에 대한 감소된 비디오 데이터 스트림의 일치가 유지될 수 있는 방식으로 감소가능하게 렌더링된다. 이는, 코딩 파라미터 설정들의 제1 세트를 조정하여 코딩 파라미터 설정들의 제2 세트를 도출하기 위해, 페이로드 부분 및/또는 대체 파라미터들에 포함되는 인덱스들을 재지향시키기 위한 미리 결정된 하위 영역 및 대체 인덱스들의 표시를 포함하는 정보를 비디오 데이터 스트림에 제공함으로써 달성된다. 픽처 콘텐츠가 미리 결정된 방식으로 형상화 또는 순서화될 필요가 없다는 점에서 픽처 콘텐츠의 전송은 더 효율적으로 렌더링된다. 유사한 절차가 보충 강화 정보에 적용될 수 있다. 이미 감소된 데이터 스트림의 파라미터들 및/또는 보충 강화 정보의 조정이 또한 설명된다. 추가적 양상에 따르면, 랜덤 액세스 포인트들에 의해 초래되는 비디오 데이터 스트림 내의 비트레이트 피크들의 부정적 효과들은, 랜덤 액세스 포인트 포인트들의 2개의 세트들을 비디오 데이터 스트림을 제공함으로써 감소되는데: 하나 이상의 픽처들의 제1 세트는 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩되고, 하나 이상의 픽처들의 제2 세트는 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩된다.
Description
본 출원은 비디오/픽처 코딩, 특히 이러한 데이터 스트림들의 효율적인 감소를 허용하는 개념, 이러한 데이터 스트림들의 더 용이한 처리를 허용하는 개념 및/또는 비디오 데이터 스트림으로의 더 효율적인 랜덤 액세스를 허용하는 개념에 관한 것이다.
트랜스코딩 없이, 즉 디코딩 및 인코딩과 함께 순차적인 성능을 필요로 하지 않고 비디오 데이터 스트림의 스케일링가능성을 허용하는 많은 비디오 코덱들이 존재한다. 이러한 스케일링가능한 비디오 데이터 스트림들의 예는 각각의 스케일링가능한 비디오 데이터 스트림의 강화 계층들 중 일부를 단순히 제거함으로써 예를 들어, 시간 해상도, 공간 해상도 또는 신호대 잡음비의 관점에서 스케일링가능한 데이터 스트림들이다. 그러나 지금까지는 장면 분할 관점에서 계산상 복잡하지 않은 스케일링가능성을 허용하는 어떠한 비디오 코덱도 존재하지 않는다. HEVC에서는, HEVC 데이터 스트림을 픽처 하위 영역으로 제한하기 위한 개념들이 또한 존재하거나 제안되었지만, 이는 여전히 계산상 복잡하다.
또한, 애플리케이션에 따라, 데이터 스트림으로 인코딩될 픽처 콘텐츠는 일반적으로 제공되는 직사각형 픽처 영역들 내에서 효과적으로 코딩될 수 없는 형태일 수 있다. 예를 들어, 파노라마 픽처 콘텐츠는, 투사 타겟, 즉, 픽처 영역 상으로의 파노라마 장면의 풋프린트가 비-직사각형 및 심지어 비-볼록일 수 있는 방식으로 2차원 평면 상으로 투사되어 픽처 영역을 형성한다. 그러한 경우, 픽처/비디오 데이터의 더 효율적인 코딩이 유리할 것이다.
추가로, 랜덤 액세스 포인트들은 현저한 비트레이트 피크들을 초래하는 방식으로 기존의 비디오 데이터 스트림들에서 제공된다. 이러한 비트레이트 피크들로부터 초래되는 부정적인 영향을 감소시키기 위해 이러한 랜덤 액세스 포인트들의 발생의 시간 세분성(temporal granularity)에서의 감소를 고려할 수 있다. 그러나, 이는, 이러한 비디오 데이터 스트림에 랜덤으로 액세스하기 위한 평균 시간 지속기간을 증가시키고, 따라서 더 효율적인 방식으로 이러한 문제를 해결하는 개념을 직접 갖는 것이 유리할 것이다.
따라서, 본 발명의 목적은 전술한 문제점들을 해결하는 것이다. 본 출원에 따르면, 이는 독립항들의 요지에 의해 달성된다.
본 출원의 제1 양상에 따르면, 비디오 데이터 스트림은, 감소에 의해, 원본 비디오 데이터 스트림의 픽처들의 단지 미리 결정된 하위 영역으로 감소된 비디오 데이터 스트림의 픽처들의 제한이 도출되는 방식으로, 및 재양자화와 같은 트랜스코딩이 회피될 수 있고, 원본 비디오 데이터 스트림의 기초가 되는 코덱에 대한 감소된 비디오 데이터 스트림의 일치가 유지될 수 있는 방식으로 감소가능하게 렌더링된다. 이는, 코딩 파라미터 설정들의 제1 세트를 조정하여 코딩 파라미터 설정들의 제2 세트를 도출하기 위해, 페이로드 부분 및/또는 대체 파라미터들에 포함되는 인덱스들을 재지향시키기 위한 미리 결정된 하위 영역 및 대체 인덱스들의 표시를 포함하는 정보를 비디오 데이터 스트림에 제공함으로써 달성된다. 원본 비디오 데이터 스트림의 페이로드 부분은 페이로드 부분에 포함된 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 인코딩된 비디오의 픽처들을 갖는다. 추가적으로 또는 대안적으로, 유사한 조치들이 보충 강화 정보와 관련하여 실현가능하다. 따라서, 코딩 파라미터 설정들의 제2 세트가 페이로드 부분의 인덱스들에 의해 인덱싱되고 따라서 효과적인 코딩 파라미터 설정 세트가 되도록 재지향 및/또는 조정을 수행하고, 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들을 제거하고, 픽처들의 둘레 대신 미리 결정된 하위 영역의 둘레로부터 측정된 위치를 표시하기 위해 페이로드 부분의 슬라이스 어드레스와 같은 위치 표시들을 변경함으로써, 비디오 데이터 스트림을 감소된 비디오 데이터 스트림으로 감소시키는 것이 실현가능하다. 대안적으로, 미리 결정된 하위 영역 외부를 참조하는 페이로드 부분의 부분들을 포함하지 않도록 이미 감소된 데이터 스트림은 파라미터들 및/또는 보충 강화 정보의 플라이(fly) 조정에 의해 수정될 수 있다.
본 출원의 추가적인 양상에 따르면, 픽처 콘텐츠의 전송은, 기본적인 코덱에 의해 지원되는 전형적으로 직사각형인 픽처 영역이 채워지는 방식으로, 픽처 콘텐츠가 미리 결정된 방식으로 형상화되거나 순서화될 필요가 없다는 점에서 더 효율적으로 렌더링된다. 오히려, 그 안에 인코딩된 픽처를 갖는 데이터 스트림은, 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트에 대해, 타겟 픽처의 영역으로의 그 세트의 왜곡되지 않은 또는 일대일 또는 합동 카피에 대해 타겟 픽처의 영역 내의 변위를 나타내는 변위 정보를 포함하도록 제공된다. 예를 들어, 이러한 변위 정보의 제공은, 예를 들어 투사가 비-직사각형인 경우들에서 파노라마 장면의 투사를 픽처 내에서 전달하는 경우에 유용하다. 이러한 변위 정보는 또한 데이터 스트림 감소로 인해, 예를 들어 예측의 전환 경계들 등을 가로지르는 감소된 비디오 데이터 스트림 내에서 전송될 흥미로운 파노라마 뷰 섹션의 경우와 같이 감소된 비디오 데이터 스트림의 더 작은 픽처들 내에서 전달되는 것에 대한 적합성을 픽처 콘텐츠가 상실하는 경우들에 효과적이다.
본 출원의 추가적 양상에 따르면, 랜덤 액세스 포인트들에 의해 초래되는 비디오 데이터 스트림 내의 비트레이트 피크들의 부정적 효과들은, 랜덤 액세스 포인트 포인트들의 2개의 세트들을 비디오 데이터 스트림을 제공함으로써 감소되는데: 하나 이상의 픽처들의 제1 세트는 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩되고, 하나 이상의 픽처들의 제2 세트는 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩된다. 이러한 방식으로, 디코더가 제1 및 제2 랜덤 액세스 포인트들 중 하나를 선택하기 위해 비디오 데이터 스트림에 랜덤으로 액세스하거나 이들의 디코딩을 재개하려 시도하는 것이 실현가능하고, 그 다음, 이들은, 시간적으로 분산될 수 있고, 제2 랜덤 액세스 포인트들의 경우 제2 픽처 하위 영역에 대해 및 제1 랜덤 액세스 포인트에 대한 적어도 제1 픽처 하위 영역에 대해 적어도 랜덤 액세스를 허용할 수 있다.
전술한 개념들은 유리하게 함께 사용될 수 있다. 또한 유리한 구현들은 종속항들의 요지이다. 본 출원의 바람직한 실시예들은 도면들을 참조하여 아래에서 설명된다.
도 1은 제1 양상에 관한 본 출원의 실시예에 따른 비디오 데이터 스트림의 개략도를 도시하며, 제1 양상에 따르면 비디오 데이터 스트림은 감소가능한 비디오 데이터 스트림의 픽처들의 하위 영역에 관한 감소된 비디오 데이터 스트림으로 감소가능하다.
도 2는 픽처들이 감소가능한 비디오 데이터 스트림으로 인코딩되는 파라미터화를 예시하기 위한 실시예에 따라 도 1의 감소가능한 비디오 데이터 스트림의 페이로드 부분과 파라미터 세트 부분 사이의 상호 의존도를 예시하는 개략도를 도시한다.
도 3은 감소를 허용하기 위해 일 실시예에 따라 도 1의 비디오 데이터 스트림에 제공되는 정보의 가능한 콘텐츠를 예시하기 위한 개략도를 도시한다.
도 4는 감소가능한 비디오 데이터 스트림을 수신하고 그로부터 감소된 비디오 데이터 스트림을 유도하는 네트워크 디바이스를 도시하는 개략도를 도시한다.
도 5는 파라미터 세트 재지향을 사용하는 실시예에 따라 비디오 데이터 스트림을 감소시키는 동작 모드를 예시하는 개략도를 도시한다.
도 6은 감소된 비디오 데이터 스트림의 픽처들로부터 재구성할 감소된 비디오 데이터 스트림을 수신하는 비디오 디코더(82)를 도시하는 개략도를 도시하고, 그 다음, 이는 원본 비디오 데이터 스트림의 픽처들의 하위 영역을 도시한다.
도 7은 감소가능한 비디오 데이터 스트림을 감소시킬 때 대안적 동작 모드의 개략도를 도시하면, 이 때 감소가능한 비디오 데이터 스트림에 제공되는 정보 내의 대체들을 사용하여 파라미터 세트 조정을 사용한다.
도 8은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보에 대한 신택스 예를 도시한다.
도 9는 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 대안적인 신택스 예를 도시한다.
도 10은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 신택스에 대한 더 추가적인 예를 도시한다.
도 11은 여기서는 SEI 메시지들을 대체하기 위해 정보의 신택스의 추가적인 예를 도시한다.
도 12는 다층 비디오 데이터 스트림들과 관련하여 정보를 형성하기 위해 사용될 수 있는 신택스 표에 대한 예를 도시한다.
도 13은 일 실시예에 따라 한편으로는 감소가능한 비디오 데이터 스트림 내의 픽처들의 하위 영역 내의 타일들과 다른 한편으로는 감소된 비디오 데이터 스트림의 픽처 내들의 대응하는 타일 사이의 관계를 예시하여, 이러한 타일들의 공간적 재배열의 가능성을 예시하는 개략도를 도시한다.
도 14는 파노라마 장면의 직선적인 예측에 의해 획득된 픽처의 예를 도시한다.
도 15는 파노라마 장면의 3차 투사에 대응하는 픽처 콘텐츠를 전달하는 픽처의 예를 도시한다.
도 16은 재배열에 의해 도 15의 3차 투사 콘텐츠를 이용하여 효율적으로 채워진 픽처를 도시한다.
도 17은 본 출원의 제2 양상에 관한 실시예에 따라 데이터 스트림이 제공될 수 있게 하는 변위 정보에 대한 신택스 표 예를 도시한다.
도 18은 본 출원의 제2 양상에 관한 실시예에 따른 비디오 데이터 스트림의 구성을 예시하는 개략도를 도시한다.
도 19는 일 실시예에 따른 변위 정보의 가능한 콘텐츠를 예시하는 개략도를 도시한다.
도 20은 변위 정보를 포함하고 동시에 감소가능한 데이터 스트림을 형성하도록 구성되는 인코더를 예시하는 개략도를 도시한다.
도 21은 변위 정보가 유리하게 어떻게 사용될 수 있는지의 가능성을 예시하기 위해 변위 정보를 포함하는 데이터 스트림을 수신하도록 구성된 디코더를 예시하는 개략도를 도시한다.
도 22는 본 출원의 추가적 양상에 관한 실시예에 따른 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 예시하는 개략도를 도시한다.
도 23a 내지 도 23e는 상이한 대안들에 따라 사용되는 하위 영역들의 가능한 배열들을 예시하는 개략도들을 도시한다.
도 24는 일 실시예에 따라 하위 영역 특정 랜덤 액세스 픽처들이 산재되는 비디오 데이터 스트림을 수신하도록 구성된 비디오 디코더를 예시하는 개략도를 도시한다.
도 25는 도 24의 상황을 개략적으로 예시하지만, 비디오 데이터 스트림에 랜덤으로 액세스할 때 비디오를 출력 또는 제시할 때까지 하위 영역-특정 랜덤 액세스 픽처들의 하위 영역들에 의해 인바운드 비디오 데이터 스트림의 픽처 영역의 완전한 커버리지까지 비디오 디코더가 대기하는 점에서 비디오 디코더의 대안적 동작 모드를 예시하는 개략도를 도시한다.
도 26은 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시하며, 이의 하위 영역들은 비디오 데이터 스트림이 감소가능한 하위 영역을 동시에 형성한다.
도 27은 네트워크 디바이스(231)가 감소된 비디오 데이터 스트림에 하위 영역-특정 변위 정보를 어떻게 제공할 수 있는지의 가능성들을 예시하기 위해 변위 정보가 제공되고 감소가능한 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시한다.
도 28은 예를 들어, 원통형 파노라마인 픽처의 관심있는 하위 영역의 분리 영역에 대한 예를 도시한다.
도 29는 HEVC의 TMCTS SEI 메시지의 신택스 표를 도시한다.
도 2는 픽처들이 감소가능한 비디오 데이터 스트림으로 인코딩되는 파라미터화를 예시하기 위한 실시예에 따라 도 1의 감소가능한 비디오 데이터 스트림의 페이로드 부분과 파라미터 세트 부분 사이의 상호 의존도를 예시하는 개략도를 도시한다.
도 3은 감소를 허용하기 위해 일 실시예에 따라 도 1의 비디오 데이터 스트림에 제공되는 정보의 가능한 콘텐츠를 예시하기 위한 개략도를 도시한다.
도 4는 감소가능한 비디오 데이터 스트림을 수신하고 그로부터 감소된 비디오 데이터 스트림을 유도하는 네트워크 디바이스를 도시하는 개략도를 도시한다.
도 5는 파라미터 세트 재지향을 사용하는 실시예에 따라 비디오 데이터 스트림을 감소시키는 동작 모드를 예시하는 개략도를 도시한다.
도 6은 감소된 비디오 데이터 스트림의 픽처들로부터 재구성할 감소된 비디오 데이터 스트림을 수신하는 비디오 디코더(82)를 도시하는 개략도를 도시하고, 그 다음, 이는 원본 비디오 데이터 스트림의 픽처들의 하위 영역을 도시한다.
도 7은 감소가능한 비디오 데이터 스트림을 감소시킬 때 대안적 동작 모드의 개략도를 도시하면, 이 때 감소가능한 비디오 데이터 스트림에 제공되는 정보 내의 대체들을 사용하여 파라미터 세트 조정을 사용한다.
도 8은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보에 대한 신택스 예를 도시한다.
도 9는 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 대안적인 신택스 예를 도시한다.
도 10은 감소가능한 비디오 데이터 스트림에 제공될 수 있는 정보의 신택스에 대한 더 추가적인 예를 도시한다.
도 11은 여기서는 SEI 메시지들을 대체하기 위해 정보의 신택스의 추가적인 예를 도시한다.
도 12는 다층 비디오 데이터 스트림들과 관련하여 정보를 형성하기 위해 사용될 수 있는 신택스 표에 대한 예를 도시한다.
도 13은 일 실시예에 따라 한편으로는 감소가능한 비디오 데이터 스트림 내의 픽처들의 하위 영역 내의 타일들과 다른 한편으로는 감소된 비디오 데이터 스트림의 픽처 내들의 대응하는 타일 사이의 관계를 예시하여, 이러한 타일들의 공간적 재배열의 가능성을 예시하는 개략도를 도시한다.
도 14는 파노라마 장면의 직선적인 예측에 의해 획득된 픽처의 예를 도시한다.
도 15는 파노라마 장면의 3차 투사에 대응하는 픽처 콘텐츠를 전달하는 픽처의 예를 도시한다.
도 16은 재배열에 의해 도 15의 3차 투사 콘텐츠를 이용하여 효율적으로 채워진 픽처를 도시한다.
도 17은 본 출원의 제2 양상에 관한 실시예에 따라 데이터 스트림이 제공될 수 있게 하는 변위 정보에 대한 신택스 표 예를 도시한다.
도 18은 본 출원의 제2 양상에 관한 실시예에 따른 비디오 데이터 스트림의 구성을 예시하는 개략도를 도시한다.
도 19는 일 실시예에 따른 변위 정보의 가능한 콘텐츠를 예시하는 개략도를 도시한다.
도 20은 변위 정보를 포함하고 동시에 감소가능한 데이터 스트림을 형성하도록 구성되는 인코더를 예시하는 개략도를 도시한다.
도 21은 변위 정보가 유리하게 어떻게 사용될 수 있는지의 가능성을 예시하기 위해 변위 정보를 포함하는 데이터 스트림을 수신하도록 구성된 디코더를 예시하는 개략도를 도시한다.
도 22는 본 출원의 추가적 양상에 관한 실시예에 따른 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 예시하는 개략도를 도시한다.
도 23a 내지 도 23e는 상이한 대안들에 따라 사용되는 하위 영역들의 가능한 배열들을 예시하는 개략도들을 도시한다.
도 24는 일 실시예에 따라 하위 영역 특정 랜덤 액세스 픽처들이 산재되는 비디오 데이터 스트림을 수신하도록 구성된 비디오 디코더를 예시하는 개략도를 도시한다.
도 25는 도 24의 상황을 개략적으로 예시하지만, 비디오 데이터 스트림에 랜덤으로 액세스할 때 비디오를 출력 또는 제시할 때까지 하위 영역-특정 랜덤 액세스 픽처들의 하위 영역들에 의해 인바운드 비디오 데이터 스트림의 픽처 영역의 완전한 커버리지까지 비디오 디코더가 대기하는 점에서 비디오 디코더의 대안적 동작 모드를 예시하는 개략도를 도시한다.
도 26은 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시하며, 이의 하위 영역들은 비디오 데이터 스트림이 감소가능한 하위 영역을 동시에 형성한다.
도 27은 네트워크 디바이스(231)가 감소된 비디오 데이터 스트림에 하위 영역-특정 변위 정보를 어떻게 제공할 수 있는지의 가능성들을 예시하기 위해 변위 정보가 제공되고 감소가능한 데이터 스트림을 수신하는 네트워크 디바이스를 예시하는 개략도를 도시한다.
도 28은 예를 들어, 원통형 파노라마인 픽처의 관심있는 하위 영역의 분리 영역에 대한 예를 도시한다.
도 29는 HEVC의 TMCTS SEI 메시지의 신택스 표를 도시한다.
본 출원의 설명은 본 출원의 상기 식별된 양상들에 관한 것이다. 비디오 데이터 스트림들의 하위 영역 추출/감소에 관한 본 출원의 제1 양상과 관련된 배경을 제공하기 위해, 이러한 요구가 유도될 수 있는 애플리케이션의 예 및 이러한 요구를 충족시킬 때의 문제점들이 설명되고, 이러한 극복은 예시적으로 HEVC를 참조함으로써 아래에서 동기부여된다.
공간 서브세트들, 즉 타일들의 세트들은 TMCTS(Temporal Motion Constraint Tile Sets) SEI 메시지를 사용하여 HEVC에서 시그널링될 수 있다. 이러한 메시지에 정의된 타일 세트들은, "각각의 식별된 타일 세트 외부의 어떠한 샘플 값도, 그리고 식별된 타일 세트 외부의 하나 이상의 샘플 값들을 사용하여 유도된 부분적 샘플 위치에서 어떠한 샘플 값도 식별된 타일 세트 내의 임의의 샘플의 인터 예측에 대해 사용되지 않도록 인터 예측 프로세스가 제한된다"는 특성을 갖는다. 즉, TMCTS의 샘플들은 동일한 층의 동일한 TMCTS와 연관되지 않은 샘플들과 독립적으로 디코딩될 수 있다 TMCTS는 직사각형(900)을 사용하여 도 A에 예시된 바와 같이 하나 이상의 타일들의 하나 이상의 직사각형 유니온(union)을 포함한다. 이 도면에서, 사용자가 바라 보는 관심있는 영역(900)은 2개의 분리된 이미지 패치들을 포함한다.
TMCTS SEI 메시지의 정확한 신택스는 참조를 위한 도 B에 주어진다.
비디오 트랜스코딩과 같은 과도한 프로세싱의 부담없이, 비디오 비트스트림, 즉 관심있는 영역(RoI)의 독립적으로 디코딩가능한 직사각형 공간 서브세트를 생성하는 것이 유익한 많은 애플리케이션들이 존재한다. 이러한 애플리케이션들은 다음을 포함하지만 이에 제한되는 것은 아니다:
· 파노라마 비디오 스트리밍: 광각 비디오의 오직 특정 공간 영역, 예를 들어, 360° 시야각은 헤드 장착 디스플레이를 통해 최종 사용자에게 디스플레이된다.
· 종횡비 조정 스트리밍: 클라이언트 측의 디스플레이 특성들에 따라 서버 측에서 코딩된 비디오의 종횡비가 실시간으로 조정된다.
· 디코딩 복잡도 조정: 레벨 제한들로 인해 주어진 인코딩된 비디오 비트스트림을 디코딩할 수 없는 저비용/저 기술 디바이스들이 잠재적으로 비디오의 공간 서브세트에 대처할 수 있다.
상술한 예시적인 애플리케이션들 목록에 대해 지금까지 설명된 최신 기술들이 주어지면 다수의 문제점들이 발생한다.
· 비디오 비트스트림의 공간 서브세트의 HRD 파라미터들, 즉 버퍼링/타이밍 정보를 시스템 계층에 이용가능하게 하는 어떠한 수단도 존재하지 않는다.
· 주어진 비디오 비트스트림의 공간 서브세트를 준수하는 비디오 비트스트림으로 약간 변환하기 위한 어떠한 준수 포인트도 비디오에 존재하지 않는다.
· 인코더가 주어진 식별자를 갖는 타일 세트가 준수 비디오 비트스트림으로 약간 변환될 수 있다는 보장을 인코더가 전달하기 위한 어떠한 수단도 존재하지 않는다.
나열된 문제점들에 대한 솔루션들이 주어지면, 상기 예시적인 애플리케이션들 모두는 표준 준수 방식으로 실현될 수 있다. 비디오 코딩 계층 내에서 이러한 능력을 정의하는 것은 애플리케이션들 및 시스템 계층들의 중요한 준수 포인트일 것으로 예상된다.
HEVC 규격은 이미 시간 해상도 또는 계층들의 양을 감소시킬 수 있는, 즉 코딩된 비디오 비트스트림의 공간 해상도, 신호 충실도 또는 뷰들의 수를 감소시킬 수 있는 서브 비트스트림들의 추출을 위한 프로세스들을 이미 포함한다.
본 발명은 식별된 문제점들에 대한 솔루션들, 특히, 하기 내용을 제공한다.
1.
TMCTS에 기초한 서브 픽처 추출 프로세스의 정의를 통해 코딩된 비디오 시퀀스로부터 공간 서브세트, 즉 단일 TMCTS에 기초한 비디오 비트스트림을 추출하기 위한 수단.
2.
추출된 서브 픽처 비디오 시퀀스에 대한 정확한 파라미터 세트 값들 및 (선택적으로) SEI 정보를 전달하고 식별하는 수단.
3.
비디오 비트스트림 및 TMCTS에 관한 비트스트림 제약들을 가능하게 하는 특정 하위 영역 추출의 보장을 전달하는 인코더를 위한 수단.
다음에 설명되는 실시예는 비디오 데이터 스트림의 페이로드 부분으로부터 비디오의 픽처들의 재구성을 위해 요구되지 않는 정보를 비디오 데이터 스트림에 제공함으로써 방금 약술된 문제점을 극복하며, 이 정보는 미리 결정된 하위 영역 및 대체 인덱스들 및/또는 대체 파라미터들의 표시를 포함하고, 이의 중요성 및 기능은 아래에서 더 상세히 설명된다. 다음의 설명은 HEVC 또는 HEVC의 수정으로 제한되는 것은 아니다. 오히려, 다음에 설명된 실시예는 감소된 하위 영역 특정 비디오 데이터 스트림을 제공하기 위한 추가적인 준수 포인트를 갖는 이러한 비디오 코딩 기술을 제공하기 위해 임의의 비디오 코덱 기술에서 구현될 수 있다. 추후에, HEVC의 확장을 형성하기 위해 다음에 설명된 실시예가 어떻게 구체적으로 구현될 수 있는지에 대한 세부사항들이 제시된다.
도 1은 본 출원의 일 실시예에 따른 비디오 데이터 스트림(10)을 도시한다. 즉, 비디오 데이터 스트림은 준수 유지 방식으로, 감소된 비디오 데이터 스트림으로 감소가능하며, 이의 픽처들은, 트랜스코딩, 또는 더 정확하고 시간 소모적이며 계산상 복잡한 동작들, 예를 들어, 재양자화, 공간-대-스펙트럼 변환 및 이의 반전 및/또는 모션 추정의 재수행에 대한 필요 없이, 단지 비디오 데이터 스트림(10)으로 인코딩된 비디오(14)의 픽처들(12)의 미리 결정된 하위 영역을 도시한다.
도 1의 비디오 데이터 스트림(10)은 코딩 파라미터 설정들(80)을 표시하는 파라미터 세트 부분(16) 및 비디오(14)의 픽처들(12)이 코딩되는 페이로드 부분(18)을 포함하도록 도시되어 있다. 도 1에서, 부분들(16 및 18)은 페이로드 부분(18)에 대해 해치를 사용하는 한편 파라미터 세트 부분(16)을 해치 없이 도시함으로써 예시적으로 서로 구별된다. 또한, 부분들(16 및 18)은 데이터 스트림(10) 내에서 상호 인터리빙되도록 예시적으로 도시되어 있지만, 반드시 그러한 것은 아니다.
페이로드 부분(18)은 특수한 방식으로 인코딩된 비디오(14)의 픽처들(12)을 갖는다. 특히, 도 1은 어느 비디오 데이터 스트림(10)이 감소된 비디오 데이터 스트림으로 감소가능한 능력을 갖는지에 대한 예시적인 미리 결정된 하위 영역(22)을 도시한다. 페이로드 부분(18)은 미리 결정된 하위 영역(22)이 관련되는 한, 하위 영역(22)의 경계를 넘지 않도록 임의의 코딩 의존도가 제한되는 그러한 방식으로 인코딩된 픽처들(12)을 갖는다. 즉, 하위 영역(22) 내에서 하위 영역(22)의 코딩이 이러한 픽처 내의 이러한 영역(22)의 공간적 이웃에 의존하지 않도록, 특정 픽처(12)가 페이로드 부분(18)으로 코딩된다. 또한 시간 예측을 사용하여 페이로드 부분(18)으로 인코딩되는 픽처들(12)의 경우, 시간 예측은, 하위 영역(22) 외부의 비디오(14)의 참조 영역(다른 픽처)에 의존하는 방식으로 비디오(14)의 제1 픽처의 하위 영역(22) 내의 어떠한 부분도 코딩되지 않도록 하위 영역(22) 내로 제한될 수 있다. 즉, 비디오 데이터 스트림(14)을 생성하는 대응하는 인코더는, 참조 픽처들의 부분들을 가리키지 않는 방식으로 코딩 하위 영역(22)에 대한 이용가능한 모션 벡터들의 세트를 제한하여, 이로부터 발생하는 모션 보상된 예측 신호의 형성은 참조 픽처의 하위 영역(22) 외부의 샘플들을 필요로 하거나 수반할 것이다. 공간 의존도들에 관한 한, 이의 제한은 샘플별 공간 예측에 관한 공간 예측, 코딩 파라미터들의 공간 예측 및 코딩 의존도들에 관한 것일 수 있고, 이는 예를 들어, 하위 영역(22)의 경계에 걸쳐 공간적으로 산술 코딩을 계속하는 것으로부터 초래될 것이다.
따라서, 페이로드 부분(18)은 미리 정의된 하위 영역(22) 외부의 부분들을 향해 도달하지 않도록 방금 개략된 코딩 의존도들을 제한하는 것을 준수하는 픽처들(12)로 인코딩되고, 따라서, 예를 들어, 모션 벡터들, 픽처 참조 인덱스들, 파티셔닝 정보, 코딩 모드들, 양자화된 예측 잔여물을 표현하는 변환 계수들 또는 잔여 샘플 값들, 또는 이들 중 하나 또는 이들의 조합을 포함하는 신택스 엘리먼트들의 구문적으로 순서화된 시퀀스(24) 로 구성될 수 있다. 그러나, 가장 중요하게는, 페이로드 부분(18)은 코딩 파라미터 설정들(20)의 제1 세트(20a)를 사용하여 파라미터화된 방식으로 인코딩된 비디오(14)의 픽처들(12)을 갖는다. 예를 들어, 세트(20a) 내의 코딩 파라미터 설정들은, 예를 들어 픽처들(12)의 수직 높이 및 수평 폭과 같은 픽처들(12)의 픽처 크기를 정의한다. 픽처 크기가 페이로드 부분(18)으로의 픽처들(12)의 코딩을 "파라미터화"하는 방법을 예시하기 위해, 도 2를 간단히 참조한다. 도 2는 세트(20a)의 코딩 파라미터 설정들 중 하나의 예로서 픽처 크기 코딩 파라미터(26)를 도시한다. 분명히, 픽처 크기(26)는 페이로드 부분(18)에 의해 "코딩"되어야 하는 픽처 영역의 크기를 표시하고, 특정 픽처(12)의 각각의 서브 블록이 코딩되지 않은 상태로 남게 되고, 따라서 예를 들어, 흑색에 대응할 수 있는 제로와 같은 미리 결정된 샘플 값만큼 채워질 것을 시그널링함으로써 이루어질 수 있다. 따라서, 픽처 크기(26)는 페이로드 부분(18)의 구문적 설명(24)의 양 또는 크기(30)에 영향을 미친다(28). 추가로, 픽처 크기(26)는 예를 들어 위치 표시(32)의 값 범위 및 위치 표시(32)가 구문적 설명(24)에 나타날 수 있는 순서의 관점에서 페이로드 부분(18)의 구문적 설명(24) 내의 위치 표시(32)에 영향을 미친다(28). 예를 들어, 위치 표시(32)는 페이로드 부분(18) 내에 슬라이스 어드레스들을 포함할 수 있다. 슬라이스들(34)은 도 1에 예시된 바와 같이, 예를 들어 데이터 스트림(10)이 디코더에 전송가능한 단위인 데이터 스트림(10)의 부분들이다. 각각의 픽처(12)는, 픽처들(12)이 데이터 스트림(10)으로 코딩되는 디코딩 순서에 후속하여 슬라이스들(34)로 세분되는, 이러한 슬라이스(34)의 단위로 데이터 스트림(10)으로 코딩될 수 있다. 각각의 슬라이스(34)는 픽처(12)의 대응하는 영역(36)에 대응하고 따라서 거기에서 인코딩되지만, 영역(36)은 하위 영역(22)의 내부 또는 외부에 있는데, 즉 하위 영역의 경계를 가로지르지 않는다. 이러한 경우에, 각각의 슬라이스(34)에는 픽처들(12)의 픽처 영역 내에서, 즉 픽처들(12)의 둘레에 대한 대응 영역(36)의 위치를 표시하는 슬라이스 어드레스가 제공될 수 있다. 구체적인 예를 언급하기 위해, 슬라이스 어드레스는 픽처들(12)의 좌측 상부 코너에 대해 측정될 수 있다. 명백하게, 이러한 슬라이스 어드레스는 픽처 크기(26)를 갖는 픽처 내의 슬라이스 어드레스들의 값을 초과하는 값을 초과할 수 없다.
픽처 크기(26)와 유사한 방식으로, 코딩 파라미터 설정들의 세트(20a)는 또한 픽처(12)가 세분화될 수 있는 타일들의 타일 구조(38)를 정의할 수 있다. 일점 쇄선(40)을 사용하여, 도 1은 타일들이 열 및 행의 타일 어레이로 배열되도록 타일들(42) 내로의 픽처들(12)의 세분화의 예를 제시한다. 타일들??(42)로의 타일 세분화를 사용하여 페이로드 부분(18)으로 인코딩되는 픽처들(12)의 선택적인 경우에서, 이는 예를 들어, 1) 타일 경계들에 걸친 공간적 상호 의존도들이 허용되지 않고 따라서 사용되지 않으며, 2) 픽처들(12)이 데이터 스트림(10)으로 코딩되는 디코딩 순서는 래스터 스캔 타일 순서로 픽처들(12)을 횡단하는데, 즉, 각각의 타일은 타일 순서에서 다음 타일을 방문하기 전에 횡단된다. 따라서, 타일 구조(38)는 픽처(12)가 페이로드 부분(18)으로 인코딩되고 이에 따라 구문적 설명(24)에 영향을 미치는 디코딩 순서(44)에 영향을 미친다(28). 또한, 픽처 크기(26)와 유사한 방식으로, 타일 구조(38)는 또한, 페이로드 부분(18) 내의 위치 표시(32), 즉, 위치 표시(32)의 상이한 인스턴스화가 구문적 설명(24) 내에서 발생하도록 허용되는 순서에 영향을 미친다(28).
세트(20a)의 코딩 파라미터 설정들은 또한 버퍼 타이밍(46)을 포함할 수 있다. 예를 들어, 버퍼 타이밍(46)은, 개별적인 슬라이스들(34)과 같은 데이터 스트림(10)의 특정 부분들 또는 하나의 픽처(12)를 참조하는 데이터 스트림(10)의 부분들이 디코더의 코딩된 픽처 버퍼로부터 제거될 신호 코딩된 픽처 버퍼 제거 시간들일 수 있고, 이러한 시간적 값들은, 버퍼 타이밍(46)이 또한 페이로드 부분(18)의 양/크기(30)에 영향을 미치도록(28) 데이터 스트림(10) 내의 대응하는 부분들의 크기들에 영향을 미치거나(28) 또는 그와 관련된다.
즉, 도 2의 설명이 예시된 바와 같이, 페이로드 부분(18)으로의 픽처들(12)의 코딩은, 한편으로는 코딩 파라미터 설정들(20)의 세트(20a)와 다른 한편으로는 페이로드 부분(18) 및 이의 구문적 설명(24) 사이의 임의의 불일치가, 준수로 식별될 임의의 데이터 스트림에 의해 준수되도록 요구되는 준수요건들과 충돌하는 것으로 식별될 수 있는 관점에서 코딩 파라미터 설정들의 세트(20a)를 사용하여 "파라미터화" 또는 "설명"된다.
코딩 파라미터 설정들의 제1 세트(20a)는 페이로드 부분(18)에 포함되고 구문적 설명(24)에 산재되거나 그에 포함되는 인덱스들(48)에 의해 참조되거나 인덱싱된다. 예를 들어, 인덱스들(48)은 슬라이스들(34)의 슬라이스 헤더들에 포함될 수 있다.
코딩 파라미터 설정들의 인덱싱된 세트(20a)가 페이로드 부분(18)과 협력하여 또는 함께, 하위 영역(22)에 관련되지 않은 페이로드 부분(18)의 부분들이 제거되고 결과적인 감소된 데이터 스트림이 준수를 유지하는 방식으로 수정될 수 있지만, 이러한 접근법은 도 1의 실시예가 따르지 않는다. 한편으로는 인덱싱된 세트(20a) 및 다른 한편으로는 페이로드 부분(18) 내의 코딩 파라미터 설정들 둘 모두의 이러한 상관된 수정은 완전한 디코딩 및 인코딩을 통한 우회로를 요구하지 않을 것이지만, 이러한 상관된 수정을 수행하기 위한 계산 오버헤드는 그럼에도 불구하고 상당량의 파싱 단계들 등을 요구할 것이다.
따라서, 도 1의 실시예는 다른 접근법을 따르고, 이에 따르면, 비디오 데이터 스트림(10)은 페이로드 부분(18)으로부터 비디오의 픽처(12)의 재구성을 위해 요구되지 않는 정보(50)를 포함, 즉 제공받고, 정보는 미리 결정된 하위 영역 및 대체 인덱스들 및/또는 대체 파라미터들의 표시를 포함한다. 예를 들어, 정보(50)는 픽처들(12) 내의 그 위치의 관점에서 미리 결정된 하위 영역(22)을 표시할 수 있다. 예를 들어, 정보(50)는 하위 영역(22)의 위치를 ??타일들 단위로 표시할 수 있다. 따라서, 정보(50)는 하위 영역(22)을 형성하도록 각각의 픽처 내의 타일들(42)의 세트를 식별할 수 있다. 각각의 픽처(12) 내의 타일들의 세트(42)는 픽처들(12) 사이에 고정될 수 있으며, 즉 각각의 픽처(12) 내에서 하위 영역(22)을 형성하는 타일들은 서로 공동 위치될 수 있고, 하위 영역(22)을 형성하는 이러한 타일들의 타일 경계들은 상이한 픽처들(12) 사이에서 공간적으로 일치할 수 있다. 타일들의 세트는 픽처들(12)의 인접한 직사각형 타일 서브어레이를 형성하도록 제한되지 않는다는 것이 언급되어야 한다. 그러나, 하위 영역(22)을 형성하는 각각의 픽처(12) 내의 타일들의 오버레이가 없고 갭이 없는 인접은 직사각형 영역을 형성하는 이러한 갭이 없고 오버레이 없는 인접 또는 병치(juxtaposition)와 공존할 수 있다. 그러나, 당연히, 표시(50)는 하위 영역(22)을 타일 단위로 표시하도록 제한되지 않는다. 어쨌든 픽처들(12)의 타일 세부화의 사용은 단지 선택적인 것임을 상기해야 한다. 예를 들어, 표시(50)는 하위 영역(22)을 샘플들의 단위로 또는 일부 다른 수단에 의해 표시할 수 있다. 심지어 추가적인 실시예에서, 하위 영역(22)의 위치는 참여 네트워크 디바이스들 및 하위 영역(22)에 대한 감소가능성 또는 공존을 단지 표시하는 정보(50)를 갖는 비디오 데이터 스트림(10)을 처리할 것으로 예상되는 디코더들에 공지된 디폴트 정보를 형성할 수도 있다. 전술한 바와 같이, 그리고 도 3에 예시된 바와 같이, 정보(50)는 미리 결정된 하위 영역의 표시(52) 이외에, 대체 인덱스들(54) 및/또는 대체 파라미터들(56)을 포함한다. 대체 인덱스들 및/또는 대체 파라미터들은 코딩 파라미터 설정들의 인덱싱된 세트, 즉, 페이로드 부분(18) 내의 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 세트를 변경하기 위한 것이어서, 코딩 파라미터 설정들의 인덱싱된 세트는 감소된 비디오 데이터 스트림의 페이로드 부분에 피팅되고, 여기서 페이로드 부분(18)은 한편으로는 하위 영역(22) 외부의 픽처들(12)의 부분들과 관련된 그러한 부분들이 제거 및 위치 표시들(32)을 변경하는 것에 의해 수정되어 픽처들(12)의 둘레보다는 하위 영역(22)의 둘레와 관련된다.
후자의 둘레를 명확하게 하기 위해, 도 1에 따른 비디오 데이터 스트림(10)을 수신하고 프로세싱하여 감소된 비디오 데이터 스트림(62)을 유도하도록 구성된 네트워크 디바이스(60)를 도시하는 도 4가 참조된다. "감소된 비디오 데이터 스트림"(62)에서 "감소된"이라는 용어는 2개의 것들, 즉, 첫째로, 감소된 비디오 데이터 스트림(62)이 비디오 데이터 스트림(10)과 비교하여 더 낮은 비트레이트에 대응한다는 사실, 및 둘째로, 감소된 축소된 비디오 데이터 스트림(62)의 더 작은 픽처들이 단지 픽처들(12)의 하위 영역(22)을 나타내는 점에서, 감소된 비디오 데이터 스트림(62)이 인코딩되는 픽처들은 비디오 데이터 스트림(10)의 픽처들(12)보다 작다는 사실을 나타낼 것이다.
아래에서 더 상세하게 설명되는 바와 같은 작업을 달성하기 위해, 방법 디바이스(60)는 데이터 스트림(10)으로부터 정보(50)를 판독하도록 구성된 판독기(64) 및 아래에서 더 상세히 설명되는 방식으로 정보(50)에 기초하여 감소 또는 추출 프로세스를 수행하는 감소기(66)를 포함한다.
도 5는 정보(50)에서 대체 인덱스들(54)을 사용하는 예시적인 경우에 대한 네트워크 디바이스(60)의 기능을 예시한다. 특히, 도 5에 예시된 바와 같이, 네트워크 디바이스(60)는, 예를 들어, 하위 영역(22)과 관련이 없는 데이터 스트림(10) 부분들(70)의 페이로드 부분(18)으로부터 제거하기 위해(68) 정보(50)를 사용하는데, 즉, 하위 영역(22) 외부의 픽처들(12)의 영역을 참조한다. 제거(68)는 예를 들어 슬라이스 기반으로 수행될 수 있으며, 여기서 감소기(66)는 한편으로는 슬라이스들(34)의 슬라이스 헤더들 내의 위치 표시 또는 슬라이스 어드레스 및 다른 한편으로는 정보(50) 내의 표시(52)에 기초하여, 하위 영역(22)과 관련되지 않은 페이로드 부분(18) 내의 그러한 슬라이스들(34)을 식별한다.
정보(50)가 대체 인덱스들(54)을 전달하는 도 5의 예에서, 비디오 데이터 스트림(10)의 파라미터 세트 부분(16)은 코딩 파라미터 설정들의 인덱스 세트(20a) 이외에, 페이로드 부분(18) 내의 인덱스들(48)이 참조하지 않거나 인덱싱되지 않는 코딩 파라미터 설정들의 넌-인덱싱된 세트(20b)를 전달한다. 감소를 수행함에 있어서, 감소기(66)는 데이터 스트림(10) 내의 인덱스들(48)을 대체 인덱스들(54)에 의해 도 5에 예시적으로 도시된 것으로 대체하며, 대체는 곡선 화살표(72)를 사용하여 도 5에 예시되어 있다. 인덱스들(48)을 대체 인덱스들(54)로 대체함으로써, 감소된 비디오 데이터 스트림(62)의 페이로드 부분에 포함된 인덱스들이 코딩 파라미터 설정들의 제2 세트(20b)를 참조하거나 인덱싱하여 코딩 파라미터 설정들의 제1 세트(20a)가 인덱싱되지 않게 되는 재지향(72)이 발생한다. 따라서, 재지향(72)은 파라미터 세트 부분(16)으로부터 코딩 파라미터 설정들의 더 이상 인덱싱되지 않은 세트(20a)를 제거하는(74) 감소기(66)를 또한 수반할 수 있다.
감소기(66)는 또한 미리 결정된 하위 영역(22)의 둘레에 대해 측정되도록 페이로드 부분(18) 내의 위치 표시들(32)을 변경한다. 변경은 곡선 화살표(78)를 통해 도 5에서 표시되며, 데이터 스트림(10)으로부터 감소된 비디오 데이터 스트림(62)으로의 예시적인 단지 하나의 표시된 위치 표시(32)의 변경은, 어떠한 해칭도 사용하지 않고 데이터 스트림(10)의 위치 표시(32)를 도시하는 한편 크로스 해칭 방식으로 감소된 비디오 데이터 스트림(62)의 위치 표시(32)를 도시함으로써 개략적으로 표시된다.
따라서, 도 5의 설명을 요약하면, 네트워크 디바이스(60)는 단지 비교적 낮은 복잡도를 수반하는 방식으로 감소된 비디오 데이터 스트림(62)을 획득할 수 있다. 감소된 비디오 데이터 스트림(62)의 페이로드 부분(18)의 양/크기(30), 위치 표시(32) 및 디코딩 순서(44)를 정확하게 파라미터화하거나 또는 피팅하기 위해 코딩 파라미터 설정들(20b)의 세트를 정확하게 적응시키는 성가신 작업은 도 1에서 파선 박스를 사용하여 대표적으로 예시된 인코더(80) 내에서와 같이 다른 곳에서 수행될 수 있다. 대안은 후술되는 바와 같이 정보(50)의 평가 및 감소기(66)에 의한 감소 사이의 순서를 변경하는 것일 것이다.
도 6은, 감소된 비디오 데이터 스트림(62)이 더 작은 픽처들(86), 즉 픽처들(12)에 비해 크기에서 더 작은 픽처들(86)의 비디오(84)로 인코딩된 것 및 단지 이의 하위 영역(22)을 도시하는 것을 예시하기 위해, 감소된 비디오 데이터 스트림(62)이 비디오 디코더(82)에 공급되는 상황을 예시한다. 따라서, 비디오(84)의 재구성은 감소된 비디오 데이터 스트림(62)을 디코딩하는 비디오 디코더(82)에 의해 이루어진다. 도 5와 관련하여 설명된 바와 같이, 감소된 비디오 데이터 스트림(62)은 코딩 파라미터 설정들의 제2 세트(20b)에 의해 파라미터화되는 또는 그에 대응적으로 설명되는 방식으로 더 작은 픽처들(86)을 인코딩한 감소된 페이로드 부분(18)을 갖는다.
비디오 인코더(80)는, 예를 들어 하위 영역(22)과 관련하여 도 1에 대해 전술한 코딩 제한들을 준수하는 동안, 픽처들(12)을 비디오 데이터 스트림(10)으로 인코딩할 수 있다. 인코더(80)는 예를 들어, 적절한 레이트-왜곡 최적화 기능의 최적화를 사용하여 이러한 인코딩을 수행할 수 있다. 이러한 인코딩의 결과로서, 페이로드 부분(18)은 세트(20a)를 인덱싱한다. 추가적으로, 인코더(80)는 세트(20b)를 생성한다. 이를 위해, 인코더(80)는 예를 들어 하위 영역(22)의 크기 및 점유된 타일 세트에 대응하도록 세트(20a)의 값들로부터 픽처 크기(26) 및 타일 구조(38)를 적응시킬 수 있다. 그 외에도, 인코더(80)는 도 5 자체에 관하여 위에서 설명된 바와 같이 감소 프로세스를 실질적으로 수행할 것이고, 비디오 디코더(82)와 같은 디코더가 코딩 파라미터 설정들의 제2 세트(20b) 내에서 이에 따라 컴퓨팅된 버퍼 타이밍(46)을 사용하여 코딩된 픽처 버퍼를 정확하게 관리할 수 있게 하기 위해 버터 타이밍(46)을 컴퓨팅할 것이다.
도 7은 이를테면 정보(50) 내에서 대체 파라미터들(56)을 사용하는 경우에 네트워크 디바이스의 동작 모드의 대안적 방식을 예시한다. 이러한 대안에 따르면, 도 7에 도시된 바와 같이, 파라미터 세트 부분(16)은 단지 코딩 파라미터 설정들의 인덱싱된 세트(20a)를 포함하므로, 재인덱싱 또는 재지향(72) 및 세트 제거기(74)는 감소기(66)에 의해 수행될 필요가 없다. 그러나, 이 대신에, 감소기(66)는 코딩 파라미터 설정들의 세트(20b)가 되도록 코딩 파라미터 설정들의 인덱싱된 세트(20a)를 조정(88)하기 위해 정보(50)로부터 획득된 대체 파라미터들(56)을 사용한다. 심지어 이러한 대안에 따라, 단계들(68, 78 및 88)을 수행하는 감소기(66)는 원본 비디오 데이터 스트림(10)으로부터 감소된 비디오 데이터 스트림(62)을 도출하기 위해 비교적 복잡한 동작들이 없다.
바꾸어 말하면, 도 7의 경우에, 예를 들어, 대체 파라미터들(56)은, 예를 들어, 픽처 크기(26), 타일 구조(38) 및/또는 버퍼 타이밍(46) 중 하나 이상을 포함할 수 있다.
도 5 및 도 7과 관련하여, 대체 인덱스들 및 대체 파라미터들 둘 모두를 포함하는 정보(50)와 대체들 둘 모두의 혼합물들이 또한 존재할 수 있음을 주목해야 한다. 예를 들어, 세트(20a)로부터 세트(20b)로의 변경에 영향을 받는 코딩 파라미터 설정들은 SPS, PPS, VPS 등과 같은 상이한 파라미터 세트 슬라이스들 상에서 분산되거나 이에 포함될 수 있다. 따라서, 이들 슬라이스 중 상이한 슬라이스들에 대해, 예를 들어 도 5 또는 도 7에 따른 상이한 프로세싱이 수행될 수 있다.
위치 표시들을 변경(78)하는 작업과 관련하여, 이러한 작업은 예를 들어 페이로드 부분(18) 내의 슬라이스들(34)의 각각의 페이로드 슬라이스에 대해 수행될 것이기 때문에 비교적 빈번하게 수행되어야 하지만, 위치 표시들(32)에 대한 새로운 대체 값들의 계산은 비교적 복잡하지 않음을 주목한다. 예를 들어, 위치 표시들은 수평 및 수직 좌표에 의해 위치를 표시할 수 있으며, 변경(78)은 예를 들어 원본 위치 표시(32) 및 데이터 스트림(10)의 대응하는 좌표와 픽처들(12)의 상부 좌측 코너에 대한 하위 영역(22)의 오프셋 사이의 감산을 형성함으로써 위치 표시의 새로운 좌표를 컴퓨팅할 수 있다. 대안적으로, 위치 표시(32)는, 예를 들어, 픽처들(12)이 규칙적으로 행 및 열로 분할되는 트리 루트(tree root) 블록들과 같은 코딩 블록의 단위와 같은 일부 적절한 단위로 전술한 디코딩 순서를 따르는 일부 선형 측정을 사용한 위치를 표시할 수 있다. 이러한 경우에, 위치 표시는 오직 하위 영역(22) 내에서 이들 코드 블록들의 코딩 순서만을 고려하여 단계(78) 내에서 새로 컴퓨팅될 것이다. 이와 관련하여, 감소된 비디오 데이터 스트림(62)을 비디오 데이터 스트림(10)으로부터 형성하기 위한 방금 개략된 감소/추출 프로세스는 또한, 감소된 비디오 데이터 스트림(62)으로 코딩된 비디오(84)의 더 작은 픽처들(86)이 공간적으로 스티칭된 방식으로 섹션(22)을 나타내고, 픽처들(84)의 동일한 픽처 콘텐츠가 상이하게 공간적으로 배열된 방식으로 하위 영역(22)의 픽처들(12) 내에 위치될 수 있는 방식으로, 감소된 비디오 데이터 스트림(62)을 형성하기에 적합할 것임을 주목해야 한다.
도 6과 관련하여, 도 6에 도시된 비디오 디코더(82)는 비디오 데이터 스트림(10)을 디코딩하여 그로부터 비디오(14)의 픽처들(12)을 재구성할 수 있거나 그렇지 않을 수 있음을 주목한다. 비디오 디코더(82)가 비디오 데이터 스트림(10)을 디코딩할 수 없는 이유는, 예를 들어, 비디오 디코더(82)의 프로파일 레벨이 감소된 비디오 데이터 스트림(62)의 크기 및 복잡도에 대처하기에 충분할 수 있지만, 원본 비디오 데이터 스트림(10)을 디코딩하기에는 불충분할 수 있기 때문이다. 그러나 원칙적으로, 데이터 스트림들(62 및 10) 둘 모두는 재인덱싱 및/또는 파라미터 조정에 의한 코딩 파라미터 설정들의 인덱싱된 세트의 전술한 적절한 적응으로 인해 하나의 비디오 코덱을 준수한다.
감소될 비디오 데이터 스트림의 픽처들의 특정 하위 영역에 대한 비디오 스트림 감소/추출에 대한 실시예들을 오히려 일반적으로 설명한 후, 전술한 실시예들을 구현하기 위한 특정 예를 제공하기 위해 HEVC에 대한 이러한 추출에 관한 동기 및 문제점들의 상기 설명이 아래에서 재개된다.
1. 단일 계층 하위 영역에 대한 시그널링 양상들
1.1. 파라미터 세트들:
하기 파라미터 세트들의 양상들은, 공간적 서브세트가 추출될 경우 조정을 필요로 한다.
·
VPS:
단일 계층 코딩에 대한 어떠한 규범적 정보도 없음
·
SPS:
·
레벨 정보
·
픽처 치수들
·
크로핑(cropping) 또는 준수 윈도우 정보
·
버퍼링 및 타이밍 정보(즉, HRD 정보)
·
motion_vectors_over_pic_boundaries_flag, min_spatial_segmentation_idc와 같은 잠재적으로 추가적인 비디오 사용가능성 정보(VUI) 항목들
·
PPS:
·
공간적 세그먼트화 정보, 즉, 수평 및 수직 방향에서 타일들의 양 및 치수에 대한 타일링 정보
시그널링 실시예들
·
시그널링 1A: 인코더는 각각의 TMCTS에 대한 대역에서 추가적인 미사용(즉, 결코 활성화되지 않는) VPS, SPS 및 PPS를 (즉, 각각의 NAL 유닛들로서) 전송할 수 있고, SEI(Supplemental Enhancement Information) 메시지에서 TMCTS에 대한 맵핑을 제공할 수 있다.
시그널링 1A SEI에 대한 예시적인 신택스/시맨틱스는 도 8에 도시되어 있다.
신택스 엘리먼트들(90)은 픽처 파라미터 세트 식별자들로부터 유도될 수 있기 때문에 선택적이다.
시맨틱스는 아래에 제공된다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1A SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
num_mcts_pps_replacements[i]는 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대한 시그널링 1A SEI에서 pps 식별자 대체 시그널링의 수를 표시한다.
mcts_vps_id[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 mcts_vps_idx[i]번째 비디오 파라미터 세트가 사용될 것임을 표시한다.
mcts_sps_id[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 mcts_sps_idx[i]번째 시퀀스 파라미터 세트가 사용될 것임을 표시한다.
mcts_pps_id_in[i][j]는 서브 픽처 추출 프로세스에서 대체될 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements[i] pps 식별자들의 j번째 값을 표시한다.
mcts_pps_id_out[i][j]는 서브 픽처 추출 프로세스에서 값 mcts_pps_id_in[i][j]와 동일한 pps 식별자들을 대체하기 위해 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements pps 식별자들의 j번째 값을 표시한다.
·
시그널링 1B: 인코더는 각각의 TMCTS에 대한 VPS, SPS 및 PPS 및 콘테이너-스타일 SEI 내에 모두 포함된 TMCTS로의 맵핑을 전송할 수 있다.
시그널링 1B SEI에 대한 예시적인 신택스/시맨틱스는 도 9에 도시되어 있다.
옐로우 신택스 엘리먼트들(92)은 픽처 파라미터 세트 식별자들로부터 유도될 수 있기 때문에 선택적이다.
시맨틱스는 아래에 개략되는 바와 같다:
num_vps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 vps 신택스 구조들의 수를 표시한다.
num_sps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 sps 신택스 구조들의 수를 표시한다.
num_pps_in_message_minus1은 서브 픽처 추출 프로세스에서 사용될 주어진 시그널링 1B SEI에서 pps 신택스 구조들의 수를 표시한다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1B SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
mcts_vps_idx[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 시그널링 1B SEI에서 시그널링된 mcts_vps_idx[i]번째 비디오 파라미터 세트가 사용될 것임을 표시한다.
mcts_sps_idx[i]는 서브 픽처 추출 프로세스에서 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대해 시그널링 1B SEI에서 시그널링된 mcts_sps_idx[i]번째 시퀀스 파라미터 세트가 사용될 것임을 표시한다.
num_mcts_pps_replacements[i]는 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트에 대한 시그널링 1B SEI에서 pps 식별자 대체 시그널링의 수를 표시한다.
mcts_pps_id_in[i][j]는 서브 픽처 추출 프로세스에서 대체될 mcts_id_map[i]와 동일한 mcts_id를 갖는 타일 세트의 슬라이스 헤더 신택스 구조들의 num_mcts_pps_replacements[i] pps 식별자들의 j번째 값을 표시한다.
mcts_pps_idx_out[i][j]는, mcts_pps_id_in[i][j]와 동일한 pps 식별자를 갖는 픽처 파라미터 세트가 서브 픽처 추출 프로세스 동안 시그널링 1C SEI에서 mcts_pps_idx_out[i][j]번째 시그널링된 픽처 파라미터 세트로 대체될 것임을 표시한다.
·
시그널링 1C: 인코더는 유도될 수 없는 TMCTS와 연관된 파라미터 세트 정보(본질적으로 추가적인 버퍼링/타이밍(HRD) 파라미터들 및 SEI 내의 적용가능한 TMCTS에 대한 매핑)을 제공할 수 있다.
시그널링 1C SEI에 대한 예시적인 신택스/시맨틱스는 도 10에 도시되어 있다.
다음 SEI의 HRD 정보는, 추출 프로세스가 원본 VPS의 신택스 엘리먼트들의 연속적 블록을 SEI로부터의 신택스 엘리먼트들의 각각의 연속적 블록으로 대체할 수 있는 방식으로 구성된다.
num_extraction_information_sets_minus1은 서브 픽처 추출 프로세스에서 적용될 주어진 시그널링 1C SEI에 포함된 정보 세트들의 수를 표시한다.
num_applicable_tile_set_identifiers_minus1은 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 값들의 수를 표시한다.
mcts_identifier[i][k]는, 모든 num_applicable_tile_set_identifers_minus1 플러스 서브 픽처 추출 프로세스에 대해 다음 i번째 정보 세트가 적용하는 타일 세트들의 mcts_id의 1 값들을 표시한다.
1과 동일한 mcts_vps_timing_info_present_flag[i]는 mcts_vps_num_units_in_tick[i], mcts_vps_time_scale[i], mcts_vps_poc_proportional_to_timing_flag[i] and mcts_vps_num_hrd_parameters[i]가 VPS에 존재함을 특정한다. 0과 동일한 mcts_vps_timing_info_present_flag[i]는 mcts_vps_num_units_in_tick[i], mcts_vps_time_scale[i], mcts_vps_poc_proportional_to_timing_flag[i] and mcts_vps_num_hrd_parameters[i]가 시그널링 1C SEI에 존재하지 않음을 특정한다.
mcts_vps_num_units_in_tick[i]는 클럭 틱 카운터의 1 증분(클럭 틱으로 지칭됨)에 대응하는 주파수 mcts_vps_time_scale Hz에서 동작하는 클럭의 시간 단위의 i번째 수이다. mcts_vps_num_units_in_tick[i]의 값은 0보다 클 것이다. 초 단위인 클럭 틱은 mcts_vps_time_scale로 나눈 mcts_vps_num_units_in_tick의 몫과 동일하다. 예를 들어, 비디오 신호의 픽처 레이트가 25 Hz인 경우, mcts_vps_time_scale은 27 000 000과 동일할 수 있고, mcts_vps_num_units_in_tick은 1 080 000과 동일할 수 있고, 결국 클럭 틱은 0.04초일 수 있다.
mcts_vps_time_scale[i]는 1초에 지나가는 시간 단위의 i번째 수이다. 예를 들어, 27 MHz 클럭을 사용하여 시간을 측정하는 시간 좌표계는 27 000 000의 vps_time_scale을 갖는다. vps_time_scale의 값은 0보다 클 것이다.
1과 동일한 mcts_vps_poc_proportional_to_timing_flag[i]는, 디코딩 순서에서 CVS의 제1 픽처가 아닌 CVS의 각각의 픽처에 대한 픽처 순서 카운트 값이 CVS의 제1 픽처의 출력 시간에 대한 픽처의 출력 시간에 비례함을 표시한다. 0과 동일한 mcts_vps_poc_proportional_to_timing_flag[i]는, 디코딩 순서에서 CVS의 제1 픽처가 아닌 CVS의 각각의 픽처에 대한 픽처 순서 카운트 값이 CVS의 제1 픽처의 출력 시간에 대한 픽처의 출력 시간에 비례할 수 있거나 비례하지 않을 수 있음을 표시한다.
mcts_vps_num_ticks_poc_diff_one_minus1[i] 플러스 1은 1과 동일한 픽처 순서 카운트 값들의 차이에 대응하는 클럭 틱들의 수를 특정한다. mcts_vps_num_ticks_poc_diff_one_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_vps_num_hrd_parameters[i]는 시그널링 1C SEI의 i번째 엔트리에 존재하는 hrd_parameters( ) 신택스 구조들의 수를 특정한다. mcts_vps_num_hrd_parameters의 값은 0 내지 vps_num_layer_sets_minus1 + 1(포함)의 범위일 것이다.
mcts_hrd_layer_set_idx[i][j]는, 시그널링 1C SEI에서 j번째 hrd_parameters( ) 신택스 구조가 적용하고 서브 픽처 추출 프로세스에서 사용될 계층 세트의 시그널링 1C SEI에서 i번째 엔트리의 VPS에 의해 특정되는 계층 세트들의 리스트로의 인덱스를 특정한다. mcts_hrd_layer_set_idx[i][j]의 값은 (vps_base_layer_internal_flag ? 0 : 1) 내지 vps_num_layer_sets_minus1(포함)의 범위일 것이다. mcts_hrd_layer_set_idx[i][j]의 값이 k와 동일하지 않은 j의 임의의 값에 대한 hrd_layer_set_idx[i][k]의 값과 동일하지 않을 것임이 비트스트림 준수의 요건이다.
1과 동일한 mcts_cprms_present_flag[i][j]는, 모든 서브 계층들에 대해 공통인 HRD 파라미터들이 시그널링 1C SEI의 i번째 엔트리의 j번째 hrd_parameters( ) 신택스 구조에 존재함을 특정한다. 0과 동일한 mcts_cprms_present_flag[i][j]는, 모든 서브 계층들에 대해 공통인 HRD 파라미터들이 시그널링 1C SEI의 i번째 엔트리의 i번째 hrd_parameters( ) 신택스 구조에 존재하지 않고, 시그널링 1C SEI의 i번째 엔트리의 ( i ? 1 )번째 hrd_parameters( ) 신택스 구조와 동일하게 유도됨을 특정한다. mcts_cprms_present_flag[i][0]은 1과 동일하게 추론된다.
상기 HRD 정보는 VPS 관련이기 때문에, SPS VUI HRD 파라미터들에 대한 유사한 정보의 시그널링은 동일한 방식으로, 예를 들어, 위의 SEI 또는 개별 SEI 메시지로 확장된다.
본 발명의 추가적인 실시예들이 VUI와 같은 다른 비트스트림 신택스 구조들에서 또는 파라미터 세트들의 확장들로서 시그널링 1A, 1B 및 1C에 의해 수행되는 메커니즘들을 사용할 수 있음에 주목할 필요가 있다.
1.2. SEI 메시지들
원본 비디오 비트스트림에서 다음 SEI 메시지들 중 임의의 것의 발생은 TMCTS 추출 이후 불일치들을 회피하기 위한 조정을 위한 메커니즘들을 요구할 수 있다.
·
HRD 관련 버퍼링 기간, 픽처 타이밍 및 디코딩 유닛 정보 SEI
·
PanScan SEI
·
*FramePackingArrangement* SEI
·
DecodedPictureHash SEI
·
TMCTS SEI
시그널링 실시예들
·
시그널링 2A: 인코더는 모든 TMCTS에 대한 콘테이너-스타일 SEI의 TMCTS와 관련하여 상기 SEI들에 대한 적절한 대체들을 제공할 수 있다. 이러한 시그널링은 시그널링 1C의 실시예와 결합될 수 있고, 도 11에 도시되어 있다. 환언하면, 앞서 제공된 설명에 추가적으로 또는 그에 대한 대안으로, 비디오(14)를 표현하는 비디오 데이터 스트림(10)은 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18) 및 페이로드 부분(18)에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지, 또는 더 정확하게는, 비디오의 픽처들(12)이 페이로드 부분(18)으로 코딩되는 방식을 포함할 수 있고, 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52)를 포함하는 정보(50) 및 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 더 포함할 수 있고, 대체 보충 강화 정보 메시지는, 대체 보충 강화 정보 메시지가 감소된 페이로드 부분에 매칭하는 대체 보충 강화 정보를 표시하도록 하는 방식, 즉 하위 영역-특정 픽처들(86)이 감소된 페이로드 부분(18)으로 코딩되는 방식으로, 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 페이로드 부분(18)의 부분들(70)을 제거(68)하고 픽처들(12) 대신 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써, 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림(62)이 픽처들의 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택된다. 파라미터 설정기(80a)는 전술한 파라미터 생성에 추가로 또는 그에 대한 대안으로, 대체 SEI 메시지에 의한 잠재적 대체의 대상인 보충 강화 정보 메시지를 생성할 것이다. 이 대체는 네트워크 디바이스(60)에 의해 수행되는 전술한 재지향 및/또는 조정에 대한 추가 또는 그에 대한 대안일 것이다.
0과 동일한 all_tile_sets_flag는, 리스트 applicable_mcts_id[0]이 비트스트림 내에서 정의되는 모든 타일 세트들에 대한 wapplicable_mcts_id[i]에 의해 특정됨을 특정한다. 1과 동일한 all_tile_sets_flag는, 리스트 applicable_mcts_id[0]이 증가하는 값들의 순서로, 현재의 SEI NAL 유닛의 nuh_layer_id보다 크거나 그와 동일한 현재의 액세스 유닛에 존재하는 nuh_layer_id의 모든 값들로 구성됨을 특정한다.
tile_sets_max_temporal_id_plus1 마이너스 1은, 어레이 applicable_mcts_id[i]의 엘리먼트와 동일한 mcts_id를 갖는 타일 세트에 대한 서브 픽처 추출 프로세스에서 추출될 최대 시간 레벨을 표시한다.
num_applicable_tile_set_identifiers_minus1 플러스 1은, 다음 SEI 메시지들이 서브 픽처 추출 프로세스에서 사용되어야 할 다음 적용가능한 mcts ids의 수를 특정한다.
mcts_identifier[i]는, 타일 세트들에 대한 서브 픽처 추출 프로세스를 사용하여 applicable_mcts_id[i]와 동일한 mcts_id를 갖는 각각의 타일 세트를 추출하는 경우 다음 SEI 메시지들이 삽입되어야 하는 mcts_id의 모든 num_applicable_tile_set_identifiers_minus1 값들을 표시한다.
2. 서브 픽처 추출 프로세스:
추출 프로세스 세부사항들은 적용되는 시그널링 방식에 명백하게 의존한다.
타일 셋업 및 TMCTS SEI, 특히 추출된 TMCTS에 관한 제약들은 준수 출력을 보장하기 위해 공식화되어야 한다. 비트스트림을 획득한 상기 시그널링 실시예들 중 임의의 실시예의 존재는, 인코더가 비디오 비트스트림의 생성 동안 아래에 공식화된 제약들을 준수했음에 대한 보장을 표현한다.
입력:
·
비트스트림.
·
타겟 MCTS 식별자 MCTSIdTarget.
·
타겟 계층 식별자 리스트 layerIdListTarget.
제약들 또는 비트스트림 요건들:
·
1과 동일한 tiles_enabled_flag.
·
num_tile_columns_minus1 > 0 || num_rows_minus1 > 0.
·
MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS SEI 메시지가 존재하고 출력될 모든 픽처들과 연관된다.
·
MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS는 TMCTS SEI에 존재한다.
·
MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS에 대한 적절한 레벨은, TMCTS SEI 신택스 엘리먼트들 mcts_tier_level_idc_present_flag[i], mcts_tier_idc[i], mcts_level_idc[i] 또는 상기 시그널링 변수들 1A 또는 1B 중 하나를 통해 시그널링되어야 한다.
·
TMCTS에 대한 HRD 정보는 시그널링 변수들 1A, 1B 또는 1C 중 하나를 통해 비트스트림에 존재한다.
·
MCTSIdTarget과 동일한 mcts_id[i]를 갖는 TMCTS의 모든 직사각형들은 루마 샘플들의 관점에서 동일한 높이 또는 동일한 폭 또는 둘 모두를 갖는다.
프로세스:
·
MCTSIdTarget와 동일한 mcts_id[i]와 연관된 타일 세트에 없는 모든 타일 NALU들을 제거한다.
·
시그널링 1X에 따라 파라미터 세트들을 대체/조정한다.
·
다음에 따라 나머지 NALU 슬라이스 헤더를 조정한다
o
slice_segement_address를 조정하고 first_slice_segment_in_pic_flag는 타일 세트의 모든 직사각형들로부터 공통 픽처 평면을 생성한다.
o
필요한 경우 pps_id를 조정한다.
·
시그널링 2A의 존재 시에, SEI들을 제거 또는 대체한다.
대안적인 실시예로서, 추출 프로세스의 일부로서 전술한 제약들 또는 비트스트림 요건들은 비트스트림 내에서 전용 시그널링, 예를 들어, 별개의 SEI 메시지 또는 VUI 표시의 형태를 취할 수 있고, 이들의 존재는 상기 추출 프로세스에 대한 요건일 것이다.
2. 다중 계층
일부 시나리오들에서, 예를 들어, 영역마다 변하는 품질을 제공하기 위해 계층화된 코덱들이 관심의 대상일 수 있다. 하위 계층 품질에서 더 큰 공간 영역을 제공하는 것이 흥미로울 수 있어서, 사용자에 의해 요구되고 광각 비디오의 일부 특정 영역이 상위 계층에서 이용가능하지 않으면, 콘텐츠는 상위 계층 콘텐츠와 함께 업샘플링되고 제시될 하위 계층들에서 이용가능하다. 하위 계층 비디오 영역들이 상위 계층 비디오 영역들을 확장시키는 범위는 사용 사례에 따라 변하도록 허용되어야 한다.
설명된 TMCTS SEI에 추가로, HEVC 규격(즉, 부록 F)의 계층화된 확장들에서, 계층 간 예측을 위한 본질적 제약들에서 유사하게 표시하는 ILCTS(Inter-layer Constrained Tile Sets) SEI 메시지가 특정된다. 참조로, 신택스 표는 도 12에 주어진다.
따라서, 본 발명의 추가적인 부분으로서, 상기와 유사한 방식의 추출 프로세스는 추가적인 정보를 고려하여 계층화된 코딩된 비디오 비트스트림들에 대해 실현된다.
다중 계층 서브 픽처에 대한 시그널링 양상들을 고려하는 경우에 상기 개시된 시그널링 및 프로세싱과의 주요 차이점은, 비트스트림의 타겟팅된 데이터 부분들이 더 이상 mcts_id 식별자의 단일 값에 의해 식별되지 않는다는 점이다. 대신에, 계층 세트의 식별자 및 적용가능한 경우 각각의 포함된 계층 내의 TMCTS의 다수의 식별자들 및 적용가능한 경우 포함된 계층들 사이의 각각의 ILCTS 식별자들은 비트스트림의 타겟팅된 부분을 식별하는 다차원 벡터를 형성한다.
·
본 발명의 실시예들은, 신택스 엘리먼트 mcts_identifier[i][k]가 설명된 다차원 식별자 벡터로 대체되는 상기 개시된 단일 층 시그널링 1A, 1B, 1C 및 2A의 변형들이다.
또한, 인코더 제약들 또는 비트스트림 요건들은 다음과 같이 확장된다.
2.2. 추출 프로세스:
입력:
·
다음으로 구성된 다차원 식별자 벡터
·
타겟 계층 세트 layerSetIdTarget
·
적어도 식별자 layerSetIdTarget를 갖는 계층 세트 내에서 최고 계층에 대한 타겟 계층 TMCTS 식별자 MCTSIdTarget_Lx
·
대응하는 타겟 ILCTS 식별자들 LTCTSIdTarget_Lx_refLy
·
비트스트림
비트스트림 요건들:
단일 계층 경우에 대해 정의된 것에 추가로:
o
MCTSIdTarget_Lx와 동일한 mcts_id[i]를 갖는 TMCTS SEI 메시지들은 각각의 계층들 Lx에 대해 존재하고, ILTCTSIdTarget_Lx_refLy와 동일한 ilcts_id[i]를 갖는 ILCTS SEI 메시지들은 비트스트림에 포함된 임의의 사용된 참조 계층들 Ly 및 계층 세트 layerSetIdTarget에 대한 각각의 계층들 Lx에 존재한다.
추출된 비트스트림 부분에서 누락된 참조 샘플들의 존재를 배제하기 위해, 비트스트림 부분을 정의하는 TMCTS 및 ILCTS는 다음의 제약들을 추가로 달성해야 한다.
o
MCTSIdTarget_LA와 동일한 mcts_id[i]와 연관된 타일 세트 tsA를 갖는 각각의 참조 계층 A에 대해: tsA를 구성하는 계층 A의 타일들은 ILTCTSIdTarget_LA_refLy와 동일한 ilcts_id[i]를 갖는 세트와 연관된 동일한 타일들이다.
o
MCTSIdTarget_LB와 동일한 mcts_id[i]와 연관된 타일 세트 tsB를 갖는 각각의 참조 계층 B에 대해: tsB를 구성하는 계층 B의 타일들은 ilcts_id[i] ILCTSIdTarget_Lx_refLB에 표시된 연관된 참조 타일 세트에 완전히 포함된다.
프로세스
계층 x마다: mcts_id[i] 식별자들 MCTSIdTarget_Lx를 갖는 타일 세트 내에 없는 모든 타일 NAL 유닛들을 제거한다.
본 출원의 다음 양상으로 넘어 가기 전에, 하위 영역(22)이 타일들의 세트로 구성될 수 있는 상기 언급된 가능성에 대해 간략히 언급될 것이고, 픽처(12) 내에서 타일들의 세트의 감소된 비디오 데이터 스트림(62)에 의해 표현되는 비디오(84)의 더 작은 픽처들(86) 내의 이들 타일들의 서로에 대한 상대적 위치와 상이할 수 있다.
도 13은 디코딩 순서를 따라 대문자들(A 내지 I)을 사용하여 열거된 타일들의 어레이(42)로 세분화될 픽처들(12)을 예시한다. 단지 예시를 위해, 도 13은 예시적으로 단지 하나의 픽처 및 3x3 타일들(42)로의 세분화를 도시한다. 예를 들어, 픽처들(12)은, 코딩 의존도들이 타일 경계들(40)을 가로지르지 않는 방식으로 비디오 데이터 스트림(10)으로 코딩되고, 따라서 코딩 의존도들은 예를 들어 픽처 내 공간 상호 의존도들 뿐만 아니라 시간 독립성들을 포함하도록 제한된다고 가정한다. 따라서, 현재 픽처 내의 타일(42)은 임의의 이전에 코딩/디코딩된 픽처, 즉 시간 참조 픽처 내의 그 자체 또는 공동 위치된 타일에 단지 의존한다.
이러한 상황에서, 하위 영역(22)은 예를 들어 타일들의 세트 {D, F, G, I}와 같이 불연속인 타일들의 세트(42)로 구성될 수 있다. 상호 독립성으로 인해, 비디오(84)의 픽처들(86)은 참여 타일들이 상이한 방식으로 픽처(86) 내에 공간적으로 배열되는 방식으로 하위 영역(22)을 나타낼 수 있다. 이는 도 13에 도시되며; 픽처들(86)은 또한 타일(42)의 단위로 감소된 비디오 데이터 스트림(62)으로 인코딩되지만, 픽처들(12)의 하위 영역(22)을 형성하는 타일들은 서로 다른 상호 위치 관계에 있는 픽처들(86) 내에 공간적으로 배열된다. 도 13의 예에서, 하위 영역(22)을 형성하는 타일들(42)은 픽처들(12)이 수평 파노라마 뷰를 나타낸 것처럼 픽처들(12)의 대향 측면들에서 타일들을 점유하여, 이들 대향 측면들에서의 타일들이 실제로 파노라마 장면의 인접 부분들을 나타내도록 한다. 그러나, 픽처들(86)에서, 각각의 타일 열의 타일들은 픽처들(12)의 상대 위치에 대한 위치들을 스위칭한다. 즉, 예를 들어, 타일 F는 픽처들(12)에서의 타일들(D 및 F)의 상호 수평 위치와 비교하는 경우 타일 D에 비해 좌측에 나타난다.
본 출원의 다음 양상으로 진행하기 전에, 타일들(42) 및 섹션(22)은 코딩 의존도들이 이의 경계를 가로지르지 않도록 제한된 상술한 방식으로 픽처들(12)로 인코딩될 필요가 없음을 주목해야 한다. 자연적으로, 이러한 제약은 비디오 데이터 스트림 감소/추출의 상술한 개념을 완화하지만, 그러한 코딩 의존도들은 애플리케이션에 따라 하위 영역(22)/타일들(42)의 경계를 따라 단지 작은 에지 부분에만 영향을 미치는 경향이 있어서, 이러한 에지 부분들에서의 왜곡은 애플리케이션에 따라 수용될 수 있다.
추가로, 지금까지 앞서 설명된 실시예들은, 설명된 준수 포인트를 새로 포함하는 방식으로 기존의 비디오 코덱을 확장시키는 가능성, 즉, 오직 준수를 유지하는 동안 원본 픽처들(12)의 하위 영역(22)에 관한 감소된 비디오 스트림으로 비디오 스트림을 감소시키는 가능성을 제시하였고, 이를 위해, 정보(50)는 예시적으로 SEI 메시지, VUI 또는 파라미터 세트 확장, 즉, 좋아하는 것 또는 싫어하는 것에 따라 디코더들에 의해 스킵될 수 있는 원본 비디오 데이터 스트림의 일부들에 숨겨져 있음을 주목한다. 그러나, 대안적으로, 정보(50)는 규범적 부분들인 부분들에서 비디오 데이터 스트림 내에서 전달될 수 있다. 즉, 새로운 비디오 코덱은, 스크래치로부터, 설명된 준수 포인트를 포함하는 방식으로 설정될 수 있다.
추가로, 완전성을 위해, 상기 실시예들에 대한 추가적인 특정 구현 예가 설명되며, 이러한 예는 상기 실시예들을 구현하기 위한 방식으로 HEVC 표준을 확장할 수 있는 가능성을 예시한다. 이를 위해 새로운 SEI 메시지들이 제공된다. 즉, 개별적인 HEVC 준수 비트스트림으로서 동작 제한적 타일 세트(MCTS)의 추출을 가능하게 하는 HEVC 규격에 대한 수정들이 설명된다. 2개의 SEI 메시지들이 사용되고 아래에서 설명된다.
제1 SEI 메시지, 즉 MCTS 추출 정보 세트 SEI 메시지는 MCTS 특정 대체 파라미터 세트들의 전달에 대한 신택스를 제공하고 시맨틱스에서 추출 프로세스를 정의한다. 제2 SEI 메시지, 즉 MCTS 추출 정보 네스팅 SEI 메시지는 MCTS 특정 네스팅된 SEI 메시지들에 대한 신택스를 제공한다.
따라서, 이들 SEI 메시지들을 HEVC 프레임 워크에 포함시키기 위해, HEVC의 일반적 SEI 메시지 신택스는 새로운 타입들의 SEI 메시지들을 포함하도록 수정된다:
따라서, 리스트 SingleLayerSeiList는 페이로드 타입 값들 3, 6, 9, 15, 16, 17, 19, 22, 23, 45, 47, 56, 128, 129, 131, 132, 및 134 내지 153(포함)로 구성되도록 설정된다. 유사하게, 리스트 VclAssociatedSeiList 및 PicUnitRepConSeiList는 새로운 SEI 메시지들의 타입 번호들(152 및 153)에 의해 확장될 것이고, 이 번호는 당연히 단지 예시 목적으로만 선택된다.
HEVC의 표 D.1(SEI 메시지들의 지속성 범위)은 추가적으로 SEI 메시지들의 새로운 테이프들에 대한 힌트를 포함할 것이다:
이들의 신택스는 다음과 같을 것이다: MCTS 추출 정보 세트 SEI 메시지 신택스는 다음과 같이 설계될 수 있다:
시맨틱스가 관련되는 한, MCTS 추출 정보 세트 SEI 메시지는 대체 파라미터들(56)을 사용하는 정보(50)에 대한 예이다.
MCTS 추출 정보 세트 SEI 메시지는 모션-제약된 타일 세트, 즉 전체 픽처 영역의 프래그먼트(84)를 형성하는 타일 세트로부터 HEVC 준수 비트스트림을 유도하기 위해 아래에 특정된 바와 같이 서브-비트스트림 MCTS 추출을 수행하기 위한 보충 정보를 제공한다. 이 정보는 다수의 추출 정보 세트들로 구성되며, 각각은 추출 정보 세트가 적용되는 모션-제약된 타일 세트들의 식별자들을 포함한다. 각각의 추출 정보 세트는 서브-비트스트림 MCTS 추출 프로세스 동안 사용될 대체 비디오 파라미터 세트들, 시퀀스 파라미터 세트들 및 픽처 파라미터 세트들의 RBSP 바이트들을 포함한다.
픽처들 associatedPicSet의 세트를, MCTS 추출 정보 세트 SEI 메시지(포함)를 포함하는 액세스 유닛으로부터, 디코딩 순서에서 임의의 다음 것 첫번째(포함하지 않음)까지의 픽처들이라 한다.
- MCTS 추출 정보 세트 SEI 메시지를 포함하는 디코딩 순서에서 다음 액세스 유닛.
- 디코딩 순서에서 1과 동일한 NoRaslOutputFlag를 갖는 다음 IRAP 픽처.
- 1과 동일한 NoClrasOutputFlag를 갖는, 디코딩 순서에서 다음 IRAP 액세스 유닛.
MCTS 추출 정보 세트 SEI 메시지의 범위는 픽처들 associatedPicSet의 세트이다.
MCT 추출 정보 세트 타일 세트 SEI 메시지가 associatedPicSet의 임의의 픽처에 대해 존재하는 경우, 시간적 모션-제약된 타일 세트 SEI 메시지는 디코딩 순서에서 associatedPicSet의 제1 픽처에 대해 존재할 것이고, associatedPicSet의 다른 픽처들에 대해 또한 존재할 수 있다. 시간적 모션-제약된 타일 세트 SEI 메시지는 associatedPicSet 내의 모든 픽처들에 대해 mcts_identifer[]와 같은 mcts_id[]를 가질 것이다.
MCT 추출 정보 세트 타일 세트 SEI 메시지가 associatedPicSet의 임의의 픽처에 대해 존재하는 경우, MCTS 추출 정보 세트 SEI 메시지는 디코딩 순서에서 associatedPicSet의 제1 픽처에 대해 존재할 것이고, associatedPicSet의 다른 픽처들에 대해 또한 존재할 수 있다.
MCTS 추출 정보 세트 SEI 메시지는 associatedPicSet의 임의의 픽처에 대해 활성인 임의의 PPS에 대해 tiles_enabled_flag가 0과 동일한 경우, associatedPicSet의 임의의 픽처에 대해 존재하지 않을 것이다.
associatedPicSet의 임의의 픽처에 대해 활성인 모든 PPS가 신택스 엘리먼트들 num_tile_columns_minus1, num_tile_rows_minus1, uniform_spacing_flag, column_width_minus1[i], 및 row_height_minus1[i]의 동일한 값들을 갖지 않으면, MCTS 추출 정보 세트 SEI 메시지는 associatedPicSet의 임의의 픽처에 대해 존재하지 않을 것이다.
주 1 - 이러한 제약은 1과 동일한 tiles_fixed_structure_flag와 연관된 제약과 유사하며, MCTS 추출 정보 세트 SEI 메시지가 존재하는 경우(이것이 요구되는 것은 아님), tiles_fixed_structure_flag가 1과 동일한 것이 바람직할 수 있다.
하나 초과의 MCTS 추출 정보 세트 SEI 메시지가 associatedPicSet의 픽처들에 대해 존재하는 경우, 이들은 동일한 콘텐츠를 포함할 것이다.
타일 세트 tileSetA에 속한 타일들을 포함하는 NAL 유닛들은 타일 세트 tileSetA에 속하지 않는 타일들을 포함하지 않을 것이다.
각각의 액세스 유닛에서 MCTS 추출 정보 세트 SEI 메시지들의 수는 5를 초과하지 않을 것이다.
num_extraction_info_sets_minus1 플러스 1은 mcts 추출 프로세스에서 적용될 MCTS 추출 정보 세트 SEI 메시지에 포함된 추출 정보 세트들의 수를 표시한다. num_extraction_info_sets_minus1의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
i번째 추출 정보 세트에는 i와 동일한 MCTS 추출 정보 세트 식별자 값이 할당된다.
num_associated_tile_set_identifiers_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 타일 세트들의 mcts_id의 값들의 수를 표시한다. num_extraction_info_sets_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_identifier[i][j]는 i번째 추출 정보 세트와 연관된 mcts_identifier[i][j]와 동일한 mcts_id를 갖는 j번재 타일을 식별한다. mcts_identifier[i][j]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
num_vps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 비디오 파라미터 세트들의 수를 표시한다. num_vps_in_extraction_info_set_minus1[i]의 값은 0 내지 15(포함)의 범위일 것이다.
vps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 비디오 파라미터 세트의 바이트들 vps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
num_sps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 시퀀스 파라미터 세트들의 수를 표시한다. num_sps_in_extraction_info_set_minus1[i]의 값은 0 내지 15(포함)의 범위일 것이다.
sps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 시퀀스 파라미터 세트의 바이트들 sps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
num_pps_in_extraction_info_set_minus1[i] 플러스 1은 i번째 추출 정보 세트에서 대체 픽처 파라미터 세트들의 수를 표시한다. num_pps_in_extraction_info_set_minus1[i]의 값은 0 내지 63(포함)의 범위일 것이다.
pps_nuh_temporal_id_plus1[i][j]는 i번째 추출 정보 세트에 대한 j번째 대체 픽처 파라미터 세트에 대한 pps_rbsp_data_bytes[i][j][]로 특정되는 PPS RBSP에서 특정된 PPS 데이터와 연관된 PPS NAL 유닛을 생성하기 위한 시간 식별자를 특정한다.
pps_rbsp_data_length[i][j]는 i번째 추출 정보 세트에서 후속 j번째 대체 픽처 파라미터 세트의 바이트들 pps_rbsp_data_bytes[i][j][k]의 수를 표시한다.
mcts_alignment_bit_equal_to_zero는 0과 동일할 것이다.
vps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 비디오 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
sps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 시퀀스 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
pps_rbsp_data_bytes[i][j][k]는 i번째 추출 정보 세트에서 후속 j번째 대체 픽처 파라미터 세트의 RBSP의 k번째 바이트를 포함한다.
서브-비트스트림 MCTS 추출 프로세스는 다음과 같이 적용된다:
비트스트림 inBitstream, 타겟 MCTS 식별자 mctsIdTarget, 타겟 MCTS 추출 정보 세트 식별자 mctsEISIdTarget 및 타겟 최고 TemporalId 값 mctsTIdTarget를 서브 비트스트림 MCTS 추출 프로세스에 대한 입력이라 한다.
서브 비트스트림 MCTS 추출 프로세스의 출력은 서브 비트스트림 outBitstream이다.
비트스트림과 함께 이 절에 특정된 프로세스의 출력인 임의의 출력 서브 비트스트림이 준수 비트스트림일 것이라는 것은 입력 비트스트림에 대한 비트스트림 준수에 대한 요건이다.
출력 서브 비트스트림은 다음과 같이 유도된다:
- 비트스트림 outBitstream은 비트스트림 inBitstream과 동일하게 설정된다.
- 리스트들 ausWithVPS, ausWithSPS 및 ausWithPPS는 VPS_NUT, SPS_NUT 및 PPS_NUT 유형들을 갖는 VCL NAL 유닛들을 포함하는 outBitstream 내의 모든 액세스 유닛들로 구성되도록 설정된다.
- 0과 동일한 nuh_layer_id를 갖고 네스팅되지 않은 SEI 메시지들을 포함하는 모든 SEI NAL 유닛들을 제거한다.
*주 2 - "스마트" 비트스트림 추출기는, 서브 비트스트림에 적용가능한 SEI 메시지들이 원본 비트스트림의 mcts_extraction_info_nesting ( )에서 네스팅된 SEI 메시지들로서 존재한다면, 추출된 서브 비트스트림에 적절한 네스팅되지 않은 SEI 메시지들을 포함할 수 있다.
- 타입들을 갖는 모든 NAL 유닛들을 outBitstream으로부터 제거한다.
- mctsIdTarget과 동일한 mcts_id[i]를 갖는 타일 세트에 속하지 않는 타일들을 포함하는 VCL NAL 유닛들
- 타입들 VPS_NUT, SPS_NUT 또는 PPS_NUT를 갖는 넌-VCL NAL 유닛들.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 VPS RBSP 데이터로부터 생성된 타입 VPS_NUT를 갖는 NAL 유닛들, 즉, 0 내지 num_vps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 vps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream num_vps_in_extraction_info_minus1[mctsEISIdTarget] 플러스 1의 리스트 ausWithVPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 VPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고 nuh_temporal_id_plus1은 1과 동일하게 설정된다.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 SPS RBSP 데이터로부터 생성된 타입 SPS_NUT를 갖는 NAL 유닛들, 즉, 0 내지 num_sps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 sps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream num_sps_in_extraction_info_minus1[mctsEISIdTarget] 플러스 1의 리스트 ausWithSPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 SPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고 nuh_temporal_id_plus1은 1과 동일하게 설정된다.
- mctsEISIdTarget번째 MCTS 추출 정보 세트에서 PPS RBSP 데이터로부터 생성된 타입 PPS_NUT를 갖는 NAL 유닛들, 즉, pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]가 mctsTIdTarget보다 작거나 그와 동일한 0 내지 num_pps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대한 pps_rbsp_data_bytes[mctsEISIdTarget][j][]을 outBitstream의 리스트 ausWithPPS 내의 모든 액세스 유닛들에 삽입한다. 생성된 각각의 PPS_NUT에 대해, nuh_layer_id는 0과 동일하게 설정되고, nuh_temporal_id_plus1은, pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]이 mctsTIdTarget보다 작거나 그와 동일한 0 내지 num_pps_in_extraction_info_minus1[mctsEISIdTarget](포함) 범위의 j의 모든 값들에 대해 pps_nuh_temporal_id_plus1[mctsEISIdTarget][j]와 동일하게 설정된다.
- mctsTIdTarget보다 큰 TemporalId를 갖는 모든 NAL 유닛들을 outBitstream으로부터 제거한다.
- outBitstream의 각각의 나머지 VCL NAL 유닛들에 대해, 다음과 같이 슬라이스 세그먼트 헤더를 조정한다:
- 각각의 액세스 유닛 내의 제1 VCL NAL 유닛에 대해, first_slice_segment_in_pic_flag의 값을 1과 동일하게 설정하고, 그렇지 않으면 0으로 설정한다.
- slice_pic_parameter_set_id와 동일한 pps_pic_parameter_set_id를 갖는 PPS에서 정의된 타일 셋업에 따라 slice_segment_address의 값을 설정한다.
MCTS 추출 정보 네스팅 SEI 메시지 신택스는 다음과 같이 설계될 수 있다:
시맨틱스에 관해서, MCTS 추출 정보 네스팅 SEI 메시지는 정보(50)를 형성하기 위해 MCTS 추출 정보 세트 SEI 메시지에 추가적으로 또는 그 대신에 존재할 수 있다.
MCTS 추출 정보 네스팅 SEI 메시지는 네스팅된 SEI 메시지들을 전달하고 네스팅된 SEI 메시지들을 하나 이상의 모션-제약된 타일 세트에 대응하는 비트스트림 서브세트들과 연관시키는 메커니즘을 제공한다.
MCTS 추출 정보 세트 SEI 메시지의 시맨틱스에서 특정된 서브 비트스트림 MCTS 추출 프로세스에서, MCTS 추출 정보 네스팅 SEI 메시지에 포함된 네스팅된 SEI 메시지들은 MCTS 추출 정보 네스팅 SEI 메시지를 포함하는 액세스 유닛 내의 네스팅되지 않은 SEI 메시지들을 대체하기 위해 사용될 수 있다.
0과 동일한 all_tile_sets_flag는, mcts_identifier 리스트가 mcts_identifier[i]로 구성되도록 설정된다. 1과 동일한 all_tile_sets_flag는, 리스트 mcts_identifier[i]가 현재의 액세스 유닛에 존재하는 temporal_motion_constrained_tile_sets SEI 메시지들의 mcts_id[]의 모든 값들로 구성되는 것을 특정한다.
num_associated_mcts_identifiers_minus1 플러스 1은 후속 mcts_identifier의 수를 특정한다. num_associated_mcts_identifiers_minus1[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
mcts_identifier[i]는 후속 네스팅된 SEI 메시지들과 연관된 mcts_identifier[i]와 동일한 mcts_id를 갖는 타일 세트를 식별한다. mcts_identifier[i]의 값은 0 내지 232 - 2(포함)의 범위일 것이다.
num_seis_in_mcts_extraction_seis_minus1 플러스 1은 후속 네스팅된 SEI 메시지들의 수를 표시한다.
mcts_nesting_zero_bit는 0과 동일할 것이다.
정보(50)의 평가 또는 생성, 즉 파라미터 및/또는 SEI 적응을 안내하는 정보는 대안적으로 인코더(80) 외부에서, 즉 스트림(10)으로의 픽처들(12)의 실제 인코딩이 수행되는 장소의 외부에서 수행될 수 있음이 이미 표시되었다. 이러한 대안에 따라, 데이터 스트림(10)은 원본 파라미터들(20a) 및/또는 오직 비감소 스트림(10)에 관한 원본 SEI 메시지(들)를 수반하는 방식으로 전송될 수 있다. 선택적으로, 픽처들(12)의 하나 이상의 지원되는 하위 영역(22)에 관한 정보는 비디오 스트림(10)에 존재할 수 있지만, 심지어 이것은 강제적이 아닌데, 이는 정보(50)의 평가가 하나 이상의 하위 영역들을 결정하기 위해 스트림(12)의 타일 구조 자체의 평가에 기초할 수 있기 때문이다. 이렇게 함으로써, 정보(50)의 평가의 번거로운 작업은 인코더 위치로부터 클라이언트에 더 가까운 일부 위치 또는 심지어 최종 디코더(82)의 바로 상류와 같은 사용자 위치로 변위되더라도, 완전한(즉, 감소되지 않은) 데이터 스트림(10)을 전송해야 할 필요성은 원하는 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 페이로드 부분(18)의 부분들(70)의 전송을 남겨 두어서 회피될 수 있다. 감소되지 않은 데이터 스트림(12)에 관련된 원본 코딩 파라미터 세트(20a) 및/또는 SEI 메시지(들)는 또한 당연히 전송될 것이다. 그 다음, 부분(70)의 실제 감소 또는 제거(68)를 수행하는 네트워크 엔티티(60)는 정보(50)의 평가를 수행하는 엔티티의 바로 상류에 상주할 수 있다. 예를 들어, 스트리밍 디바이스는 부분들(70)에 속하지 않는 데이터 스트림(10)의 페이로드 부분(18)의 부분들만을 특별하게 다운로드한다. 이를 위해, 매니페스트 파일과 같은 일부 다운로드 처방을 사용할 수 있다. 이를 위해 DASH 프로토콜이 사용될 수 있다. 사실상, 정보(50)의 평가는 단지 도 3 또는 도 5에 따른 파라미터들의 실제 파라미터 조정의 준비 및/또는 SEI 대체로서 디코더의 전방에 상주하는 이러한 네트워크 디바이스들에서 내부적으로 행해질 수 있다. 전체적으로, 네트워크 디바이스는 전술한 대안에 따라, 단지 페이로드 부분(18)보다 적은 부분(70)을 포함하지만 픽처들(12)의 완전한 코딩을 페이로드 부분(70)을 포함하는 페이로드 부분(18)으로 파라미터화하는 파라미터들(20a)를 여전히 갖는 감소된 데이터 스트림(10)을 수신하기 위한 인터페이스를 포함할 수 있다. 위치 표시들(32)은 여전히 원본 표시들일 수 있다. 즉, 수신된 데이터 스트림은 실제로 잘못 코딩된다. 수신된 데이터 스트림은 파라미터들(20b)을 갖는 도 5에 도시된 데이터 스트림(62)에 대응하지만, 여전히 원본 파라미터들(20a)이고, 위치 표시들(32)은 여전히 잘못되어 있다. 그 스트림 내의 인덱스들(54)은 그 스트림 내의 파라미터들(20a)을 참조하며, 감소되지 않은 데이터 스트림의 원본 코딩에 대해 수정되지 않았을 수 있다. 실제로, 감소되지 않은 원본 데이터 스트림은 부분들(70)의 생략에 의해 수신된 것과 상이할 수 있다. 그러나, 선택적으로, 원본 코딩, 예를 들어, 원본 픽처들(12)의 크기 또는 완전한 코딩의 다른 특성들을 참조하는 하나 이상의 SEI 메시지들이 포함된다. 그러한 네트워크 디바이스의 출력에서, 디코더(82)에 의해 디코딩되는 데이터 스트림(62)이 출력된다. 이러한 입력 및 출력 사이에는, 인바운드 데이터 스트림(10)이 이미 감소 대상인 하위 영역(12)에 피딩하기 위해 SEI 메시지(들) 및/또는 파라미터들을 적응시키는 모듈이 연결된다. 즉, 그러한 모듈은 작업(74), 즉, 파라미터들(20b)이 되도록 하는 파라미터들(20a)의 조정, 및 작업(78), 즉 하위 영역(22)의 둘레를 정확히 참조하기 위한 위치 표시들(32)의 조정을 수행해야 할 것이다. 감소가 수행된 하위 영역(22)에 관한 지식은 하위 영역(22)을 참조하는 페이로드 부분(18)의 부분들로의 스트림(10)의 다운로드를 특별히 제한하는 경우에 그러한 네트워크 디바이스에 대해 내부적일 수 있거나, 감소(68) 작업을 가정하여 네트워크 디바이스의 상류에 상주할 수 있는 다른 네트워크 디바이스의 경우에는 외부로부터 제공될 수 있다. 입력 및 출력 사이에 모듈을 포함하는 네트워크 디바이스에 대해, 소프트웨어, 펌웨어 또는 하드웨어에서의 구현 측면에서 예를 들어, 도 4의 네트워크 디바이스와 관련하여 위에서 기술된 것과 동일한 진술이 사실이다. 단지 개략된 실시예를 요약하면, 이는, 비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 데이터 스트림을 수신하도록 구성된 네트워크 디바이스에 관한 것이다. 프랙션은 픽처들의 미리 결정된 하위 영역(22) 외부의 픽처들의 영역을 참조하는 페이로드 부분(18)으로부터 부분들(70)을 제외하는 경우의 결과들에 대응한다. 비디오의 픽처들(12)은 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하여 배제없이 파라미터화된 방식으로 페이로드 부분(18)으로 코딩된다. 즉, 정확하게 수신된 데이터 스트림의 파라미터 세트 부분은, 부분들(70)이 중단되지 않으면 픽처(12)의 코딩을 페이로드 부분(18)으로 파라미터화한다. 추가적으로 또는 대안적으로, 비디오의 픽처(12)는 배제없이, 데이터 스트림의 보충 강화 메시지에 의해 표시되는 보충 강화 정보와 매칭하는 방식으로 페이로드 부분(18)으로 코딩된다. 즉, 수신된 데이터 스트림에 선택적으로 포함되는 SEI 메시지는 실제로 감소되지 않은 페이로드 부분(18)과 매칭한다. 네트워크 디바이스는 픽처들(12) 대신 미리 결정된 하위 영역(22)의 둘레로부터 측정된 위치를 표시하기 위해 페이로드 부분의 위치 표시들(32)을 변경(78)함으로써 수신된 데이터 스트림을 수정하고, 수정된 데이터 스트림이 페이로드 부분(18)의 프랙션, 즉, 70을 제외한 전부 또는 달리 말해서, 그렇게 조정된 코딩 파라미터 설정들을 사용하여 정확하게 파라미터화되는 방식으로 및/또는 조정 이후 조정된 보충 강화 정보 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로 인코딩되는 픽처들의 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들(84)을 을 갖도록, 파라미터 세트 부분에서 코딩 파라미터 설정들을 조정하고 그리고/또는 보충 강화 정보 메시지를 조정한다. 파라미터들(20a)에 추가하여 파라미터들(20b)의 생성은 이전의 실시예들에 따라 인코더(80)에 의해 수행되어, 파라미터 설정들(20a 및 20b) 양측을 전달하는 데이터 스트림을 도출한다. 여기서, 전술한 대안에서, 파라미터들(20a)은 준 즉각적으로 파라미터들(20b)로 전환된다. 파라미터들(20a)을 파라미터들(20b)로 조정하는 것은 하위 영역(22)에 관한 지식을 사용하여 파라미터들(20a)을 수정하는 것을 요구한다. 예를 들어, 설정(20a) 내의 픽처 크기(26)는 완전한 픽처(12)의 크기에 대응하는 한편, 픽처 크기는 설정(20b)에서의 조정 후에 하위 영역(22) 또는 픽처들(86)의 크기를 각각 표시해야 한다. 유사하게, 설정(20a) 내의 타일 구조(38)는 완전한 픽처(12)의 구조에 대응하는 한편, 타일 구조(38)는 설정(20b)에서의 조정 후에 하위 영역(22) 또는 픽처들(86)의 타일 구조를 각각 표시해야 한다. 배타적이 아니라 예시적으로 버퍼 크기 및 타이밍(46)에 대해 유사한 설명들이 사실이다. 인바운드 수신 데이터 스트림에 재전송된 어떠한 SEI 메시지가 없으면 어떠한 조정도 필요하지 않을 것이다. 대안적으로, SEI 메시지는 이를 조정하는 대신 간단히 중지될 수 있다.
상기 실시예들과 관련하여, 보충 강화 정보 적응은 버퍼 크기 및/또는 버퍼 타이밍 데이터와 관련될 수 있음을 주목한다. 즉, 스트리핑되거나 감소된 비디오 스트림을 준수하도록 원본 SEI와 대체 SEI 사이에 적응되거나 구별되는 선택적으로 존재하는 SEI 내의 정보의 타입은 적어도 부분적으로 버퍼 크기 및/또는 버퍼 타이밍 데이터와 관련될 수 있다. 즉, 스트림(10)의 SEI 데이터는 완전한 코딩과 관련된 버퍼 크기 및/또는 버퍼 타이밍 데이터를 가질 수 있는 한편, 도 1과 관련하여 설명된 바와 같은 이전 SEI 데이터에 전달되거나 또는 이전 단락에서 설명된 바와 같이 즉석에서 생성된 대체 SEI 데이터는 감소된 스트림(62) 및/또는 감소된 픽처들(86)과 관련된 버퍼 크기 및/또는 버퍼 타이밍 데이터를 갖는다.
다음의 설명은 본 출원의 제2 양상, 즉 일반적으로 비디오 코덱의 직사각형 픽처 형상들에 적응되지 않은 비디오 데이터의 보다 효율적인 전달을 가능하게 하기 위한 개념에 관한 것이다. 이전과 마찬가지로, 제1 양상과 관련하여, 이하의 설명은 일종의 소개, 즉 이하에 설명되는 실시예들로 인한 이점들을 동기 부여하기 위해 그러한 문제점들이 발생할 수 있는 애플리케이션들의 예시적인 설명으로 시작한다. 그러나, 또한 이러한 예비적 설명은 추후 설명된 실시예들의 범위를 제한하는 것으로 이해되어서는 안됨을 주목해야 한다. 그 외에도, 다음에 설명되는 본 출원의 양상은 또한 전술한 실시예와 유리한 방식으로 결합될 수 있음을 주목한다. 이와 관련된 세부사항들이 또한 아래에 기술된다.
다음으로 설명되는 문제점은 파노라마 비디오에 대해 사용되는 다양한 투사들, 특히 전술한 하위 영역 추출과 같은 프로세싱이 적용되는 경우 발생한다.
예시적으로, 소위 3차 투사가 이하의 설명에서 사용된다. 3차 투사는 그노몬(gnomonic) 투사로 또한 지칭되는 직사각형 투사의 특수한 경우이다. 이러한 투사는 장면의 이미지 표현이 포착되는 경우 대부분의 종래의 카메라 시스템들/렌즈들에 대해 근사된 변환을 설명한다. 장면의 직선들은 도 14에 예시된 바와 같이, 결과적 이미지에서 직선들에 맵핑된다.
이제, 3차 투사는 큐브의 중심으로부터 90°x 90°의 시야각을 각각 갖는 6개의 면들에 큐브의 주변을 매핑하는 직선 투사를 적용한다. 3차 투사와 같은 결과는 도 15의 픽처 A로서 도시된다. 공통 이미지에서 6개의 면들에 대한 다른 배열들이 또한 가능하다.
이제, 이러한 결과적인 픽처 A(즉, 보다 적은 미사용된 이미지 영역(130) 및 직사각형 형상)의 보다 코딩 친화적인 표현을 유도하기 위해, 이미지 패치들은 예를 들어 도 16에 예시된 바와 같이 픽처 B를 유도하기 위해 픽처 내에서 변위될 수 있다.
시스템 관점에서, 픽처 B(도 16) 내의 다양한 이미지 패치들이 픽처 A의 원본(세계-보기 그대로) 연속적 표현과 공간적으로 어떻게 관련되어 있는지, 즉, 픽처 B에서 표현이 주어지면 픽처 A(도 15)를 유도하기 위한 추가적인 정보에 대해 이해하는 것이 중요하다. 특히 도 1 내지 도 13에 따른 코딩된 도메인에서의 상술된 하위 영역 추출과 같은 프로세스는 서버 측 또는 네트워크 엘리먼트 상에서 수행된다. 이러한 경우, 도 A의 분리된 ROI(900)를 통해 표시된 바와 같이, 픽처 B의 오직 일부만이 최종 디바이스에서 이용가능하다. 최종 디바이스는 주어진 (부분적) 비디오의 관련 영역들을 최종 디스플레이/렌더링 디바이스가 예상하는 정확한 위치 및 영역들로 재맵핑할 수 있어야 한다. 상기 추출 프로세스에 따라 코딩된 비디오 비트스트림을 변경하는 서버 또는 네트워크 디바이스는 변경된 비디오 비트스트림에 따라 각각의 시그널링 변위 시그널링을 생성 및 추가 또는 조정할 수 있다.
따라서, 후술되는 실시예들은 픽처 B의 샘플들의 비디오 비트스트림(직사각형) 그룹들 내에서 표시하는 시그널링을 제공한다. 추가로, 픽처 B의 샘플에 대한 샘플들의 각각의 그룹의 변위는 수평 및 수직 방향이다. 추가적 실시예에서, 비트스트림 시그널링은 픽처 A의 결과적 픽처 크기에 대한 명시적인 정보를 포함한다. 추가로, 샘플들의 변위된 그룹에 의해 원래 커버된 샘플 또는 샘플들의 변위된 그룹에 의해 커버되지 않은 샘플들의 디폴트 루마 및 크로마 값들. 추가로, 픽처 A의 샘플들의 일부는 픽처 B의 대응하는 샘플들의 샘플 값들로 초기화되는 것으로 가정될 수 있다.
예시적인 실시예는 도 17의 신택스 표에 주어진다.
추가적 실시예는 변위될 샘플 그룹에 속하는 샘플들의 표시에 대해 타일 구조 시그널링을 활용한다.
도 18과 관련하여, 제2 양상에 따른 데이터 스트림(200)의 실시예가 도시되어 있다. 데이터 스트림(200)은 그 안에 인코딩된 비디오(202)를 갖는다. 도 18의 실시예는 오직 데이터 스트림(200)으로만 인코딩된 하나의 픽처를 참조하도록 수정될 수 있지만, 제2 양상에 따른 실시예가 본 출원의 다른 양상들 중 임의의 양상의 실시예들과 결합되는 그러한 예들에 대한 이해를 용이하게 하기 위해, 도 18은 데이터 스트림(200)이 픽처 데이터 스트림보다는 비디오 데이터 스트림인 예를 도시한다. 방금 언급된 바와 같이, 데이터 스트림(200)은 그에 인코딩된 비디오(202)의 픽처들(204)을 갖는다. 그러나, 추가적으로, 비디오 데이터 스트림(200)은 변위 정보(206)를 포함한다. 변위 정보는 다음과 같은 중요성을 갖는다. 실제로, 데이터 스트림(200)은 직사각형이 아닌 외부 둘레를 갖는 픽처들(204)의 픽처 콘텐츠를 전달해야 할 것이다. 도 18은 참조 부호 200에서 이러한 픽처 콘텐츠의 예를 도시한다. 즉, 픽처 콘텐츠(208)는 데이터 스트림(200)이 하나의 타임 스탬프, 즉 하나의 픽처(204) 내에서 전달할 픽처 콘텐츠를 도시한다. 그러나, 실제 픽처 콘텐츠의 둘레(210)는 직사각형이 아니다. 도 18의 예에서, 실제 픽처 콘텐츠는 오히려 큐브(212)의 6개의 측면들의 풀린 것에 대응하며, 그 측면들은 큐브(212)의 6개의 측면들 상으로의 숫자들 1 내지 6의 통상적 분포를 사용하여, 즉, 대향 측면들의 숫자들의 합이 7과 동일하도록 도 18에서 서로 예시적으로 구별된다. 따라서, 각각의 측면은 실제 픽처 콘텐츠(208)의 하나의 하위 영역(214)을 표현하며, 예를 들어 완전한 3차원 파노라마 장면의 여섯번째 장면을, 이 예에서는 정사각형 형상인 각각의 하위 영역(214) 상에 적합하게 투사한 것을 표현할 수 있다. 그러나, 이미 전술한 바와 같이, 하위 영역들(214)은 또한 상이한 형상일 수 있고, 행 및 열의 규칙적인 배열과는 상이한 방식으로 픽처 콘텐츠(208) 내에 배열될 수 있다. 어느 경우이든, 208에 묘사된 실제 픽처 콘텐츠는 직사각형이 아닌 형성이고, 따라서, 풀린 파노라마 콘텐츠(208)를 완전히 포함하는 가장 작은 가능한 직사각형 타겟 픽처 영역(216)은 미사용된 부분들(130), 즉 파노라마 장면과 관련된 실제 픽처 콘텐츠에 의해 점유되지 않은 부분을 갖는다.
따라서, 데이터 스트림(200) 내에 전달된 비디오(202)의 픽처들(204)의 픽처 영역을 "낭비하지" 않기 위해, 픽처들(204)은 하위 영역들(214)의 공간적인 상대적 배열이 타겟 픽처 영역(216) 내의 이들의 배열에 대해 변경되는 방식으로 완전한 실제 픽처 콘텐츠(208)를 전달한다.
도 18에 예시된 바와 같이, 도 18은 하위 영역들, 즉 하위 영역들 1, 2, 4 및 5 중 4개가 타겟 픽처 영역(216) 상에 픽처(204)의 왜곡되지 않거나 일치하는 카피 시에 변위될 필요가 없지만, 하위 영역들 3 및 6은 변위되어야 하는 예를 예시한다. 예시적으로, 도 18에서, 변위들은 2 차원 벡터들(218)에 의해 설명될 수 있는 순수한 병진 치환들이지만, 대안적인 실시예에 따르면, 예를 들어 한편으로는 픽처(204)와 다른 한편으로는 타겟 픽처 영역(216) 및/또는 반사(미러링) 및/또는 회전 사이에서 전환하는 경우 각각의 하위 영역의 스케일링을 추가적으로 포함하는 변위들과 같은 더 복잡한 변위들이 선택될 수 있다. 변위 정보(206)는 픽처들(204)의 적어도 하나의 미리 결정된 하위 영역의 세트 각각에 대해, 타겟 픽처 영역(216)으로의 왜곡되지 않거나 변위가 없는 픽처(204)의 카피에 대한 타겟 픽처 영역(216) 내의 각각의 하위 영역의 변위를 표시할 수 있다. 예를 들어, 도 18의 예에서, 변위 정보(206)는 오직 하위 영역들(3 및 6)만을 포함하는 하위 영역들의 세트(214)에 대한 변위를 표시할 수 있다. 대안적으로, 변위 정보(206)는 그 좌측 상부 코너와 같은 타겟 영역(216)의 몇몇 디폴트 포인트에 대해 하위 영역들(214) 또는 하위 영역들(214)의 변위된 세트에 대한 변위를 표시할 수 있다. 디폴트로, 도 18의 예에서, 픽처(204) 내의 나머지 하위 영역들 1, 2, 4 및 5는, 이들이 예를 들어 디폴트 포인트에 대해 타겟 픽처(216) 상으로 왜곡되지 않거나 일치하는 카피 시에 남아 있는 것으로 취급될 수 있다.
도 19는, 변위 정보가 변위될 하위 영역들(214)의 카운트(220), 타겟 픽처 영역(216, 222)의 크기를 표시하는 타겟 픽처 영역 크기 파라미터들, 및 n개의 변위된 하위 영역들 각각에 대해, 픽처(204) 내의 이들의 원본 성상도의 하위 영역들(214)을 타겟 영역(216) 상으로 맵핑하는 경우 전술한 디폴트 포인트에 대한 또는 이의 위치에 대한 변위를 측정하는, 변위될 각각의 하위 영역(214)의 변위(218)를 설명하는 좌표(224)를 포함할 수 있다. 좌표(224)에 추가로, 정보(206)는 변위될 각각의 하위 영역(214)에 대한 스케일링(226), 즉 각각의 하위 영역(214)을 매핑하는 경우, 타겟 픽처 영역(216) 내의 각각의 좌표(224)에 따라 변위되는 각각의 하위 영역(214)이 어떻게 스케일링될지의 표시를 포함할 수 있다. 스케일링(226)은 변위되지 않은 하위 영역들(214)에 비해 확대 또는 축소될 수 있다. 또한 대안적으로, 수평 및/또는 수직 반사 및/또는 회전은 각각의 하위 영역(214)에 대해 시그널링될 수 있다. 그리고 더욱 추가적으로, 변위 정보(206)는 변위될 또는 타겟 영역(216) 내에 배열될 각각의 하위 영역에 대해, 각각의 영역의 상위 좌측 코너에 대한 좌표 및 하위 우측 코너에 대한 좌표를 포함할 수 있고, 또한 둘 모두는 각각의 하위 영역(214)을 변위 없이 타겟 영역(216) 상에 맵핑하는 경우 디폴트 포인트 또는 각각의 코너들에 대해 측정된다. 따라서, 변위, 스케일링 및 반사가 시그널링될 수 있다. 따라서, 전송된 픽처들(204)의 하위 영역들(214)은 픽처들(204)에서 원본 상대적 배열에 대해 자유롭게 변위될 수 있다.
예를 들어, 픽처들(204)의 시퀀스 또는 전체 비디오(202)에 대한 것과 같이, 변위 정보(206)는 예를 들어 하나의 타임스탬프 또는 하나의 픽처(204)보다 큰 비디오(202)의 시간 간격에 대한 범위, 즉, 유효성을 가질 수 있다. 또한, 도 18은, 선택적으로, 데이터 스트림(200)이 타겟 픽처 영역의 어느 부분(130)이 디코딩 측에서 충전되는지, 즉, 하위 영역들(214) 중 임의의 것, 즉, 픽처(204)의 변위된 또는 변위되지 않은 하위 영역들(214) 중 임의의 하나에 의해 커버되지 않은 그러한 부분들(130)을 사용하여 디폴트 충전을 표시하는 디폴트 충전 정보(228)를 포함할 수 있음을 예시한다. 도 1 내지 도 8의 예에서, 예를 들어, 하위 영역들 1, 2, 4 및 5는 도 18에서 해치되지 않고 도시된 픽처들(204)의 변위되지 않은 부분을 형성하는 한편, 픽처들(204)의 나머지, 즉, 하위 영역들 3 및 6은 도 18에서 해치되어 도시되고, 이러한 6개의 하위 영역들 모두는, 정보(206)에 따라 하위 영역들 3 및 6이 변위된 후 부분(130)이 디폴트 충전 정보(228)에 따라 충전되도록 타겟 픽처 영역(216)에서 해치되지 않은 부분(130)을 커버하지 않는다.
데이터 스트림(200)을 생성하기에 적합한 인코더(230)가 도 20에 예시되어 있다. 인코더(230)는, 인코더(230)가 또한 데이터 스트림(200)으로 인코딩하는 픽처(들)(204)를 사용하여 타겟 픽처 영역을 충전하기 위해 필요한 변위들을 표시하는 정보(206)를 데이터 스트림(200)에 간단하게 제공하거나 수반한다. 도 20은 추가적으로 인코더(230)가 예를 들어, 도 1 내지 도 13의 실시예들의 데이터 스트림(10)과 같은 준수 유지 방식으로 감소될 수 있도록 데이터 스트림(200)을 생성할 수 있음을 예시한다. 즉, 인코더(230)는 도 1의 인코더(80)를 또한 구현하기 위한 방식으로 구현될 수 있다. 예시를 위해, 도 20은 픽처(204)가 도 18의 예에 따라 하위 영역들(214)의 어레이, 즉 하위 영역들의 2×3 어레이로 세분화되는 경우를 예시한다. 픽처(204)는 픽처(12), 즉 감소되지 않은 데이터 스트림(200)의 픽처에 대응할 수 있다. 도 20은 인코더(230)가 데이터 스트림(200)을 감소가능하게 하는 하위 영역(22)을 예시적으로 예시한다. 도 1과 관련하여 설명된 바와 같이, 몇몇 이러한 하위 영역들(22)이 존재할 수 있다. 이러한 조치에 의해, 네트워크 디바이스는 데이터 스트림(200)의 단지 프랙션만을 추출하여, 감소된 비디오 데이터 스트림을 획득하기 위해 데이터 스트림(200)을 감소시킬 수 있고, 이의 픽처들(86)은 단지 하위 영역(22)만을 나타낸다. 데이터 스트림(200)이 감소가능하고 하위 영역(22)과 관련된 감소된 비디오 데이터 스트림은 참조 부호(232)를 사용하여 도 20에 예시되어 있다. 감소되지 않은 비디오 데이터 스트림(200)의 픽처들(204)은 픽처들(204)를 나타내지만, 감소된 비디오 데이터 스트림(232)의 픽처들은 단지 하위 영역만(22)을 나타낸다. 감소된 비디오 데이터 스트림(232)을 수신하는 디코더와 같은 수신자에게 감소된 비디오 데이터 스트림(232)의 픽처들의 콘텐츠로 타겟 픽처 영역을 충전하는 능력을 제공하기 위해, 인코더(230)는 추가적으로 하위 영역(22)에 특정되는 변위 정보(206')를 비디오 데이터 스트림(200)에 제공할 수 있다. 예를 들어, 도 4의 예(60)와 같은 네트워크 디바이스는 감소된 비디오 데이터 스트림(232)을 도출하기 위해 비디오 데이터 스트림(200)을 감소시키는 경우에, 변위 정보(206)를 제거하고 단지 변위 정보(206')를 감소된 비디오 데이터 스트림(232)에 양도할 수 있다. 이러한 조치에 의해, 디코더와 같은 수신자는 도 18에 도시된 타겟 픽처 영역(216) 상에, 하위 영역(22)의 콘텐츠에 관한 감소된 비디오 데이터 스트림(232)의 픽처들의 콘텐츠를 충전할 수 있다.
또한, 도 20은 감소가능한 비디오 데이터 스트림들로 제한되는 것으로 이해되어서는 안된다는 것을 강조해야 한다. 비디오 데이터 스트림(200)이 감소가능하다면, 도 1 내지 도 13과 관련하여 위에서 제시된 개념과는 상이한 개념이 사용될 수 있다.
도 21은 가능한 수신자를 도시하며, 디코더(234)는 비디오 데이터 스트림(200) 또는 감소된 비디오 데이터 스트림(232)을 수신하고, 그것으로부터 이의 픽처들, 즉, 픽처(204) 또는 감소된 비디오 데이터 스트림(232)에 기초하여 단지 하위 영역(22)만을 나타내는 픽처들을 재구성한다. 수신자는 디코더이고, 디코딩 코어(234) 외에, 픽처 콘텐츠에 기초하여 타겟 픽처 영역(216)을 충전하기 위해 감소된 비디오 데이터 스트림의 경우, 비디오 데이터 스트림(200 및 206')의 경우에, 변위 정보(즉, 206)를 사용하는 변위기(236)를 포함한다. 따라서, 변위기(236)의 출력은 각각의 데이터 스트림(200 또는 232)의 각각의 픽처에 대해 충전되는 타겟 픽처 영역(216)이다. 전술한 바와 같이, 타겟 픽처 영역의 일부 부분들은 픽처 콘텐츠에 의해 충전되지 않은 채로 남아있다. 선택적으로, 렌더러(238)는 변위기(236)에 후속하여 또는 변위기(236)의 출력에 후속하여 연결될 수 있다. 렌더러(238)는, 현재 보여지는 장면 섹션에 대응하는 출력 픽처 또는 출력 장면(240)을 형성하기 위해, 타겟 픽처 영역(216) 또는 타겟 픽처 영역의 충전 영역 내에 놓인 적어도 이의 하위 영역에 의해 형성된 타겟 픽처에 주입 투사를 적용한다. 렌더러(238)에 의해 수행되는 주입 투사는 3차 투사의 역일 수 있다.
따라서, 상기 실시예들은 파노라마 또는 준-파노라마 장면 등의 픽처 데이터의 직사각형 영역별 패킹을 가능하게 한다. 특정 신택스 예는 다음과 같이 제공될 수 있다. 아래에는, RectRegionPacking(i)로 지칭되는 의사 코드 형태의 신택스 예가 제시되며, 이는, 투사된 프레임의 소스 직사각형 영역(즉, 216)이 패킹된 프레임의 목적지 직사각형 영역 상에(즉, 204 상에) 패킹되는 방법을 특정한다. 수평 미러링 및 90, 180 또는 270도 회전이 표시될 수 있으며, 수직 및 수평 리샘플링은 영역들의 폭 및 높이로부터 추론된다.
aligned(8) class RectRegionPacking(i) {
unsigned int(32) proj_reg_width[i];
unsigned int(32) proj_reg_height[i];
unsigned int(32) proj_reg_top[i];
unsigned int(32) proj_reg_left[i];
unsigned int(8) transform_type[i];
unsigned int(32) packed_reg_width[i];
unsigned int(32) packed_reg_height[i];
unsigned int(32) packed_reg_top[i];
unsigned int(32) packed_reg_left[i];
}
시맨틱스는 다음과 같다.
proj_reg_width[i], proj_reg_height[i], proj_reg_top[i] 및 proj_reg_left[i]는 proj_frame_width and proj_frame_height와 동일한 폭 및 높이를 각각 갖는 투사된 프레임(즉, 216)의 픽셀 단위로 표시된다. i는, 도 18과 비교되는 경우, 즉 타일(214)의 각각의 영역인 경우의 인덱스이다. proj_reg_width[i]는 투사된 프레임의 i번째 영역의 폭을 특정한다. proj_reg_width[i]는 0보다 클 것이다. proj_reg_height[i]는 투사된 프레임의 i번째 영역의 높이를 특정한다. proj_reg_height[i]는 0보다 클 것이다. proj_reg_top[i] 및 proj_reg_left[i]는 투사된 프레임의 상단 샘플 행 및 최좌측 샘플 열을 특정한다. 값들은 각각, 투사된 프레임의 최좌측 코너를 표시하는 0(포함) 내지 proj_frame_height 및 proj_frame_width(비포함)의 범위에 있을 것이다. proj_reg_width[i] 및 proj_reg_left[i]는 proj_reg_width[i] + proj_reg_left[i]가 proj_frame_width보다 작도록 제약될 것이다. proj_reg_height[i] 및 proj_reg_top[i]는 proj_reg_height[i] + proj_reg_top[i]가 proj_frame_height보다 작도록 제약될 것이다. 투사된 프레임(216)이 입체적인 경우, proj_reg_width[i], proj_reg_height[i], proj_reg_top[i] 및 proj_reg_left[i]는, 투사된 프레임 상의 이러한 필드들에 의해 식별되는 영역이 투사된 프레임의 단일 구성 프레임 내에 있도록 될 것이다. transform_type[i]는, 회전, 및 투사된 프레임의 i번째 영역에 적용되어 이를 패킹된 프레임에 맵핑하는 미러링, 및 그에 따라, 각각의 영역(214)을 영역(216)에 다시 맵핑하기 위해 반전되어야 하는 맵핑을 특정한다. 당연히, 픽처(204)로부터 타겟 영역(216)으로의 맵핑이 표시될 수 있다. transform_type[i]가 회전 및 미러링을 둘 모두를 특정하는 경우, 미러링 이후 회전이 적용된다. 당연히, 그 반대도 또한 가능할 것이다. 다음 값들은 일 실시예에 따라 특정되는 한편, 다른 값들은 예약될 수 있다:
1: 변환 없음, 2: 수평적 미러링, 3: 180도 회전(반시계 방향), 4: 수평적으로 미러링한 후 180도 회전(반시계 방향), 5: 수평적으로 미러링한 후 90도 회전(반시계 방향) 6: 90도 회전(반시계 방향), 7: 수평적으로 미러링한 후 270도 회전(반시계 방향), 8: 270도 회전(반시계 방향). 값들은 EXIF 배향 태그에 대응함을 주목한다.
packed_reg_width[i], packed_reg_height[i], packed_reg_top[i] 및 packed_reg_left[i]는, 패킹된 프레임의 영역, 즉, 픽처(204)에서 타일(214)에 의해 커버되는 영역의 폭, 높이, 상단 샘플 행 및 최좌측 샘플 열을 각각 특정한다. packed_reg_width[i], packed_reg_height[i], packed_reg_top[i] 및 packed_reg_left[i]는 0 내지 I-1(포함)의 범위에서 j의 임의의 값에 대한 packed_reg_width[j], packed_reg_height[j], packed_reg_top[j] 및 packed_reg_left[j]에 의해 특정되는 직사각형과 중첩하지 않을 것이다.
방금 설명된 예를 요약하고 일반화하면, 픽처(214)의 영역들 또는 타일들(214) 각각에 대해, 2개의 직사각형 영역들, 즉 각각의 영역 또는 타일(214)이 타겟 영역(216) 내에서 커버하는 영역 및 각각의 영역 또는 타일(214)이 픽처 영역(204) 내에서 커버하는 직사각형 영역 뿐만 아니라 그러한 2개의 영역들 사이에서 각각의 영역 또는 타일(214)의 픽처 콘텐츠를 맵핑하기 위한 맵핑 규칙, 즉 반사 및/또는 회전이 표시된다는 점에서 앞서 추가로 설명된 실시예들은 변경될 수 있다. 스케일링은 상이한 크기의 영역들의 쌍을 시그널링함으로써 시그널링될 수 있다.
다음으로, 본 출원의 제3 양상이 설명된다. 제3 양상은 비디오 데이터 스트림에서 액세스 포인트들을 분포시키는 유리한 개념에 관한 것이다. 특히, 비디오 데이터 스트림들로 인코딩된 픽처들의 하나 이상의 하위 영역들에 관한 액세스 포인트들이 도입된다. 그로부터 얻어지는 이점들은 아래에 설명된다. 본 출원의 다른 양상들에서와 같이, 제3 양상의 설명은 발생하는 문제점들을 설명하는 도입에 의할 것이다. 제1 양상의 설명과 마찬가지로, 이러한 도입은 예시적으로 HEVC를 참조하지만, 이러한 상황은 또한 HEVC 및 이의 확장만을 참조하기 위해 후속하여 설명된 실시예들을 제한하는 것으로서 해석되지 않을 것이다.
상기 제시된 TMCTS 시스템들의 상황에서, 타일 특정 랜덤 액세스 포인트들은 명백한 이점을 제공할 수 있다. 상이한 시간 인스턴스들에서 타일들에서의 랜덤 액세스는 비디오 시퀀스 내의 픽처들에 대해 비트 레이트 피크들의 보다 균등한 분배를 가능하게 할 것이다. HEVC에서 픽처 특정 랜덤 액세스를 위한 메커니즘들의 전부 또는 서브세트가 타일들로 전송될 수 있다.
픽처 특정 랜덤 액세스 메커니즘들 중 하나는 인트라 코딩된 픽처 또는 액세스 유닛들의 표시이고, 이로부터 a) 프리젠테이션 순서 또는 b) 코딩 프리젠테이션 순서에서 후속하는 어떠한 픽처도 인트라 코딩된 픽처 전의 픽처 샘플들에 대한 예측 의존도들을 승계하지 않는다. 다시 말해서, 참조 픽처 버퍼 리셋은 b)의 경우 즉시, 또는 a)의 경우 트레일링 픽처에 후속하는 처음 픽처로부터 표시된다. HEVC에서, 그러한 액세스 유닛들은 BLA, CRA(둘 모두 카테고리 a 위) 또는 IDR(카테고리 b 위)과 같은 특정 NAL 유닛 타입들, 즉, 소위 인트라 랜덤 액세스 포인트(IRAP) 액세스 유닛들을 통해 네트워크 추상 계층(NAL) 상에서 시그널링된다. 아래에서 추가로 설명되는 실시예들은 예를 들어, 새로운 NAL 유닛 타입을 통해, 또는 역호환을 위해, NAL 유닛 헤더 레벨 표시, SEI 메시지를 사용할 수 있고, 이는, 주어진 액세스 유닛이 어느 조건들 a) 또는 b)에 대해 적어도 하나의 코딩된 슬라이스/타일을 포함하는 것, 즉, 참조 픽처 버퍼 리셋의 일부 형태가 슬라이스/타일 기반으로 적용하는 것을 디코더 또는 네트워크 중간 박스/디바이스에 표시한다. 추가로, 슬라이스/타일은 NAL 유닛 타입 신호화에 추가하여, 또는 대안적으로 인코더 측 상의 픽처에 대한 슬라이스 헤더 레벨 상의 표시를 통해 식별될 수 있다. 따라서, 선행 디코딩 동작은 추출 이후 디코딩에 필요한 DPB 크기를 감소시키도록 허용된다.
이를 위해, 인에이블된 fixed_tile_structure로 표현된 제약들이 충족되어야 하며, 표시된 액세스 유닛 전의 타일의 샘플들은 현재 픽처의 동일한 타일(및 임의의 다른 타일)에 의해 참조되지 않아야 한다.
일부 실시예들에 따라, 인코더는, RA를 경험하는 각각의 하위 영역에 대해, 참조 픽처들에서의 시간 예측을 위한 참조로서 사용되는 픽처 영역들이, 이러한 추가적인 하위 영역들이 또한 RA를 경험하면 추가적인 하위 영역들에 의해 커버되는 픽처 영역만큼 확장되도록 하는 방식으로, 하위 영역들 사이에서 시간 예측을 통해 코딩 의존성을 제약할 수 있다. 이러한 슬라이스들/타일들/하위 영역들은 예를 들어, NAL 유닛 또는 슬라이스 레벨 또는 SEI 메시지 상에서 비트스트림 내에 표시된다. 이러한 구조는 하위 영역의 추출을 방해하지만 제약된 시간 예측의 패널티를 감소시킨다. 하위 영역 랜덤 액세스의 타입(추출 허용 여부)은 비트스트림 표시와 구별되어야 한다.
다른 실시예는 코딩 의존도들의 특정 구조를 이용함으로써 상기 시그널링 기회를 이용한다. 이러한 구조에서, 픽처별 랜덤 액세스 포인트들은, 특정 시간 인스턴트들 및 기존의 최신 시그널링에서 드리프트없이 순간적 랜덤 액세스를 가능하게 하는 대략적 시간 세분성으로 존재한다.
그러나, 보다 미세한 시간 세분성으로, 코딩 구조는 타일별 랜덤 액세스를 허용하고, 이는 인트라 코딩된 픽처 샘플들의 비트레이트 부담을 덜 변하는 비트레이트 거동을 향해 시간에 걸쳐 분포시킨다. 역호환성을 위해, 이러한 타일별 랜덤 액세스는 SEI 메시지를 통해 시그널링되어, 각각의 슬라이스들을 넌-RAP 픽처들로서 유지할 수 있다.
서브 픽처 비트스트림 추출 프로세스에서, 이러한 스트림 구조 내에서 타일 기반 랜덤 액세스를 나타내는 상기 SEI 메시지들을 통해 표시된 NAL 유닛들의 타입은, 추출된 서브 비트스트림의 각각의 픽처들에서 순간적 랜덤 액세스에 대한 기회를 적절히 시그널링하기 위해 픽처별 랜덤 액세스로 변경될 것이다.
본 출원의 제3 양상의 실시예에 따른 비디오 데이터 스트림(300)은 도 22와 관련하여 설명된다. 비디오 데이터 스트림(300)은 일련의 픽처들(302), 즉 비디오(304)로 인코딩된다. 앞서 설명된 다른 실시예들에서와 같이, 픽처들(302)이 묘사되는 시간 순서는, 픽처들(302)이 데이터 스트림(300)으로 인코딩되는 디코딩 순서와 일치하거나 일치하지 않을 수 있는 프리젠테이션 시간 순서에 대응할 수 있다. 즉, 이전의 다른 도면들에 대해 설명되지 않았지만, 비디오 데이터 스트림(300)은 액세스 유닛들(306)의 시퀀스로 세분화될 수 있고, 각각은 픽처들(302)의 각각의 픽처와 연관되고, 픽처들(302)의 순서는 디코딩 순서에 대응하는 액세스 유닛들(306)의 시퀀스와 연관된다.
픽처들(302)은 시간 예측을 사용하여 비디오 데이터 스트림(300)으로 인코딩된다. 즉, 픽처들(302) 사이의 예측 코딩된 픽처들은 디코딩 순서에서 각각의 픽처에 선행하는 하나 이상의 시간 참조 픽처들에 기초한 시간 예측을 사용하여 코딩된다.
단지 일 타입의 랜덤 액세스 픽처만을 갖는 것 대신에, 비디오 데이터 스트림(300)은 후술되는 바와 같이 그것의 적어도 2개의 상이한 타입들을 포함한다. 특히, 통상의 랜덤 액세스 픽처들은 시간 예측이 사용되지 않는 픽처들이다. 즉, 각각의 픽처는 디코딩 순서에서 임의의 이전 픽처와 독립적인 방식으로 코딩된다. 이러한 통상적인 랜덤 액세스 픽처들에 대해, 시간 예측의 보류는 완전한 픽처 영역과 관련된다. 후술하는 실시예들에 따르면, 비디오 데이터 스트림(300)은 이러한 통상적인 픽처별 랜덤 액세스 픽처들을 포함할 수 있거나 포함하지 않을 수 있다.
방금 설명된 바와 같이, 랜덤 액세스 픽처들은 디코딩 순서에서 이전 픽처들에 의존하지 않는다. 따라서, 이들은 비디오 데이터 스트림(300)을 디코딩하는 것에 대한 랜덤 액세스를 허용한다. 그러나, 시간 예측없이 픽처를 코딩하는 것은 압축 효율 면에서 코딩 페널티들을 의미한다. 따라서, 통상적인 비디오 데이터 스트림들은 랜덤 액세스 픽처들에서 비트레이트 피크들, 즉 비트레이트 최대치를 경험한다. 이러한 문제들은 전술한 실시예들에 의해 해결될 수 있다.
도 22의 실시예에 따르면, 비디오 데이터 스트림(300)은, 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 A 내에서 시간 예측을 보류하면서 비디오 데이터 스트림(300)으로 인코딩되는 타입 A의 하나 이상의 픽처들의 제1 세트, 및 비디오 데이터 스트림(300)의 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 제1 픽처 하위 영역 A와 상이한 제2 픽처 하위 영역 B 내에서 시간 예측을 보류하면서 비디오 데이터 스트림(300)으로 인코딩되는 타입 B의 하나 이상의 픽처들의 제2 세트를 포함한다.
도 22의 경우에, 제1 및 제2 픽처 하위 영역들 A 및 B는 해칭을 사용하여 예시되고, 도 23a에 예시된 바와 같이 서로 중첩하지 않고, 하위 영역들 A 및 B는 공통 경계(308)를 따라 서로 접하여, 하위 영역들 A 및 B는 픽처들(302)의 전체 픽처 영역을 커버한다. 그러나 이것이 반드시 그러한 것은 아니다. 도 23b에 도시된 바와 같이, 하위 영역들 A 및 B는 부분적으로 중첩할 수 있거나, 도 23c에 도시된 바와 같이, 제1 픽처 영역 A는 실제로 픽처들(302)의 전체 픽처 영역을 커버할 수 있다. 도 23c의 경우에, 타입 A의 픽처들은 시간 예측이 완전히 스위치 오프되는, 즉 각각의 픽처에 걸쳐 어떠한 시간 예측도 없이 데이터 스트림(300)으로 인코딩되는 픽처별 랜덤 액세스 포인트들일 것이다. 완전성을 위해, 도 23d는 하위 영역 B가 픽처 영역(302)의 내부에 위치될 필요는 없지만, 2개의 픽처들(302)의 외부 픽처 경계(310)를 또한 경계로 할 수 있음을 도시한다. 도 23e는 타입 A 및 B의 픽처들에 추가로 픽처들(302)의 픽처 영역을 함께 완전히 커버하는 연관된 하위 영역 C를 갖는 타입 C의 픽처들일 수 있음을 도시한다.
시간적 예측이 보류된 도 22의 픽처들 B 및 A 내의 영역을 하위 영역들 A 및 B로 제한하는 결과는 다음과 같다: 일반적으로, 시간 예측이 각각의 픽처 영역 전체에 걸쳐 사용되는 것이 억제되고 (디코딩 순서에서) 이전 픽처들로부터의 예측이 (적어도 프리젠테이션 순서에서) 연속적 픽처들에 대해 끊어지기 때문에, 픽처(302)를 비디오 데이터 스트림(300)으로 인코딩하기 위한 비트 레이트는 랜덤 액세스 포인트를 형성하는 픽처들에 대해 크다. 도 22의 타입 A 및 B의 픽처들의 경우, 시간 예측의 사용의 회피는 각각 하위 영역 A 및 B에서만 사용되어, 이들 픽처들 A 및 B에서의 비트 레이트 피크(312)는 픽처별 랜덤 액세스 포인트 픽처들에 비해 비교적 낮다. 그러나, 이하에서 설명되는 바와 같이, 비트레이트 피크(312)의 감소는 적어도 완전한 픽처 랜덤 액세스 레이트와 관련하여, 하위 영역 경계들에서의 코딩 의존도 제약들을 제외하고는 상대적으로 낮은 비용으로 발생한다. 이는 도 22에 예시되어 있다. 여기서, 곡선(314)은 시간 t에 의존하는 비트레이트의 시간 변화를 도시하는 함수를 표현할 것이다. 설명된 바와 같이, 픽처들 A 및 B의 시간 인스턴트들에서의 피크들(312)은 픽처별 랜덤 액세스 픽처로부터 발생할 피크보다 낮다. 단지 픽처별 랜덤 액세스 픽처들을 사용하는 경우에 비해, 픽처 데이터 스트림(300)의 픽처 관련 랜덤 액세스 레이트는 도 22의 경우 타입 B의 적어도 하나의 픽처 및 타입 A의 적어도 하나의 픽처가 만나는 레이트인, 하위 영역 관련 랜덤 액세스 픽처들이 가로 지르는 레이트에 대응한다. 도 23c의 예의 경우에서와 같이 비디오 데이터 스트림(300) 내의 통상적 픽처별 랜덤 액세스 픽처들의 존재의 경우, 즉 픽처들 A의 경우에도, 단지 그러한 픽처들이 비디오 데이터 스트림에 걸쳐 시간적으로 분포되는 통상적 비디오 데이터 스트림들에 비해 이점이 있다. 특히, 이러한 경우에, 하위 영역-관련 랜덤 액세스 픽처들의 존재, 즉, 도 23c의 경우에 픽처들 B는 아래에서 더 상세히 설명되는 바와 같이 이용되어 타입 A의 픽처들 사이의 비디오 데이터 스트림(300)에 타입 B의 픽처들을 산재시킴으로써 높은 비트레이트 피크와 함께 그러나 증가된 랜덤 액세스 레이턴시를 보상하면서 픽처들 A의 픽처 레이트를 감소시킬 수 있고, 따라서, 다음 픽처별 랜덤 액세스 포인트, 즉, 다음 픽처 A에 직면할 때까지의 시간을 브릿지하기 위해 비디오 데이터 스트림으로의 하위 영역-제한된 랜덤 액세스를 허용한다.
비디오 데이터 스트림(300) 내의 특수한 타입의 랜덤 액세스 픽처들을 이용하는 디코더의 설명으로 진행하기 전에, 하위 영역 B 및/또는 하위 영역 A에서 일부 노트들이 행해질 것이고, 하위 영역들 A 및 B 내의 시간 예측의 보류를 넘어 하위 영역들을 고려하는 한편 하위 영역들 A 및 B 외부의 동일한 픽처들 내에서 시간 예측을 적용함으로써 웨이(way) 픽처들(302)이 비디오 데이터 스트림(300)으로 인코딩된다.
도 22는 파선 박스(316)를 사용하여, 방금 설명된 픽처들 A 및 B를 각각 포함하도록 픽처들(302)을 비디오 데이터 스트림(300)으로 인코딩하도록 구성된 비디오 인코더를 예시한다. 이미 위에서 요약된 바와 같이, 비디오 인코더(316)는 픽처들(302)을 비디오 데이터 스트림(300)으로 인코딩하기 위해 모션 보상된 예측을 사용하는 하이브리드 비디오 인코더일 수 있다. 비디오 인코더(316)는 픽처(302)를 개방 GOP 구조 또는 폐쇄 GOP 구조와 같은 비디오 데이터 스트림(300)으로 인코딩하기 위해 임의의 GOP(픽처 그룹) 구조를 사용할 수 있다. 하위 영역-관련 랜덤 액세스 픽처들 A 및 B와 관련하여, 이는 비디오 인코더(316)가 디코딩 순서에서 임의의 이전 픽처에 의존하지 않는 하위 영역, 즉 A 또는 B의 픽처들(302) 사이에 산재된 것을 의미한다. 이러한 하위 영역 B 및/또는 A는 도 1 내지 도 13의 실시예에 따른 하위 영역(22), 즉 비디오 데이터 스트림(300)이 감소가능한 하위 영역에 대응할 수 있음이 추후에 설명될 것이다. 그러나, 이는 단지 예일 뿐이고, 감소가능성은 비디오 데이터 스트림(300)의 필수적인 특성은 아니지만, 도 1 내지 도 13에 대한 하위 영역(22)의 경계에 대해 앞서 기술된 설명과 유사한 방식으로 하위 영역 B 및/또는 A를 준수하는 방식으로 픽처들(312)이 비디오 데이터 스트림(300)으로 인코딩되면 유리한 것을 주목한다.
특히, 비디오 데이터 스트림(300)에서의 픽처들(302)을 인코딩할 때 공간 코딩 의존도 메커니즘들의 도달 범위가 일반적으로 짧지만, 각각의 하위 영역의 외부 또는 공간적 이웃에 대한 코딩 의존도를 도입하지 않기 위해 각각의 하위 영역 B/A를 코딩하기 위한 코딩 의존도들이 각각의 하위 영역의 경계를 가로지르지 않는 방식으로, 하위 영역-관련 랜덤 액세스 픽처들, 즉, 도 22의 경우의 픽처들 A 및 B가 비디오 데이터 스트림(300)으로 인코딩되면 유리하다. 즉, 각각의 하위 영역 B/A 내에서, 하위 영역-관련 랜덤 액세스 픽처들 A 및 B는 시간 예측 없이 그리고 각각의 하위 영역 A/B 외부의 각각의 픽처의 부분들에 대한 공간 코딩 의존도 없이 코딩된다. 이를 넘어, 즉시 앞선 섹션-특정 랜덤 액세스 픽처가 하위 영역-특정 랜덤 액세스 포인트를 형성하는 섹션의 섹션 경계를 고려하는 방식으로 랜덤 액세스 픽처들 A 및 B 사이의 픽처들이 비디오 데이터 스트림(300)으로 인코딩되면 유리하다.
예를 들어, 도 22에서, 픽처 B는 하위 영역 B에 대하여 하위 영역-특정 랜덤 액세스 포인트를 형성하고, 따라서, 이러한 픽처 B에 후속하고 다음 하위 영역 랜덤 액세스 픽처, 즉, 픽처 A의 최초 발생에 선행하는 픽처들(302)(이러한 시퀀스는 예시적으로 중괄호(317)를 사용하여 표시됨)이 섹션 B의 경계를 고려하는 방식으로 코딩되면 유리할 수 있다. 특히, 이의 섹션 B가 섹션 B 외부에 있는 이러한 픽처들 또는 픽처 B 자체의 임의의 부분에 의존하지 않는 방식으로 이러한 픽처들이 비디오 데이터 스트림(300)으로 코딩되는 방식으로, 이러한 픽처들을 비디오 데이터 스트림(300)으로 코딩하기 위한 공간 및 시간 예측 및 코딩 의존도가 제한되면 유리하다. 예를 들어, 모션 벡터들에 대해, 비디오 인코더(316)는, 참조 픽처의 B의 하위 영역을 넘어 확장될 픽처 A와 픽처 B 사이의 픽처들 및 픽처 B 사이에서 참조 픽처의 부분들을 가리키지 않도록 픽처들 B와 A 사이에서 픽처들의 섹션 B를 코딩하기 위해 이용가능한 모션 벡터들을 제한한다. 그 외에도, 픽처 B가 하위 영역 B에 대해 랜덤 액세스 포인트를 형성하기 때문에, 픽처들(317)의 하위 영역 B를 시간 예측하기 위한 시간 참조 픽처들은 픽처 B에 대한 상류에 놓이지 않아야 한다. 픽처들 B와 A 사이의 중간적 픽처들의 하위 영역 B를 코딩하기 위한 공간적 의존도는 유사한 방식으로, 즉, 하위 영역 B 외부의 이웃 부분들에 대한 의존도를 도입하지 않도록 제한될 것이다. 또한, 이러한 제한은 애플리케이션에 따라 완화될 수 있고, 게다가 이를 넘어, 드리프트 에러들에 대해 가능한 대책들에 대해 도 1 내지 도 13의 설명이 참조된다. 마찬가지로, 픽처들 중 선두 픽처가 픽처 B와 같은 하위 영역-특정 랜덤 액세스 픽처인 랜덤 액세스 픽처들 사이의 픽처들에 관해 방금 논의된 제한은 단지 시간 예측에 대해 적용될 수 있는 한편, 공간 의존도는 드리프트 에러들에 대해 덜 심각한 영향들을 갖는다.
직전 단락에서 기술된 논의는 직전의 랜덤 액세스 픽처, 즉, 픽처 B가 하위 영역 특정 랜덤 액세스 포인트를 형성하는 하위 영역, 하위 영역 B 내에서 단지 픽처들(317)의 코딩에 대해 하위 영역별 랜덤 액세스 픽처 B의 (디코딩 순서 관점에서) 직후 픽처들(317)을 코딩하기 위한 코딩 의존도의 제한과 관련된다. 이와 별도로 취급되어야 하는 문제는, 하위 영역 B에 의존하는 픽처들(317)의 외부 부분들의 코딩을 렌더링하기 위해, 섹션 B 외부 내의 픽처들(317), 즉 도 22의 경우의 하위 영역 A에 대한 코딩 의존도들이 제한되어야 하는지 또는 제한되지 않아야 하는지 여부에 대한 문제이다. 즉, 문제는, 예를 들어, 공간적 코딩 의존도가 동일한 픽처의 섹션 B에 도달되지 않도록 하는 방식으로 픽처들(317)의 하위 영역 A가 코딩되어야 하는지 여부, 및 픽처 B 또는 코딩/디코딩 순서에서 선행하는 임의의 픽처들(317) 중 하나인 참조 픽처의 하위 영역 B에 도달되지 않도록 하는 방식으로 픽처들(317)의 하위 영역 A를 코딩하기 위한 시간 코딩 의존도가 제한되어야 하는지 여부이다. 훨씬 더 정확하게 말하면, 픽처들(317)의 하위 영역 A를 코딩하기 위해 사용되는 참조 픽처들이, 한편으로는 픽처들(317)의 이전에 코딩된/디코딩된 픽처들 및 다른 한편으로는 선두 랜덤 액세스 픽처 B 중 하나에 속할 수 있거나, 또는 픽처 B에 대한 (디코딩 순서에서) 상류에 놓일 수 있다. 픽처 B에 대한 상류에 놓이는 참조 픽처들의 경우, 임의의 픽처(317)의 코딩 하위 영역 A에 대한 시간 코딩 의존도는 하위 영역 B에 도달하지 않도록 여전히 제한된다. 오히려, 여기에서 논의되는 문제는, 픽처 B 및 픽처들(317) 중 임의의 이전의 코딩된/디코딩된 픽처 중 하나인 참조 픽처에 대한 시간 코딩 의존도 또는 인트라 또는 공간 코딩 의존도가 관련되는 한, 섹션 B에 도달하지 않도록 픽처들(317)의 하위 영역 A를 코딩하기 위한 임의의 코딩 의존도가 제한되어야 하는지 또는 제한되지 않아야 하는지 여부이다. 대안들 둘 모두는 이들의 장점들을 갖는다. 픽처들(317)의 하위 영역 A를 코딩하는 경우, 픽처 B의 하위 영역 B와 픽처들(317)의 하위 영역 경계가 또한 준수되면, 즉 하위 영역 A를 코딩하기 위한 코딩 의존도가 하위 영역 B에 도달되지 않도록 제한된다면, 하위 영역 A는 섹션 B와는 독립적인 방식으로 계속 코딩되며, 이에 따라 데이터 스트림(300)이 전술한 바와 같이 추출가능하거나 또는 감소가능할 수 있는 하위 영역을 형성한다. 이는, 하위 영역-특정 랜덤 액세스 픽처 A 직후의 픽처들의 하위 영역 B의 코딩에 대한 동일한 상황을 고려하는 하위 영역 B에 적용된다. 하위 영역 A 및/또는 하위 영역 B와 같은 특정 하위 영역에 대한 감소가능성이 중요하지 않으면, 직전 섹션별 랜덤 액세스 픽처가 하위 영역-특정 랜덤 액세스 포인트를 형성하는 하위 영역으로 방금 논의된 코딩 의존도 도달이 허용되지 않는 경우 코딩 효율의 관점에서 유리할 수 있다. 그 경우, 방금 기술된 논의의 하위 영역 A와 같은 다른 하위 영역들은 더 이상 감소가능하지 않을 것이지만, 예를 들어, 임의의 이러한 픽처들 또는 픽처 B의 하위 영역 B에 기초하여 픽처들(317)의 하위 영역 A의 일부를 시간 예측하기 위해 하위 영역 B의 경계를 가로지르도록 모션 벡터들을 선택함으로써 비디오 인코더(316)가 리던던시의 활용에 대한 더 적은 제한을 갖기 때문에 코딩 효율은 증가된다. 예를 들어, 다음이 수행되면, 영역 A에 대해 데이터 스트림(300)은 더 이상 감소가능하지 않을 것이다. 픽처(317)는, 적어도 부분적으로 픽처들(317) 및 픽처 B 중 참조 픽처들의 제2 픽처 하위 영역 B를 참조하는 시간 예측을 사용하는 방식으로 제2 픽처 하위 영역 B 외부의 픽처 영역 A 내에서 비디오 데이터 스트림(300)으로 인코딩될 것이다. 즉, 도 22의 경우, 완전한 픽처 영역은 픽처들(317), 즉 A 뿐만 아니라 B의 시간 예측 코딩 영역 A에 의한 참조를 위해 이용가능할 것이다. 디코딩 순서의 관점에서, 픽처 A에 후속하는 픽처들(317'), 즉, A와 도 22에 도시되지 않은 타입 B의 후속 픽처 사이의 픽처들(317')은, 디코딩 순서에서, 픽처 A와 픽처들(317') 중 선행 참조 픽처들의 제2 픽처 하위 영역 B를 참조하지 않도록 제2 픽처 하위 영역 B 외부의 픽처 영역 A 내에서 시간 예측을 제한하여 비디오 데이터 스트림(300)으로 인코딩될 것이다. 즉, 도 22의 경우, 단지 영역 A는 픽처들(317)의 시간 예측 코딩 영역 A에 의한 참조를 위해 이용가능할 것이다. 하위 영역 B에 대해서도 유사한 것이 사실이어서, 픽처들 B는 하위 영역 B 내의 하위 영역 B에 부착되는 한편, 픽처들 B의 B의 코딩은 또한 하위 영역 A에 추가로 이용가능한 A를 갖는다. 그 경우, 스트림(300)은 하위 영역 B에 대해 더 이상 감소가능하지 않을 것이다.
도 22의 비디오 데이터 스트림(300)을 디코딩하도록 구성된 디코더의 설명을 진행하기 전에, 비디오 인코더(316)는, 전체 비디오 데이터 스트림(304)와 관련된 또는 픽처들(302)의 시퀀스를 포함하는 범위에서, 도 23a 내지 도 23e에 예시된 것들과 같은 대안들 중 임의의 것을 따라 또는 하위 영역들 A 및 B로의 대응하는 픽처들의 공간 세분화를 표시하는 신호화(319)를 비디오 데이터 스트림(300)에 제공하도록 구성될 수 있음을 주목해야 한다. 또한, 인코더(316)는 픽처들 A 및 B를 표시하는 신호화(318), 즉, 신호화(319)에 의해 표시되는 하위 영역들 중 임의의 것에 대한 하위 영역 특정 랜덤 액세스 포인트인 것으로 특정 픽처들을 마킹하는 신호화(318)를 데이터 스트림(300)에 제공한다. 즉, 신호화(319)는, 신호화(319)가 유효한 픽처들 사이에서 일정한 공간 세분화를 신호화하고, 신호화(318)는 다른 픽처들로부터 하위 영역-특정 랜덤 액세스 픽처들을 구별하고 이들 하위 영역 랜덤 액세스 픽처들을 하위 영역들 A 및 B에 연관시킨다.
픽처 타입이 관련되는 한, 한편으로는 픽처들 B 및 A와 다른 한편으로는 다른 픽처들 사이를 비디오 데이터 스트림(300) 내에서 구체적으로 구별하지 않는 것이 가능할 것이다. 도 22의 예에서, 픽처들 B 및 A는 "단지" 하위 영역-특정 랜덤 액세스 픽처들이며, 따라서 IDR 등과 같은 실제 픽처-단위 랜덤 액세스 픽처들이 아니다. 따라서, 비디오 데이터 스트림(300) 내의 픽처 타입 신호화(320)와 관련되는 한, 비디오 데이터 스트림(300)은 한편으로는 픽처들 B 및 A와 다른 한편으로는 다른 시간 예측된 픽처들을 구별하지 않을 수 있다. 예를 들어, 신호화(318)는 슬라이스들에 또는 픽처들(302)이 스트림(300)으로 코딩되는 단위인 이러한 슬라이스들의 슬라이스 헤더들에 제한될 수 있어서, 각각의 슬라이스에 대응하는 픽처 영역이 섹션 B를 형성한다. 대안적으로, 신호화들(320 및 318)의 조합은 특정 픽처가 하위 영역-특정 랜덤 액세스 픽처이고 특정 하위 영역에 속하는 것을 디코더에 표시하기 위해 사용될 수 있다. 예를 들어, 신호화(320)는, 특정 픽처가 하위 영역-특정 랜덤 액세스 픽처임을 표시하기 위해 사용될 수 있지만, 각각의 픽처가 하위 영역-특정 랜덤 액세스 포인트를 표현하는 하위 영역을 드러내지 않는다. 후자의 표시는 신호화(318)에 의해 수행될 것이며, 이는, 신호화(320)에 의해 하위 영역-특정 랜덤 액세스 픽처가 되도록 특정 픽처 신호를 연관시키고, 픽처 세분화의 임의의 하위 영역들은 신호화(319)에 의해 시그널링된다. 그러나, 대안적으로, NAL 유닛 타입 신택스 엘리먼트일 수 있는 신호화(320)는 B 및 P 픽처들과 같은 시간 예측된 픽처들, IDR 픽처들과 같은 픽처별 랜덤 액세스 픽처들 및 픽처들 A 및 B와 같은 하위 영역별 랜덤 액세스 포인트들 사이를 뿐만 아니라 상이한 하위 영역들과 관련된 하위 영역별 랜덤 액세스 포인트들 사이, 즉, 픽처들 A 및 B 각각에 대한 상이한 값들을 소모함으로써 픽처들 A와 B 사이를 구별 또는 식별할 수 있다.
추가적인 신호화(321)는 비디오 인코더(316)에 의해 삽입되어, 데이터 스트림(300)이 각각의 하위 영역에 대해 감소가능할지 여부를 특정 하위 영역에 대해 시그널링할 수 있다. 신호화(321)는, 하위 영역들 중 하나가, 데이터 스트림(300)이 감소가능한 하위 영역으로서 시그널링되도록 허용하는 방식으로 데이터 스트림(300) 내에서 시그널링될 수 있는 한편, 다른 하위 영역은 데이터 스트림(300)이 감소가능한 이러한 하위 영역을 형성하지 않는다. 대안적으로, 신호화(321)는 단지 모든 하위 영역들에 대한 감소가능성의 2진 신호화를 허용할 수 있는데, 즉, 신호화(321)는 모든 하위 영역들이, 데이터 스트림(300)이 감소가능한 하위 영역들인 것 또는 데이터 스트림(300)이 이러한 하위 영역들 중 임의의 것에 대해 감소가능하지 않은 것을 시그널링할 수 있다. 그러나, 신호화(321)는, 도 22의 예에서 하위 영역들 A 및 B와 같은 하위 영역들이, 데이터 스트림(300)이 감소가능한 완전히 독립적으로 코딩된 하위 영역들로서 취급되는지 또는 아닌지에 대한 영향으로 중단될 수 있고, 이러한 경우 하위 영역 경계들을 가로지르는 앞서 설명된 비대칭 코딩 의존도는 이전에 설명된 바와 같이 사용된다.
지금까지 하위 영역들 B 및 A는 연속적인 영역들로 예시되었지만, 하위 영역들 B 및 A는 대안적으로 픽처들의 타일들의 세트들(302)과 같은 비연속적인 영역들일 수 있음을 주목해야 하며, 이러한 예에 따라 픽처들(302)이 데이터 스트림(300)으로 인코딩될 수 있는 타일들에 관한 특정 프로세싱에 대해 도 1 내지 도 13의 설명이 참조된다.
도 23c와 관련하여, 픽처 A는 픽처별 랜덤 액세스 픽처일 것이기 때문에, 픽처 A의 픽처 타입은 다른 시간 예측된 픽처들의 타입들과 상이할 것이고, 따라서 픽처 A는 픽처 타입 신호화(320) 내에서 시그널링될 것이다.
도 24는 픽처들 B 및 A를 이용하는 방식으로 비디오 데이터 스트림(300)을 디코딩하도록 구성된 비디오 디코더(330)를 도시한다. 도 24의 비디오 데이터 스트림(300)은 도 22의 설명에 대응하는 방식으로 예시적으로 도시되어, 즉, 하위 영역-관련 랜덤 액세스 픽처들 B 및 A가 비디오 데이터 스트림(300)으로 인코딩된 비디오(304)의 픽처들(302) 사이에 산재되어 있다. 비디오 디코더(330)는 비디오 데이터 스트림(300)에 랜덤으로 액세스할 때, 다음 랜덤 액세스 픽처, 즉 임의의 하위 영역-관련 또는 픽처별 랜덤 액세스 픽처가 발생하는 것을 대기하도록 구성된다. 픽처별 랜덤 액세스 픽처들을 포함하지 않는 비디오 데이터 스트림(300)의 경우에, 비디오 디코더(330)는 심지어 이러한 픽처들에 응답하지 않을 수 있다. 어떠한 경우에도, 비디오 디코더(330)가 도 24의 예에서 픽처 B인 제1 하위 영역-관련 랜덤 액세스 픽처를 만나자 마자 비디오 디코더(330)는 비디오 데이터 스트림(300)의 디코딩을 재개한다. 이러한 픽처 B로 시작하여, 비디오 디코더(330)는 오직 하위 영역 B만을 도시하는 픽처들(322)의 재구성, 디코딩 및 출력을 시작한다. 대안은, 디스플레이 디바이스 등과 같은 프리젠테이션 디바이스에 표시하는 이러한 픽처들을 수반하는 시그널링을 사용하여 또는 시그널링 없이 비디오 디코더(330)가 또한 하위 영역 B 외부의 이러한 픽처들(322) 부분을 디코딩, 재구성 및 출력하는 것일 것이고, 이러한 픽처들의 하위 영역 B 외부의 부분들은 이러한 외부 하위 영역에 대한 참조 픽처들이 누락되기 때문에 드리프트 에러를 경험한다.
비디오 디코더(330)는 도 24의 예에서 픽처 A인 다음 랜덤 액세스 픽처와 직면할 때까지 이러한 방식으로 비디오 데이터 스트림(300)을 디코딩하는 것을 계속한다. 하위 영역 A는 나머지 픽처 영역, 즉 하위 영역 B 외부의 픽처 영역(302)에 대한 랜덤 액세스 포인트를 나타내기 때문에, 비디오 디코더(330)는 픽처들(302) 전방의 픽처 A로부터 완전히 디코딩, 재구성 및 출력한다. 즉, 도 24와 관련하여 설명된 기능에 의해, 적어도 하위 영역 B, 즉 최초로 직면되는 하위 영역-관련 랜덤 액세스 픽처 B의 하위 영역에 대해, 비디오(304)를 더 먼저 보는 이점을 획득할 기회가 사용자에게 제공된다. 그 다음, 픽처들(302)의 나머지를 커버하는 하위 영역에 관한 다음 하위 영역-관련 랜덤 액세스 픽처를 직면한 후, 비디오 디코더(330)는 드리프트 에러들 없이 완전한 픽처들(302)을 제공할 수 있다. 도 23e의 예에서, 이것은 각각 하위 영역들 A, B 및 C에 관한 하위 영역-특정 랜덤 액세스 픽처들 각각 중 제1 픽처에 직면한 후의 경우일 것이다.
도 25는 비디오 디코더(330)의 대안적 동작 모드를 예시한다. 여기서, 비디오 디코더(330)는 전방에서 여기서는 픽처 B인 제1 하위 영역-특정 랜덤 액세스 픽처를 직면하는 것으로부터 하위 영역 B의 디코딩 및 재구성을 시작하지만, 비디오 디코더(330)는 충분한 랜덤 액세스 픽처들에 직면할 때까지 대기하여, 이의 하위 영역들은 비디오 디코더(330)가 픽처들(302)을 실제로 완전히 출력할 때까지 픽처들(302)의 전체 픽처 영역을 커버한다. 본 예인 경우, 이는 픽처 B의 뒤에서 픽처 A에 직면할 때의 경우이다. 즉, 픽처 A로부터 전방으로 비디오 디코더(330)는 픽처들(302)을 출력하지만, 하위 영역 B는 전방으로 픽처 B로부터 이용가능했을 수 있다.
도 26은 하위 영역-특정 랜덤 액세스 픽처들을 포함하는 비디오 데이터 스트림(300)을 수신하는 네트워크 디바이스(322)를 도시한다. 그러나, 이 때, 비디오 데이터 스트림(300)은 하위 영역-특정 랜덤 액세스 픽처들의 하위 영역들 중 하나 이상에 대해 감소가능하다. 예를 들어, 도 26은 하위 영역 B에 대해 비디오 데이터 스트림(300)이 감소가능한 경우를 예시한다. 감소가능성 및 네트워크 디바이스(322)의 대응하는 기능과 관련하여, 이러한 기능이 도 1 내지 도 13의 설명에 대응하는 방식으로 구성될 수 있거나 그렇지 않을 수 있음을 주목한다. 어느 경우이든, 픽처들 B는 전술한 신호화(318)를 사용하여 비디오 데이터 스트림(300) 내에서 표시된다. 네트워크 디바이스(322)는, 오직 픽처들 B와 관련되도록 비디오 데이터 스트림(300)을 감소시키는 경우, 비디오 데이터 스트림(300)으로부터 추출하거나, 또는 비디오 데이터 스트림(300)을 감소된 비디오 데이터 스트림(324)로 감소시키고, 이의 픽처들(326)은 비디오(304)의, 즉, 감소되지 않은 비디오 데이터 스트림(300)의 하위 영역 B의 콘텐츠를 단지 나타내는 비디오(328)를 형성한다. 그러나, 이러한 조치에 의해 하위 영역 B는 더 이상 픽처들(326)에 대한 하위 영역을 표현하지 않기 때문에, 감소된 비디오 데이터 스트림(324)은 더 이상 신호화(318)를 포함하지 않는다. 오히려, 비디오 데이터 스트림의 하위 영역-특정 랜덤 액세스 픽처 B의 하위 영역 B에 대응하는 비디오(328)의 픽처는 IDR 픽처 등과 같은 픽처별 랜덤 액세스 픽처가 될 픽처 타입 신호화(320)에 의해 감소된 비디오 데이터 스트림(324) 내에서 시그널링된다. 이것이 수행될 수 있는 방식들은 다양하다. 예를 들어, 네트워크 디바이스(322)는 네트워크 디바이스(60)에 대응하는 방식으로 구성되는 네트워크 디바이스(322)의 경우 도 5 및 도 7에 대해 앞서 설명된 재지향 및/또는 파라미터 설정 수정에 추가로, 비디오 데이터 스트림(300)을 자기 자신의 감소된 비디오 데이터 스트림(324)을 향해 감소시킬 때 대응하는 NAL 유닛의 NAL 유닛 헤더에서 픽처 타입 신호화(320)를 변경할 수 있다.
완전성을 위해, 도 27은 도 20의 데이터 스트림(20)을 프로세싱하도록 구성된 네트워크 디바이스(231)를 도시한다. 그러나, 도 20은, 정보(206')가 정보(50) 내에서와 같이 감소가능한 비디오 데이터 스트림(200)에 이미 존재할 수 있거나 존재하지 않을 수 있는 것을 도시한다. 이러한 네트워크 디바이스(231)는, 앞서 이미 설명된 바와 같이, 비디오 데이터 스트림(200)으로부터 감소된 비디오 데이터 스트림(232)로 하위 영역 특정 변위 정보(206')를 단순히 양도하여 비디오 데이터 스트림(200)을 감소된 비디오 데이터 스트림(232)으로 감소시킬 때 변위 정보(206)를 폐기하도록 구성될 수 있거나, 또는 네트워크 디바이스(231)는 감소가능한 비디오 데이터 스트림(200)의 픽처들에 대한 하위 영역(22)의 위치에 대한 지식에 기초하여, 자신 측에서 하위 영역 특정 변위 정보(206)가 되도록 변위 정보(206)의 재조정을 형성할 수 있다.
따라서, 상기 설명은 예를 들어, 시간 모션 및 계층간 예측 제약된 타일 세트들의 추출에 대한 프로세스들 및 시그널링을 나타낸다. 단일 또는 다중계층 비디오 코딩을 사용하여 코딩된 비디오 비디오들의 추출 또는 공간 서브세트들이 또한 설명된다.
상기 설명에 대해, 도시된 임의의 인코더, 디코더 또는 네트워크 디바이스는 하드웨어, 펌웨어 또는 소프트웨어로 구체화 또는 구현될 수 있다. 하드웨어로 구현되는 경우, 각각의 인코더, 디코더 또는 네트워크 디바이스는 예를 들어, 주문형 집적 회로의 형태로 구현될 수 있다. 펌웨어로 구현되는 경우, 각각의 디바이스는 필드 프로그래머블 어레이로서 구현될 수 있고, 소프트웨어로 구현되는 경우, 각각의 디바이스는 설명된 기능을 수행하도록 프로그래밍된 프로세서 또는 컴퓨터일 수 있다.
일부 양상들은 장치의 상황에서 설명되었지만, 이러한 양상들은 또한 대응하는 방법의 설명을 표현하는 것이 명백하며, 여기서 블록 또는 디바이스는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법의 상황에서 설명되는 양상들은 또한 대응하는 장치의 블록 또는 아이템 또는 특징의 설명을 표현한다. 방법 단계들의 일부 또는 전부는, 예를 들어, 마이크로프로세서, 프로그래밍가능 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이를 사용하여) 실행될 수 있다. 일부 실시예들에서, 가장 중요한 방법 단계들 중 하나 또는 몇몇은 이러한 장치에 의해 실행될 수 있다.
본 발명의 인코딩된 데이터 스트림 또는 신호는 디지털 저장 매체에 저장될 수 있거나 또는 무선 송신 매체 또는 유선 송신 매체, 예를 들어 인터넷과 같은 송신 매체를 통해 송신될 수 있다. 데이터 스트림에 일부 정보를 삽입 또는 인코딩하는 것이 설명되었으며, 이러한 설명은, 결과적 데이터 스트림이 각각의 정보, 플래그의 신택스 엘리먼트 등을 포함한다는 개시로서 동시에 이해될 것이다.
특정한 구현 요건들에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은, 각각의 방법이 수행되도록 프로그래밍가능 컴퓨터 시스템과 협력하는(또는 협력할 수 있는), 전자적으로 판독가능한 제어 신호들을 저장하는 디지털 저장 매체, 예를 들어, 플로피 디스크, DVD, 블루레이, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리를 사용하여 수행될 수 있다. 따라서, 디지털 저장 매체는 컴퓨터 판독가능일 수 있다.
본 발명에 따른 일부 실시예들은, 본원에서 설명되는 방법들 중 하나가 수행되도록 프로그래밍가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 컴퓨터 프로그램 물건으로서 구현될 수 있고, 프로그램 코드는, 컴퓨터 프로그램 물건이 컴퓨터 상에서 실행되는 경우 본 방법들 중 하나를 수행하도록 동작한다. 프로그램 코드는 예를 들어, 머신-판독가능 캐리어 상에 저장될 수 있다.
다른 실시예들은, 본원에서 설명되는 방법들 중 하나를 수행하기 위한, 머신 판독가능 캐리어 상에 저장되는 컴퓨터 프로그램을 포함한다.
따라서, 달리 말하면, 본 발명의 방법의 일 실시예는, 컴퓨터 프로그램이 컴퓨터 상에서 실행되는 경우, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
따라서, 창작적 방법들의 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 포함되고 기록되는 데이터 캐리어(예를 들어, 디지털 저장 매체 또는 컴퓨터 판독가능 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록된 매체는 통상적으로 유형(tangible)이고 그리고/또는 비일시적이다.
따라서, 창작적 방법의 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 신호들의 시퀀스 또는 데이터 스트림이다. 예를 들어, 신호들의 시퀀스 또는 데이터 스트림은, 예를 들어, 인터넷을 통해, 데이터 통신 접속을 통해 전송되도록 구성될 수 있다.
추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하도록 구성 또는 적응되는 프로세싱 수단, 예를 들어, 컴퓨터 또는 프로그래밍가능 로직 디바이스를 포함한다.
추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 추가적인 실시예는, 본원에서 설명되는 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 수신기에 (예를 들어, 전자적으로 또는 광학적으로) 전송하도록 구성되는 장치 또는 시스템을 포함한다. 수신기는, 예를 들어, 컴퓨터, 모바일 디바이스, 메모리 디바이스 등일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 수신기에 전송하기 위한 파일 서버를 포함할 수 있다.
일부 실시예들에서, 프로그래밍가능 로직 디바이스(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 본원에서 설명되는 방법들의 기능들 중 일부 또는 전부를 수행하기 위해 사용될 수 있다. 일부 실시예들에서, 필드 프로그래밍가능 게이트 어레이는, 본원에서 정의되는 방법들 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 임의의 하드웨어 장치에 의해 바람직하게 수행된다.
본원에 설명된 장치는 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 구현될 수 있다.
본원에 설명된 장치 또는 본원에 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로 하드웨어로 및/또는 소프트웨어로 구현될 수 있다.
본원에 설명된 방법들은 하드웨어 장치를 사용하여 또는 컴퓨터를 사용하여, 또는 하드웨어 장치와 컴퓨터의 조합을 사용하여 수행될 수 있다.
본원에 설명된 방법들 또는 본원에 설명된 장치의 임의의 컴포넌트들은 적어도 부분적으로 하드웨어에 의해 및/또는 소프트웨어에 의해 수행될 수 있다.
앞서 설명된 실시예들은, 본 발명의 원리들에 대해 단지 예시적이다. 본원에서 설명되는 배열들 및 세부사항들의 변형들 및 변화들이 당업자들에게 자명할 것이 이해된다. 따라서, 본 발명은 후속 특허 청구항들의 범주에 의해서만 제한되며, 본원의 실시예들의 서술 및 설명의 방식으로 제시되는 특정 세부사항들에 의해서는 제한되지 않도록 의도된다.
Claims (100)
- 비디오(14)를 표현하는 비디오 데이터 스트림으로서,
코딩 파라미터 설정들(20)을 표시하는 파라미터 세트 부분(16);
상기 코딩 파라미터 설정들(20)의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18)을 포함하고,
상기 제1 세트(20a)는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱되고,
상기 비디오 데이터 스트림은 정보(50)를 포함하고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52), 및
참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들(48)을 재지향(72)시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트(20b)를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트(20a)를 조정(88)하기 위한 대체 파라미터들(56)을 포함하고,
상기 코딩 파라미터들의 제2 세트(20b)는,
상기 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)을 제거(68)하고,
상기 픽처들(12) 대신 상기 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써,
상기 비디오 데이터 스트림에 비해 수정된 감소된 비디오 데이터 스트림(62)이, 코딩 파라미터 설정들의 상기 제2 세트(20b)를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
비디오 데이터 스트림. - 제1항에 있어서,
상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림(62)은 HEVC를 준수하는,
비디오 데이터 스트림. - 제1항 또는 제2항에 있어서,
상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
비디오 데이터 스트림. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 코딩 파라미터 설정들은,
픽처 크기(26),
타일 구조(38),
버퍼 크기 및 타이밍(46)
중 하나 이상을 정의하는,
비디오 데이터 스트림. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 인덱스들은 상기 페이로드 부분(18)의 슬라이스들(34)의 슬라이스 헤더들에 포함되고, 각각의 슬라이스는 상기 미리 결정된 하위 영역(22)의 경계를 가로지르지 않는 픽처(12)의 대응하는 영역(36)으로 인코딩되는,
비디오 데이터 스트림. - 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 정보는 SEI 메시지, VUI 또는 파라미터 세트 확장에 포함되는,
비디오 데이터 스트림. - 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 페이로드 부분은, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일(42) 단위로 코딩된 비디오의 픽처들을 갖고, 상기 표시(52)는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
비디오 데이터 스트림. - 제7항에 있어서,
상기 페이로드 부분은, 상기 페이로드 부분이 슬라이스(34) 단위로 세분화되도록 타일(42) 단위로 코딩된 비디오의 픽처들을 갖고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계(40)를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
비디오 데이터 스트림. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 대체 인덱스들에 의한 재지향(72)이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들(48)에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트(20a)의 일부는,
픽처 크기(26),
타일 구조(38),
버퍼 크기 및 타이밍(46)
중 하나 이상과 관련되는,
비디오 데이터 스트림. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 페이로드 부분(18)은, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 코딩된 비디오의 픽처들(12)을 갖는,
비디오 데이터 스트림. - 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 인코더로서,
코딩 파라미터 설정들(20)을 결정하고, 상기 코딩 파라미터 설정들을 표시하는 비디오 데이터 스트림의 파라미터 세트 부분(16)을 생성하도록 구성되는 파라미터 설정기(80a);
상기 코딩 파라미터 설정들의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들을 상기 비디오 데이터 스트림의 페이로드 부분으로 인코딩하도록 구성되는 코딩 코어(80b)를 포함하고,
상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱되고,
상기 인코더는 상기 비디오 데이터 스트림에 정보(50)를 제공하도록 구성되고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들(56)을 포함하고,
상기 코딩 파라미터들의 제2 세트는,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써,
상기 비디오 데이터 스트림에 비해 수정된 감소된 비디오 데이터 스트림이, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
인코더. - 제11항에 있어서,
상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림은 HEVC를 준수하는,
인코더. - 제11항 또는 제12항에 있어서,
상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
인코더. - 제11항 내지 제13항 중 어느 한 항에 있어서,
상기 코딩 파라미터 설정들은,
픽처 크기,
타일 구조,
버퍼 크기 및 타이밍
중 하나 이상을 정의하는,
인코더. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 인코더는, 상기 인덱스들을 상기 페이로드 부분의 슬라이스들의 슬라이스 헤더들에 삽입하고, 상기 미리 결정된 하위 영역의 경계를 가로지르지 않는 픽처의 대응하는 영역을 각각의 슬라이스에 인코딩하도록 구성되는,
인코더. - 제11항 내지 제15항 중 어느 한 항에 있어서,
상기 인코더는 상기 정보를 SEI 메시지, VUI 또는 파라미터 세트 확장에 삽입하도록 구성되는,
인코더. - 제11항 내지 제16항 중 어느 한 항에 있어서,
상기 인코더는, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일 단위로 코딩된 비디오의 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되고, 상기 표시는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
인코더. - 제17항에 있어서,
상기 인코더는, 상기 페이로드 부분이 슬라이스 단위로 세분화되도록 타일 단위로 코딩된 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
인코더. - 제11항 내지 제18항 중 어느 한 항에 있어서,
상기 대체 인덱스들에 의한 재지향이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트의 일부는,
픽처 크기,
타일 구조,
버퍼 타이밍
중 하나 이상과 관련되는,
인코더. - 제11항 내지 제19항 중 어느 한 항에 있어서,
상기 인코더는, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 상기 비디오의 픽처들을 상기 페이로드 부분에 인코딩하도록 구성되는,
인코더. - 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
코딩 파라미터 설정들을 표시하는 파라미터 세트 부분;
상기 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들이 코딩되는 페이로드 부분을 포함하고,
상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들에 의해 인덱싱되고,
상기 네트워크 디바이스는,
상기 비디오 데이터 스트림으로부터 정보를 판독(64)하고 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들, 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들을 포함함 -,
상기 비디오 데이터 스트림을,
상기 코딩 파라미터 설정들의 제2 세트가 상기 페이로드 부분의 인덱스들에 의해 인덱싱되도록 상기 재지향(72) 및/또는 조정(88)을 수행하고;
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
수정되는 감소된 비디오 데이터 스트림으로 감소시키도록 구성되어,
상기 감소된 비디오 데이터 스트림은, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩되는 감소된 페이로드 부분을 갖는,
네트워크 디바이스. - 제21항에 있어서,
상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림은 HEVC를 준수하는,
네트워크 디바이스. - 제21항 또는 제22항에 있어서,
상기 파라미터 세트 부분은 SPS NAL 유닛들 및/또는 VPS NAL 유닛들 및/또는 PPS NAL 유닛들에 의해 포함되는,
네트워크 디바이스. - 제21항 내지 제23항 중 어느 한 항에 있어서,
상기 코딩 파라미터 설정들은,
픽처 크기,
타일 구조,
버퍼 크기 및 타이밍
중 하나 이상을 정의하는,
네트워크 디바이스. - 제21항 내지 제24항 중 어느 한 항에 있어서,
상기 네트워크 디바이스는 상기 페이로드 부분의 슬라이스들의 슬라이스 헤더들에서 상기 인덱스들을 위치확인하고, 각각의 슬라이스는 상기 미리 결정된 하위 영역의 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
네트워크 디바이스. - 제21항 내지 제25항 중 어느 한 항에 있어서,
상기 네트워크 디바이스는 SEI 메시지, VUI 또는 상기 비디오 데이터 스트림의 파라미터 세트 확장으로부터 상기 정보를 판독하도록 구성되는,
네트워크 디바이스. - 제21항 내지 제26항 중 어느 한 항에 있어서,
상기 페이로드 부분은, 상기 픽처들이 세분화되고 열 및 행의 타일 어레이에 배열되는 타일 단위로 코딩된 비디오의 픽처들을 갖고, 상기 표시는 상기 미리 결정된 하위 영역을 상기 타일들의 세트로서 표시하는,
네트워크 디바이스. - 제27항에 있어서,
상기 페이로드 부분은, 상기 페이로드 부분이 슬라이스 단위로 세분화되도록 타일 단위로 코딩된 비디오의 픽처들을 갖고, 각각의 슬라이스는 상기 타일들 사이의 타일 경계를 가로지르지 않는 픽처의 대응하는 영역으로 인코딩되는,
네트워크 디바이스. - 제21항 내지 제28항 중 어느 한 항에 있어서,
상기 대체 인덱스들에 의한 재지향이 수행될 및/또는 상기 대체 파라미터들에 의해 대치되는 인덱스들에 의해 인덱싱된 코딩 파라미터 설정들의 상기 제1 세트의 일부는,
픽처 크기,
타일 구조,
버퍼 크기 및 타이밍
중 하나 이상과 관련되는,
네트워크 디바이스. - 제21항 내지 제29항 중 어느 한 항에 있어서,
상기 페이로드 부분(18)은, 상기 미리 결정된 하위 영역(22) 내에서, 상기 픽처들이 상기 미리 결정된 하위 영역(22)의 경계들을 가로지르는 시간 예측의 중단으로 코딩되도록 코딩된 비디오의 픽처들(12)을 갖는,
네트워크 디바이스. - 제21항 내지 제30항 중 어느 한 항에 있어서,
상기 네트워크 디바이스는,
상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림을 디코딩할 수 있는 비디오 디코더,
비디오 디코더로서, 상기 비디오 디코더의 프로파일 레벨은 상기 비디오 디코더가 상기 감소된 비디오 데이터 스트림을 디코딩할 수 있기에는 충분하지만, 상기 비디오 디코더의 상기 프로파일 레벨은 상기 비디오 데이터 스트림을 디코딩할 수 있기에는 불충분한, 상기 비디오 디코더, 및
제어 신호에 따라, 상기 비디오 데이터 스트림 및 상기 감소된 비디오 데이터 스트림 중 하나를 비디오 디코더에 포워딩하도록 구성되는 네트워크 디바이스
중 하나인,
네트워크 디바이스. - 제21항 내지 제31항 중 어느 한 항에 있어서,
상기 비디오 데이터 스트림은, 상기 픽처들(12)의 적어도 하나의 미리 결정된 하위 영역들(214)의 세트에 대해, 적어도 하나의 미리 결정된 하위 영역들의 세트의 타겟 픽처 영역으로의 변위되지 않은 카피에 대한, 상기 타겟 픽처 영역(216) 내에서 적어도 하나의 미리 결정된 하위 영역들의 세트의 변위를 표시하는 변위 정보를 포함하고,
상기 네트워크 디바이스는 수정된 변위 정보에 따라 변위된 상기 하위 영역-특정 픽처들의 미리 결정된 하위 영역들을 갖는 상기 타겟 픽처 영역으로 카피된 상기 하위 영역-특정 픽처들이 상기 변위 정보에 따라 변위된 픽처들(12)의 적어도 하나의 미리 결정된 하위 영역(214)의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 픽처들(12)의 미리 결정된 하위 영역(22)과 상기 타겟 픽처 영역(216) 내에서 일치하도록, 상기 변위 정보를 상기 수정된 변위 정보(206')로 수정하고, 상기 비디오 데이터 스트림을 감소시킬 때, 상기 변위 정보(206)를 상기 수정된 변위 정보(206')로 대체하도록 구성되거나, 또는
상기 수정된 변위 정보(206')는 상기 픽처들(12)의 상기 미리 결정된 하위 영역(22)과 연관된 비디오 데이터 스트림에 의해 포함되고, 상기 변위 정보(206)는 상기 픽처들과 연관된 상기 비디오 데이터 스트림에 의해 포함되고, 상기 네트워크 디바이스는 상기 비디오 데이터 스트림을 감소시킬 때 상기 변위 정보(206)를 제거하고, 상기 수정된 변위 정보(206')를 상기 하위 영역-특정 픽처들(86)과 연관되도록 상기 감소된 비디오 데이터 스트림에 전달하도록 구성되는,
네트워크 디바이스. - 비디오(14)를 표현하는 비디오 데이터 스트림으로서,
상기 비디오의 픽처들(12)이 코딩되는 페이로드 부분(18),
상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
상기 비디오 데이터 스트림은 정보(50)를 포함하고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시(52), 및
상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
상기 대체 보충 강화 정보 메시지는,
상기 미리 결정된 하위 영역(22) 외부의 픽처들(12)의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)을 제거(68)하고,
상기 픽처들(12) 대신 상기 미리 결정된 하위 영역(22)의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분(18)의 위치 표시들(32)을 변경(78)함으로써,
상기 비디오 데이터에 비해 수정되는 감소된 비디오 데이터 스트림(62)이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역(22)을 나타내는 하위 영역-특정 픽처들(86)로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
비디오 데이터 스트림. - 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 인코더로서,
비디오의 픽처들을 비디오 데이터 스트림의 페이로드 부분으로 인코딩하도록 구성되는 코딩 코어(80b),
상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 생성하도록 구성되는 파라미터 설정기(80a)를 포함하고,
상기 인코더는 상기 비디오 데이터 스트림에 정보(50)를 제공하도록 구성되고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
상기 대체 보충 강화 정보 메시지는,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
인코더. - 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
상기 비디오의 픽처들이 코딩되는 페이로드 부분,
상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
상기 네트워크 디바이스는,
상기 비디오 데이터 스트림으로부터 정보를 판독(64)하고 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함함 -,
상기 비디오 데이터 스트림을,
상기 대체 보충 강화 정보 메시지로 상기 보충 강화 정보 메시지를 대체하고,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
수정되는 감소된 비디오 데이터 스트림으로 감소시키도록 구성되어,
상기 감소된 비디오 데이터 스트림은, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖는,
네트워크 디바이스. - 비디오 데이터 스트림을 프로세싱하기 위한 네트워크 디바이스로서,
비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 비디오 데이터 스트림을 수신하도록 구성되고,
상기 프랙션은 상기 픽처들의 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들의 배제에 대응하고, 상기 비디오의 픽처들은,
배제 없이, 상기 비디오 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하는 파라미터화된 방식으로, 및/또는
배제 없이, 상기 비디오 데이터 스트림의 보충 강화 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로,
상기 페이로드 부분으로 코딩되고,
상기 네트워크 디바이스는,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하고, 상기 코딩 파라미터 설정들을 사용하여 파라미터화되는 및/또는 상기 보충 강화 정보를 조정에 따라 조정된 보충 강화 정보 보충 강화 메시지에 의해 표시되는 보충 강화 정보에 매칭하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들이 인코딩되는 상기 페이로드 부분의 프랙션을 상기 비디오 데이터 스트림이 갖도록, 상기 파라미터 세트 부분에서 상기 코딩 파라미터 설정들을 조정하고 그리고/또는 상기 보충 강화 정보 메시지를 조정하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써 상기 비디오 데이터 스트림을 수정하도록 구성되는,
네트워크 디바이스. - 제36항에 있어서,
상기 미리 결정된 하위 영역(22) 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분(18)의 부분들(70)이 다운로드되지 않도록 상기 비디오 데이터 스트림을 다운로드하는 것을 제한하기 위해, 상기 비디오 데이터 스트림과 함께 상기 미리 결정된 하위 영역(22)에 대한 정보를 수신하거나 상기 미리 결정된 하위 영역(22)에 대한 정보를 사용하도록 구성되는,
네트워크 디바이스. - 인코딩된 픽처(204)를 갖는 데이터 스트림으로서,
픽처(204)의 적어도 하나의 미리 결정된 하위 영역(214)의 세트에 대해, 적어도 하나의 미리 결정된 하위 영역의 세트의 타겟 픽처 영역(216)으로의 변위되지 않은 카피에 대한, 상기 타겟 픽처 영역(216) 내에서 적어도 하나의 미리 결정된 하위 영역의 세트의 변위(218)를 표시하는 변위 정보(206)를 포함하는,
데이터 스트림. - 제38항에 있어서,
상기 변위 정보(206)는 상기 변위(218)를,
픽처 샘플들,
상호-의존도들 없이 상기 픽처가 코딩되고, 적어도 하나의 하위 영역(214)의 세트 각각이 구성하는 단위로, 상기 픽처가 세분화되는 타일들
중 하나의 단위로 표시하는,
데이터 스트림. - 제38항 또는 제39항에 있어서,
상기 픽처의 적어도 하나의 하위 영역의 세트는 하위 영역들의 어레이로의 상기 픽처의 갭없는 그리고 중첩 없는 공간 파티셔닝의 서브세트인,
데이터 스트림. - 제38항 또는 제39항에 있어서,
상기 변위 정보는,
상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트 내의 미리 결정된 하위 영역들의 카운트(220);
상기 타겟 픽처 영역의 크기를 정의하는 크기 파라미터(222), 및
상기 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트의 각각의 미리 결정된 하위 영역에 대해, 상기 타겟 픽처 영역 내에서 상기 픽처의 각각의 미리 결정된 하위 영역의 변위의 좌표(224)를 포함하거나, 또는
상기 변위 정보는 상기 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트의 각각의 미리 결정된 하위 영역에 대해, 상기 타겟 영역에서 상기 각각의 미리 결정된 하위 영역의 부분에 대한 제1 위치 정보, 상기 픽처 내에서 상기 각각의 미리 결정된 영역의 위치에 대한 제2 정보, 및 회전에 대한 정보 및/또는 상기 타겟 영역과 상기 픽처 사이에서 각각의 미리 결정된 하위 영역을 맵핑하는 경우 미러링에 대한 정보를 포함하는,
데이터 스트림. - 제41항에 있어서,
상기 변위 정보는 상기 타겟 픽처 영역 내에서 상기 각각의 하위 영역의 스케일링(226)을 더 표시하는,
데이터 스트림. - 제38항 내지 제42항 중 어느 한 항에 있어서,
상기 데이터 스트림은, 상기 변위 정보에 따라 변위된 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트 중 임의의 것, 및 적어도 하나의 미리 결정된 하위 영역의 세트가 상기 픽처(204)를 완전히 커버하지 않는 경우 픽처의 어떠한 변위되지 않은 부분에 의해서도 커버되지 않는 상기 타겟 픽처 영역(216)의 부분(130)을 충전하기 위해 사용되는 디폴트 충전을 표시하는 디폴트 충전 정보(228)를 더 포함하는,
데이터 스트림. - 제38항 내지 제42항 중 어느 한 항에 있어서,
상기 데이터 스트림은 인코딩된 픽처들의 시퀀스를 갖고, 상기 변위 정보는 상기 픽처들의 시퀀스에 대해 유효한,
데이터 스트림. - 인코딩된 픽처를 갖는 데이터 스트림을 디코딩하기 위한 디코더로서,
데이터 스트림으로부터 픽처를 재구성하도록 구성되는 디코딩 코어(234), 및
상기 데이터 스트림에 포함된 변위 정보에 따라, 타겟 픽처의 영역 내에서 상기 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트 각각을 변위시킴으로써, 상기 픽처에 기초하여 상기 타겟 픽처를 합성하도록 구성되는 변위기(236)를 포함하는,
디코더. - 제45항에 있어서,
상기 변위기는, 상기 적어도 하나의 미리 결정된 하위 영역의 세트가 상기 픽처(204)를 완전히 커버하지 않으면, 상기 픽처의 임의의 변위되지 않은 부분을 상기 타겟 픽처 영역(216)으로 변위되지 않은 방식으로 카피하도록 구성되는,
디코더. - 제45항 또는 제46항에 있어서,
상기 변위 정보는 상기 각각의 하위 영역의 변위를,
픽처 샘플들,
상호-의존도들 없이 상기 픽처가 코딩되고, 적어도 하나의 하위 영역(214)의 세트 각각이 구성하는 단위로, 상기 픽처가 세분화되는 타일들
중 하나의 단위로 표시하는,
디코더. - 제45항 내지 제47항 중 어느 한 항에 있어서,
상기 픽처의 적어도 하나의 하위 영역의 세트는 하위 영역들의 어레이로의 상기 픽처의 갭없는 그리고 중첩 없는 공간 파티셔닝의 서브세트인,
디코더. - 제45항 내지 제48항 중 어느 한 항에 있어서,
상기 변위기는,
상기 데이터 스트림으로부터, 상기 변위 정보의 일부로서,
상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트 내의 미리 결정된 하위 영역들의 카운트;
상기 타겟 픽처 영역의 크기를 정의하는 크기 파라미터들,
상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트의 각각의 미리 결정된 하위 영역에 대해, 타겟 픽처 영역 내에서 상기 픽처의 각각의 미리 결정된 하위 영역의 변위의 좌표를 판독하고,
상기 각각의 미리 결정된 하위 영역에 대해 판독된 상기 변위의 좌표에 따라, 상기 픽처의 오버레이에 대한 상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트의 미리 결정된 하위 영역들 각각을 상기 타겟 픽처의 영역 상으로 변위시키도록 구성되는,
디코더. - 제49항에 있어서,
상기 변위기는, 상기 데이터 스트림에 포함된 변위 정보에 따라, 상기 타겟 픽처의 영역 내에서, 상기 변위 정보에 따라 상기 타겟 픽처의 영역으로의 상기 픽처의 왜곡되지 않은 카피에 대해 변위된 상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트 각각을 스케일링함으로써, 상기 픽처에 기초하여 타겟 픽처를 합성하도록 구성되는,
디코더. - 제45항 내지 제50항 중 어느 한 항에 있어서,
상기 변위기는, 상기 픽처의 적어도 하나의 미리 결정된 하위 영역들의 세트 중 어느 것도 상기 변위 정보, 및 적어도 하나의 미리 결정된 하위 영역의 세트가 상기 픽처(204)를 완전히 커버하지 않는 경우 상기 픽처의 어떠한 변위되지 않은 부분에 따라 변위되지 않는 상기 타겟 픽처 영역의 부분을, 상기 데이터 스트림에 포함된 디폴트 충전 정보에 따라 충전하도록 구성되는,
디코더. - 제45항 내지 제51항 중 어느 한 항에 있어서,
상기 디코딩 코어는 상기 데이터 스트림으로부터 픽처들의 시퀀스를 재구성하도록 구성되고, 상기 변위기는 상기 변위 정보를 상기 픽처들의 시퀀스의 픽처들 상에 적용하도록 구성되는,
디코더. - 제45항 내지 제52항 중 어느 한 항에 있어서,
출력 픽처를 형성하기 위해 상기 타겟 픽처 영역 상에 주입 투사를 적용하도록 구성되는 렌더러(238)를 더 포함하는,
디코더. - 제1 픽처로 인코딩된 데이터 스트림(200)을, 상기 제1 픽처의 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처로 인코딩된 감소된 데이터 스트림(232)으로 감소시키도록 구성되는 네트워크 디바이스로서,
상기 데이터 스트림(200)은, 상기 제1 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트에 대해, 적어도 하나의 미리 결정된 하위 영역의 세트의 타겟 픽처 영역으로의 변위되지 않은 카피에 대한, 상기 타겟 픽처 영역(216) 내에서 적어도 하나의 미리 결정된 하위 영역(214)의 세트의 변위(218)를 표시하는 변위 정보(206)를 포함하고,
상기 네트워크 디바이스는 수정된 변위 정보에 따라 변위된 상기 하위 영역-특정 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 상기 하위 영역-특정 픽처가 상기 변위 정보에 따라 변위된 픽처(12)의 적어도 하나의 미리 결정된 하위 영역(214)의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 상기 제1 픽처의 미리 결정된 하위 영역과 상기 타겟 픽처 영역 내에서 일치하도록, 상기 변위 정보(206)를 상기 수정된 변위 정보(206')로 수정하고, 상기 데이터 스트림을 감소시킬 때, 상기 변위 정보를 상기 수정된 변위 정보로 대체하도록 구성되거나, 또는
상기 수정된 변위 정보는 상기 제1 픽처들의 상기 미리 결정된 하위 영역과 연관된 데이터 스트림에 의해 포함되고, 상기 변위 정보는 상기 제1 픽처들과 연관된 상기 데이터 스트림에 의해 포함되고, 상기 네트워크 디바이스는 상기 데이터 스트림을 감소시킬 때 상기 변위 정보를 제거하고, 상기 수정된 변위 정보를 상기 하위 영역-특정 픽처들과 연관되도록 상기 감소된 데이터 스트림에 전달하도록 구성되는,
네트워크 디바이스. - 시간 예측을 사용하여 픽처들(302)의 시퀀스로 인코딩된 비디오 데이터 스트림으로서,
하나 이상의 픽처들의 제1 세트(픽처들 A)는 하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역(A) 내에서 시간 예측을 보류하면서 비디오 데이터 스트림으로 인코딩되고,
하나 이상의 픽처들의 제2 세트(픽처들 B)는 하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 상기 제1 픽처 하위 영역(A)과 상이한 제2 픽처 하위 영역(B) 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제55항에 있어서,
상기 제1 및 상기 제2 하위 영역들은 중첩 없이 서로 접하는,
비디오 데이터 스트림. - 제56항에 있어서,
상기 제1 및 상기 제2 하위 영역들은 상기 비디오 데이터 스트림에서 시그널링(319)되는 픽처들(302)의 시퀀스의 중첩없고 갭업는 파티셔닝을 형성하는,
비디오 데이터 스트림. - 제57항에 있어서,
상기 하나 이상의 픽처들의 제1 세트(픽처들 A)는 하나 이상의 픽처별 랜덤 액세스 포인트들의 세트를 형성하기 위해 완전히 상기 픽처의 영역에 걸쳐 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제55항 내지 제58항 중 어느 한 항에 있어서,
상기 하나 이상의 픽처들의 제2 세트(픽처들 B)는 상기 제2 픽처 하위 영역 외부의 공간 부분에 대한 공간 코딩 의존도를 상기 제2 픽처 하위 영역(B) 내에서 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제55항 내지 제59항 중 어느 한 항에 있어서,
상기 하나 이상의 픽처들의 제2 세트(픽처들 B)를 표시하는 신호화(318)를 더 포함하는,
비디오 데이터 스트림. - 제60항에 있어서,
상기 신호화(318)는, 적어도 부분적으로, 픽처별 랜덤 액세스 포인트들과 하위 영역-특정 랜덤 액세스 포인트들 사이를 구별하는 상기 비디오 데이터 스트림의 픽처 타입 신호화(320)를 통해, 상기 하나 이상의 픽처들의 제2 세트(픽처들 B)를 표시하는,
비디오 데이터 스트림. - 제61항에 있어서,
상기 신호화(318)는, 하위 영역-특정 랜덤 액세스 포인트들이 될 상기 하나 이상의 픽처들의 제2 세트(픽처들 B)를 표시하고 상기 하나 이상의 픽처들의 제2 세트(픽처들 B)를 상기 제2 픽처 하위 영역(B)에 추가로 연관시키는 상기 비디오 데이터 스트림의 상기 픽처 타입 신호화(320)에 의해 상기 하나 이상의 픽처들의 제2 세트(픽처들 B)을 표시하는,
비디오 데이터 스트림. - 제61항 또는 제62항에 있어서,
상기 비디오 데이터 스트림의 상기 픽처 타입 신호화(320)는 상기 비디오 데이터 스트림의 NAL 유닛 헤더들에 포함되는,
비디오 데이터 스트림. - 제55항 내지 제63항 중 어느 한 항에 있어서,
상기 픽처들의 시퀀스에 대해, 상기 제2 픽처 하위 영역(B)의 시간 예측이 상기 제2 픽처 하위 영역 외부에 놓인 픽처들(302)의 픽처 영역에 도달하지 않도록 제한되거나 허용되는 방식으로, 상기 픽처들(302)이 상기 비디오 데이터 스트림에 인코딩되는지 여부를 표시하는 추가적인 신호화(321)를 더 포함하는,
비디오 데이터 스트림. - 제55항 내지 제64항 중 어느 한 항에 있어서,
상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)은, 상기 제2 픽처 하위 영역(B) 외부의 참조 픽처들의 픽처 영역(A)을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역(B) 내에서 시간 예측을 제한하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제55항 내지 제65항 중 어느 한 항에 있어서,
상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)은, 디코딩 순서에서 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)에 대한 상류의 참조 픽처들을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역(B) 내에서 시간 예측을 제한하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제65항 또는 제66항에 있어서,
상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)은, 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 각각 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B) 사이의 임의의 픽처들(317)에 속하는 참조 픽처들의 제2 픽처 하위 영역(B)을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 제한하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 제65항 또는 제66항에 있어서,
상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)은, 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 각각 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B) 사이의 임의의 픽처들(317)에 속하는 참조 픽처들의 제2 픽처 하위 영역(B)을 적어도 부분적으로 참조하는 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 사용하여 상기 비디오 데이터 스트림으로 인코딩되고,
디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A)에 후속하는 픽처들(317')은, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제1 세트 중 상기 후속하는 하나(픽처 A)에 후속하는 픽처들(317') 중 임의의 것에 속하는 선행 참조 픽처들의 제2 픽처 영역(B)을 참조하지 않는 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 제한하면서 상기 비디오 데이터 스트림으로 인코딩되는,
비디오 데이터 스트림. - 시간 예측을 사용하여 픽처들의 시퀀스를 비디오 데이터 스트림으로 인코딩하기 위한 인코더로서,
하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 하나 이상의 픽처들의 제1 세트를 비디오 데이터 스트림으로 인코딩하고,
하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 상기 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 하나 이상의 픽처들의 제2 세트를 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제69항에 있어서,
상기 제1 및 상기 제2 하위 영역은 중첩 없이 서로 접하는,
인코더. - 제70항에 있어서,
상기 제1 및 상기 제2 하위 영역들은 픽처들의 시퀀스(302)의 중첩없고 갭없는 파티셔닝을 형성하고, 상기 인코더는 상기 중첩없고 갭없는 파티셔닝의 신호화(319)를 상기 비디오 데이터 스트림에 제공하도록 구성되는,
인코더. - 제69항에 있어서,
픽처별 랜덤 액세스 포인트들의 세트를 형성하기 위해 완전히 상기 픽처의 영역에 걸쳐 시간 예측을 보류하면서 상기 상기 하나 이상의 픽처들의 제1 세트를 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제69항 내지 제72항 중 어느 한 항에 있어서,
상기 제2 픽처 하위 영역 외부의 공간 부분에 대한 공간 코딩 의존도를 상기 제2 픽처 하위 영역(B) 내에서 보류하면서 상기 하나 이상의 픽처들의 제2 세트를 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제69항 내지 제74항 중 어느 한 항에 있어서,
하나 이상의 픽처들의 제2 세트를 표시하는 신호화를 상기 비디오 데이터 스트림에 삽입하도록 추가로 구성되는,
인코더. - 제69항 내지 제74항 중 어느 한 항에 있어서,
상기 픽처들의 시퀀스에 대해, 상기 제2 픽처 하위 영역(B)의 시간 예측이 상기 제2 픽처 하위 영역 외부에 놓인 픽처들(302)의 픽처 영역에 도달하지 않도록 제한되거나 허용되는 방식으로, 상기 픽처들(302)이 상기 비디오 데이터 스트림에 인코딩되는지 여부를 표시하는 추가적인 신호화(321)를 상기 비디오 데이터 스트림에 삽입하도록 구성되는,
인코더. - 제69항 내지 제75항 중 어느 한 항에 있어서,
상기 인코더는,
상기 제2 픽처 하위 영역 외부의 참조 픽처들의 픽처 영역을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역 내에서 시간 예측을 제한하면서, 상기 하나 이상의 픽처들의 제2 세트 중 하나와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나 사이의 픽처들을 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제69항 내지 제75항 중 어느 한 항에 있어서,
상기 인코더는, 디코딩 순서에서 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)에 대한 상류의 참조 픽처들을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역(B) 내에서 시간 예측을 제한하면서 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)을 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제76항 또는 제77항에 있어서,
상기 인코더는, 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 각각 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B) 사이의 임의의 픽처들(317)에 속하는 참조 픽처들의 제2 픽처 하위 영역(B)을 참조하지 않는 방식으로, 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 제한하면서 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)을 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 제76항 또는 제77항에 있어서,
상기 인코더는,
상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 각각 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B) 사이의 임의의 픽처들(317)에 속하는 참조 픽처들의 제2 픽처 하위 영역(B)을 적어도 부분적으로 참조하는 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 사용하여 상기 하나 이상의 픽처들의 제2 세트 중 하나(픽처 B)와, 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 사이의 픽처들(317)을 상기 비디오 데이터 스트림으로 인코딩하고,
디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A) 및 상기 하나 이상의 픽처들의 제1 세트 중 상기 후속하는 하나(픽처 A)에 후속하는 픽처들 중 임의의 것에 속하는 선행 참조 픽처들의 제2 픽처 영역(B)을 참조하지 않는 상기 제2 픽처 하위 영역(B) 외부의 픽처 영역(A) 내에서 시간 예측을 제한하면서 디코딩 순서의 관점에서, 상기 하나 이상의 픽처들의 제1 세트 중 후속하는 하나(픽처 A)에 후속하는 픽처들을 상기 비디오 데이터 스트림으로 인코딩하도록 구성되는,
인코더. - 시간 예측을 사용하여 픽처들의 시퀀스를 비디오 데이터 스트림으로부터 디코딩하기 위한 디코더로서,
상기 디코더는,
적어도 제1 픽처 하나 이상 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는 하나 이상의 픽처들의 제1 세트에서의 하나 이상의 제1 랜덤 액세스 포인트들의 세트, 및
상기 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는 하나 이상의 픽처들의 제2 세트에서의 하나 이상의 제2 랜덤 액세스 포인트들의 세트
를 사용한 랜덤 액세스를 지원하는,
디코더. - 제80항에 있어서,
현재 픽처가 상기 하나 이상의 픽처들의 제2 세트 중 하나인 경우,
상기 현재 픽처로 시작하는 픽처들의 시퀀스의 디코딩 및/또는 출력을 재개하지만, 상기 픽처들의 시퀀스의 디코딩 및/또는 출력 중 적어도 하나를 상기 제2 픽처 하위 영역으로 예비적으로 제한하도록 구성되는,
디코더. - 제81항에 있어서,
제1 랜덤 액세스 포인트들의 세트 중 하나에 직면할 때 예비적 제한을 중지하도록 구성되는,
디코더. - 제80항에 있어서,
현재 픽처가 상기 하나 이상의 픽처들의 제1 또는 제2 세트들 중 하나인 경우,
상기 현재 픽처로 시작하는 픽처들의 시퀀스를 디코딩하는 것을 재개하지만, 상기 디코딩을 재개한 이후 상기 하나 이상의 픽처들의 세트들 각각 중 하나의 픽처까지 상기 픽처들의 시퀀스의 출력을 제한하도록 구성되고, 하나 이상의 픽처들의 각각의 세트에 대해, 하나 이상의 픽처들의 각각의 세트의 각각의 픽처는, 하나 이상의 픽처들의 각각의 세트에 대해 측정된 픽처 하나 이상 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되고, 상기 하나 이상의 픽처들의 하위 영역들은 서로 상이하고 상기 픽처들의 시퀀스의 픽처 영역을 함께 완전히 커버하는,
디코더. - 제80항 내지 제83항 중 어느 한 항에 있어서,
상기 제1 및 상기 제2 하위 영역은 중첩 없이 서로 접하고, 상기 디코더는, 현재 랜덤 액세스 포인트가 상기 제2 랜덤 액세스 포인트들 중 하나이고 다음 랜덤 액세스 포인트가 상기 제1 액세스 포인트들 중 하나이면, 상기 현재 현재의 랜덤 액세스 포인트와 상기 다음 랜덤 액세스 포인트 사이의 제2 픽처 하위 영역으로 디코딩하는 것 및 상기 제1 픽처 하위 영역을 또한 포함하도록 상기 제2 픽처 하위 영역으로부터 디코딩하는 것을 확장하는 것을 제한하도록 구성되는,
디코더. - 제80항에 있어서,
상기 제1 및 상기 제2 하위 영역들은 픽처들의 시퀀스(302)의 중첩없고 갭없는 파티셔닝을 형성하고, 상기 디코더는 상기 비디오 데이터 스트림에서 신호화(319)로부터 이를 유도하도록 구성되는,
디코더. - 제80항 내지 제83항 중 어느 한 항에 있어서,
상기 하나 이상의 픽처들의 제1 세트를, 하나 이상의 픽처별 랜덤 액세스 포인트들의 세트로서 취급하도록 구성되는,
디코더. - 제80항 내지 제86항 중 어느 한 항에 있어서,
제55항 내지 제68항 중 어느 한 항에 따라 데이터 스트림을 디코딩하도록 구성되는,
디코더. - 제50항 내지 제60항 중 어느 한 항에 따른 시간 예측을 사용하여 픽처들의 시퀀스(302)로 인코딩된 비디오 데이터 스트림을 수신하도록 구성되는 네트워크 디바이스로서,
상기 네트워크 디바이스는, 제2 픽처 하위 영역 외부의 픽처들의 픽처 영역으로 인코딩된 비디오 데이터 스트림의 부분들의 제거, 및 하나 이상의 픽처들의 제2 세트를 하위 영역-특정 랜덤 액세스 포인트들로서 표시하는 비디오 데이터 스트림 내의 정보(318)를, 하나 이상의 픽처들의 제2 세트를 픽처별 랜덤 액세스 픽처들로서 표시하는 픽처 타입 정보(320)로 대체함으로써, 상기 제2 픽처 하위 영역을 나타내는 인코딩된 하위 영역-특정 픽처들(326)을 갖는 감소된 비디오 데이터 스트림을 획득하기 위해 상기 데이터 스트림을 감소시키도록 구성되는,
네트워크 디바이스. - 제1항 내지 제10항, 제33항, 제38항 내지 제44항, 및 제55항 내지 제68항 중 어느 한 항에 따른 데이터 스트림을 저장하는 디지털 저장 매체.
- 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 방법으로서,
코딩 파라미터 설정들(20)을 결정하고, 상기 코딩 파라미터 설정들을 표시하는 비디오 데이터 스트림의 파라미터 세트 부분(16)을 생성하는 단계;
상기 코딩 파라미터 설정들의 제1 세트(20a)를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들을 상기 비디오 데이터 스트림의 페이로드 부분으로 인코딩하는 단계 - 상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들(48)에 의해 인덱싱됨 -;
상기 비디오 데이터 스트림에 정보(50)를 제공하는 단계를 포함하고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들(54), 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들(56)을 포함하고,
상기 코딩 파라미터들의 제2 세트는,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
방법. - 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
상기 비디오 데이터 스트림은,
코딩 파라미터 설정들을 표시하는 파라미터 세트 부분;
상기 코딩 파라미터 설정들의 제1 세트를 사용하여 파라미터화되는 방식으로 상기 비디오의 픽처들이 코딩되는 페이로드 부분을 포함하고,
상기 제1 세트는 상기 페이로드 부분에 의해 포함되는 인덱스들에 의해 인덱싱되고,
상기 방법은,
상기 비디오 데이터 스트림으로부터 정보를 판독(64)하는 단계 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 참조하기 위한 페이로드 부분에 의해 포함되는 인덱스들을 재지향시키기 위한 대체 인덱스들, 및/또는 코딩 파라미터 설정들의 제2 세트를 도출하도록 코딩 파라미터 설정들의 상기 제1 세트를 조정하기 위한 대체 파라미터들을 포함함 -,
상기 비디오 데이터 스트림을,
상기 코딩 파라미터 설정들의 제2 세트가 상기 페이로드 부분의 인덱스들에 의해 인덱싱되도록 상기 재지향(72) 및/또는 조정(88)을 수행하고;
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
수정되는 감소된 비디오 데이터 스트림으로 감소시키는 단계를 포함하여,
상기 감소된 비디오 데이터 스트림은, 코딩 파라미터 설정들의 상기 제2 세트를 사용하여 파라미터화되는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩되는 감소된 페이로드 부분을 갖는,
방법. - 비디오를 비디오 데이터 스트림으로 인코딩하기 위한 방법으로서,
비디오의 픽처들을 비디오 데이터 스트림의 페이로드 부분으로 인코딩하는 단계,
상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 생성하는 단계;
상기 비디오 데이터 스트림에 정보(50)를 제공하는 단계를 포함하고, 상기 정보(50)는,
상기 픽처들(12)의 미리 결정된 하위 영역(22)의 표시, 및
상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함하고,
상기 대체 보충 강화 정보 메시지는,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 방식으로 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
상기 비디오 데이터 스트림에 비해 수정되는 감소된 비디오 데이터 스트림이, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖도록 선택되는,
방법. - 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
상기 비디오 데이터 스트림은,
상기 비디오의 픽처들이 코딩되는 페이로드 부분,
상기 비디오의 픽처들이 상기 페이로드 부분(18)에 코딩되는 방식에 매칭하는 보충 강화 정보를 표시하는 보충 강화 정보 메시지를 포함하고,
상기 방법은
상기 비디오 데이터 스트림으로부터 정보를 판독(64)하는 단계 - 상기 정보는, 상기 픽처들의 미리 결정된 하위 영역의 표시, 및 상기 보충 강화 정보 메시지를 대체하기 위한 대체 보충 강화 정보 메시지를 포함함 -;
상기 비디오 데이터 스트림을,
상기 대체 보충 강화 정보 메시지로 상기 보충 강화 정보 메시지를 대체하고,
상기 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 상기 페이로드 부분의 부분들을 제거(68)하고,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써
수정되는 감소된 비디오 데이터 스트림으로 감소(66)시키는 단계를 포함하여, 상기 감소된 비디오 데이터 스트림은, 상기 하위 영역-특정 픽처들(86)이 상기 감소된 페이로드 부분(18)으로 코딩되는 방식에 매칭하는 대체 보충 강화 정보를 상기 대체 보충 강화 정보 메시지가 표시하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들로 인코딩된 감소된 페이로드 부분을 갖는,
방법. - 비디오 데이터 스트림을 프로세싱하기 위한 방법으로서,
비디오의 픽처들이 코딩되는 페이로드 부분의 프랙션을 포함하는 비디오 데이터 스트림을 수신하는 단계를 포함하고,
상기 프랙션은 상기 픽처들의 미리 결정된 하위 영역 외부의 픽처들의 영역을 참조하는 페이로드 부분의 부분들의 배제에 대응하고, 상기 비디오의 픽처들은,
배제 없이, 상기 비디오 데이터 스트림의 파라미터 세트 부분에서 코딩 파라미터 설정들을 사용하는 파라미터화된 방식으로, 및/또는
배제 없이, 상기 비디오 데이터 스트림의 보충 강화 메시지에 의해 표시된 보충 강화 정보에 매칭하는 방식으로,
상기 페이로드 부분으로 코딩되고,
상기 방법은,
상기 픽처들 대신 상기 미리 결정된 하위 영역의 둘레로부터 측정되는 위치를 표시하고, 상기 코딩 파라미터 설정들을 사용하여 파라미터화되는 및/또는 상기 보충 강화 정보를 조정에 따라 조정된 보충 강화 정보 보충 강화 메시지에 의해 표시되는 보충 강화 정보에 매칭하는 방식으로, 상기 픽처들의 상기 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처들이 인코딩되는 상기 페이로드 부분의 프랙션을 상기 비디오 데이터 스트림이 갖도록, 상기 파라미터 세트 부분에서 상기 코딩 파라미터 설정들을 조정하고 그리고/또는 상기 보충 강화 정보 메시지를 조정하기 위해 상기 페이로드 부분의 위치 표시들을 변경(78)함으로써 상기 비디오 데이터 스트림을 수정하는 단계를 포함하는,
방법. - 인코딩된 픽처를 갖는 데이터 스트림을 디코딩하기 위한 방법으로서,
데이터 스트림으로부터 픽처를 재구성하는 단계; 및
상기 데이터 스트림에 포함된 변위 정보에 따라, 타겟 픽처의 영역 내에서 상기 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트 각각을 변위시킴으로써, 상기 픽처에 기초하여 상기 타겟 픽처를 합성하는 단계를 포함하는,
방법. - 제1 픽처로 인코딩된 데이터 스트림(200)을, 상기 제1 픽처의 미리 결정된 하위 영역을 나타내는 하위 영역-특정 픽처로 인코딩된 감소된 데이터 스트림(232)으로 감소시키기 위한 방법으로서,
상기 데이터 스트림(200)은, 상기 제1 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트에 대해, 적어도 하나의 미리 결정된 하위 영역의 세트의 타겟 픽처 영역으로의 변위되지 않은 카피에 대한, 상기 타겟 픽처 영역(216) 내에서 적어도 하나의 미리 결정된 하위 영역(214)의 세트의 변위(218)를 표시하는 변위 정보(206)를 포함하고,
상기 방법은 수정된 변위 정보에 따라 변위된 상기 하위 영역-특정 픽처의 적어도 하나의 미리 결정된 하위 영역의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 상기 하위 영역-특정 픽처가 상기 변위 정보에 따라 변위된 픽처(12)의 적어도 하나의 미리 결정된 하위 영역(214)의 세트를 갖는 상기 타겟 픽처 영역으로 카피된 상기 제1 픽처의 미리 결정된 하위 영역과 상기 타겟 픽처 영역 내에서 일치하도록, 상기 변위 정보(206)를 상기 수정된 변위 정보(206')로 수정하는 단계, 및 상기 데이터 스트림을 감소시킬 때, 상기 변위 정보를 상기 수정된 변위 정보로 대체하는 단계를 포함하고,
상기 수정된 변위 정보는 상기 제1 픽처들의 상기 미리 결정된 하위 영역과 연관된 데이터 스트림에 의해 포함되고, 상기 변위 정보는 상기 제1 픽처들과 연관된 상기 데이터 스트림에 의해 포함되고, 상기 방법은 상기 데이터 스트림을 감소시킬 때 상기 변위 정보를 제거하는 단계, 및 상기 수정된 변위 정보를 상기 하위 영역-특정 픽처들과 연관되도록 상기 감소된 데이터 스트림에 전달하는 단계를 포함하는,
방법. - 시간 예측을 사용하여 픽처들의 시퀀스를 비디오 데이터 스트림으로 인코딩하기 위한 방법으로서,
하나 이상의 제1 랜덤 액세스 포인트들의 세트를 형성하기 위해 적어도 제1 픽처 하위 영역 내에서 시간 예측을 보류하면서 하나 이상의 픽처들의 제1 세트를 비디오 데이터 스트림으로 인코딩하는 단계, 및
하나 이상의 제2 랜덤 액세스 포인트들의 세트를 형성하기 위해 상기 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 하나 이상의 픽처들의 제2 세트를 비디오 데이터 스트림으로 인코딩하는 단계를 포함하는,
방법. - 시간 예측을 사용하여 픽처들의 시퀀스를 비디오 데이터 스트림으로부터 디코딩하기 위한 방법으로서,
적어도 제1 픽처 하나 이상 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는 하나 이상의 픽처들의 제1 세트에서의 하나 이상의 제1 랜덤 액세스 포인트들의 세트, 및
상기 제1 픽처 하위 영역과 상이한 제2 픽처 하위 영역 내에서 시간 예측을 보류하면서 상기 비디오 데이터 스트림으로 인코딩되는 하나 이상의 픽처들의 제2 세트에서의 하나 이상의 제2 랜덤 액세스 포인트들의 세트
를 사용하여 상기 비디오 데이터 스트림에 랜덤으로 액세스하는 단계를 포함하는,
방법. - 방법으로서,
제55항 내지 제68항 중 어느 한 항에 따른 시간 예측을 사용하여 픽처들의 시퀀스(302)로 인코딩된 비디오 데이터 스트림을 수신하는 단계,
제2 픽처 하위 영역 외부의 픽처들의 픽처 영역으로 인코딩된 비디오 데이터 스트림의 부분들의 제거, 및 하나 이상의 픽처들의 제2 세트를 하위 영역-특정 랜덤 액세스 포인트들로서 표시하는 비디오 데이터 스트림 내의 정보(318)를, 하나 이상의 픽처들의 제2 세트를 픽처별 랜덤 액세스 픽처들로서 표시하는 픽처 타입 정보(320)로 대체함으로써, 상기 제2 픽처 하위 영역을 나타내는 인코딩된 하위 영역-특정 픽처들(326)을 갖는 감소된 비디오 데이터 스트림을 획득하기 위해 상기 데이터 스트림을 감소시키는 단계를 포함하는,
방법. - 컴퓨터 상에서 실행되는 경우 제90항 내지 제99항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247009837A KR20240044535A (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16154947 | 2016-02-09 | ||
| EP16154947.2 | 2016-02-09 | ||
| PCT/EP2017/052769 WO2017137444A1 (en) | 2016-02-09 | 2017-02-08 | Concept for picture/video data streams allowing efficient reducibility or efficient random access |
| KR1020227020781A KR102553812B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227020781A Division KR102553812B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247009837A Division KR20240044535A (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230107713A true KR20230107713A (ko) | 2023-07-17 |
| KR102653128B1 KR102653128B1 (ko) | 2024-04-01 |
Family
ID=55361354
Family Applications (14)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187025989A KR102256855B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217008461A KR102331887B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217008468A KR102301362B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217025013A KR102385126B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217004266A KR102332006B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037646A KR102373060B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037762A KR102373013B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037662A KR102373078B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217038076A KR102433227B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020227020781A KR102553812B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020247009837A KR20240044535A (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020237022832A KR102653128B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217004270A KR102301352B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037643A KR102373046B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Family Applications Before (11)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187025989A KR102256855B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217008461A KR102331887B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217008468A KR102301362B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217025013A KR102385126B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217004266A KR102332006B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037646A KR102373060B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037762A KR102373013B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037662A KR102373078B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217038076A KR102433227B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020227020781A KR102553812B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020247009837A KR20240044535A (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217004270A KR102301352B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
| KR1020217037643A KR102373046B1 (ko) | 2016-02-09 | 2017-02-08 | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Country Status (8)
| Country | Link |
|---|---|
| US (16) | US10743007B2 (ko) |
| EP (1) | EP3414907A1 (ko) |
| JP (11) | JP6784767B2 (ko) |
| KR (14) | KR102256855B1 (ko) |
| CN (21) | CN118784881A (ko) |
| CA (3) | CA3167144C (ko) |
| TW (10) | TWI762207B (ko) |
| WO (1) | WO2017137444A1 (ko) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9264508B2 (en) | 2011-08-19 | 2016-02-16 | Time Warner Cable Enterprises Llc | Apparatus and methods for reduced switching delays in a content distribution network |
| KR20150029592A (ko) * | 2013-09-10 | 2015-03-18 | 주식회사 케이티 | 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치 |
| US10045019B2 (en) * | 2013-10-22 | 2018-08-07 | Kt Corporation | Method and device for encoding/decoding multi-layer video signal |
| KR20150046744A (ko) * | 2013-10-22 | 2015-04-30 | 주식회사 케이티 | 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치 |
| CN105684446B (zh) | 2013-10-29 | 2020-01-07 | 株式会社Kt | 多层视频信号编码/解码方法和装置 |
| US20170026659A1 (en) * | 2015-10-13 | 2017-01-26 | Mediatek Inc. | Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video |
| CN118784881A (zh) | 2016-02-09 | 2024-10-15 | 弗劳恩霍夫应用研究促进协会 | 解码器、编码器、方法、网络设备以及可读存储介质 |
| FI20165114A (fi) * | 2016-02-17 | 2017-08-18 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
| EP3249928A1 (en) * | 2016-05-23 | 2017-11-29 | Thomson Licensing | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices |
| US10652594B2 (en) | 2016-07-07 | 2020-05-12 | Time Warner Cable Enterprises Llc | Apparatus and methods for presentation of key frames in encrypted content |
| WO2018043905A1 (ko) * | 2016-08-29 | 2018-03-08 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| CN109716763A (zh) * | 2016-09-26 | 2019-05-03 | 索尼公司 | 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备 |
| CN110169074B (zh) * | 2017-01-05 | 2021-09-28 | 夏普株式会社 | 用于对虚拟现实应用的mcts进行信令通知的系统和方法 |
| JPWO2018135321A1 (ja) * | 2017-01-19 | 2019-11-07 | ソニー株式会社 | 画像処理装置および方法 |
| US10764575B2 (en) * | 2017-03-03 | 2020-09-01 | Qualcomm Incorporated | Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested |
| KR102277267B1 (ko) * | 2017-03-29 | 2021-07-14 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| US10958948B2 (en) * | 2017-08-29 | 2021-03-23 | Charter Communications Operating, Llc | Apparatus and methods for latency reduction in digital content switching operations |
| CN109963176B (zh) | 2017-12-26 | 2021-12-07 | 中兴通讯股份有限公司 | 视频码流处理方法、装置、网络设备和可读存储介质 |
| US10939142B2 (en) | 2018-02-27 | 2021-03-02 | Charter Communications Operating, Llc | Apparatus and methods for content storage, distribution and security within a content distribution network |
| US11601660B2 (en) * | 2018-03-30 | 2023-03-07 | Hulu, LLC | Reuse of block tree pattern in video compression |
| WO2019243534A1 (en) * | 2018-06-21 | 2019-12-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Tile shuffling for 360 degree video decoding |
| CN112585970B (zh) | 2018-06-21 | 2024-07-09 | 瑞典爱立信有限公司 | 灵活图块分区 |
| MX2020013864A (es) | 2018-06-21 | 2021-03-25 | Ericsson Telefon Ab L M | Particiones de mosaicos con sub-mosaicos en codificacion de video. |
| CN112703734A (zh) * | 2018-09-14 | 2021-04-23 | Vid拓展公司 | 用于灵活网格区域的方法和装置 |
| CN112823525A (zh) | 2018-10-02 | 2021-05-18 | 瑞典爱立信有限公司 | 基于图块组id对图片进行编码和解码 |
| US10880354B2 (en) | 2018-11-28 | 2020-12-29 | Netflix, Inc. | Techniques for encoding a media title while constraining quality variations |
| US11252434B2 (en) | 2018-12-31 | 2022-02-15 | Tencent America LLC | Method for wrap-around padding for omnidirectional media coding |
| JP7404373B2 (ja) * | 2019-01-09 | 2023-12-25 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | ビデオエンコーダ、ビデオデコーダ、および対応する方法 |
| KR20210118183A (ko) * | 2019-02-01 | 2021-09-29 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 서브픽처 또는 영역 단위 랜덤 액세스가 가능한 비디오 코덱 및 이를 이용한 비디오 합성을 위한 개념 |
| MX2021010393A (es) * | 2019-03-01 | 2021-11-12 | Fraunhofer Ges Forschung | Decodificador de referencia hipotetico. |
| WO2020177702A1 (en) * | 2019-03-04 | 2020-09-10 | Beijing Bytedance Network Technology Co., Ltd. | Two-level signaling of filtering information in video processing |
| PL4064706T3 (pl) | 2019-03-11 | 2023-08-21 | Dolby Laboratories Licensing Corporation | Sygnalizowanie informacji związanej z kątem otwarcia migawki |
| CN111684804B (zh) * | 2019-04-30 | 2022-05-13 | 深圳市大疆创新科技有限公司 | 一种数据编码、数据解码方法、设备及存储介质 |
| WO2020263817A1 (en) * | 2019-06-25 | 2020-12-30 | Intel Corporation | Sub-pictures and sub-picture sets with level derivation |
| BR112022000158A2 (pt) * | 2019-07-08 | 2022-02-22 | Huawei Tech Co Ltd | Restrições de imagem de unidade de nal mista em codificação de vídeo |
| KR20220042125A (ko) | 2019-08-10 | 2022-04-04 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 서브픽처 디코딩에서의 버퍼 관리 |
| GB201913403D0 (en) * | 2019-09-17 | 2019-10-30 | Canon Kk | Method and apparatus for encoding and decoding a video stream with subpictures |
| CN112532569B (zh) * | 2019-09-19 | 2022-05-31 | 澜至电子科技（成都）有限公司 | 视频码流保护装置、方法以及存储介质 |
| JP7322290B2 (ja) | 2019-10-02 | 2023-08-07 | 北京字節跳動網絡技術有限公司 | ビデオビットストリームにおけるサブピクチャシグナリングのための構文 |
| JP7482220B2 (ja) | 2019-10-18 | 2024-05-13 | 北京字節跳動網絡技術有限公司 | サブピクチャのパラメータセットシグナリングにおける構文制約 |
| GB2590632B (en) * | 2019-12-20 | 2023-07-26 | Canon Kk | Video coding and decoding |
| US11716474B2 (en) | 2020-01-02 | 2023-08-01 | Samsung Electronics Co., Ltd. | Storage of EVC decoder configuration information |
| CN113382283B (zh) * | 2020-03-09 | 2023-07-04 | 上海哔哩哔哩科技有限公司 | 视频片头识别方法及系统 |
| WO2021252471A1 (en) * | 2020-06-09 | 2021-12-16 | Bytedance Inc. | Handling of supplemental enhancement information in subpicture sub-bitstream extraction process |
| US20240234934A9 (en) | 2021-10-27 | 2024-07-11 | Lg Energy Solution, Ltd. | Battery pack, and energy storage system and vehicle including the same |
| CN114363620B (zh) * | 2021-12-23 | 2024-10-11 | 中山大学 | 一种基于预测块子块位置交换的编码算法和系统 |
| TWI828091B (zh) * | 2022-03-23 | 2024-01-01 | 中華電信股份有限公司 | 全景影像傳輸系統、方法以及電腦程式產品 |
| WO2024136001A1 (ko) * | 2022-12-19 | 2024-06-27 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
| CN115826630B (zh) * | 2023-02-20 | 2023-05-12 | 中国机械总院集团江苏分院有限公司 | 物料盒队列位置交换的控制方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11346370A (ja) * | 1998-06-02 | 1999-12-14 | Matsushita Electric Ind Co Ltd | 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体 |
| US20150341552A1 (en) * | 2014-05-21 | 2015-11-26 | Here Global B.V. | Developing a Panoramic Image |
Family Cites Families (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6141034A (en) | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
| DE69816185T2 (de) | 1997-06-12 | 2004-04-15 | Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto | Bildverarbeitungsverfahren und -vorrichtung |
| EP1410621A1 (en) | 2001-06-28 | 2004-04-21 | Omnivee Inc. | Method and apparatus for control and processing of video images |
| US7058239B2 (en) | 2001-10-29 | 2006-06-06 | Eyesee360, Inc. | System and method for panoramic imaging |
| FI114679B (fi) | 2002-04-29 | 2004-11-30 | Nokia Corp | Satunnaisaloituspisteet videokoodauksessa |
| US7295717B2 (en) | 2002-10-16 | 2007-11-13 | Ecole polytechnique fédérale de Lausanne (EPFL) | Synthesis of superposition images for watches, valuable articles and publicity |
| EP1627533B1 (en) * | 2003-05-02 | 2006-12-27 | Koninklijke Philips Electronics N.V. | Biased motion vector interpolation for reduced video artifacts |
| US7586924B2 (en) * | 2004-02-27 | 2009-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream |
| US7588314B1 (en) | 2004-10-12 | 2009-09-15 | Lev Nisnevich | Image forming device and method using intermittent motion across a work surface |
| CN101160975B (zh) * | 2005-04-14 | 2012-05-30 | 汤姆森特许公司 | 空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置 |
| US7474848B2 (en) | 2005-05-05 | 2009-01-06 | Hewlett-Packard Development Company, L.P. | Method for achieving correct exposure of a panoramic photograph |
| KR20060122663A (ko) * | 2005-05-26 | 2006-11-30 | 엘지전자 주식회사 | 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법 |
| US8134603B2 (en) | 2005-08-12 | 2012-03-13 | Nxp B.V. | Method and system for digital image stabilization |
| US7809211B2 (en) | 2005-11-17 | 2010-10-05 | Upek, Inc. | Image normalization for computed image construction |
| JP4801428B2 (ja) | 2005-11-30 | 2011-10-26 | 株式会社リコー | 画像形成装置及び画像形成方法 |
| WO2008118146A1 (en) * | 2007-03-23 | 2008-10-02 | Thomson Licensing | Modifying a coded bitstream |
| EP2512135B1 (en) | 2007-04-12 | 2015-03-18 | Thomson Licensing | Tiling in video encoding and decoding |
| EP2164263A4 (en) * | 2007-04-27 | 2010-08-18 | Panasonic Corp | DEVICE, SYSTEM AND METHOD FOR IMAGE DECODING AND INTEGRATED CIRCUIT |
| JP4723543B2 (ja) * | 2007-08-10 | 2011-07-13 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| JP2010049313A (ja) * | 2008-08-19 | 2010-03-04 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
| US9357219B2 (en) | 2009-04-08 | 2016-05-31 | Sharp Kabushiki Kaisha | Video encoding apparatus and video decoding apparatus |
| JPWO2010116869A1 (ja) | 2009-04-08 | 2012-10-18 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
| US8745677B2 (en) * | 2009-06-12 | 2014-06-03 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
| EP3703369B1 (en) * | 2010-04-13 | 2024-07-24 | GE Video Compression, LLC | Sample region merging |
| EP3661199A1 (en) | 2010-07-15 | 2020-06-03 | GE Video Compression, LLC | Hybrid video coding supporting intermediate view synthesis |
| US20120195356A1 (en) * | 2011-01-31 | 2012-08-02 | Apple Inc. | Resource usage control for real time video encoding |
| KR20120088488A (ko) | 2011-01-31 | 2012-08-08 | 한국전자통신연구원 | 시간적 움직임 벡터 저장 방법 및 그 장치 |
| JP5191013B2 (ja) * | 2011-03-10 | 2013-04-24 | 株式会社メガチップス | 画像符号化装置及び画像復号化装置 |
| CN103583040B (zh) * | 2011-04-15 | 2017-03-15 | 欧朋软件爱尔兰有限责任公司 | 实时视频检测器 |
| CN102209241B (zh) * | 2011-05-25 | 2013-07-03 | 杭州华三通信技术有限公司 | 一种基于多子图的视频编解码方法及其装置 |
| JP5729237B2 (ja) * | 2011-09-26 | 2015-06-03 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| CN102333221B (zh) * | 2011-10-21 | 2013-09-04 | 北京大学 | 一种全景式背景预测的视频编解码方法 |
| US20130114694A1 (en) * | 2011-11-08 | 2013-05-09 | Qualcomm Incorporated | Parameter set groups for coded video data |
| US9516308B2 (en) * | 2012-04-27 | 2016-12-06 | Qualcomm Incorporated | Parameter set updates in video coding |
| US9736476B2 (en) * | 2012-04-27 | 2017-08-15 | Qualcomm Incorporated | Full random access from clean random access pictures in video coding |
| JP6422011B2 (ja) * | 2012-05-11 | 2018-11-14 | サン パテント トラスト | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
| CN115442623B (zh) * | 2012-06-29 | 2024-08-23 | Ge视频压缩有限责任公司 | 解码视频数据流的方法、存储介质、编码器、解码器 |
| KR20140010823A (ko) * | 2012-07-17 | 2014-01-27 | 삼성전자주식회사 | 영상 데이터 스케일링 방법 및 영상 디스플레이 장치 |
| US20140086328A1 (en) * | 2012-09-25 | 2014-03-27 | Qualcomm Incorporated | Scalable video coding in hevc |
| US9706199B2 (en) * | 2012-09-28 | 2017-07-11 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
| CN105144720B (zh) * | 2013-01-04 | 2018-12-28 | Ge视频压缩有限责任公司 | 高效可伸缩编码概念 |
| US9749627B2 (en) | 2013-04-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Control data for motion-constrained tile set |
| US10250902B2 (en) | 2013-05-24 | 2019-04-02 | Kt Corporation | Method for inducing motion information in multilayer structure and apparatus using same |
| US9832378B2 (en) | 2013-06-06 | 2017-11-28 | Apple Inc. | Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure |
| JP6208993B2 (ja) | 2013-06-28 | 2017-10-04 | ルネサスエレクトロニクス株式会社 | 画像復号装置及び画像復号装置の復号処理方法 |
| US9451254B2 (en) | 2013-07-19 | 2016-09-20 | Qualcomm Incorporated | Disabling intra prediction filtering |
| WO2015056182A2 (en) | 2013-10-15 | 2015-04-23 | Nokia Technologies Oy | Video encoding and decoding |
| GB2519746B (en) * | 2013-10-22 | 2016-12-14 | Canon Kk | Method, device and computer program for encapsulating scalable partitioned timed media data |
| US9648348B2 (en) | 2013-10-23 | 2017-05-09 | Qualcomm Incorporated | Multi-layer video file format designs |
| EP3078195A4 (en) | 2013-12-02 | 2017-08-09 | Nokia Technologies OY | Video encoding and decoding |
| EP3090549A1 (en) | 2014-01-02 | 2016-11-09 | VID SCALE, Inc. | Methods and systems for scalable video coding with mixed interlace and progressive content |
| US9912966B2 (en) * | 2014-01-03 | 2018-03-06 | Nokia Technologies Oy | Parameter set coding |
| EP2894857A1 (en) * | 2014-01-10 | 2015-07-15 | Thomson Licensing | Method and apparatus for encoding image data and method and apparatus for decoding image data |
| US20150264404A1 (en) | 2014-03-17 | 2015-09-17 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
| JP6653860B2 (ja) | 2014-05-26 | 2020-02-26 | シャープ株式会社 | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体 |
| JPWO2015199040A1 (ja) | 2014-06-24 | 2017-04-20 | シャープ株式会社 | Ｄｍｍ予測部、画像復号装置、および画像符号化装置 |
| WO2015197818A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Hevc-tiled video streaming |
| WO2015197815A1 (en) | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
| US9570113B2 (en) | 2014-07-03 | 2017-02-14 | Gopro, Inc. | Automatic generation of video and directional audio from spherical content |
| US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
| US9918105B2 (en) | 2014-10-07 | 2018-03-13 | Qualcomm Incorporated | Intra BC and inter unification |
| US9854237B2 (en) | 2014-10-14 | 2017-12-26 | Qualcomm Incorporated | AMVP and merge candidate list derivation for intra BC and inter prediction unification |
| JP2018050091A (ja) | 2015-02-02 | 2018-03-29 | シャープ株式会社 | 画像復号装置、画像符号化装置および予測ベクトル導出装置 |
| CN107925773B (zh) | 2015-06-11 | 2022-06-07 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
| WO2017026681A1 (ko) | 2015-08-07 | 2017-02-16 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 인터 예측 방법 및 장치 |
| US10282814B2 (en) | 2016-01-07 | 2019-05-07 | Mediatek Inc. | Method and apparatus of image formation and compression of cubic images for 360 degree panorama display |
| CN118784881A (zh) | 2016-02-09 | 2024-10-15 | 弗劳恩霍夫应用研究促进协会 | 解码器、编码器、方法、网络设备以及可读存储介质 |
| US10515429B2 (en) | 2016-07-01 | 2019-12-24 | Digimarc Corporation | Image-based pose determination |
| WO2018174387A1 (ko) | 2017-03-20 | 2018-09-27 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
| CN106993187B (zh) | 2017-04-07 | 2019-09-06 | 珠海全志科技股份有限公司 | 一种可变帧率的编码方法及装置 |
| KR102577599B1 (ko) | 2017-04-13 | 2023-09-12 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 |
| US20200221104A1 (en) | 2017-07-07 | 2020-07-09 | Sharp Kabushiki Kaisha | Systems and methods for signaling a projected region for virtual reality applications |
| WO2019050426A1 (en) | 2017-09-05 | 2019-03-14 | Huawei Technologies Co., Ltd. | METHOD FOR QUICKLY ADAPTING BLOCKS FOR COLLABORATIVE FILTERING IN LOSS VIDEO CODECS |
| WO2019065587A1 (en) | 2017-09-29 | 2019-04-04 | Sharp Kabushiki Kaisha | SYSTEMS AND METHODS FOR SIGNALING INFORMATION ASSOCIATED WITH A CONSTITUTIVE IMAGE |
| US20190297326A1 (en) | 2018-03-21 | 2019-09-26 | Nvidia Corporation | Video prediction using spatially displaced convolution |
-
2017
- 2017-02-08 CN CN202410931101.4A patent/CN118784881A/zh active Pending
- 2017-02-08 KR KR1020187025989A patent/KR102256855B1/ko active IP Right Grant
- 2017-02-08 CN CN202110493006.7A patent/CN113347445B/zh active Active
- 2017-02-08 CN CN202110492831.5A patent/CN113347439B/zh active Active
- 2017-02-08 CN CN202110493007.1A patent/CN113347446B/zh active Active
- 2017-02-08 KR KR1020217008461A patent/KR102331887B1/ko active IP Right Grant
- 2017-02-08 TW TW110106149A patent/TWI762207B/zh active
- 2017-02-08 CA CA3167144A patent/CA3167144C/en active Active
- 2017-02-08 KR KR1020217008468A patent/KR102301362B1/ko active IP Right Grant
- 2017-02-08 KR KR1020217025013A patent/KR102385126B1/ko active IP Right Grant
- 2017-02-08 CN CN202110493099.3A patent/CN113347448A/zh active Pending
- 2017-02-08 JP JP2018541649A patent/JP6784767B2/ja active Active
- 2017-02-08 KR KR1020217004266A patent/KR102332006B1/ko active IP Right Grant
- 2017-02-08 KR KR1020217037646A patent/KR102373060B1/ko active IP Right Grant
- 2017-02-08 CN CN202110492874.3A patent/CN113347441B/zh active Active
- 2017-02-08 CN CN202410928608.4A patent/CN118784876A/zh active Pending
- 2017-02-08 CN CN202410927669.9A patent/CN118784874A/zh active Pending
- 2017-02-08 WO PCT/EP2017/052769 patent/WO2017137444A1/en active Application Filing
- 2017-02-08 KR KR1020217037762A patent/KR102373013B1/ko active IP Right Grant
- 2017-02-08 TW TW110111382A patent/TWI750072B/zh active
- 2017-02-08 TW TW110111381A patent/TWI762260B/zh active
- 2017-02-08 CN CN202110493096.XA patent/CN113347447B/zh active Active
- 2017-02-08 KR KR1020217037662A patent/KR102373078B1/ko active IP Right Grant
- 2017-02-08 TW TW110111378A patent/TWI747775B/zh active
- 2017-02-08 CN CN202410927632.6A patent/CN118784872A/zh active Pending
- 2017-02-08 CA CA3013657A patent/CA3013657C/en active Active
- 2017-02-08 KR KR1020217038076A patent/KR102433227B1/ko active IP Right Grant
- 2017-02-08 CN CN202110492873.9A patent/CN113347440B/zh active Active
- 2017-02-08 CA CA3197905A patent/CA3197905A1/en active Pending
- 2017-02-08 TW TW108117500A patent/TWI736895B/zh active
- 2017-02-08 TW TW106104095A patent/TWI669946B/zh active
- 2017-02-08 CN CN202110492988.8A patent/CN113347444B/zh active Active
- 2017-02-08 KR KR1020227020781A patent/KR102553812B1/ko active Application Filing
- 2017-02-08 CN CN202410927705.1A patent/CN118784875A/zh active Pending
- 2017-02-08 CN CN202410928694.9A patent/CN118784878A/zh active Pending
- 2017-02-08 CN CN202110492957.2A patent/CN113347442B/zh active Active
- 2017-02-08 KR KR1020247009837A patent/KR20240044535A/ko active Search and Examination
- 2017-02-08 KR KR1020237022832A patent/KR102653128B1/ko active IP Right Grant
- 2017-02-08 CN CN202110492958.7A patent/CN113347443B/zh active Active
- 2017-02-08 TW TW110106146A patent/TWI793532B/zh active
- 2017-02-08 TW TW110111379A patent/TWI762259B/zh active
- 2017-02-08 CN CN202410928714.2A patent/CN118784879A/zh active Pending
- 2017-02-08 TW TW110106147A patent/TWI762206B/zh active
- 2017-02-08 KR KR1020217004270A patent/KR102301352B1/ko active IP Right Grant
- 2017-02-08 CN CN202410931060.9A patent/CN118784880A/zh active Pending
- 2017-02-08 KR KR1020217037643A patent/KR102373046B1/ko active IP Right Grant
- 2017-02-08 EP EP17703436.0A patent/EP3414907A1/en active Pending
- 2017-02-08 CN CN202410928622.4A patent/CN118784877A/zh active Pending
- 2017-02-08 TW TW110106151A patent/TWI793533B/zh active
- 2017-02-08 CN CN201780024264.2A patent/CN109076247B/zh active Active
- 2017-02-08 CN CN202410927652.3A patent/CN118784873A/zh active Pending
-
2018
- 2018-08-29 US US16/116,680 patent/US10743007B2/en active Active
- 2018-08-30 US US16/118,146 patent/US10958921B2/en active Active
-
2020
- 2020-10-23 JP JP2020178471A patent/JP7303170B2/ja active Active
- 2020-12-15 US US17/122,753 patent/US11770546B2/en active Active
-
2021
- 2021-03-23 US US17/210,450 patent/US11190785B2/en active Active
- 2021-03-23 US US17/210,456 patent/US11146804B2/en active Active
- 2021-03-23 US US17/210,435 patent/US11089314B2/en active Active
- 2021-03-23 US US17/210,442 patent/US11089315B2/en active Active
- 2021-03-24 US US17/211,748 patent/US11172213B2/en active Active
- 2021-03-24 US US17/211,729 patent/US11212542B2/en active Active
- 2021-03-24 US US17/211,744 patent/US11128877B2/en active Active
- 2021-03-24 US US17/211,703 patent/US11184626B2/en active Active
- 2021-03-24 US US17/211,719 patent/US11122282B2/en active Active
- 2021-09-15 JP JP2021150325A patent/JP7093453B2/ja active Active
- 2021-09-15 JP JP2021150331A patent/JP7295186B2/ja active Active
- 2021-09-15 JP JP2021150338A patent/JP7410101B2/ja active Active
- 2021-09-15 JP JP2021150335A patent/JP7093455B2/ja active Active
- 2021-09-15 JP JP2021150333A patent/JP7152575B2/ja active Active
- 2021-09-15 JP JP2021150330A patent/JP7093454B2/ja active Active
- 2021-09-15 JP JP2021150328A patent/JP7152574B2/ja active Active
- 2021-09-15 JP JP2021150344A patent/JP7303266B2/ja active Active
-
2023
- 2023-07-26 US US18/359,202 patent/US20230412824A1/en active Pending
- 2023-12-21 JP JP2023215659A patent/JP2024038008A/ja active Pending
-
2024
- 2024-05-15 US US18/665,493 patent/US20240305798A1/en active Pending
- 2024-05-16 US US18/665,970 patent/US20240305799A1/en active Pending
- 2024-05-16 US US18/666,025 patent/US20240314341A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11346370A (ja) * | 1998-06-02 | 1999-12-14 | Matsushita Electric Ind Co Ltd | 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体 |
| US20150341552A1 (en) * | 2014-05-21 | 2015-11-26 | Here Global B.V. | Developing a Panoramic Image |
Non-Patent Citations (2)
| Title |
|---|
| C. Auyeung. HLS: Non-significant slice segments with tiles for single layer HEVC extensions. JCT-VC of ITU-T and ISO/IEC. JCTVC-N0269 Ver.2. Jul. 25, 2013, pp.1-4 * |
| G. Ballocca. Requirements for frame-compatible format. ISO/IEC JTC1/SC29/WG11 MPEG2013/M29229 Ver.3, Apr. 24, 2013, pp.1-9 * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102553812B1 (ko) | 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |