KR20220165285A - 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 - Google Patents
향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 Download PDFInfo
- Publication number
- KR20220165285A KR20220165285A KR1020227041493A KR20227041493A KR20220165285A KR 20220165285 A KR20220165285 A KR 20220165285A KR 1020227041493 A KR1020227041493 A KR 1020227041493A KR 20227041493 A KR20227041493 A KR 20227041493A KR 20220165285 A KR20220165285 A KR 20220165285A
- Authority
- KR
- South Korea
- Prior art keywords
- signal
- prediction
- enhancement layer
- base layer
- block
- Prior art date
Links
- 239000010410 layer Substances 0.000 title claims abstract description 1767
- 239000011229 interlayer Substances 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 claims description 193
- 238000001914 filtration Methods 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 40
- 238000012546 transfer Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 438
- 239000013598 vector Substances 0.000 description 148
- 230000002123 temporal effect Effects 0.000 description 99
- 230000011664 signaling Effects 0.000 description 43
- 230000003044 adaptive effect Effects 0.000 description 33
- 230000003595 spectral effect Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 30
- 238000000354 decomposition reaction Methods 0.000 description 27
- 238000000638 solvent extraction Methods 0.000 description 27
- 238000009795 derivation Methods 0.000 description 26
- 230000006872 improvement Effects 0.000 description 26
- 238000009826 distribution Methods 0.000 description 25
- 230000015572 biosynthetic process Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 230000001419 dependent effect Effects 0.000 description 19
- 238000005259 measurement Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 230000012447 hatching Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000002349 favourable effect Effects 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010348 incorporation Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
- H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
복원된 베이스 레이어 신호를 얻기 위해 코딩된 데이터 스트림으로부터 베이스 레이어 신호를 복원하고; 향상 레이어 내부 예측 신호(34)를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분(a portion)을 공간적으로(30) 또는 시간적으로(32) 예측; 및 인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호(200)로부터 얻어지는 인터-레이어 예측 신호(39)의 가중된 평균을, 현재 복원될 부분(28)에서, 형성(41);하는 것을 포함하여 상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원(52)하도록 구성되는 스케일러블 비디오 디코더가 설명된다.
Description
본 발명은 스케일러블 비디오 코딩에 관련된다.
비-스케일러블 코딩에서, 인트라 코딩은 이미 코딩 픽쳐들의 기준 데이터를 이용하지 않고, 오직 현재 픽쳐의 이미 코딩된 부분들의 데이터만을 (예를 들어, 복원된 샘플들, 코딩 모드, 또는 기호 통계들) 이용하는 코딩 기술을 언급한다. 인트라-코딩된 픽쳐들(pictures) (또는 인트라 픽쳐들)은 예를 들어 소위 랜덤 엑세스 포인트들에서 디코더들이 비트스트림으로 튜닝하는 것을 가능하게 하기 위해 방송 비트스트림들에서 이용된다. 인트라 픽쳐들은 또한 에러-취약 환경들에서 에러 전파를 제한하도록 이용된다. 일반적으로, 여기서 기준 픽쳐들로 이용될 수 있는 이용가능한 픽쳐들이 없기 때문에, 코딩된 비디오 시퀀스의 제1픽쳐(first picture)는 인트라 픽쳐로 코딩되어야 한다. 종종, 인트라 픽쳐들(intra pictures)은 시간적 예측이 일반적으로 적합한 예측 신호를 제공할 수 없는 씬 컷(scene cuts)들에서도 이용된다.
게다가, 인트라 코딩 모드들은, 인터 코딩 모드들(inter coding modes)보다 레이트-왜곡 효율(rate-distortion efficiency)의 관점에서 더 잘 수행하는, 소위 인터 픽쳐들(inter pictures)에서 특정 영역들/블록들에 대해서도 이용된다. 이는 시간적 예측들이 다소 안좋게 수행되는 영역 (폐색(occlusions), 부분적으로 디졸브(dissolves) 또는 페이딩(fading) 오브젝트들) 뿐만 아니라 플랫 영역(flat regions)들에서의 경우이기도 하다 .
따라서, 더 높은 코딩 효율을 달성하는 스케일러블 비디오 코딩의 개념을 제공하는 것이 본 발명의 목적이다.
이러한 목적은 첨부된 독립항의 주제에 의해 달성된다.
본 출원의 하나의 관점은 스케일러블 비디오 코딩의 코딩 효율이 베이스 레이어 신호의 공존되는 블록의 인트라 예측 파라미터들을 이용하여 향상 레이어의 현재 블록의 공간적 인접부분에서 손실된 인트라 예측 파라미터 후보들을 대체하는 것에 의해 증가될 수 있다는 것이다. 이러한 방법에 의해, 공간적 인트라 예측 파라미터들을 코딩하기 위한 코딩 효율은 향상 레이어의 인트라 예측 파라미터들의 집합의 향상된 예측 품질 때문에 증가되며, 또는 증가된 가능성을, 더 자세히 언급하면, 향상 레이어의 인트라 예측 블록에 대한 인트라 예측 파라미터들에 대한 적절한 예측기(predictors)들이 이용가능하고 그것에 의해 평균적으로, 더 적은 비트들로 개별 향상 레이어 블록의 인트라 예측 파라미터의 시그널링이 수행될 수 있는 가능성이 증가한다.
바람직한 실시예들은 다음 도면들과 관련하여 더 자세히 아래에서 설명된다.
도 1은 여기서 설명되는 실시예들 및 관점들이 실행될 수 있는 스케일러블 비디오 인코더의 블록 다이어그램을 보여준다;
도 2는 여기서 설명되는 실시예들 및 관점들이 유사하게 실행될 수 있는, 도 1의 스케일러블 비디오 인코더에 맞는 스케일러블 비디오 디코더의 블록 다이어그램을 보여준다;
도 3은 여기서 설명되는 실시예들 및 관점들이 실행될 수 있는 스케일러블 비디오 인코더에 대한 더 특정한 실시예의 블록 다이어그램을 보여준다;
도 4는 여기서 설명되는 실시예들 및 관점들이 유사하게 실행될 수 있는, 도 3의 스케일러블 비디오 인코더에 맞는 스케일러블 비디오 디코더의 블록 다이어그램을 보여준다;
도 5는 코딩/디코딩 순서를 추가적으로 나타내는 동안 비디오 및 그것의 베이스 레이어 및 향상 레이어 버젼들의 개략도를 보여준다;
도 6은 향상 레이어에 대한 가능한 예측 모드들을 도시하기 위한 레이어된(layered) 비디오 신호의 부분의 개략도를 보여준다;
도 7은 향상에 따른 인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 스펙트럼적으로 변하는 가중을 이용하여 향상 레이어 예측 신호의 형성을 보여준다;
도 8은 향상에 따른 향상 레이어 서브스트림 내에 포함될 수 잇는 구문 요소들의 개략도를 보여준다;
도 9는 형성/조합(formation/combination)이 공간적 영역에서 수행되는 실시예에 따른 도 7의 형성의 가능한 실시예를 도시하는 개략도를 보여준다;
도 10은 형성/조합이 스펙트럼 영역에서 수행되는 실시예에 따른 도 7의 형성의 가능한 실시예를 도시하는 개략도를 보여준다;
도 11은 실시예에 따른 베이스 레이어로부터 향상 레이어 신호로의 공간적 인트라 예측 파라미터 유도를 보여주기 위한 레이어된(계층화된, layered) 비디오 신호 분배의 개략도를 보여준다;
도 12는 실시예에 따른 도 11의 유도를 이용하여 도시하는 개략도를 보여준다;
도 13은 실시예에 따라 베이스 레이어로부터 유도되는 것이 삽입되는 공간적 인트라 예측 파라미터 후보들의 집합의 개략도를 보여준다;
도 14는 실시예에 따라 베이스 레이어로부터 예측 파라미터 입도 유도(prediction parameter granularity derivation)를 도시하기 위한 레이어된 비디오 신호의 분배의 개략도를 보여준다;
도 15a 및 b 는 두개의 상이한 예들에 따라 베이스 레이어 내의 베이스 레이어 모션 파라미터들의 공간적 변화를 이용하여 현재 블록에 대한 적절한 세부분할을 선택하는 방법을 개략적으로 보여준다;
도 15c는 현재 향상 레이어 블록에 대한 가능한 서브블록 세부분할들 중에서 가장 거친 것(a coarsest)을 선택하는 첫번째 가능성(제1가능성)을 개략적으로 도시한다;
도 15d는 현재 향상 레이어 블록에 대한 가능한 서브블록 세부분할들 중에서 가장 거칠은 것을 어떻게 선택하는지 두번째 가능성(제2가능성)을 개략적으로 도시한다;
도 16은 실시예에 따라 현재 향상 레이어 블록에 대한 서브블록 세부분할 유도의 이용을 도시하기 위한 레이어된 비디오 신호의 분배를 개략적으로 보여준다;
도 17은 시릿예에 따른 향상 레이어 모션 파라미터 데이터를 효율적으로 코딩하기 위해 베이스 레이어 힌트들의 이용을 도시하기 위한 레이어된 비디오 신호의 분배를 개략적으로 도시한다;
도 18은 향상 레이어 모션 파라미터 신호화의 효율을 향상시키는 첫번째 가능성을 개략적으로 도시한다;
도 19a는 향상 레이어 모션 파라미터 신호화를 더 효율적으로 렌더링하기 위해 베이스 레이어 힌트들(base layer hints)을 어떻게 이용하는지의 두번째 가능성을 개략적으로 도시한다;
도 19b는 향상 레이어 모션 파라미터 후보들의 리스트에 베이스 레이어를 순서대로 전달하는 첫번째 가능성을 도시한다;
도 19c는 향상 레이어 모션 파라미터 후보들의 리스트에 베이스 레이어 순서를 전달하는 두번째 가능성을 도시한다;
도 20은 향상 레이어 모션 파라미터 신호화를 더 효율적으로 렌더링하기 위해 베이스 레이어 힌트들을 이용하는 또다른 가능성을 개략적으로 도시한다;
도 21은 변환 계수 블록의 서브블록 세부분할이 실시예에 따라 베이스 레이어로부터 유도되는 힌트들에 적절히 조정되는 것에 따른 실시예를 도시하기 위해 레이어된 비디오 신호의 분배를 개략적으로 도시한다;
도 22는 베이스 레이어로부터 변환 계수 블록의 적절한 서브블록 세부분할을 어떻게 유도하는지에 대한 상이한 가능성들을 도시한다;
도 23은 여기서 설명되는 관점들 및 실시예들이 실행될 수 있는, 스케일러블 비디오 디코더에 대한 훨씬 더 자세한 실시예의 블록 다이어그램을 보여준다;
도 24는, 여기서 설명된 관점들 및 실시예들이 설명될 수 있는, 도 23의 실시예에 맞는 스케일러블 비디오 인코더의 블록 다이어그램을 보여준다;
도 25는 이미 코딩하는 인접한 블록들의 상이한 신호(EH Diff)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 복원 신호(BL Reco)의 합에 의해 인터-레이어 인트라 예측 신호의 발생을 보여준다;
도 26은 이미 코딩하는 인접 블록들의 복원된 향상 레이어 샘플들 (EH Reco)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 잔류 신호(BL Resi)의 합에 의해 인터-레이어 인트라 예측 신호의 발생을 보여준다;
도 27은 이미 코딩하는 인접 블록들의 복원된 향상 레이어 샘프들(EH Reco)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 복원 신호 (BL Reco)의 주파수-가중된 합에 의해 인터-레이어 인트라 예측 신호의 발생을 도시한다;
도 28은 설명에 이용된 향상 레이어 신호들 및 베이스를 도시한다;
도 29는 향상 레이어의 모션 보상 예측을 도시한다;
도 30은 향상 레이어 복원 및 베이스 레이어 잔류를 이용한 예측을 도시한다;
도 31은 EL 차이 신호 및 BL 복원을 이용하여 예측을 도시한다;
도 32는 EL 차이 신호의 2-가설 및 BL 복원을 이용한 예측을 도시한다;
도 33은 BL 복원 및 EL 복원을 이용한 예측을 도시한다;
도 34는 사각(스퀘어) 블록들 및 대응 쿼드 트리 구조로의 픽쳐의 분해 - 예시를 보여준다;
도 35는 바람직한 실시예에서 서브-블록들로의 허용되는 스퀘어 블록의 분해를 도시한다;
도 36은 모션 벡터 예측기들의 위치를 도시하며, (a)는 공간적 후보들의 위치를 나타내고, (b)는 시간적 후보들의 위치를 나타낸다;
도 37은 블록 병합 알고리즘 (a) 및 공간적 후보들에 대한 수행된 중복(여분) 확인(redundancy check) (b) 를 나타낸다;
도 38은 블록 병합 알고리즘 (a) 및 공간적 후보들에 대한 수행된 여분 확인(redundancy check) (b) 를 나타낸다;
도 39는 4x4 변환 블록들에 대한 스캔 방향들(대각선, 수직, 수평)을 도시한다;
도 40은 8x8 변환 블록들에 대한 스캔 방향들(대각선, 수직, 수평)을 도시한다. 음영진 영역들은 유효 서브-그룹들을 정의한다;
도 41은 16x16 변환들의 도시이며, 오직 대각선 스캔들만이 정의된다;
도 42는 JCTVC-G703 에서 제안된 것처럼 16x16 변환에 대한 수직 스캔을 도시한다;
도 43은 16x16 변환 블록들에 대한 수직 및 수평 스캔들의 실현을 도시한다. 계수 서브그룹은 단일 컬럼 또는 단일 열로, 각각, 정의된다;
도 45는 복원된 베이스 레이어 샘플들 및 인접 복원된 향상 레이어 샘플들을 이용하여 백워드-적응(backwards-adaptive) 향상 레이어 인트라 예측을 도시한다.
도 46은 실시예에 따라 상이한 신호 공간적 보간(interpolation)을 도시하기 위한 향상 레이어 픽쳐/프레임을 개략적으로 보여준다.
도 1은 여기서 설명되는 실시예들 및 관점들이 실행될 수 있는 스케일러블 비디오 인코더의 블록 다이어그램을 보여준다;
도 2는 여기서 설명되는 실시예들 및 관점들이 유사하게 실행될 수 있는, 도 1의 스케일러블 비디오 인코더에 맞는 스케일러블 비디오 디코더의 블록 다이어그램을 보여준다;
도 3은 여기서 설명되는 실시예들 및 관점들이 실행될 수 있는 스케일러블 비디오 인코더에 대한 더 특정한 실시예의 블록 다이어그램을 보여준다;
도 4는 여기서 설명되는 실시예들 및 관점들이 유사하게 실행될 수 있는, 도 3의 스케일러블 비디오 인코더에 맞는 스케일러블 비디오 디코더의 블록 다이어그램을 보여준다;
도 5는 코딩/디코딩 순서를 추가적으로 나타내는 동안 비디오 및 그것의 베이스 레이어 및 향상 레이어 버젼들의 개략도를 보여준다;
도 6은 향상 레이어에 대한 가능한 예측 모드들을 도시하기 위한 레이어된(layered) 비디오 신호의 부분의 개략도를 보여준다;
도 7은 향상에 따른 인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 스펙트럼적으로 변하는 가중을 이용하여 향상 레이어 예측 신호의 형성을 보여준다;
도 8은 향상에 따른 향상 레이어 서브스트림 내에 포함될 수 잇는 구문 요소들의 개략도를 보여준다;
도 9는 형성/조합(formation/combination)이 공간적 영역에서 수행되는 실시예에 따른 도 7의 형성의 가능한 실시예를 도시하는 개략도를 보여준다;
도 10은 형성/조합이 스펙트럼 영역에서 수행되는 실시예에 따른 도 7의 형성의 가능한 실시예를 도시하는 개략도를 보여준다;
도 11은 실시예에 따른 베이스 레이어로부터 향상 레이어 신호로의 공간적 인트라 예측 파라미터 유도를 보여주기 위한 레이어된(계층화된, layered) 비디오 신호 분배의 개략도를 보여준다;
도 12는 실시예에 따른 도 11의 유도를 이용하여 도시하는 개략도를 보여준다;
도 13은 실시예에 따라 베이스 레이어로부터 유도되는 것이 삽입되는 공간적 인트라 예측 파라미터 후보들의 집합의 개략도를 보여준다;
도 14는 실시예에 따라 베이스 레이어로부터 예측 파라미터 입도 유도(prediction parameter granularity derivation)를 도시하기 위한 레이어된 비디오 신호의 분배의 개략도를 보여준다;
도 15a 및 b 는 두개의 상이한 예들에 따라 베이스 레이어 내의 베이스 레이어 모션 파라미터들의 공간적 변화를 이용하여 현재 블록에 대한 적절한 세부분할을 선택하는 방법을 개략적으로 보여준다;
도 15c는 현재 향상 레이어 블록에 대한 가능한 서브블록 세부분할들 중에서 가장 거친 것(a coarsest)을 선택하는 첫번째 가능성(제1가능성)을 개략적으로 도시한다;
도 15d는 현재 향상 레이어 블록에 대한 가능한 서브블록 세부분할들 중에서 가장 거칠은 것을 어떻게 선택하는지 두번째 가능성(제2가능성)을 개략적으로 도시한다;
도 16은 실시예에 따라 현재 향상 레이어 블록에 대한 서브블록 세부분할 유도의 이용을 도시하기 위한 레이어된 비디오 신호의 분배를 개략적으로 보여준다;
도 17은 시릿예에 따른 향상 레이어 모션 파라미터 데이터를 효율적으로 코딩하기 위해 베이스 레이어 힌트들의 이용을 도시하기 위한 레이어된 비디오 신호의 분배를 개략적으로 도시한다;
도 18은 향상 레이어 모션 파라미터 신호화의 효율을 향상시키는 첫번째 가능성을 개략적으로 도시한다;
도 19a는 향상 레이어 모션 파라미터 신호화를 더 효율적으로 렌더링하기 위해 베이스 레이어 힌트들(base layer hints)을 어떻게 이용하는지의 두번째 가능성을 개략적으로 도시한다;
도 19b는 향상 레이어 모션 파라미터 후보들의 리스트에 베이스 레이어를 순서대로 전달하는 첫번째 가능성을 도시한다;
도 19c는 향상 레이어 모션 파라미터 후보들의 리스트에 베이스 레이어 순서를 전달하는 두번째 가능성을 도시한다;
도 20은 향상 레이어 모션 파라미터 신호화를 더 효율적으로 렌더링하기 위해 베이스 레이어 힌트들을 이용하는 또다른 가능성을 개략적으로 도시한다;
도 21은 변환 계수 블록의 서브블록 세부분할이 실시예에 따라 베이스 레이어로부터 유도되는 힌트들에 적절히 조정되는 것에 따른 실시예를 도시하기 위해 레이어된 비디오 신호의 분배를 개략적으로 도시한다;
도 22는 베이스 레이어로부터 변환 계수 블록의 적절한 서브블록 세부분할을 어떻게 유도하는지에 대한 상이한 가능성들을 도시한다;
도 23은 여기서 설명되는 관점들 및 실시예들이 실행될 수 있는, 스케일러블 비디오 디코더에 대한 훨씬 더 자세한 실시예의 블록 다이어그램을 보여준다;
도 24는, 여기서 설명된 관점들 및 실시예들이 설명될 수 있는, 도 23의 실시예에 맞는 스케일러블 비디오 인코더의 블록 다이어그램을 보여준다;
도 25는 이미 코딩하는 인접한 블록들의 상이한 신호(EH Diff)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 복원 신호(BL Reco)의 합에 의해 인터-레이어 인트라 예측 신호의 발생을 보여준다;
도 26은 이미 코딩하는 인접 블록들의 복원된 향상 레이어 샘플들 (EH Reco)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 잔류 신호(BL Resi)의 합에 의해 인터-레이어 인트라 예측 신호의 발생을 보여준다;
도 27은 이미 코딩하는 인접 블록들의 복원된 향상 레이어 샘프들(EH Reco)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 복원 신호 (BL Reco)의 주파수-가중된 합에 의해 인터-레이어 인트라 예측 신호의 발생을 도시한다;
도 28은 설명에 이용된 향상 레이어 신호들 및 베이스를 도시한다;
도 29는 향상 레이어의 모션 보상 예측을 도시한다;
도 30은 향상 레이어 복원 및 베이스 레이어 잔류를 이용한 예측을 도시한다;
도 31은 EL 차이 신호 및 BL 복원을 이용하여 예측을 도시한다;
도 32는 EL 차이 신호의 2-가설 및 BL 복원을 이용한 예측을 도시한다;
도 33은 BL 복원 및 EL 복원을 이용한 예측을 도시한다;
도 34는 사각(스퀘어) 블록들 및 대응 쿼드 트리 구조로의 픽쳐의 분해 - 예시를 보여준다;
도 35는 바람직한 실시예에서 서브-블록들로의 허용되는 스퀘어 블록의 분해를 도시한다;
도 36은 모션 벡터 예측기들의 위치를 도시하며, (a)는 공간적 후보들의 위치를 나타내고, (b)는 시간적 후보들의 위치를 나타낸다;
도 37은 블록 병합 알고리즘 (a) 및 공간적 후보들에 대한 수행된 중복(여분) 확인(redundancy check) (b) 를 나타낸다;
도 38은 블록 병합 알고리즘 (a) 및 공간적 후보들에 대한 수행된 여분 확인(redundancy check) (b) 를 나타낸다;
도 39는 4x4 변환 블록들에 대한 스캔 방향들(대각선, 수직, 수평)을 도시한다;
도 40은 8x8 변환 블록들에 대한 스캔 방향들(대각선, 수직, 수평)을 도시한다. 음영진 영역들은 유효 서브-그룹들을 정의한다;
도 41은 16x16 변환들의 도시이며, 오직 대각선 스캔들만이 정의된다;
도 42는 JCTVC-G703 에서 제안된 것처럼 16x16 변환에 대한 수직 스캔을 도시한다;
도 43은 16x16 변환 블록들에 대한 수직 및 수평 스캔들의 실현을 도시한다. 계수 서브그룹은 단일 컬럼 또는 단일 열로, 각각, 정의된다;
도 45는 복원된 베이스 레이어 샘플들 및 인접 복원된 향상 레이어 샘플들을 이용하여 백워드-적응(backwards-adaptive) 향상 레이어 인트라 예측을 도시한다.
도 46은 실시예에 따라 상이한 신호 공간적 보간(interpolation)을 도시하기 위한 향상 레이어 픽쳐/프레임을 개략적으로 보여준다.
스케일러블 코딩에서(scalable coding), 인트라 코딩(인트라 픽쳐들의 코딩 및 인터 픽쳐들에서 인트라 블록들의 코딩)의 개념은 동일 엑세스 유닛(same access unit) 또는 시간 인스턴트(time instant)에 속하는 모든 픽쳐들로 확장될 수 있다. 그래서 공간적 또는 품질 향상 레이어에 대한 인트라 코딩 모드들은 코딩 효율을 증가시키기 위해 동일 시간 인스턴트에서 더 낮은 레이어 픽쳐로부터 인터-레이어 예측(inter-layer prediction)을 이용할 수도 있다. 그것은 현재 향상 레이어 픽쳐 내부에 이미 코딩된 부분들만이 아니라, 동일 시간 인스턴트에서 이미 코딩된 더 낮은 레이어 픽쳐들 또한 이용될 수 있다는 것을 의미한다. 후자의 개념은 인터-레이어 인트라 예측(inter-layer intra prediction)으로도 언급된다.
(H.264/AVC 또는 HEVC 처럼) 최신 하이브리드 비디오 코딩 기준들에서, 비디오 시퀀스의 픽쳐들은 샘플들의 블록들로 분할된다. 블록 크기는 고정되거나 또는 코딩 접근법(approach)은 블록들이 더 낮은 블록 크기들을 갖는 블록들로 더 세부분할(subdivided)되는 것을 가능하게 하는 계층 구조를 제공할 수 있다. 블록의 복원은 블록에 대한 예측 신호를 발생시키고 전송되는 잔류 신호를 더하는 것에 의해 일반적으로 얻어진다. 잔류 신호는 변환 코딩(transform coding)을 이용하여 일반적으로 전송되고, 이는 (변환 계수 레벨로도 언급되는) 변환 계수들의 양자화 지수들이 엔트로피 코딩 기술들을 이용하여 전송된다는 것을 의미하며, 디코더 측면에서, 이러한 전송된 변환 계수 레벨들은 예측 신호에 더해지는 잔류 신호를 얻기 위해 스케일링되고(scaled) 역변환된다(inverse transformed). 잔류 신호는 (현재 시간 인스턴트에 대해 이미 전송된 데이터만을 이용하는) 인트라 예측에 의해 또는 (상이한 시간 인스턴트에 대해 이미 전송된 데이터를 이용하는) 인터 예측에 의해 발생된다.
인터 예측(inter prediction)이 이용되는 경우,예측 블록은 이미 복원된 프레임들의 샘플들을 이용하여 모션-보상 예측(motion-compensated prediction)에 의해 유도된다. 이는 (모션 파라미터들의 하나의 집합 및 하나의 기준 픽쳐를 이용하는) 단일방향 예측에 의해 수행될 수 있거나, 또는 예측 신호가 멀티-추정 예측(multi-hypothesis prediction)에 의해 발생될 수 있다. 후자의 경우에, 두개 이상의 예측 신호들은 중첩되고, 즉 예를 들어, 가중 평균(weighted average)이 최종 예측 신호를 형성하도록 구성된다. (중첩되는) 다중 예측 신호들은 상이한 추정들에 대한 상이한 모션 파라미터들 (예를 들어, 상이한 기준 픽쳐들 또는 모션 벡터들)을 이용하여 발생될 수 있다. 단일 방향 예측을 위해, 최종 예측 신호를 형성하기 위해 일정한 오프셋(보상값, offset)을 더하고 일정한 인수를 갖는 모션-보셩 예측 신호의 샘플들을 곱하는 것도 가능하다. 그러한 스케일링 및 오프셋 수정은 멀티-추정 예측에서 모든 또는 선택된 추정에 대해 이용될 수도 있다.
현재 최신 비디오 코딩 기술들에서, 블록에 대한 인트라 예측 신호는 현재 블록의 (블록 처리 순서에 따른 현재 블록 이전에 복원된) 공간적 인접성(spatial neighborhood)으로부터 예측 샘플들에 의해 얻어진다. 가장 최근 기준에서 다양한 예측 방법들이 공간적 영역에서 예측을 수행하는데 활용된다. 인접 블록들의 필터링되는 또는 단일 필터링되는 샘플들이 예측 신호를 발생시키기 위한 특정 각도에서 확장되는 미세-입자 방향 예측이 있다. 게다가, 플랫 예측 평면들 또는 DC 예측 블록들을 발생시키기 위한 인접 블록 샘플들을 이용하는 평면-기반 및 DC-기반 예측 모드들이 있다.
오래된 비디오 코딩 기준들(예를 들어, H.263, MPEG-4)에서 인트라 예측은 변환 영역(transform domain)에서 수행되었다. 이러한 경우에 전송되는 계수들은 역으로 양자화되었다. 그리고 변환 계수들에 대해, 변환 계수 값은 인접 블록의 대응하는 복원된 변환 계수를 이용하여 예측되었다. 역으로 양자화된 변환 계수들은 예측된 변환 계수 값들에 더해졌고, 복원된 변환 계수들은 역 변환에 대해 입력으로 이용되었다. 역 변환의 출력은 블록에 대해 최종 복원된 신호를 형성하였다.
스케일러블 비디오 코딩에서 베이스 레이어 정보는 향상 레이어에 대해 예측 프로세스를 지지하도록 활용될 수 있다. H.264/AVC의 SVC 확장, 스케일러블 코딩에 대한 최신 비디오 코딩 기준에서, 향상 레이어에서 인트라 예측의 코딩 효율을 향상시키기 위한 하나의 추가적인 모드가 있다. 이러한 모드는 더 낮은 레이어에서 공존되는 샘플들이 인트라 예측 모드를 이용하여 코딩되는 경우에만 지지된다. 이러한 모드가 품질 향상 레이어에서 매크로블록에 대해 선택되는 경우, 예측 신호는 블록분리 필터 작업(디블록킹 필터 작업, deblocking filter operation) 전에 복원된 더 낮은 레이어 신호의 공존되는 샘플들에 의해 구성된다. 만약 인터-레이어 인트라 예측 모드가 공간적 향상 레이어에서 선택되는 경우, 예측 신호는 (블록분리 필터 작업 후에) 공존되는 복원된 베이스 레이어 신호를 업샘플링(upsampling)하는 것에 의해 발생된다. 업샘플링에 대해, FIR 필터들이 이용된다. 일반적으로, 인터-레이어 인트라 예측 모드에 대해, 추가 잔류 신호는 변환 코딩에 의해 전송된다. 잔류 신호의 전송은 비트스트림에서 대응하여 시그널링되는 경우 생략될 수도 있다 (0과 동일하게 추정된다). 최종 복원 신호는 예측 신호에 (전송된 변환 계수 레벨들을 스케일링하고 역 공간적 변환을 적용하여 얻어지는) 복원된 잔류 신호를 더하는 것에 의해 얻어진다.
그러나, 스케일러블 비디오 코딩에서 더 높은 코딩 효율을 달성할 수 있는 것이 바람직할 것이다.
따라서, 더 높은 코딩 효율을 달성하는 스케일러블 비디오 코딩의 개념을 제공하는 것이 본 발명의 목적이다.
이러한 목적은 첨부된 독립항의 주제에 의해 달성된다.
본 출원의 하나의 관점은 스케일러블 비디오 코딩에서 향상 레이어 신호를 예측적으로 코딩하기 위한 더 나은 예측기(predictor)가 인터-레이어 예측 신호로부터의 향상 레이어 예측 신호 그리고 상이한 공간적 주파수 구성요소들에 대해 상이한 방식으로 가중된 향상 레이어 내부 예측 신호를 형성하는 것에 의해 달성될 수 있다는 것이고, 즉, 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호가 향상 레이어 예측 신호에 기여하는 가중치가 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록 향상 레이어 예측 신호를 얻기 위해 현재 복원될 부분에서 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호의 가중된 평균(weighted average)을 형성하는 것에 의해 달성될 수 있다는 것이다. 이러한 방식에 의해, 개별 기여 구성요소들, 즉, 한편으로 인터 레이어 예측 신호 및 다른 한편으로 향상 레이어 내부 예측 신호,의 스펙트럼 특징들에 관해 최적화되는 방식으로 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호로부터 향상 레이어 예측 신호를 구성하는 것이 실현 가능하다. 예를 들어, 인터-레이어 예측 신호가 복원된 베이스 레이어 신호로부터 얻어지는 해상도 또는 품질 개선 덕분에, 인터-레이어 예측 신호는 고주파수들과 비교하여 더 낮은 주파수들(저주파수)에서 더 정확할 수 있다. 향상 레이어 내부 예측 신호가 관련되는 한, 그것의 특징은 반대일 수 있고, 즉 그것의 정확성은 저주파수들과 비교하여 고주파수들에 대해 증가될 수 있다. 이러한 예에서, 향상 레이어 예측 신호에 대한 인터-레이어 예측 신호의 기여는, 개별 가중(respective weighting)에 의해, 저주파수에서 향상 레이어 예측 신호에 대한 향상 레이어 내부 예측 신호의 기여를 초과해야 하며 고주파수에 관련되는 한 향상 레이어 예측 신호에 대한 향상 레이어 내부 예측 신호의 기여를 일정 수준 이하로 한다. 이러한 방식에 의해, 더 정확한 향상 레이어 예측 신호가 달성되며, 그에 의해 더 높은 압축율을 도출하며 코딩 효율을 증가시킨다.
다양한 실시예들에 의해, 상이한 가능성들이 서술된 개념을 어떠한 스케일러블 비디오 코딩 기반 개념으로 구축하도록 설명된다. 예를 들어, 가중된 평균의 형성은 공간적 영역 또는 변환 영역에서 각각 형성될 수 있다. 스펙트럼적으로 가중된 평균의 수행은 개별 기여들, 즉 인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호,에서 수행되는 변환들을 필요로 하지만, 예를 들어 공간적 영역이 관여하는, 예를 들어, FIR 또는 IIR 필터링같은, 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호 중 어느 것을 스펙트럼적으로 필터링하는 것을 피한다. 그러나, 공간적 영역에서 스펙트럼적으로 가중된 평균의 형성을 수행하는 것은 변환 영역을 통해 가중된 평균에 개별 기여들(individual contributions)의 우회를 피하는 것이다. 어떠한 영역이 스펙트럼적으로 가중된 평균의 형성을 수행하는데 실제로 선택되는지에 관한 결정은 스케일러블 비디오 데이터 스트림이, 향상 레이어 신호에서 현재 구축될 부분에 대해, 변환 계수들의 형태로 잔류 신호를 포함하느냐 아니냐에 의존할 수 있다: 그렇지 않다면, 변환 영역을 통한 우회가 중단될 수 있고, 반면 존재하는 잔류 신호의 경우에, 변환 영역을 통한 우회는, 변환 영역에서 전송된 잔류 신호가 변환 영역에서 스펙트럼적으로 가중된 평균에 더해지는 것을, 직접, 가능하게 하기 때문에 훨씬 더 유리하다.
본 출원의 하나의 관점은, 베이스 레이어를 코딩/디코딩하는 것으로부터 이용가능한 정보, 즉 베이스-레이어 힌트들(base-layer hints),이 향상 레이어 모션 파라미터들을 더 효율적으로 코딩하는 것에 의해 향상 레이어의 모션-보상 예측을 더 효율적으로 렌더링(render)하는데 이용될 수 있다는 것이다. 특히, 향상 레이어 신호의 프레임의 이미 복원된 인접 블록들로부터 수집되는 모션 파라미터 후보들(motion parameter candidates)의 집합은 향상 레이어 신호의 프레임의 블록에 공존되는, 베이스 레이어 신호의 블록의 하나 이상의 베이스 레이어 모션 파라미터들의 집합에 의해 확대될 수 있고, 그것에 의해 향상 레이어 신호의 블록의 모션 보상 예측이 예측을 위해 선택된 모션 파라미터 후보를 이용하고 확장된 모션 파라미터 후보 집합의 모션 파라미터 후보들 중 하나를 선택하는 것에 의해 수행될 수 있는 것에 기반하는 모션 파라미터 후보 집합의 이용가능한 품질을 향상시킬 수 있다. 추가적으로 또는 대안적으로, 향상 레이어 신호의 모션 파라미터 후보 리스트는 베이스 레이어를 코딩/디코딩 하는데 관련되는 베이스 레이어 모션 파라미터들에 의존하여 정렬될 수 있다. 이러한 방법에 의하여, 예를 들어, 엔트로피 코딩을 이용하는 것 같이, 예를 들어, 분명하게 시그널링되는 인덱스 구문 요소가 더 적은 비트들을 이용하여 코딩될 수 있도록, 정렬된 모션 파라미터 후보 리스트로부터 향상 레이어 모션 파라미터를 선택하기 위한 개연성 분포가 밀집된다. 더 나아가, 추가적으로 또는 대안적으로, 베이스 레이어를 코딩/디코딩하는데 이용되는 인덱스(index)는 향상 레이어에 대한 모션 파라미터 후보 리스트로 인덱스를 결정하기 위한 기반으로(as a basis) 기능할 수 있다. 이러한 방식에 의해, 향상 레이어에 대한 인덱스의 어떠한 시그널링은 완전히 피해질 수 있고, 또는 단지 인덱스에 대해 결정된 예측의 편차는 향상 레이어 서브스트림(substream) 내에서 전송될 수 있고, 그래서 코딩 효율을 향상시킨다.
본 출원의 하나의 측면은 스케일러블 비디오 코딩이, 베이스 레이어 신호를 넘어 베이스 레이어 코딩 파라미터들의 공간적 변화를 측정하는 것에 의해 향상 레이어 블록의 가능한 서브블록(subblock) 세부분할들(서브디비젼, subdivisions)의집합 중에서, 향상 레이어 예측에 대해 이용될 서브블록 세부분할을 유도/선택하여 더 효율적으로 렌더링될 수 있다 것이다. 이러한 방식에 의해, 더 적은 신호화 오버헤드(signalization overhead)이 향상 레이어 데이터 스트림 내에서 이러한 서브블록 세부분할을 시그널링하는데 소비되어야 한다. 그래서 선택되는 서브블록 세부분할은 향상 레이어 신호를 예측적으로(predictively) 코딩/디코딩하는데 이용될 수 있다.
본 출원의 하나의 측면은 향상 레이어의 변환 계수 블록들의 서브블록-기반 코딩이 개별 변환 계수 블록의 서브블록 세부분할이 베이스 레이어 잔류 신호 또는 베이스 레이어 신호에 기반하여 제어되는 경우 향상 레이어의 변환 계수 블록들의 서브블록-기반 코딩이 더 효율적으로 렌더링될 수 있다는 것이다. 특히, 개별 베이스 레이어 힌트(respective base layer hint)를 이용하여, 서브블록들은 베이스 레이어 신호 또는 베이스 레이어 잔류 신호로부터 관측가능한 모서리(엣지, edge) 확장을 가로지르는 공간적 주파수 축을 따라 더 길게 형성될 수 있다. 이러한 방식에 의해, 감소된 개연성에서 어떠한 서브블록은 한편으로 중요 변환 계수들의 유사한 숫자 및 다른 한편으로 상당하지 않은 변환 계수들을 가지는 반면, 증가된 개연성에서, 각 서브블록은 유효(significant), 즉 변환 계수들이 0으로 양자화되지 않은, 또는 덜 유효한(insignificant) 변환 계수들, 즉 오직 0으로 양자화된 변환 계수들,로 거의 완전히 채워질 수 있는 그러한 방식으로 향상 레이어 변환 계수 블록의 변환 계수들의 에너지의 추정된 분포로 서브블록들의 형태를 적응시키는 것이 실현가능하다. 그러나, 유효 변환 계수를 갖지 않는 서브블록들은, 단지 하나의 플래그의 이용에 의한 것처럼, 데이터 스트림 내에서 효율적으로 시그널링될 수 있고, 유효 변환 계수들로 거의 완전히 가득찬 서브블록들은, 거기에 배치될 수 있다는 사실 때문에, 덜 유효한 변환 계수들을 코딩하는데 신호화 양의 낭비를 필요로 하지 않으며, 향상 레이어의 변환 계수 블록들을 코딩하기 위한 코딩 효율이 증가된다.
더 유리한 실행들은 종속항들에서 설명된다.
도 1은 아래에서 설명된 실시예들에 구비될 수 있는 스케일러블 비디오 인코더에 대한 실시예를 일반적인 방법으로 보여준다. 도 1의 스케일러블 비디오 인코더는 도면 부호(2)를 이용하여 일반적으로 표시되고 인코딩될 비디오(4)를 수신한다. 스케일러블 비디오 인코더(2)는 스케일러블 방식으로 데이터 스트림(6)에 비디오(4)를 인코딩하도록 구성된다. 그것은, 데이터 스트림(6)은 제1정보 컨텐츠 양에 인코딩되는 비디오(4)를 갖는 제1부분(first portion, 6a)을 포함하며, 부분(6a) 중 하나 보다 더 큰 정보 컨텐츠 양에서 인코딩되는 비디오(4)를 갖는 추가 부분(6b)을 포함한다. 부분들 (6a 및 6b)의 정보 컨텐츠 양은, 예를 들어, 품질 및 충실도(fidelity)에서, 즉, 원래 비디오(4)로부터의 픽셀-단위 편차량에서, 및/또는 공간적 해상도에서 다를 수 있다. 그러나, 정보 컨텐츠 양의 차이들의 다른 형태들은, 예를 들어, 컬러 충실도 또는 유사한 것들처럼 적용할 수도 있다. 부분(6b)가 취소된 향상 레이어 데이터 스트림 또는 향상 레이어 서브스트림일 수 있는 반면 부분(6a)은 취소된 베이스 레이어 데이터 스트림 또는 베이스 레이어 서브스트림일 수 있다.
스케일러블 비디오 인코더(Scalable video encoder, 2)는, 각각, 한편으로는 향상 레이어 서브스트림(6b) 없이 다른 한편으로는 서브스트림(6a 및 6b) 양쪽 다 없이 베이스 레이어 서브스트림(6a)로부터 복원간으한 비디오(4)의 버젼들(versions, 8a 및 8b) 사이의 여분들(redundancies)을 이용하도록 구성된다. 그렇게 하기 위해, 스케일러블 비디오 인코더(2)는 인터-레이어 예측을 이용할 수 있다.
도 1에서 보여지는 것처럼, 스케일러블 비디오 인코더(2)는 비디오(4)의 두개의 버젼들(4a 및 4b)를 교대로 수신할 수 있고, 두개의 버젼들은 베이스 레이어 및 향상 레이어 서브스트림들(6a 및 6b)이 그러는 것처럼 정보 컨텐츠의 양에서 서로 다르다. 그래서, 예를 들면, 스케일러블 비디오 인코더(2)는 베이스 레이어 서브스트림(6a)가 거기에 인코딩되는 버젼들(4a)를 가지는 것처럼 서브스트림(6a 및 6b)를 발생시키도록 구성될 것이며, 반면 향상 레이어 데이터 스트림(6b)는, 베이스 레이어 서브스트림(6b)에 기반한 인터-레이어 예측을 이용하여, 버젼(4b)에 인코딩된다. 서브스트림들(6a 및 6b)의 인코딩 양쪽 모두는 손실될 수 있다.
스케일러블 비디오 인코더(2)가 단지 비디오(4)의 원래 버젼을 수신한다 하더라도, 예를 들어 마치 높은 비트 깊이(bit depth)로부터 낮은 비트 깊이로의 공간적 다운-스케일링(spatial down-scaling) 및/또는 톤 맵핑(tone mapping)에 의해 베이스 레이어 버젼(4a)를 얻는 것에 의해, 동일한 것이 두개의 버젼들(4a 및 4b)로부터 내부적으로 유도되도록 구성된다.
도 2는 다음에 설명된 실시예들 중 어느 것과 협력하는데 적합한, 동일한 방식으로, 도 1의 스케일러블 비디오 인코더에 적합한 스케일러블 비디오 디코더를 보여준다. 도 2의 스케일러블 비디오 디코더는 도면 부호(10)을 이용하여 일반적으로 표시되며 데이터 스트림(6)의 양쪽 부분들(6a 및 6b)가 온전한 방식으로, 스케일러블 비디오 디코더(10)에 도착하는 경우 비디오의 향상 레이어 버젼(8b)으로부터, 또는 예를 들어, 부분(6b)이 전송 손실 또는 유사한 것들로 인해 이용가능하지 않은 경우 베이스 레이어 버젼(8a)로부터 복원하기 위해 코딩된 데이터 스트림(6)을 디코딩하도록 구성된다. 그것은, 스케일러블 비디오 디코더(10)는, 동일한 것이 단지 베이스 레이어 서브스트림(6a)로부터 버젼(8a)를 복원할 수 있도록, 그리고 인터-레이어 예측을 이용하여 양쪽 부분들(6a 및 6b)로부터 버젼(8b)을 복원할 수 있도록 구성된다.
아래 더 자세한 내용에서 본 출원의 실시예들의 세부내용을 설명하기 전에, 즉 실시예가 도 1 및 도 2의 실시예들이 어떻게 더 구체적으로 실현되는지를 보여주기 전에, 도 1 및 2의 스케일러블 비디오 인코더 및 디코더의 더 자세한 실행들이 도 3 및 4에 관해 설명된다. 도 3은 멀티플렉서(16) 및 향상 레이어 코더(14), 베이스 레이어 코더(12)를 포함하는 스케일러블 비디오(2)를 보여준다. 베이스 레이어 코더(12)는 인바운드 비디오(inbound video)의 베이스 레이어 버젼(4a)를 인코딩하도록 구성되며, 반면 향상 레이어 코더(14)는 비디오의 향상 레이어 버젼(4b)를 인코딩하도록 구성된다. 따라서, 멀티플렉서(16)은 향상 레이어 코더(14)로부터 향상 레이어 서브스트림(6b) 및 베이스 레이어 코더(12)로부터 베이스 레이어 서브스트림(6a)을 수신하며 둘다 그것의 출력에서 코딩된 데이터 스트림(6)으로 멀티플렉싱(다중화, multiplexes)한다.
도 3에서 보여지는 것처럼, 양쪽 코더들(12 및 14)는, 예를 들어, 개별 인바운드 버젼(4a 및 4b)을 각각 개별 서브스트림들(6a 및 6b)로 인코딩하기 위해 공간적 및/또는 시간적 예측을 이용하는 예측 코더들일 수 있다. 특히, 코더들(12 및 14)은 각각, 하이브리드 비디오 블록 코더들일 수 있다. 그것은, 코더들(12 및 14)의 각각 하나는 블록-별 기반(block-by-block basis)으로, 예를 들어, 개별 비디오 버젼(4a 및 4b)의 프레임들 또는 픽쳐들이, 각각, 세부분할되는, 블록들의 각 블록에 대한 상이한 예측 모드들 사이의 선택 동안 비디오의 개별 인바운드 버젼을 인코딩하도록 구성될 수 있다. 베이스 레이어 코더(12)의 상이한 예측 모드들은 공간적 및/또는 시간적 예측 모드들을 포함할 수 있고, 반면 향상 레이어 코더(14)는 추가적으로 인터-레이어 예측 모드를 지원할 수 있다. 블록들로의 세부분할(서브디비젼, subdivision)은베이스 레이어 및 향상 레이어 사이에서 상이할 수 있다. 예측 모드들, 다양한 블록들에 대해 선택된 예측 모드들에 대한 예측 파라미터들, 예측 잔류 및, 선택적으로, 개별 비디오 버젼의 블록 세부분할은, 차례로, 엔트로피 코딩을 이용하여 개별 서브스트림(6a, 6b)로 코딩될 수 있는, 구문 요소들을 포함하여 개별 구문을 이용하여 개별 코더(12, 14)에 의해 설명될 수 있다. 인터-레이어 예측은 예를 들어, 방금 언급된 몇몇 예들에 대해, 향상 레이어 비디오, 예측 모드들, 예측 파라미터들 및/또는 블록 세부분할의 샘플들을 예측하기 위해, 하나 이상의 발생(기회, occasions)들에서 이용될 수 있다. 따라서, 베이스 레이어 코더(12) 및 향상 레이어 코더(14) 모두는, 각각, 엔트로피 코더(19a, 19b)가 뒤따르는, 예측 코더(18a, 18b)를 각각 포함할 수 있다. 반면 예측 코더(18a, b)는 각각, 인바운드 버젼(4a 및 4b)로부터의 예측 코딩을 이용하여 구문 요소 스트림을 형성하고, 엔트로피 코더 엔트로피는 개별 예측 코더에 의해 출력되는 구문 요소들을 인코딩한다. 방금 언급한 것처럼, 인코더(2)의 인터-레이어 예측은 향상 레이어의 인코딩 절차에서 상이한 발생에 관계될 수 있고, 따라서 예측 코더(18b)는 예측 코더(18a)의 하나 이상, 그것의 출력, 및 엔트로피 코더(19a)에 연결되도록 보여진다. 유사하게, 엔트로피 코더(19b)는, 선택적으로, 예를 들어, 베이스 레이어로부터의 엔트로피 코딩을 위해 이용되는 컨텍스트들(contexts)을 예측하는 것에 의해, 인터-레이어 예측의 이점을 취할 수 있고, 따라서, 엔트로피 코더(19b)는 선택적으로 베이스 레이어 코더(12)의 요소들 중 어느 것에 연결되는 것처럼 보여진다.
도 1에 관련된 도 2와 동일한 방식으로, 도 4는 도 3의 스케일러블 비디오 인코더에 맞는 스케일러블 비디오 디코더(10)의 가능한 실시예를 보여준다. 따라서, 도 4의 스케일러블 비디오 디코더(10)는 서브스트림(6a 및 6b)를 얻기 위해 데이터 스트림(6)을 수신하는 디멀티플렉서(demultiplexer, 40), 베이스 레이어 서브스트림(6a)를 디코딩하도록 구성되는 베이스 레이어 디코더(80), 및 향상 레이어 서브스트림(6b)를 디코딩하도록 구성되는 향상 레이어 디코더(60)를 포함한다. 보여지는 것처럼, 디코더(60)는 인터-레이어 예측(inter-layer prediction)의 이점을 취하기 위해 그것으로부터 정보를 수신하도록 베이스 레이어 디코더(80)에 연결된다. 이러한 방식에 의해, 베이스 레이어 디코더(80)는 베이스 레이어 서브스트림(6a)로부터 베이스 레이어 버젼(8a)을 복원할 수 있고, 향상 레이어 디코더(60)는 향상 레이어 서브스트림(6b)을 이용하여 비디오의 향상 레이어 버젼(8b)을 복원하도록 구성된다. 도 3의 스케일러블 비디오 인코더에 유사하게, 베이스 레이어 및 향상 레이어 디코더들(60 및 80) 각각은, 예측 디코더(102, 322)가 각각 뒤따르는 엔트로피 디코더(100, 320)를 내부적으로 포함할 수 있다.
다음 실시예들의 이해를 단순화하기 위해, 도 5는 비디오 (4)의 상이한 버젼들을 예시적으로 보여주며, 이는 즉, 각각, 코딩 손실에 의해 단지 서로로부터 편차를 보이는 베이스 레이어 버젼들(4a 및 8a), 및 유사한 것들이 단지 코딩 손실에 의해 서로로부터 편차를 보이는, 향상 레이어 버젼들(4b 및 8b)이다. 보여지는 것처럼, 베이스 레이어 및 향상 레이어 신호는, 각각 픽쳐들(22a 및 22b)의 시퀀스로 구성될 수 있다. 시간적 축(24)을 따라 서로에 등록되는 것처럼 그것들은 도 5에서 도시되며, 즉, 향상 레이어 신호의 시간적으로 대응하는 픽쳐(22b) 옆의 베이스 레이어 버젼의 픽쳐(22a)이다. 위에서 설명되는 것처럼, 픽쳐(22b)는 더 높은 공간적 해상도를 가질 수 있고 그리고/또는, 예를 들어, 픽쳐들의 샘플 값들의 높은 비트 깊이에서처럼, 높은 충실도(고충실도, fidelity)로 비디오(4)를 나타낼 수 있다. 연속선 및 점선들에 의해, 코딩/디코딩 순서는 픽쳐들(pictures, 22a, 22b) 중에서 정의되도록 보여진다. 도 5에서 도시된 예에 따라, 코딩/디코딩 순서는 특정 시간 스탬프/인스턴스(stamp/instance)의 베이스 레이어 픽쳐(22a)가 향상 레이어 신호의 동일 시간 스탬프의 향상 레이어 픽쳐(22b)에 앞서 횡단(트래버스, traversed)되는 방식으로 픽쳐(22a) 및 (22b)를 횡단한다(가로지른다, traverse). 시간적 축(24)에 대해, 픽쳐(22a, 2b)는 표현 시간 순서로 코딩/디코딩 순서(26)에 의해 횡단될 수 있지만, 픽쳐(22a, 22b)의 표현 시간 순서로부터 벗어난 순서 또한 구현가능할 것이다. 인코더도 디코더(10, 2)도 코딩/디코딩 순서(26)를 따라 순차적으로 인코딩/디코딩할 필요가 없다. 오히려, 평행 코딩/디코딩이 이용될 수 있다. 코딩/디코딩 순서(26)는 향상 레이어의 현재 부분을 코딩/디코딩하는 시간에서, 현재 향상 레이어 부분에 대해 이용가능한 부분들은 코딩/디코딩 순서를 통해 정의되도록, 공간적으로, 시간적으로 및/또는 인터-레이어 센스(inter-layer sense)로, 서로 인접한 향상 레이어 신호들 및 베이스의 부분들 사이에어 이용가능성(availability)를 정의할 수 있다. 따라서, 이 코딩/디코딩 순서(26)에 따라 이용가능한 단지 인접한 부분들은 예측을 재수행하기 위해 정보의 동일 소스에 디코더가 엑세스(접근성, access)를 가지도록 인코더에 의한 예측을 위해 이용된다.
다음 도면들과 관련하여, 도 1에서 4에 관해 위에서 설명된 것처럼, 출원의 하나의 관점에 따라 현재 출원의 실시예를 형성하기 위해, 스케일러블 비디오 인코더 또는 디코더가 어떻게 실행될 수 있는지가 설명된다. 지금 설명되는 관점의 가능한 실시예들은 "관점(aspect) C" 표시를 이용하여 다음에서 논의된다.
특히, 도 6은 향상 레이어 신호의 픽쳐(22b)를 도시하며, 여기서 도면 부호(360)을 이용하여 표시되며, 베이스 레이어 신호의 픽쳐(22a)는, 도면 부호(200)을 이용하여 여기서 표시된다. 상이한 레이어들의 시간적으로 대응하는 픽쳐들은 시간적 축(24)에 관해 서로 등록되는(registered) 방식으로 보여진다. 해칭(hatching)을 이용하여, 베이스 및 향상 레이어 신호들(200 및 36) 내의 부분들은, 코딩/디코딩 순서에 따라 이미 코딩/디코딩되었고, 도 5에서 보여지는 코딩/디코딩 순서에 따라 아직 코딩 또는 디코딩되지 않은 부분들에 대해 구별된다. 도 6은 또한 현재 코딩되는/디코딩되는, 향상 레이어 신호(360)의 부분(28)을 보여준다.
여기서 설명되는 실시예들에 따라, 부분(28)의 예측은, 부분(28)을 예측하기 위해, 베이스 레이어로부터 인터-레이어 예측 뿐만 아니라 향상 레이어 그 자체 내의 인트라-레이어 예측 양쪽을 이용한다. 그러나, 예측들은, 특히 양쪽 기여들이 스펙트럼적으로 변화하는, 스펙트럼 변화 방식으로 이러한 예측들이 부분(28)의 최종 예측기(final predictor)에 기여하는 방식으로 결합된다.
특히, 부분(28)은 향상 레이어 신호(400)의 이미 복원된 부분, 즉 도 6에서 향상 레이어 신호(400) 내의 해칭으로 도시되는 어떠한 부분,으로부터 공간적으로 또는 시간적으로 예측된다. 시간적 예측이 화살표(32)를 이용하여 도시되는 반면 공간적 예측은 화살표(30)를 이용하여 도시된다. 시간적 예측은, 예를 들어, 현재 부분(28)에 대한 향상 레이어 서브스트림 내에서 모션 벡터상의 정보가 전송되는 것에 따라, 예를 들어, 모션 보상 예측을 포함할 수 있고, 모션 벡터는 현재 부분(28)의 시간적 예측을 얻기 위해 복제될 향상 레이어 신호(400)의 기준 픽쳐(reference picture)의 부분의 이동(displacement)을 나타낸다. 공간적 예측(30)은, 현재 부분(28)으로, 공간적으로 인접한 현재 부분(28), 공간적으로 인접한, 픽쳐(22b)의 이미 코딩된/디코딩된 부분들을 외삽(extrapolating)하는 것을 포함할 수 있다. 이러한 이유로, 외삽 (또는 각도) 방향처럼 인트라 예측 정보는, 현재 부분(28)에 대한 향상 레이어 서브스트림 내에서 시그널링될 수 있다. 공간적 그리고 시간적 예측(30 및 32)의 결합(조합, combination) 또한 이용될 수 있다. 어떠한 경우라도, 향상 레이어 내부 예측 신호(34)는 도 7에 도시되는 것처럼 그렇게 함으로써 얻어진다.
현재 부분(28)의 또다른 예측을 얻기 위해, 인터-레이어 예측이 이용된다. 이러한 이유로, 베이스 레이어 신호(200)는 향상 레이어 신호(400)의 현재 부분에 공간적 및 시간적으로 대응하는 부분(36)의 해상도 또는 품질 개선의 대상이며, 이는 도 7에 보이는 것처럼, 인터-레이어 예측 신호(39)를 도출하는, 도 6에서의 화살표(38)을 이용하여 도시되는 개선 절차와 함께, 현재 부분(28)에 대한 잠재적으로 해상도 증가된 인터-레이어 예측 신호를 얻기 위함이다.
따라서 두개의 예측 기여들(34 및 39)은 현재 부분(28)에 대해 존재하고, 양쪽 기여들(both contributions)의 가중된 평균(weighted average)은 인터-레이어 신호 및 향상 레이어 내부 예측 신호가 향상 레이어 예측 신호(42)에 기여하는 가중(weights)이 도 7에서 개략적으로 보여지는 것처럼 공간적 주파수 구성요소들에 대해 상이하게 변화하는 방식으로, 현재 부분(28)에 대해 향상 레이어 예측 신호(42)를 얻기 위해 형성되며, 여기서 예시적으로 그래프가, 모든 공간적 주파수 구성요소에 대해, 예측 신호들(34 및 38)이 최종 예측 신호에 기여하는 가중이 모든 스펙트럼 구성요소들에 대해 동일한 값(46)까지 더해지는 경우를 보여주며, 그러나 예측 신호(39)에 적용되는 가중 및 예측 신호(34)에 적용되는 가중 사이의 비율을 변화시키는 스펙트럼과 함께이다.
반면 예측 신호(42)는 현재 부분(28)에서 향상 레이어 신호(400)에 의해 직접 이용될 수 있고, 대안적으로 잔류 신호는, 현재 부분(28)의 복원된 버젼(54)으로, 예를 들어, 도 7에서 도시되는 것처럼 추가로, 예측 신호(42)와 결합(50)에 의해, 도출하는 현재 부분(28)에 대한 향상 레이어 서브스트림(6b) 내에서 존재할 수 있다. 중간 주석으로서, 양쪽 스케일러블 비디오 인코더 및 디코더는 예측 잔류를 인코딩/디코딩하기 위해 변환 코딩을 이용하고 예측 코딩을 이용하는 하이브리드 비디오 디코더/인코더들일 수 있다.
도 6 및 7의 설명을 요약하자면, 향상 레이어 서브스트림(6b)는, 현재 부분(28)에 대해, 공간적 및/또는 시간적 예측(30, 32)를 제어하기 위한 인트라 예측 파라미터들(56) 및, 선태적으로, 잔류 신호(48)을 시그널링 하기 위한 잔류 정보(59) 및 스펙트럼적 가중 평균의 형성(41)을 제어하기 위한 가중 파라미터들(58)을 포함할 수 있다. 스케일러블 비디오 인코더가 이러한 파라미터들(56, 58, 59) 모두를 결정하고 따라서 향상 레이어 서브스트림(6b)에 동일한 것을 삽입하는 반면, 스케일러블 비디오 디코더는 위에서 설명된 것처럼 현재 부분(28)을 복원하기 위해 동일한 것을 이용한다. 이러한 요소들(56, 58, 및 59) 모두는 몇몇 양자화의 대상이 될 수 있고, 따라서 스케일러블 비디오 인코더는, 즉 레이트/왜곡 비용 함수(rate/distortion cost function)을이용하여, 양자화된, 이러한 파라미터들/요소들을 결정할 수 있다. 흥미롭게도, 인코더(2)는 결정된 파라미터들/요소들(56, 58 및 59)를 이용하며, 이는 그 자체로, 예를 들어, 코딩/디코딩 순서로 후속하는 향상 레이어 신호(400)의 부분에 대해 어떠한 예측을 위한 기반으로서 기능하도록 그리고 현재 부분에 대해 복원된 버젼(54)을 얻기 위함이다.
상이한 가능성들이 가중 파라미터들(58)에 대해 그리고 그것들이 (41)에서 스펙트럼적으로 가중된 평균의 형성을 제어하는지에 대해 존재한다. 예를 들어, 가중 파라미터들(58)은 현재 부분(28)에 대해 두개의 상태(states) 중 하나를 단지 시그널링할 수 있고, 즉, 하나의 상태가 지금까지 설명된 스펙트럼적으로 가중된 평균의 형성을 활성화하며(activating), 다른 상태는 인터-레이어 예측 신호(38)의 기여를 비활성화하며(deactivating) 이는 최종 향상 레이어 예측 신호(42)가, 그러한 경우에, 향상 레이어 내부 예측 신호(34)에 의해서만 만들어지도록 하기 위함이다. 대안적으로, 현재 부분(28)에 대한 가중 파라미터(58)는 한편으로는 스펙트럼 적으로 가중된 평균 형성 활성화 및 다른 한편으로는 향상 레이어 예측 신호(42)를 형성하는 인터-레이어 예측 신호(39) 사이를 스위칭할 수 있다. 가중 파라미터(58)는 방금 언급된 세개의 상태들/대안들 중 하나를 시그널링하도록 설계될 수도 있다. 대안적으로, 또는 추가적으로 가중 파라미터들(58)은 예측 신호들(34 및 39)가 최종 예측 신호(42)에 기여하는 가중 사이의 비율의 스펙트럼적 변화에 관해 현재 부분(28)에 대해 스펙트럼적으로 가중된 평균 형성(41)을 제어할 수 있다. 나중에, 예를 들어, 하이 패스(high pass) 및/또는 로우 패스(low pass) 필터를 이용하는 것처럼, 동일한 것을 더하기 전에, 스펙트럼적으로 가중된 평균 형성(spectrally weighted average formation, 41)은 예측 신호들(34 및 39) 양쪽 또는 하나를 필터링하는 것을 포함할 수 있다는 것이 설명될 것이고, 그러한 경우에 가중 파라미터들(58)은 현재 부분(28)의 예측에 대해 이용될 필터 또는 필터들에 대한 필터 특성을 시그널링할 수 있다는 것이다. 대안적으로, 단계(41)에서 스펙트럼 가중은 변환 영역에서 스펙트럼 요소 개별 가중에 의해 달성될 수 있다는 것이 설명되고, 따라서 이러한 경우에 가중 파라미터들(58)은 이러한 스펙트럼 구성요소 개별 가중 값들을 시그널링(signal)/설정(set)할 수 있다.
추가적으로 또는 대안적으로, 현재 부분(28)에 대한 가중 파라미터는 단계(스텝, step) 41에서 스펙트럼 가중이 변환 영역 또는 공간적 영역에서 수행되는지 여부를 시그널링할 수 있다.
도 9는 공간적 영역에서 스펙트럼적 가중 평균 형성(spectrally weighted average formation)을 수행하기 위한 실시예를 도시한다. 예측 신호들(39 및 34)은 현재 부분(28)의 픽셀 래스터(pixe raster)와 일치하는 개별 픽셀 배치들의 형태로 얻어지는 것이 도시된다. 스펙트럼적 가중 평균 형성을 수행하기 위해, 양쪽 예측 신호들(34 및 39)의 양쪽 픽셀 배치들은 필터링의 대상이라는 것이 보여진다. 도 9는 예를 들어, FIR 필터링을 수행하기 위해 예측 신호들(34 및 39)의 픽셀 배치를 가로지르는 필터 커널들(62 및 64)를 보여주는 것에 의해 도시되는 필터링을 도시한다. 그러나, IIR 필터링 또한 실현가능하다. 게다가, 예측 신호들(34 및 39) 중 단 하나가 필터링의 대상이 될 수 있다. 양쪽 필터들(62 및 64)의 전달 함수(transfer functions)들은서로 다르며 이는 예측 신호들(39 및 34)의 픽셀 배치들의 필터링 결과들을 가산(adding up, 66)하는 것이 스펙트럼적 가중 평균 형성 결과, 즉 향상 레이어 예측 신호(42)를 도출하도록 하기 위함이다. 다른 말로, 가산(66)은 각각, 필터(62 및 64)를 이용하여 필터링되는 것처럼 예측 신호(39 및 34) 내에서 공존되는 샘플들을 단순히 가산할 것이다. (62) 내지 (66)은 스펙트럼적 가중 평균 형성(41)을 도출할 것이다. 도 9는 변환 계수들의 형태로 잔류 정보(59)가 존재하는 경우를 도시하며, 그래서 변환 영역(transform domain)에서 잔류 신호(48)를 시그널링하며, 역 변환(inverse transform, 68)은 픽셀 배치(70)의 형태로 공간적 영역에서 도출되도록 이용될 수 있고 이는 복원된 버젼(55)을 도출하는 결합(52)이 향상 레이어 예측 신호(42) 및 잔류 신호 배치(70)의 단순 픽셀-단위 가산(simple pixel-wise addition)에 의해 실현될 수 있도록 하기 위함이다. 다시, 상기 예측은 디코더 및 인코더에서 복원을 위한 예측을 이용하여, 스케일러블 비디오 인코더 및 디코더들에 의해 수행된다는 것이 상기된다.
도 10은 변환 영역에서 스펙트럼적 가중 평균 형성을 어떻게 수행하는지를 예시적으로 보여준다. 여기서 예측 신호들(39 및 34)의 픽셀 배치들은 각각 변환(72 및 74)의 대상이며, 그래서 각각, 스펙트럼 분해(spectral decompositions, 76 및 78)을 도출한다. 각 스펙트럼 분해(76 및 78)는 스펙트럼 구성요소당(per spectral component) 하나의 변환 계수를 갖는 변환 계수들의 배치로 구성된다. 각 변환 계수 블록(76 및 78)은 가중들(weights)의 대응 블록, 즉 블록(82 및 84)이 곱해진다. 그래서, 각 스펙트럼 구성요소에서, 블록(76 및 78)의 변환 계수들은 개별적으로 가중된다. 각 스펙트럼 구성요소에서, 블록(82 및 84)의 가중 값들은 모든 스펙트럼 구성요소들에 공통인 값까지 가산될 수 있지만, 이는 강제적인 것은 아니다. 사실, 블록(76 및 82) 사이의 곱셈(multiplication, 86) 및 블록(78)과 블록(84) 사이의 곱셈(88), 각각은 변환 영역에서 스펙트럼 필터링을 나타내며, 변환 계수/스펙트럼 구성요소-별 가산(transform coefficient/spectral component-wise adding, 90)은 스펙트럼적 가중 평균 형성(41)을 끝내며 이는 변환 계수들 블록의 형태로 향상 레이어 예측 신호(42)의 변환 영역 버젼을 도출하기 위함이다. 도 10에서 도시되는 것처럼, 잔류 신호(59)가 변환 계수 블록의 형태로 잔류 신호를 시그널링하는 경우에, 동일한 것(same)이 단순 변환 계수-별로 가산되거나 또는 그렇지 않은 경우 변환 영역에서 현재 부분(28)의 복원된 버젼을 도출하기 위해 향상 레이어 예측 신호(42)를 나타내는 변환 계수 블록과 결합될 수 있다(52). 따라서, 결합(52)의 추가 결과에 적용되는 역 변환(84)은, 현재 부분(28)을 복원하는 픽셀 배치, 즉 복원된 버젼(54),을 도출한다.
위에서 러명된 것처럼, 잔류 정보(59)처럼 현재 부분(28)에 대해 향상 레이어 서브스트림(6b) 내에 존재하는 파라미터들, 또는 가중 파라미터들(58)은, 도 10에서 보여지는 변환 영역, 또는 도 9에 따른 공간적 영역 내에서 평균 형성(41)이 수행되는지 여부에 대해 시그널링할 수 있다. 예를 들어, 만약 잔류 정보(59)가 현재 부분(28)에 대한 어떠한 변환 계수 블록의 부재를 나타내는 경우, 공간적 영역이 이용될 수 있고, 또는 가중 파라미터(58)는 잔류 정보(59)가 변환 계수를 포함하는지 아닌지에 관계 없이 양쪽 영역들 사이를 스위칭할 수 있다.
나중에, 레이어-내부 향상 레이어 예측 신호(layer-internal enhancement layer prediction signal)를 얻기 위해, 인터-레이어 예측 신호 및 향상 레이어 신호의 이미 복원된 부분 사이에서, 차이 신호(difference signal)가 계산되고, 관리될 수 있다. 향상 레이어 신호의 이미 복원된 부분에 속하고 제1부분에 공간적으로 인접한, 차이 신호의 제2부분(두번째 부분, second portion)으로부터, 현재 복원될, 향상 레이어 신호의 부분에 연관되는 제1부분(첫번째 부분, first portion)에서 차이 신호(difference signal)의 공간적 예측은, 차이 신호를 공간적 예측하는데 이용될 수 있다. 대안적으로, 향상 레이어 신호의 이전에 복원된 프레임들에 속하는, 차이 신호의 제2부분으로부터, 현재 복원될, 향상 레이어 신호의 부분에 연관되는 제1부분에서의 차이 신호의 시간적 예측은, 시간적으로 예측되는 차이 신호를 얻기 위해 이용될 수 있다. 인터-레이어 예측 신호 및 예측된 차이 신호의 결합은, 인터-레이어 예측 신호와 결합되는, 레이어-내부 향상 레이어 예측 신호를 얻기 위해 이용될 수 있다.
다음 도면들과 관련하여, 도 1 내지 4와 관련하여 위에서 설명된 것들처럼 스케일러블 비디오 인코더 또는 디코더가, 어떻게 상기 출원의 또다른 관점에 따라 본 출원의 실시예를 형성하기 위해 실행될 수 있는지가 설명된다.
이러한 관점을 설명하기 위해, 도 11이 참조로 제공된다. 도 11은 현재 부분(28)의 공간적 예측(30)을 수행하는 가능성을 도시한다. 도 11의 다음 설명은 도 6 내지 10에 관한 설명과 결합될 수 있다. 특히, 여기 이후 설명되는 관점은 관점들 X 및 Y (aspects X and Y)로 언급되는 도시적 실시예들에 관해 나중에 더 설명될 것이다.
도 11에서 보이는 상황은 도 6에서 보여지는 하나에 대응한다. 그것은, 베이스 레이어 및 향상 레이어 신호들(200 및 400)이 해칭을 이용하여 도시되는 이미 코딩된/디코딩된 부분들과 함께, 보여진다는 것이다. 향상 레이어 신호(400) 내에 현재 코딩/디코딩될 부분은 인접 블록들(92 및 94)을 가지며, 여기서 현재 블록(28)과 예시적으로 같은 크기를 갖는 양쪽 블록들(92 및 94)와 함께, 현재 부분(28)의 왼쪽에 블록(94) 및 위에 블록(92)으로 예시적으로 묘사된다. 일치하는 크기는 그러나 강제적인 것은 아니다. 오히려, 향상 레이어 신호(400)의 픽쳐(22b)가 세부분할되는 블록들의 부분들(portions)은 상이한 크기들을 가질 수 있다. 그것들은 심지어 쿼드라틱(quadratic) 형태들로 제한되지도 않는다. 그것들은 사각형 또는 다른 형태일 수 있다. 현재 블록(28)은 도 11에서 구체적으로 묘사되지 않는 추가 인접 블록들을 가지지만, 그러나 그것들은 아직 디코딩/코딩되지 않은 것이며, 즉 그것들은 코딩/디코딩 순서를 따르며 예측을 위해 이용가능하지 않다. 이를 넘어서, - 여기서 예시적으로 현재 블록(28)의 왼쪽 위 코너에 대각선으로 -현재 블록(28)에 인접한, 블록(96)같은, 코딩/디코딩 순서에 따라 이미 코딩/디코딩된 블록들(92 및 94)보다는 다른 블록들일 수 있고, 그러나 블록들(92 및 94)은 여기서 고려되는 예에서 인트라 예측(30)의 대상이 되는 현재 블록(28)에 대한 인트라 예측 파라미터를 예측하는데 역할하는 미리 결정된(기결정된, predetermined) 인접 블록들이다. 그러한 미리 결정된 인접 블록들의 숫자는 두개에 제한되지 않는다. 그것은 단지 하나 또는 그 이상일 수도 있다.
스케일러블 비디오 인코더 및 스케일러블 비디오 디코더는, 예를 들어, 그것의 왼쪽 위 샘플처럼 현재 부분(28) 내의 미리 결정된 샘플 위치(98),에 의존하여, 미리 결정된 인접 블록들, 여기서 92 내지 96인, 이미 코딩된 인접 블록들의 집합으로부터, 여기서 92, 94인, 미리 결정된 인접 블록들의 집합을 결정할 수 있다. 예를 들어, 단지 현재 부분(28)의 그러한 이미 코딩된 인접 블록들은 미리 결정된 샘플 위치(98)에 바로 인접한 샘플 위치들을 포함하는 "미리 결정된 인접 블록들"의 집합을 형성할 수 있다. 어떠한 경우에, 인접한 이미 코딩된/디코딩된 블록들은 현재 블록(28)의 영역들이 공간적으로 예측되는 샘플 값들에 기반하여 현재 블록(28)에 인접한 샘플들(102)을 포함한다. 이런 이유로, (56) 같은 공간적 예측 파라미터는 향상 레이어 서브스트림(6b)에서 시그널링된다. 예를 들어, 현재 블록(28)에 대한 공간적 예측 파라미터는 샘플(102)의 샘플 값이 현재 블록(28)의 영역에 복제되는 것에 따른 공간적 방향을 나타낸다.
어떠한 경우에, 현재 블록(28)을 공간적으로 예측하는 때에, 스케일러블 비디오 디코더/인코더는, 시간적으로 대응하는 픽쳐(22a)의 관련 공간적 대응 영역이, 예를 들어, 공간적 그리고 시간적 예측 모드들 사이의 블록-별 선택을 이용하여 그리고 블록-별 예측을 이용하여, 적어도 위에서 설명되는 것처럼 관련되는 한, 베이스 레이어 서브스트림(6a)을 이용하여 이미 복원된 (그리고 인코더의 경우에는 인코딩된) 베이스 레이어(200)를 갖는다.
도 11에서 베이스 레이어 신호(200)의 시간 정렬된 픽쳐(22a)가 세부분할되는 몇몇 블록들(104), 주변에, 그리고 지역적으로 대응하는 영역에 위치하는, 현재 블록(28)이 예시적으로 설명된다. 향상-레이어 신호(400) 내에서 공간적으로 예측되는 블록들의 경우처럼, 공간적 예측 파라미터들은, 공간적 예측 모드의 선택이 시그널링되는, 베이스 레이어 신호(200) 내에서 그러한 블록들(104)에 대한 베이스 레이어 서브스트림 내에서 시그널링되거나 포함된다.
예시적으로 공간적 인트라-레이어 예측(30)이 선택되는, 블록(28)에 관해 코딩된 데이터 스트림으로부터 향상 레이어 신호의 복원을 허용하기 위해, 인트라 예측 파라미터는 다음에 따라 비트스트림 내에서 이용되고 코딩된다:
인트라 예측 파라미터들은 종종, 모든 가능할 인트라 예측 파라미터들의 다소 작은 부분집합들인 가장 개연성 있는(most probable) 인트라 예측 파라미터들의 개념을 이용하여 코딩된다. 가장 개연성 있는 인트라 예측 파라미터들의 집합은, 예를 들어, 모든 가능한 인트라 예측 파라미터들의 집합이 예를 들어 35 인트라 예측 파라미터들을 포함할 수 있는 반면, 하나, 둘 또는 세개의 인트라 예측 파라미터들을 포함할 수 있다. 만약 인트라 예측 파라미터가 가장 개연성 있는 인트라 예측 파라미터들의 집합에 포함되는 경우, 그것은 작은 비트 숫자를 갖는 비트스트림 내부에 시그널링 될 수 있다. 인트라 예측 파라미터가 가장 개연성 있는 인트라 예측 파라미터들에 포함되지 않는 경우, 비트스트림 내 그것의 시그널링은 더 많은 비트들을 요구하게 된다. 그래서, 상기 현재 인트라-예측 블록에 대한 인트라 예측 파라미터를 시그널링하기 위한 구문 요소에 대해 소비되는 비트 양(amount of bits)은 가장 개연성있는, 또는 아마 유리한, 인트라 예측 파라미터들의 집합의 품질에 의존한다. 이러한 개념에 의해, 평균적으로 비트들의 더 낮은 숫자가 인트라 예측 파라미터들을 코딩하는데 필요하며, 가장 개연성 있는 인트라 예측 파라미터들의 집합이 적합하게 유도될 수 있다고 가정한다.
일반적으로, 예를 들어, 디폴트 파라미터들(default parameters)의 형태로 추가로 종종 이용되는 인트라 예측 파라미터들 및/또는 직접 인접 블록들의 인트라 예측 파라미터들을 포함하는 방식으로 가장 개연성있는 인트라 예측 파라미터들의 집합이 선택된다. 예를 들어, 인접 블록들의 주요한 경사 방향(main gradient direction)이 유사하기 때문에, 가장 개연성 있는 인트라 예측 파라미터들의 집합에서 인접 블록들의 인트라 예측 파라미터들을 포함하는 것이 일반적으로 유리하다.
그러나, 인접 블록들은 공간적 인트라 예측 모드에서 코딩되지 않으며, 그러한 파라미터들은 디코더 측면에서 이용가능하지 않다.
스케일러블 코딩에서, 그러나 공존되는(co-located) 베이스 레이어 블록의 인트라 예측 파라미터를 이용하는 것이 가능하며, 따라서, 아래에 설명된 관점에 따라, 이러한 환경은, 인접 블록들이 공간적 인트라 예측 모드에서 코딩되지 않는 경우에 공존되는 베이스 레이어 블록의 인트라 예측 파라미터들을 이용하여, 활용된다.
그래서, 도 11에 따라 현재 향상 레이어 블록에 대한 가능한 유리한 인트라 예측 파라미터들의 집합은 미리 결정된 인접 블록들의 인트라 예측 파라미터들을 검사하고, 예를 들어, 개별 미리 결정된 인접 블록이 인트라 예측 모드에서 코딩되지 않기 때문에, 미리 결정된 인접 블록들 중 어느 것도 그것과 관련된 적합한 인트라 예측 파라미터들을 갖지 않는 경우에 베이스 레이어에서 공존되는 블록에 예외적으로 재분류하는 것에 의해 작성된다.
무엇보다도, 현재 블록(28)의 블록(92 또는 94)처럼 미리 결정된 블록은 공간적 인트라 예측 모드를 이용하여 동일한 것(same)이 예측되는지 여부, 즉, 공간적 인트라 예측 모드가 인접 블록에 대해 선택되었는지 여부,가 확인된다. 거기에 의존하여, 그 인접 블록의 인트라 예측 파라미터는, 현재 블록(28)에 대한 개연성있게 유리한 인트라 예측 파라미터들의 집합에 또는, 대체재로서(as a substitute), 만약에 있다면, 베이스 레이어의 공존되는 블록(108)의 인트라 예측 파라미터에 포함된다.
예를 들어, 개별 미리 결정된 인접 블록이 공간적 인트라 예측 블록이 아닌 경우, 디폴트 예측기들 또는 유사한 것들을 이용하는 것 대신에, 베이스 레이어 신호(200)의 블록(108)의 인트라 예측 파라미터는, 현재 블록(28)에 공존되는, 현재 블록(28)에 대한 개연성 있게 유리한 인터 예측 파라미터들(probably advantageous inter prediction parameters)의 집합에 포함된다.
예를 들어, 공존되는 블록(108)은 현재 블록(28)의 미리 결정된 샘플 위치(98)을 이용하여 결정되며, 즉 블록(108)은 베이스 레이어 신호(200)의 시간적으로 정렬된 픽쳐(22a) 내에서 미리 결정된 샘플 위치(98)에 지역적으로 대응하는 위치(106)를 커버한다. 자연스럽게, 미리 베이스 레이어 신호(200)내에 공존되는 블록(108)이 실제로 공간적으로 인트라 예측된 블록(spatially intra predicted block)인지 여부에 대한 추가 확인이 수행될 수 있다. 도 11의 경우에, 이러한 경우가 예시적으로 도시된다. 만약, 그러나, 공존되는 블록이 인트라 예측 모드에서도 코딩되지 않는다면, 개연성 있게 유리한 인트라 예측 파라미터들의 집합은 미리 결정된 인접 블록에 대한 어떠한 기여 없이 남겨질 수 있고, 또는 디폴트 인트라 예측 파라미터가 대체재(substitute)로서 이용될 수 있고, 즉 디폴트 인트라 예측 파라미터가 개연성 있게 유리한 인트라 예측 파라미터들로 삽입된다.
그래서, 만약 현재 블록(28)에 공존되는 블록(108)이 공간적으로 예측되는 경우, 베이스 레이어 서브스트림(6a) 내에 시그널링되는 그것의 인트라 예측 파라미터는 현재 블록(28)의 미리 결정된 인접 블록(92 또는 94)의 어떠한 것에 대한 일종의 대체재로서 이용될 수 있고, 이것은 시간적 예측 모드처럼, 또다른 예측 모드를 이용하여 코딩되는 동일한 것(same) 때문에 아무런 인트라 예측 파라미터도 가지지 않는다.
또다른 실시예에 따라, 특정 경우들에서는, 각 미리 결정된 인접 블록이 인트라 예측 모드더라도, 미리 결정된 인접 블록의 인트라 예측 파라미터는 공존되는 베이스 레이어 블록의 인트라 예측 파라미터에 의해 대체된다(substituted). 예를 들어, 인트라 예측 팔미터가 특정 기준을 충족하는지 여부에 대해, 인트라 예측 모드의 미리 결정된 인접 블록들 중 어느 것에 대한 추가 확인이 수행될 수 있다. 특정 기준이 인접 블록의 인트라 예측 파라미터에 의해 충족되지 않으나, 동일한 기준이 공존되는 베이스 레이어 블록의 인트라 예측 파라미터에 의해 충족되는 경우, 인트라-코딩되는 바로 그 인접 블록에도 불구하고 대체(substitution)이 수행된다. 예를 들어, 인접 블록의 인트라 예측 파라미터가 각도 인트라 예측 모드(angular intra prediction mode)를 나타내지 않고 (예를 들어 DC 또는 평면 인트라 예측 모드이고), 공존되는 베이스 레이어 블록의 인트라 예측 파라미터가 각도 인트라 예측 모드를 나타내는 경우, 인접 블록의 인트라 예측 파라미터는 베이스 레이어 블록의 인트라 예측 파라미터에 의해 교체될 수 있다.
현재 블록(28)에 대한 인터 예측 파라미터는, 개연성있게 유리한 인트라 예측 파라미터들, 및 현재 블록(28)에 대한 향상 레이어 서브스트림(6b)처럼, 코딩된 데이터 스트림에 존재하는 구문 요소에 기반하여 결정된다. 그것은,개연성 있게 유리한 인트라 예측 파라미터들의 집합에 서로소인(disjoint), 가능한 인트라 예측 파라미터들의 집합의 잔여(remainder)의 멤버인 경우보다 개연성 있게 유리한 인트라 예측 파라미터들의 집합의 멤버인 현재 블록(28)에 대해 인터 예측 파라미터의 경우에, 상기 구문 요소가 더 적은 비트를 이용하여 코딩될 수 있다는 것이다.
가능한 인트라 예측 파라미터들의 집합은, 각 모드/파라미터의 각도 방향을 따라 복제하는 것에 의해 이미 코딩된/디코딩된 인접 샘플들로부터 복사하는 것에 의해 현재 블록이 채워지는 몇몇 각도 방향 모드들, 및 예를 들어 몇몇 평균화에 의해, 이미 코딩된/디코딩된 인접 샘플들에 기반하여 결정되는 일정 값(constant value)으로 현재 블록의 샘플들이 설정되는 하나의 DC 모드, 그리고 예를 들어, 이미 코딩된/디코딩된 인접 샘플들에 기반하여 결정되는 인터셉트(intercept) 및 x 및 y의 선형 함수 슬로프들(경사들, slopes)을 따르는 값 분배로 현재 블록의 샘플들이 설정되는 플레인 모드(plane mode)를 지나갈 수 있다(encompass).
도 12는 베이스 레이어의 공존되는 블록(108)으로부터 얻어지는 공간적 예측 파라미터 대체(spatial prediction parameter substitute)가향상 레이어 서브스트림에서 시그널링되는 구문 요소를 따라 어떻게 이용될 수 있는지에 대한 가능성을 보여준다. 도 12는, 확장된 방식으로, 미리 결정된 인접 블록들(92 및 94) 및 인접한 이미 코딩된/디코딩된 샘플들(102)를 따른 현재 블록(28)을 보여준다. 도 12는 공존되는 블록(108)의 공간적 예측 파라미터에 의해 표시되는 것처럼 각도 방향(112)을 예시적으로 도시한다.
현재 블록(28)에 대해 향상 레이어 서브스트림(6b) 내에서 시그널링되는 구문 요소(114)는, 예를 들어, 도 13에서 도시되는 것처럼, 여기서 각도 방향(124)로 예시적으로 도시되는, 가능한 유리한 인트라 예측 파라미터들의 결과 리스트(122)로 조건적으로 코딩되는 인덱스(118)를 시그널링하며, 또는, 실제 인트라 예측 파라미터(116)가 가장 개연성 있는 집합(122) 내에 있지 않은 경우, - 127에서 보여지는 것처럼 - 가능한 리스트(122)의 후보들을 배제하는, 가능한 인트라 예측 모드들 리스트(125)로의 인덱스(123)에서, 실제 인트라 예측 파라미터(116)를 식별한다. 실제 인트라 예측 파라미터(actual intra prediction parameter)가 리스트(122) 내에 위치하는 경우, 구문 요소의 코딩은 더 적은 비트들을 소비할 수 있다. 구문 요소는, 예를 들어, 플래그(flag) 및 인덱스 필드(index field)를 포함할 수 있고, 플래그는 상기 인덱스가 - 리스트(122)의 멤버들(members)을 포함하거나 배제하는 - 리스트(122) 또는 리스트(125)를 가리키는지 여부를 표시하며, 또는 상기 구문 요소는 탈출 코드(이스케이프 코드, escape code) 또는 리스트(122)의 멤버(124) 중 하나를 식별하는 필드(field)를 포함하며, 탈출 코드의 경우에, 제2필드는 리스트(122)를 포함하거나 배제하는 - 리스트(125)로부터 멤버를 식별한다. 리스트(122) 내 멤버들(124) 중의 순서는, 예를 들어, 디폴트 룰(default rules)들에 의해 미리 결정될 수 있다.
그래서, 스케일러블 비디오 디코더는 향상 레이어 서브스트림(6b)으로부터 구문 요소(114)를 얻거나 검색(retrieve)할 수 있고, 스케일러블 비디오 인코더는 구문 요소(114)를 동일한 것(the same)에 입력할 수 있고, 구문 요소(114)는 이후, 예를 들어, 리스트(122)로부터 하나의 공간적 예측 파라미터를 인덱스(index)하도록 이용될 수 있다. 리스트(122)를 형성하는 데 있어, 위에서 설명된 대체(substitution)는 미리 결정된 인접 블록들(92 및 94)이 동일한 것이 공간적 예측 코딩 모드 타입인지 여부를 확인하도록 수행될 수 있다. 설명되는 것처럼, 그렇지 않다면, 공존되는 블록(108)은, 예를 들어, 차례로 동일한 것이 공간적으로 예측되는 블록인지 여부가 확인되며, 만약 그렇다면, 각도 방향(112)처럼, 이 공존되는 블록(108)을 공간적으로 예측하기 위해 이용된, 동일한 것의 공간적 예측 파라미터는, 리스트(122)에 포함된다. 만약 베이스 레이어 블록(108)이 또한 적합한 인트라 예측 파라미터를 포함하지 않는다면, 리스트(122)는 각 미리 결정된 인접 블록(92 또는 94)로부터 어떠한 기여 없이 남겨질 수 있다. 예를 들어, 인터 예측(inter predicted) 때문에, 공존되는 블록(108) 뿐만 아니라 미리 결정된 인접 블록들(92, 98) 양쪽은 적합한 인트라 예측 파라미터들이 부족하여 비워지는 리스트(122)를 피하기 위해, 멤버들(124) 중 적어도 하나가 무조건적으로 디폴트 인트라 예측 파라미터를 이용하여 결정될 수 있다. 대안적으로, 리스트(122)는 비워지도록 허용될 수 있다.
자연스럽게, 도 11 내지 13과 관련하여 설명된 관점은 도 6 내지 10와 관련하여 위에서 설명된 관점과 결합가능하다. 도 11 내지 13에 따라 베이스 레이어에 대한 우회(detour)를 통해 유도되는 공간적 인트라 예측 파라미터를 이용하여 얻어지는 인트라 예측은, 공간적으로 가중된 방식으로, 위에서 설명된 인터-레이어 예측 신호(38)와 결합되기 위해, 도 6 내지 10의 관점의 향상 레이어 내부 예측 신호(34)를 특히 나타낼 수 있다.
다음 도면들과 관련하여, 도 1 내지 4에 관해 위에서 설명된 것처럼 출원의 더 추가적인 관점에 따라 본 출원의 실시예를 형성하기 위해 스케일러블 비디오 인코더 또는 디코더가 어떻게 실행되는지에 관해 설명된다. 나중에, 여기 이후에 설명되는 관점들에 대한 몇몇 추가적인 실시예들은 관점 T 및 U 의 레퍼런스를 이용하여 제시된다.
각각, 베이스 레이어 신호(200) 및 향상 레이어 신호(400)의 픽쳐들(22b 및 22a)을, 시간적 등록 방식으로(temporally registered manner), 보여주는 도 14가 참조된다. 현재 코딩/디코딩될 부분이 28에서 보여진다. 본 관점에 따라, 베이스 레이어 신호(200)는, 베이스 레이어 신호에 대해 공간적으로 변화하는 베이스 레이어 코딩 파라미터들을 이용하여, 스케일러블 비디오 디코더에 의해 예측적으로 복원되고 스케일러블 비디오 인코더에 의해 예측적으로 코딩된다. 해칭된 부분(132)으로부터 비-해칭된 영역으로의 전이시에, 베이스 레이어 코딩 파라미터가 변하는 비-해칭 영역들에 의해 둘러싸이는, 일정한 베이스 레이어 신호(200)을 예측적으로 코딩/복원하는 베이스 레이어 코딩 파라미터들 내에서 해칭된(빗금쳐진, hatched) 부분(132)을 이용하여 공간적 변화가 도 14에서 도시된다. 위에서 설명된 관점에 따라, 향상 레이어 신호(400)는 블록 단위로 인코딩/복원된다. 현재 부분(28)은 그러한 블록이다. 위에서 설명된 관점에 따라, 현재 부분(28)에 대한 서브블록 세부분할(subblock subdivision)은베이스 레이어 신호(200)의 공존되는 부분(134) 내에서, 즉 베이스 레이어 신호(200)의 시간적 대응 픽쳐(22a)의 시간적 공존 부분 내에서, 베이스 레이어 코딩 파라미터들의 공간적 변화에 기반하여 가능한 서브블록 세부분할들의 집합으로부터 선택된다. 특히, 현재 부분(28)에 대한 향상 레이어 서브스트림(6b) 세부분할 정보 내에서의 시그널링 대신에, 상기 설명은 선택된 서브블록 세부분할이, 베이스 레이어 신호의 공존되는 부분(134)에 전달될 때, 각 서브블록 세부분할 내에서 베이스 레이어 코딩 파라미터들이 서로에 충분히 유사하도록, 베이스 레이어 신호(200)를 세부분할하는, 가능한 서브블록 세부분할의 집합 중에서 가장 거칠은 것(the coarsest)이도록, 현재 부분(28)의 가능한 서브블록 세부분할들의 집합 중에서의 서브블록 세부분할 선택을 제안한다. 이해를 돕기 위하여, 도 15a가 참조된다. 도 15a는 공존되는 부분(134) 내 베이스 레이어 코딩 파라미터들의 공간적 변화에, 해칭을 이용하여, 기록하는 부분(28)을 보여준다. 특히, 부분(28)은 블록(28)에 적용되는 세번의 상이한 서브블록 세부분할들을 보여준다. 특히, 쿼드-트리(quad-tree) 세부분할은 예시적으로 15a의 경우에서 이용된다. 그것은, 가능한 서브블록 세부분할의 집합이 쿼드-트리 세부분할이거나, 또는 그것에 의해 정의되거나, 도 15a 에서 설명되는 부분(28)의 서브블록 세부분할들의 세 인스턴트생성(three instantiations)가 블록(28)의 쿼드-트리 세부분할의 상이한 계층 레벨들에 속한다는 것이다. 아래에서 위쪽까지, 서브블록들로의 블록(28)의 세부분할의 레벨 또는 거칠음(coarseness)은 증가한다. 가장 높은 레벨에서, 부분(28)은 그대로 두어진다. 다음 낮은 레벨에서, 블록(28)은 네개의 서브블록들로 세부분할되며 다음 것의 적어도 하나는 다음 낮은 레벨에서 네개의 서브블록들로 더 세부분할되는 등등이다. 도 15a에서, 각 레벨에서, 쿼드-트리 세부분할은 서브블록들의 숫자가, 베이스 레이어 코딩 파라미터 변경 경계에 중첩하는 서브블록이 없음에도 불구하고, 가장 작은 곳에서 선택된다. 그것은, 도 15a의 경우에서 보여질 수 있고, 블록(28)을 세부분할하기 위해 선택되어야 하는 블록(28)의 쿼드-트리 세부분할이 도 15a에서 보여지는 가장 낮은 것(the lowest one)이라는 것이다. 여기서, 베이스 레이어의 베이스 레이어 코딩 파라미터들은 서브블록 세부분할의 각 서브블록에 공존되는 각 부분 내에서 일정하다.
따라서, 블록(28)에 대한 세부분할 정보가 향상 레이어 서브스트림(6b) 내에서 시그널링 될 필요가 없고, 그래서 코딩 효율이 증가한다. 게다가, 설명된 것처럼 세부분할을 얻기 위한 방법은 베이스 레이어 신호(200)의 어떠한 그리드 또는 샘플 배치에 관해 현재 부분(28) 위치의 어떠한 등록(registration)에 관계없이 적용가능하다. 특히, 세부분할 편차(subdivision derivation)는 베이스 레이어 및 향상 레이어 사이의 분할 공간 해상도 비율(fractional spatial resolution ratios)의 경우에 작용한다.
그렇게 결정되는 부분(28)의 서브블록 세부분할에 기반하여, 부분(28)은 예측적으로 복원되고/코딩될 수 있다. 위 설명에 관하여, 현재 블록(28)의 상이한 이용가능 서브블록 세부분할들의 거칠음(coarseness)을 "측정(measure)"하기 위해 상이한 가능성들이 존재한다는 사실이 주목되어야 한다. 예를 들어, 거칠음의 측정은 서브블록들 숫자에 기반하여 결정될 수 있다: 각 서브블록 세부분할이 갖는 서브블록들이 더 많을수록, 그 레벨이 더 낮아진다. 이 정의는 도 15a의 경우에 분명히 적용되지 않았고 여기서 "거칠음의 측정(measure of coarseness)"는 각 서브블록 세부분할의 모든 서브블록들 중 가장 작은 크기 및, 각 서브블록 세부분할의 서브블록 숫자의 결합에 의해 결정된다.
완전성을 위해, 도 15b는 도 이용가능한 집합으로 도 35의 세부분할을 예시적으로 이용하여 현재 블록(28)에 대한 이용가능한 세부분할로부터 가능한 서브블록 세부분할을 선택하는 경우를 예시적으로 보여준다. 상이한 해칭들 (그리고 비-해칭들)은 그것들과 관련되는 동일 베이스 레이어 코딩 파라미터들을 갖는 베이스 레이어 신호 내에서 각 공존되는 영역들 내의 영역들을 보여준다.
위에서 설명된 것처럼, 방금 설명된 선택은 몇몇 순차적 순서에 따라 가능한 서브블록 세부분할들을 가로지르는 것에 의해(traversing) 실행될 수 있고, 이는 거칠음의 증가 또는 감소 레벨의 순서처럼이며, 개별 서브블록 세부분할의 각 서브블록 내의 그 환경에서 가능한 서브블록 세부분할이 서로에 충분히 유사한 것으로부터 가능한 서브블록 세부분할을 선택하는 것은, (증가하는 거칠음에 따른 횡단(traversal)을 이용하는 경우) 더 이상 적용하지 않고 또는 (거칠음의 감소하는 레벨에 따른 횡단을 이용하는 경우) 가장 먼저 적용한다. 대안적으로, 모든 가능한 세부분할들이 테스트될 수 있다.
비록 도 14 및 도 15a, b의 설명에서, 넓은 용어 "베이스 레이어 코딩 파라미터들"이 이용되었지만, 바람직한 실시예에서, 이러한 베이스 레이어 코딩 파라미터들은 베이스 레이어 예측 파라미터들, 즉 베이스 레이어 신호의 예측 형성에 관계되는, 그러나 예측 잔류의 형성에는 관계되지 않는 파라미터들을 나타낸다. 따라서, 베이스 레이어 코딩 파라미터들은, 예를 들어, 공간적 예측 및 시간적 예측 사이를 구별하는 예측 모드들, 각 방향처럼 공간적 예측에 할당되는 베이스 레이어 신호의 블록들/부분들에 대한 예측 파라미터들, 모션 파라미터들 또는 유사한 것들처럼 시간적 예측에 할당되는 베이스 레이어 신호의 블록들/부분들에 대한 예측 파라미터들을 포함한다.
흥미롭게도, 그러나 특정 서브블록 내에서 베이스 레이어 코딩 파라미터들 유사성의 "충분함(sufficiency)"은 단지 베이스 레이어 코딩 파라미터들의 부분집합을 넘어 결정되거나/정의될 수도 있다. 예를 들어, 유사성은 예측 모드들만에 기반하여 결정될 수 있다. 대안적으로, 공간적 및/또는 시간적 예측을 더 조정하는 예측 파라미터들은 특정 서브블록 내 베이스 레이어 코딩 파라미터들의 유사성이 의존하는 파라미터들을 형성할 수 있다.
또한, 이미 위에서 언급된 것처럼, 서로에 충분히 유사하기 위해, 특정 서브블록 내 베이스 레이어 코딩 파라미터들은 각 서브블록 내에서 서로에 대해 완전히 동일할 필요가 있을 수 있다. 대안적으로, 이용되는 유사성(similarity)의 측정은 "유사성"의 기준을 충족시키기 위해 특정 인터벌(certain inverval)내에 있어야 할 수도 있다.
위에서 설명된 것처럼, 선택되는 서브블록 세부분할은 베이스 레이어 신호로부터 예측되거나 전달될 수 있는 양만은 아니다. 오히려, 베이스 레이어 코딩 파라미터들 그 자체는, 베이스 레이어 신호로부터 향상 레이어 신호까지의 선택된 서브블록 세부분할을 전달하여 얻어지는 서브블록 세부분할의 서브블록들에 대한 향상 레이어 코딩 파라미터들을, 그에 기반하여, 유도하기 위해 향상 레이어 신호 상에 전달될 수 있다. 모션 파라미터들이 관련되는 한, 예를 들어, 스케일링은 베이스 레이어부터 향상 레이어까지의 전이를 고려하기 위해 이용될 수 있다. 바람직하게, 베이스 레이어의 예측 파라미터들의, 단지 그러한 부분들, 또는 구문 요소들,은 유사성 측정에 영향을 미치는, 베이스 레이어로부터 얻어지는 현재 부분 서브블록 세부분할의 서브블록들을 설정하도록 이용된다. 이러한 측정에 의해, 선택되는 서브블록 세부분할의 각 서브블록 내의 예측 파라미터들의 이러한 구문 요소들은, 서로에게 어떻게든 유사하다는 사실은, 현재 부분(308)의 서브블록들의 대응 예측 파라미터들을 예측하는데 이용되는, 베이스 레이어 예측 파라미터들의 구문 요소들이 유사하거나, 서로에게 더 동일하거나하는 것을 보증하며, 그래서, 몇몇 변경을 허용하는 첫번째 경우에, 각 서브블록에 의해 커버되는 베이스 레이어 신호의 부분에 대응하는 베이스 레이어 예측 파라미터들의 구문 요소들의 몇몇 의미있는 "평균(mean)"은 대응 서브블록에 대한 예측기로 이용될 수도 있다. 그러나, 비록 모드-특정 베이스 레이어 예측 파라미터들이 유사성 측정 결정에 참여한다 하더라도, 유사성 측정에 기여하는 구문 요소들의 부분은, 현재 부분(28)의 서브블록들의 모드들을 단지 예측하거나 미리-설정(pre-setting)하는 것처럼 그 자체 세부분할 이동에 더하여 향상 레이어의 세부분할의 서브블록들의 예측 파라미터들을 예측하는데 이용될 수도 있다는 것이다.
베이스 레이어로부터 향상 레이어까지의 세부분할 인터-레이어 예측만을 이용하지 않는 하나의 그러한 가능성은 다음 도면들, 도 16과 관련하여 설명될 것이다. 도 16은, 표현 시간 축(24)을 따라 등록되는 방식으로, 향상 레이어 신호(400)의 픽쳐들(22b), 베이스 레이어 신호(200)의 픽쳐들(22a)을 보여준다.
도 16의 실시예에 따라, 베이스 레이어 신호(200)는, 인터-블록들(inter-blocks) 및 인트라-블록들(intra-blocks)로의 베이스 레이어 신호(200)의 프레임들(22a)를 세부분할하는 것에 의해, 스케일러블 비디오 인코더의 이용에 의해 예측적으로 인코딩되고, 그리고 스케일러블 비디오 디코더에 의해 예측적으로 복원된다. 도 16의 예에 따라, 나중의 세부분할은 두-단계 방식으로 수행된다 : 무엇보다도, 프레임들(22a)은, 그것의 둘레(circumference)를 따라 이중선(double line)을 이용하여 도 16에서 도면 부호(302)에 의해 표시되는, 최대 코eld 유닛들 또는 최대 블록들로 규칙적으로(regularly) 세부분할된다. 그 후, 그러한 각 최대 블록(302)은 앞서 언급된 인트라-블록들 및 인터-블록들을 형성하는 코딩 유닛들로의 계층적 쿼드-트리 세부분할 대상이 된다. 이와 같이, 그것들은 최대 블록들(302)의 쿼드-트리 세부분할들의 리프(leafs)들이다. 도 16에서, 도면 부호(304)는 이러한 리프 블록들 또는 코딩 유닛들을 나타내기 위해 이용된다. 일반적인, 연속 라인들은 이러한 코딩 유닛들의 둘레를 나타내기 위해 이용된다. 공간적 인트라 예측이 인트라-블록들에 대해 이용되는 반면, 시간적 인터 예측은 인터-블록들에 대해 이용된다. 공간적 인트라 및 시간적 인터 예측과 관련된 예측 파라미터들은, 그러나 인트라- 및 인터-블록들 또는 코딩 유닛들이 세부분할되는, 더 작은 블록들(smaller blocks)의 유닛들로 설정된다. 그러한 세부분할은 도 16에서 더 작은 블록들을 나타내는 도면 부호(306)를 이용하여 코딩 유닛들(304)의 하나에 대해 예시적으로 도시된다. 더 작은 블록들(304)은 점선들을 이용하여 설명된다. 도 16의 실시예의 경우, 공간적 비디오 인코더는, 베이스 레이어의 각 코딩 유닛(304)에 대해, 한편으로는 공간적 예측 및 다른 한편으로는 시간적 예측 사이에서 선택할 기회를 갖는다. 향상 레이어 신호에 관한한, 그러나, 자유도(freedom)는 증가된다. 특히, 여기서, 향상 레이어 신호(400)의 프레임들(22b)은, 향상 레이어 신호(400)의 프레임들(22b)가 세부분할되는 코딩 유닛들에서, 공간적 인트라 예측 및 시간적 인터 예측 뿐만 아니라, 아래에서 더 자세히 설명되는 것처럼 인터-레이어 예측도 포함하는 예측 모드들의 집합 중 각 하나에 할당된다. 이러한 코딩 유닛들로의 세부분할은 베이스 레이어 신호에 관해 설명되는 것처럼 유사한 방식으로 수행될 수 있다: 무엇보다도, 프레임(22b)은 계층적 쿼드-트리 세부분할 프로세스에서 일반적인, 연속 라인들을 이용하여 설명되는 코딩 유닛들로 세부분할되는 더블-라인들(이중선)을 이용하여 설명되는 최대 블록들의 열 및 행으로 규칙적으로 세부분할될 수 있다.
향상 레이어 신호(400)의 현재 픽쳐(22b)의 하나의 그러한 코딩 유닛(308)은 인터-레이어 예측 모드에 할당되도록 예시적으로 가정되며 해칭을 이용하여 도시된다. 도 14, 15a 및 15b와 유사한 방식으로, 도 16은 어떻게 코딩 유닛(308)의 세부분할이 베이스 레이어 신호로부터 지역적 이동에 의해 예측적으로 유도되는지를 (312)에서 보여준다. 특히, (312)에서 코딩 유닛(308)에 의해 중첩된 로컬 영역이 보여진다. 이 영역 내에서, 점선들은 베이스 레이어 신호의 인접 블록들 사이의 경계들 또는, 더 일반적으로는 베이스 레이어의 코딩 파라미터들이 가능하게 변화할 수 있는 경계들을 나타낸다. 이러한 경계들은, 이와 같이, 베이스 레이어 신호(200)의 예측 블록들(306)의 경계들일 수 있고, 각각, 베이스 레이어 신호(200)의 더 인접 최대 코딩 유닛들(302) 또는 인접 코딩 유닛들(304)의 경계들과 부분적으로 일치할 수도 있다. (312)의 점선들은 베이스 레이어 신호(200)로부터 로컬 이동에 의해 유도되고/선택되는 것처럼 예측 블록들로의 현재 코딩 유닛들의(308) 세부분할을 나타낸다. 로컬 이동과 관련된 자세한 내용들은 위에서 설명되었다.
위에서 이미 언급된 것처럼, 도 16의 실시예에 따라, 예측 블록들로의 세부분할만이 베이스 레이어로부터 채택되는 것은 아니다. 오히려, 영역(312) 내에서 이용되는 것처럼 베이스 레이어 신호의 예측 파라미터들은 향상 레이어 신호(400)의 코딩 유닛(308)의 예측 블록들에 관해 예측을 수행하기 위해 이용될 예측 파라미터들을 유도하는데도 이용될 수 있다.
특히, 도 16의 실시예에 따라, 예측 블록들로의 세부분할만이 베이스 레이어 신호로부터 유도되는 것이 아니라, 베이스 레이어 신호(200)에서 이용된 예측 모드들도 유도되며, 이는 유도된 세부분할의 각 서브블록들에 의해 지역적으로 커버되는 각 영역을 코딩/복원하기 위함이다. 하나의 예는 다음과 같다 : 위 설명에 따라 코딩 유닛(308)의 세부분할을 유도하기 위해, 관련되는 것들을 따라 베이스 레이어 신호(200)과 연결되어 이용되는 예측 모드, 모드-특정 예측 파라미터들은 위에서 논의된 "유사성"을 결정하기 위해 이용될 수 있다. 따라서, 도 16에서 표시된 상이한 해칭은 베이스 레이어의 상이한 예측 블록들(306)에 대응할 수 있고, 그것의 각 하나는 인트라 또는 인터 예측 모드, 즉 그것과 관련된 공간적 또는 시간적 예측 모드,를 가질 수 있다. 위에서 설명되는 것처럼, "충분히 유사"하기 위해, 코딩 유닛(308)의 세부분할의 각 서브블록에 공존되는 영역 내에서 이용되는 예측 모드들, 및 서브영역 내에서 각 예측 모드들에 대해 특정적인 예측 파라미터들은, 완전히 서로에게 동일해야 할 수 있다. 대안적으로, 몇몇 변경들이 허용될 수 있다.
특히, 도 16의 실시예에 따라, 왼쪽 위에서 오른쪽 아래까지 확장하는 해칭에 의해 보여지는 모든 블록들은 코딩 유닛(308)의 인트라 예측 블록들로 설정될 수 있고 이는 베이스 레이어 신호의 지역적으로 대응하는 부분이 그것과 관련되는 공간적 인트라 예측 모드를 갖는 예측 블록들(306)에 의해 커버되기 때문이며, 반면 다른 부분들, 즉 왼쪽 아래에서 오른쪽 위에 이르는 해칭된 부분은, 인터 예측 블록들로 설정될 수 있고 이는 베이스 레이어 신호의 지역적으로 대응하는 부분이 그것과 관련된 시간적 인터 예측 모드를 갖는 예측 블록들(306)에 의해 커버되기 때문이다.
대안적 실시예에 따라, 코딩 유닛(308) 내 예측을 수행하기 위한 예측 세부사항들의 편차가 여기서 중단될 수 있고, 즉 시간적 예측을 이용하여 코딩되는 것에 그리고 비-시간적 또는 공간적 예측을 이용하여 코딩되는 것으로의 이러한 예측 블록의 할당 및 코딩 유닛(308)의 예측 블록들로의 세부분할 유도에 제한될 수 있고, 그것은 도 16의 실시예에 따르지 않는다.
후자의 실시예에 따라, 거기에 할당되는 비-시간적 예측을 갖는 코딩 유닛(308)의 모든 예측 블록들은, 이러한 비-시간적 모드 블록들의 향상 레이어 예측 파라미터들처럼 베이스 레이어 신호(200)의 지역적으로 일치하는 인트라-블록들의 예측 파라미터들로부터 유도되는 예측 파라미터들을 이용하는 동안 비-시간적인, 공간적 인트라 예측의 대상이다. 그러한 유도는 베이스 레이어 신호(200)의 지역적으로 공존되는 인트라-블록들의 공간적 예측 파라미터들을 포함할 수 있다. 그러한 공간적 예측 파라미터들은, 예를 들어, 공간적 예측이 수행되는 각도 방향의 표시일 수 있다. 위에서 설명된 것처럼, 그 자체에 의한 유사성 정의는 코딩 유닛(308)의 각 비-시간적 예측 블록에 의해 중첩되는 공간적 베이스 레이어 예측 파라미터들이 서로 동일하다던가, 또는 코딩 유닛(308)의 각 비-시간적 예측 블록에 대해, 각 비-시간적 예측 블록에 의해 중첩되는 공간적 베이스 레이어 예측 파라미터들에 대한 몇몇 평균화(averaging)가 각 비-시간적 예측 블록의 예측 파라미터들을 유도하는데 이용된다는 것을 필요하게 한다.
대안적으로, 거기에 할당되는 비-시간적 예측 모드를 갖는 코딩 유닛(308)의 모든 예측 블록들은 다음 방식으로 인터-레이어 예측의 대상이 될 수 있다: 무엇보다도, 적어도 코딩 유닛(308)의 비-시간적 예측 모드 예측 블록들에 공간적으로 공존되는 영역들 내에서, 베이스 레이어 신호는 인터-레이어 예측 신호를 얻기 위해 해상도 또는 품질 개선의 대상이 되며, 이후 코딩 유닛(308)의 이러한 예측 블록들은 인터-레이어 예측 신호를 이용하여 예측된다.
스케일러블 비디오 디코더 및 인코더는 디폴트에 의해 인터-레이어 예측에 또는 공간적 예측에 코딩 유닛(308) 전부를 각각 대상으로 할 수 있다(subject). 대안적으로, 스케일러블 비디오 인코더/디코더는 코딩 유닛(308)의 비-시간적 예측 모드 예측 블록들이 관련되는 한 버젼이 이용되는 코딩된 비디오 데이터 스트림 신호들 내 시그널링 및, 양쪽 대안들을 지원할 수 있다. 특히, 양쪽 대안들 중에서의 결정은, 예를 들어, 코딩 유닛(308)에 대해 개별적으로, 어떠한 입도(granularity)의 데이터 스트림 내에서 시그널링 될 수 있다.
코딩 유닛(308)의 다른 예측 블록들이 관련되는 한, 동일한 것이, 비-시간적 예측 모드 예측 블록들의 경우와 마찬가지로, 지역적으로 일치하는 인터-블록들의 예측 파라미터들로부터 유도될 수 있는 예측 파라미터들을 이용하여 시간적 인터 예측의 대상이 될 수 있다. 상기 유도는, 차례로, 베이스 레이어 신호의 대응 부분들에 할당되는 모션 벡터들과 관련될 수 있다.
거기에 할당되는 시간적 인터 예측 모드 및 공간적 인트라 예측 모드 중 어느 것을 이용하는 모든 다른 코딩 유닛들에 대해, 동일한 것이 다음 방식으로 공간적 예측 또는 시간적 예측의 대상이 된다: 특히, 동일한 것이, 각 코딩 유닛에 할당될 때, 특히, 동일 예측 모드이고 코딩 유닛 내 예측 블록들 전부에 대해 공통인(common) 것에 할당되는 예측 모드를 갖는 예측 블록들로 더 세부분할된다. 그것은, 인터-레이어 예측 모드가 관련되는 코딩 유닛(308)처럼 코딩 유닛들과 다른, 공간적 인트라 예측 모드를 갖는 또는 그것과 관련되는 시간적 인터 예측 모드를 갖는 코딩 유닛들은, 동일 예측 모드, 즉, 각 코딩 유닛의 세부분할에 의해 유도되는 각 코딩 유닛들로부터 상속되는 예측 모드,들의 예측 블록들로 세부분할된다.
(308)을 포함하는 모든 코딩 유닛들의 세부분할은 예측 블록들로의 쿼드-트리 세부분할일 수 있다.
코딩 유닛(308)처럼, 인터-레이어 예측 모드의 코딩 유닛들 및 공간적 인트라 예측 모드 또는 시간적 인터 예측 모드의 코딩 유닛 사이의 추가적인 차이는, 시간적 예측 및 공간적 예측에 시간적 인터 예측 모드 코딩 유닛들 또는 공간적 인트라 예측 모드 코딩 유닛들의 예측 블록들을 각각 대상으로 할 때, 예측 파라미터들은, 예를 들어, 향상 레이어 서브스트림(6b) 내 시그널링되는 방식으로, 베이스 레이어 신호(200)에 어떠한 의존없이 설정된다는 것이다. 코딩 유닛(308)처럼 그것과 관련된 인터-레이어 레이어 예측 모드를 갖는 것들 외의 코딩 유닛들의 세부분할들은, 향상 레이어 신호(6b) 내에서 시그널링 될 수 있다. 그것은, 저 비트 레이트 신호화의 이점을 갖는 308처럼 인터-레이어 예측 모드 코딩 유닛들이 필요하다는 것이며 : 실시예에 따라, 코딩 유닛(308)에 대한 모드 표시기(mode indicator) 그 자체는 향상 레이어 서브스트림 내에서 시그널링 될 필요가 없다. 선택적으로, 추가 파라미터들은 개별 예측 블록들에 대해 예측 파라미터 잔류들처럼 코딩 유닛(308)에 대해 전송될 수 있다. 추가적으로 또는 대안적으로, 코딩 유닛(308)에 대한 예측 잔류는 향상 레이어 서브스트림(6b) 내에서 전송/시그널링 될 수 있다. 스케일러블 비디오 디코더는 향상 레이어 서브스트림으로부터 정보를 회수(검색, retrieve)하는 반면, 현재 실시예에 따른 스케일러블 비디오 인코더는 이러한 파라미터들을 결정하고 동일한 것을 향상 레이어 서브스트림(6b)으로 입력한다.
다른 말로, 베이스 레이어 신호(200)의 예측은 베이스 레이어 블록들(304) 단위로 베이스 레이어 신호(200)을 넘어 동일한 것이 공간적으로 변화하는 방식처럼 베이스 레이어 코딩 파라미터들을 이용하여 수행될 수 있다. 베이스 레이어에 대해 이용가능한 예측 모드들은, 예를 들어, 공간적 그리고 시간적 예측을 포함할 수 있다. 베이스 레이어 코딩 파라미터들은, 시간적 예측 블록들(304)에 관한 한 모션 벡터들, 그리고 공간적 예측 블록들(304)에 관한 한 각도 방향처럼 예측 모드 개별 예측 파라미터들을 더 포함할 수 있다. 나중의(latter) 예측 모드 개별 예측 파라미터들은 베이스 레이어 블록들(34)보다 더 작은 유닛에서, 즉 이전에 언급된 예측 블록들(306)에서 베이스 레이어 신호에 따라 변화할 수 있다. 위에서 언급된 충분한 유사성 요구를 충족시키기 위해, 그것은 각 가능한 서브블록 세부분할의 영역을 중첩하는 모든 베이스 레이어 블록들(304)의 예측 모드가 서로 동일하다는 요구일 수 있다. 단지 그렇다면 각 서브블록 세부분할은 선택된 서브블록 세부분할을 얻기 위해 최종적으로 선별될 수 있다. 상기 요구는, 그러나 더 엄격할 수도 있다: 각 서브블록 세부분할의 공통 영역을 중첩하는, 예측 블록들의 예측 모드 개별 예측 파라미터들은, 서로 동일해야 할 수도 있다. 베이스 레이어 신호 내 대응 여역 및 각 서브블록 세부분할의 각 서브블록에 관한 이러한 요구를 만족시키는 서브블록 세부분할들은 단지 최종적으로 선택된 서브블록 세부분할을 얻기 위해 선발될 수도 있다.
특히, 위에서 간략히 요약된 것처럼, 가능한 서브블록 분할들의 집합 중에서 선택을 어떻게 수행하는지에 관한 상이한 가능성들이 있다. 이를 더욱 더 자세히 설명하기 위해, 도 15c 및 도 15d가 참조된다. 집합(352)이 현재 블록(28)의 모든 가능한 서브블록 세부분할들(354)을 지나간다고 상상해보자. 자연스럽게, 도 15c는 단지 설명적인 예일 뿐이다. 현재 블록(28)의 가능한 또는 이용가능한 서브블록 세부분할들의 집합(352)은, 예를 들어, 픽쳐들의 시퀀스 또는 유사한 것에 대해, 코딩된 데이터 스트림 내 시그널링 될 수 있거나 디폴트에 의해 스케일러블 비디오 인코더 및 스케일러블 비디오 디코더에 알려질 수 있다. 도 15c의 예에 따라, 집합(352)의 각 멤버, 즉 각 이용가능한 서브블록 세부분할(354)은, 확인(check, 356)의 대상이며, 이는 베이스 레이어 신호의 공존되는 부분(108)이 향상 레이어로부터 베이스 레이어에 각 서브블록 세부분할(354)을 전달하여 세부분할되는 영역들이, 충뷴한 유사상 요구를 만족하는 베이스 레이어 코딩 파라미터들, 예측 블록들(306) 및 코딩 유닛(304)에 의해 중첩되는지 여부를 확인한다. 예를 들어, 도면 부호(354)가 붙여진 예시적 세부분할을 참조하라. 이러한 예시적 이용가능한 서브블록 세부분할에 따라, 현재 블록(28)은 네개의 사분면/서브블록들(quadrants/subblocks, 358)로 세부분할되며, 왼쪽 위 서브블록은, 베이스 레이어에서, 영역(362)에 대응한다.
명백하게, 이 영역(362)은 베이스 레이어의 네개의 블록과 중첩하며, 즉 예측 블록들로 더 세부분할되지 않는 두개의 코딩 유닛들(304) 및 두개의 예측 블록들(306)이며, 이와 같이 예측 블록들 그 자체를 나타낸다. 따라서, 영역(362)을 중첩하는 이러한 예측 블록들 모두의 베이스 레이어 코딩 파라미터들이 유사성 기준을 만족하는 경우, 이는 그들의 대응 영역들을 중첩하는 베이스 레이어 코딩 파라미터들 및 가능한 서브블록 세부분할의 모든 서브블록들/사분면들에 대한 추가적인 경우이며, 이후 이러한 가능한 서브블록 세부분할들(354)은 서브블록 세부분할들의 집합(364)에 속하고, 각 서브블록 세부분할의 서브블록들에 의해 커버되는 모든 영역들에 대한 충분도(sufficiency) 요구를 만족시킨다. 이러한 집합(364) 중에서, 가장 거칠은 세부분할은 화살표(366)으로 도시되는 것처럼 선택되고, 그렇게 함으로써 집합(352)으로부터 선택되는 서브블록 세부분할(368)을 얻는다. 명백하게, 집합(352)의 모든 멤버들에 대해 확인(356)을 수행하는 것을 피하도록 시도하는 것이 바람직하며, 따라서 도 15d에서 보여지고 위에서 설명된 것처럼, 가능한 세부분할들(354)은 증가하는 또는 감소하는 거칠음(coarseness)의 순서로 횡단될 수 있다(traversed). 상기 횡단(traversal)은 이중-헤드(double-headed) 화살표(372)를 이용하여 도시된다. 도 15d는 거칠음의 레벨 또는 측정이, 적어도 이용가능한 서브블록 세부분할들 중 적어도 몇몇에 대해, 서로 동일할 수 있다는 것을 도시한다. 다른 말로, 거칠음의 증가 또는 감소 레벨에 따른 순서는 모호할 수 있다. 그러나, 이는 집합(364)에 속하는 "가장 거친 서브블록 세부분할"의 탐색을 방해하며, 이는 그러한 동일하게 거칠은(equally coarse) 가능한 서브블록 세부분할들이 집합(364)에 속할 수 있기 때문이다. 따라서 기준 확인(356)의 결과가 충족된 것으로부터 충족되지 않은 것으로 변화하자마자 발견되며, 가장 거칠은 가능 서브블록 세부분할(368)이 거칠음이 증가하는 레벨 방향으로 횡단할 때, 이는 선택되는 서브블록의 세부분할(354)인 최종 횡단되는 가능 서브블록 세부분할 다음 것과 함께이며, 또는 거칠음의 레벨이 감소하는 방향을 따라 횡단할 때 충족되지 않은 것으로부터 충족된 것으로 스위칭할 때, 서브블록 세부분할(368)인 가장 최근에 횡단된 서브블록 세부분할과 함께이다.
다음 도면들에 관하여, 도 1 내지 4에 관해 위에서 설명된 것처럼 스케일러블 비디오 인코더 또는 디코더가 어떻게 출원의 추가적인 관점에 따라 본 출원의 시시예를 형성하기 위해 실행될 수 있는지가 설명된다. 이후에 설명되는 관점들의 가능한 실시예들은 관점들 K, A 및 M 으로 언급되며 아래에서 제시된다.
상기 관점을 설명하기 위해, 도 17이 참조된다. 도 17은 현재 부분(28)의 시간적 예측(32)의 가능성을 도시한다. 도 17의 다음 설명은 인터-레이으 예측 신호의 결합이 관련되는 한 도 6 내지 10에 관련된 설명과 결합될 수 있고, 또는 시간적 인터-레이어 예측 모드처럼 도 11 내지 13과 관련된 설명과 결합될 수 있다.
도 17에서 보여지는 상황은 도 6에서 보여지는 것에 대응한다. 그것은, 베이스 레이어 및 향상 레이어 신호들(200 및 400)이 보여지며, 이는 이미 코딩된/디코딩된 부분들이 해칭을 이용하여 도시된다는 것이다. 향상 레이어 신호(400) 내에서 현재 코딩/디코딩되는 부분은 인접 블록들(92 및 94)를 가지며, 여기서 예시적으로 블록(92) 위 및 현재 부분(28)의 왼쪽에 대해 블록(94)가 묘사되며, 양쪽 블록들(92 및 94)는 현재 블록(28)과 예시적으로 동일한 크기를 갖는다. 그러나 일치하는 크기는 강제적인 것은 아니다. 오히려, 향상 레이어 신호(400)의 픽쳐(22b)가 세부분할되는 블록들의 부분들은 상이한 크기들로 세부분할된다. 그것들은 사각 형태로도 제한되지 않는다. 그것들은 사각형 또는 다른 형태일 수 있다. 현재 블록(28)은 도 17에서 특정적으로 묘사되지 않는 추가 인접 블록들을 가지며, 이는 그러나 아직 디코딩/코딩되지 않은 것이고, 즉 그것들은 코딩/디코딩 순서를 따르며 예측을 위해 이용가능하지 않다. 이를 넘어, 블록(96)처럼 코딩/디코딩 순서에 따라 이미 코딩/디코딩된 블록들(92 및 94) 외에 다른 블록들이 있을 수 있고, 이는 현재 블록(28)에 인접하며 - 예시적으로 현재 블록(28)의 왼쪽 위 코너에 대각일 수 있으며, 블록(92 및 94)는 여기서 고려되는 예에서 인터 예측(30)의 대상인 현재 블록(28)에 대한 인터 예측 파라미터들을 예측하는 역할을 하는 미리 결정된 인접 블록들이다. 그러한 미리 결정된 인접 블록들의 숫자는 두개에 제한되지 않는다. 그것은 더 높을 수도 있고 단지 하나일 수도 있다. 가능한 실시예들의 논의는 도 36 내지 38과 관련하여 제시된다.
스케일러블 비디오 인코더 및 스케일러블 비디오 디코더는, 예를 들어, 왼쪽 위 샘플 처럼 현재 부분(28) 내 미리 결정된 샘플 위치(98)에 의존하는 블록들(92 내지 96), 여기서는 이미 코딩된 인접 블록들의 집합으로부터의 블록들(92, 94)인, 미리 결정된 인접 블록들의 집합을 결정할 수 있다. 예를 들어, 현재 부분(28)의 단지 이미 코딩된 인접 블록들은 미리 결정된 샘플 위치(98)에 바로 인접한 샘플 위치들을 포함하는 "미리 결정된 인접 블록들"의 집합을 형성할 수 있다. 추가 가능성들은 도 36 내지 38과 관련하여 설명된다.
어떠한 경우에, 모션 벡터(504)에 의해 현재 블록(28)의 공존되는 위치로부터 배치되는, 디코딩/코딩 순서에 따라, 향상 레이어 신호(400)의 이전에 코딩/디코딩된 픽쳐(22b)의 부분(502)은, 보간(interpolation)에 의해 또는 복제에 의해 부분(28)의 샘플 값들이 예측될 수 있는 것에 기반한 복원된 샘플 값들을 포함한다. 이런 이유로, 모션 벡터(504)는 향상 레이어 서브스트림(6b)에서 시그널링된다. 예를 들어, 현재 블록(28)에 대한 시간적 예측 파라미터는, 부분(28)의 샘플들 상에, 보간(interpolation)에 의해 선택적으로, 복제되기 위해 기준 픽쳐(22b)에서 부분(28)의 공존되는 부분으로부터의 부분(502) 배치를 나타내는 배치 벡터(displacement vector, 506)를 나타낸다.
어떠한 경우에, 현재 블록(28)을 시간적으로 예측하는 때에, 스케일러블 비디오 디코더/인코더는 베이스 레이어 서브스트림(6a)을 이용하여, 적어도 시간적 대응 픽쳐(22a)의 관련 공간 대응 영역에 관한 한, 위에서 설명된 것처럼, 블록-별 예측을 이용하여, 예를 들어, 공간적 및 시간적 예측 모드들 사이의 블록-별 선택을 이용하여, 베이스 레이어(200)를 이미 복원하였다(그리고 인코더의 경우에 인코딩하였다).
도 17에서, 현재 부분(28)에 지역적으로 대응하는, 그리고 그 주변의 영역에 위치하는, 베이스 레이어 신호(200)의 시간 정렬 픽쳐(22a)가 세부분할되는 몇몇 블록들(104)이 예시적으로 설명된다. 향상-레이어 신호(400) 내 공간적 예측 블록들을 갖는 바로 그러한 경우처럼, 공간적 예측 모드의 선택이 시그널링되는, 베이스 레이어 신호(200) 내 블록들(104)에 대한 베이스 레이어 서브스트림(6a) 내에, 공간적 예측 파라미터들이 포함되거나 시그널링된다.
예시적으로 여기서 시간적 인트라-레이어 예측(32)이 선택된, 블록(28)에 관해 코딩된 데이터 스트림으로부터 향상 레이어 신호의 복원을 허용하기 위해, 모션 파라미터와 같은 인터 예측 파라미터가 다음 방식 중 어느 것에 따라 결정되고 이용된다:
첫번째 가능성은 도 18에 관해 설명된다. 특히, 먼저, 미리 결정된 블록들(92 및 94)처럼 프레임의 인접한 이미 복원된 블록들로부터, 모션 파라미터 후보들(514)의 집합(512)가 모여지며, 또는 발생된다. 모션 파라미터들은 모션 벡터들일 수 있다. 블록들(92 및 94)의 모션 벡터는 각각, 거기에 기록되는 1 및 2를 갖는 화살표(516 및 518)을 이용하여 기호화된다. 보여지는 것처럼, 이러한 모션 파라미터들(516 및 518)은 후보(candidate, 514)를 직접 형성할 수 있다. 몇몇 후보들은 도 18에서 도시되는 것처럼 518 및 516 같은 모션 벡터들을 결합하여 형성될 수 있다.
게다가, 부분(28)에 공존되는, 베이스 레이어 신호(200)의 블록(108)의 하나 이상의 베이스 레이어 모션 파라미터들(524) 집합(522)은,베이스 레이어 모션 파라미터들로부터 모여지거나(gathered) 발생된다. 다른 말로, 베이스 레이어에 공존되는 블록(108)과 관련된 모션 파라미터는 하나 이상의 베이스 레이어 모션 파라미터들(524)를 유도하기 위해 이용된다.
하나 이상의 베이스 레이어 모션 파라미터들(524), 또는 그것의 스케일링된 버젼은, 이후 모션 파라미터 후보들의 확장된 모션 파라미터 후보 집합(528)을 얻기 위해 모션 파라미터 후보들(514)의 집합(512)에 (526)을 더한다. 이는 후보들(514)의 리스트 끝에서 베이스 레이어 모션 파라미터들(524)를 간단히 첨부하는 것같은 어떠한 매니폴드 방식(manifold ways)으로 수행될 수 있고, 또는 도 19a에 관해 예시가 설명되는 상이한 방식으로 수행될 수 있다.
확장된 모션 파라미터 후보 집합(528)의 모션 파라미터 후보들(532)의 적어도 하나는, 선택되며 이후 모션 보상 예측에 의한 부분(28)의 시간적 예측(32)은 확장 모션 파라미터 후보 집합의 모션 파라미터 후보들 중 선택된 하나를 이용하여 수행된다. 선택(534)은, 리스트/집합(528)으로의 인덱스(536) 방식으로, 부분(28)의 서브스트림(6b)같은 데이터 스트림 내에 시그널링될 수 있고, 또는 도 19a에 관해 설명되는 것처럼 다르게 수행될 수도 있다.
위에서 설명되는 것처럼, 베이스 레이어 모션 파라미터(523)이 병합(merging)을 이용하여 베이스 레이어 서브스트림(6a) 같은 코딩된 데이터 스트림에서 코딩되어야 하는지 아닌지 여부가 확인될 수 있고, 만약 베이스 레이어 모션 파라미터(523)이 병합을 이용하여 코딩된 데이터 스트림에서 코딩되는 경우, 가산(adding, 526)은 압축(suppressed)될 수 있다.
도 18에 따라 언급된 모션 파라미터들은 모션 벡터들(모션 벡터 예측)에만 관련될 수 있고, 또는 블록당 모션 가설들(hypotheses)의 숫자, 기준 인덱스들, 분할 정보 (병합)을 포함하는 모션 파라미터들의 완전 집합에 관련될 수 있다. 따라서, "스케일링된 버젼(scaled version)"은 공간적 확장성(scalability)의 경우에 베이스 및 향상 레이어 신호 사이의 공간적 해상도 비율에 따라 베이스 레이어 신호에서 이용되는 모션 파라미터들의 스케일링(scaling)으로부터 연유할 수 있다. 코딩된 데이터 스트림 방식에 의해 베이스 레이어 신호의 베이스 레이어 모션 파라미터들의 코딩/디코딩은, 공간적 또는 시간적, 또는 병합같은 모션 벡터 예측을 포함할 수 있다.
병합/모션 벡터 후보들(532)의 집합(528)로의 베이스 레이어 신호의 공존되는 부분(108)에서 이용되는 모션 파라미터들(523)의 합병(incorporation, 526)은 하나 이상의 인터-레에어 후보(524) 및 인트라-레이어 후보들(514) 중에서 아주 효과적인 인덱싱을 가능하게 한다. 상기 선택(534)은 예측 블록당, 코딩 유닛당(per prediction block, per coding unit),또는 유사한 것같은 향상 레이어 신호(6b)에서 모션 파라미터 후보들의 확장된 집합/리스트로의 인덱스로의 명시적 시그널링(explicit signaling)을 포함할 수 있다. 대안적으로, 선택 인덱스(536)는 인터-레이어 정보 또는 향상 레이어 신호(6b)의 다른 정보로부터 추론될 수도 있다.
도 19a의 가능성에 따라, 부분(28)에 대한 향상 레이어 신호를 위한 최종 모션 파라미터 후보 리스트의 형성(542)은 도 18과 관련하여 설명되는 것처럼 단지 선택적으로 수행된다. 그것은, 동일한 것이 (528) 또는 (512)일 수 있다는 것이다. 그러나, 리스트(528/512)는 공존되는 베이스 레이어 블록(108)의, 모션 벡터(523)에 의해 표현되는, 모션 파라미터의 예처럼, 베이스 레이어 모션 파라미터들에 의존하여 정렬된다(544). 예를 들어, 즉 모션 파라미터 후보들인, 멤버들의 순위(rank), 또는 리스트(528/512)의 (532) 또는 (514)는 모션 파라미터(523)의 잠재적으로 스케일링된 버젼에 동일한 것 각각의 편차에 기반하여 결정된다. 편차가 더 클수록, 정렬된 리스트(528/512')에서의 각 멤버들의 (523/512) 순위가 더 낮다. 정렬(544)은, 이와 같이, 리스트(528/512)의 멤버(532/514) 당 편차 측정의 결정을 포함할 수 있다. 정렬된 리스트(528/512') 내 한 후보(532/512)의 선택(534)는 코딩된 데이터 스트림에서 명시적 시그널링된 인덱스 구문 요소(536)을 통해 제어되면서 수행되고, 이는 향상 레이어 신호의 부분(28)에 대해 정렬된 모션 파라미터 후보 리스트(528/512')로부터 향상 레이어 모션 파라미터를 얻기 위함이며, 이후, 향상 레이어 신호의 부분(28)의, 모션 보상 예측에 의한, 시간적 예측(32)은 인덱스(536)가 가리키는(534) 선택된 모션 파라미터를 이용하여 수행된다.
도 19a에서 언급되는 모션 파라미터들에 관해, 위에서 언급된 것과 동일한 것(the same)이 도 18과 관련하여 적용된다. 코딩된 데이터 스트림으로부터 베이스 레이어 모션 파라미터들(520)의 디코딩은, 동일한 것이 공간적 또는 시간적 모션 벡터 예측 또는 병합을 (선택적으로) 포함할 수 있다. 정렬(ordering)은, 방금 언급된 것처럼, 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록에 관계된, 베이스 레이어 신호의 베이스 레이어 모션 파라미터들 및 각 향상 레이어 모션 파라미터 후보들 사이의 차이를 측정하는 측정(measure)에 따라 수행된다. 그것은, 향상 레이어 신호의 현재 블록에 대해, 향상 레이어 모션 파라미터 후보들의 리스트가 먼저 결정될 수 있다는 것이다. 이후, 정렬은 방금-언급된 것처럼 수행된다. 이후에, 상기 선택은 명시적 시그널링(explicit signaling)에 의해 수행된다.
정렬(544)은, 대안적으로, 베이스 레이어에서 공간적 및/또는 시간적 인접 블록들(548)의 베이스 레이어 모션 파라미터들(546), 및 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록(108)에 관련되는, 베이스 레이어 신호의 베이스 레이어 모션 파라미터(523) 사이의 차이를 측정하는 측정에 따라 수행된다. 베이스 레이어에서 결정된 정렬은 향상 레이어에 전달되며, 향상 레이어 모션 파라미터 후보들은 정렬이 대응 베이스 레이어 후보들에 대해 미리 결정되는 정렬과 동일한 방식으로 정렬된다. 이에 대하여, 베이스 레이어 모션 파라미터(546)는, 관련 베이스 레이어 블록(548)이 고려된 향상 레이어 모션 파라미터들에 관련된 인접 향상 레이어 블록(92 및 94)에 공간적/시간적으로 공존될 때, 인접 향상 레이어 블록(92, 94)의 향상 레이어 모션 파라미터에 대응한다고 말해질 수 있다. 더 대안적으로, 현재 향상 레이어 블록(28)에 공존되는 블록(108) 및 관련 베이스 레이어 블록(548) 사이의 인접 관계(추가 실시예들을 위해 왼쪽 인접, 위쪽 인접, A1, A2, B1, B2, B0, 또는 도 36 내지 38을 참조)가 현재 향상 레이어 블록 (28) 및 각 향상 레이어 인접 블록(92, 94) 사이의 인접 관계와 동일할 때, 베이스 레이어 모션 파라미터(546)는 인접 향상 레이어 블록(92, 94)의 향상 레이어 모션 파라미터에 대응한다고 말해질 수 있다.
이를 더 자세히 설명하기 위해, 도 19b가 참조된다. 도 19b는 베이스 레이어 힌트들(base layer hints) 이용에 의한 모션 파라미터 후보들의 리스트에 대한 향상 레이어 정렬을 유도하기 위한 방금 언급된 대안들의 첫번째를 보여준다. 도 19b는 현재 블록(28) 및 동일한 것의 세개의 상이한 미리 결정된 샘플 위치들, 즉 왼쪽 위 샘플(581), 왼쪽 아래 샘플(583) 및 오른쪽 위 샘플(585)을 보여준다. 상기 예는 단지 도시적으로 해석되는 것뿐이다. 미리 결정된 인접 블록들의 집합이 인접한 것들의 네개의 타입들(types)을 지나간다고 예시적으로 상상해보자: 샘플 위치(581) 위에 위치되고 바로 인접하는 샘플 위치(587)을 커버하는 인접 블록(94a), 그리고 샘플 위치(585) 바로 위에 위치되고, 인접하는 샘플 위치(589)를 커버하거나 포함하는 인접 블록(94b). 유사하게, 인접 블록들(92a 및 92b)는 샘플 위치(581 및 583)의 왼쪽에 위치되는, 샘플 위치(591 및 593)에 바로 인접하고 이를 포함하는 그러한 블록들이다.
도 19b의 대안에 따라, 미리 결정된 각 인접 블록(92a, b)에 대해, 베이스 레이어의 공존되는 블록이 결정된다. 예를 들어, 이러한 이유로 각 인접 블록의 왼쪽 위 샘플(595)가 이용되며, 바로 그대로 왼쪽 위 샘플(581)에 관한 현재 블록(28)이 공식적으로 도 19a에서 언급되었다. 이는 점선 화살표들을 이용하여 도 19b 에서 도시되었다. 이러한 측정에 의해, 미리 결정된 인접 블록들 각각에 대해 대응 블록(597)은 현재 블록(28)에 공존되는, 공존된 블록(108)에 추가로 발견될 수 있다. 공존되는 베이스 레이어 블록들(597)의 모션 파라미터들(m1, m2, m3 및 m4), 및 공존되는 베이스 레이어 블록(108)의 베이스 레이어 모션 파라미터 m 에 대한 그들의 각각의 차이를 이용하여, 미리 결정된 인접 블록들 (92a, b 및 94a, b)의 향상 레이어 모션 파라미터들은 리스트(528 또는 512) 내에서 정렬된다. 예를 들어, m1 - m4 중 어느 것의 거리가 더 클수록, 대응 향상 레이어 모션 파라미터 M1 - M4 가 더 클 수 있고, 즉 더 높은 인덱스들은 리스트(528/512')로부터 동일한 인덱스에 필요할 수 있다. 거리 측정에 대해, 절대적 차이(absolute difference)가 이용될 수 있다. 유사한 방식으로, 모션 파라미터 후보들(532 또는 514)은, 향상 레이어 모션 파라미터들 M1 - M4의 결합인, 그들의 순위들에 관한 리스트 내에서 재배치될 수 있다.
도 19c는 베이스 레이어에서 대응 블록들이 또다른 방식으로 결정되는 대안을 보여준다. 특히, 도 19c는 현재 블록(28)의 공존되는 블록(108) 및 현재 블록(28)의 미리 결정된 인접 블록들 (92a,b 및 94a,b)을 보여준다. 도 19c의 실시예에 따라, 현재 블록(28)의 그것들에 대응하는 베이스 레이어 블록들은, 즉 (92a,b 및 94a,b)는, 이러한 베이스 레이어 블록들이 이러한 베이스 레이어 인접 블록들을 결정하기 위한 동일 인접 결정 규칙들을 이용하여 향상 레이어 인접 블록들(92a,b 및 94a,b)에 관련되는 방식으로 결정된다. 특히, 도 19c는 공존되는 블록(108)의 밀 결정된 샘플 위치들, 즉 왼쪽 위, 왼쪽 아래, 및 오른쪽 위 샘플 위치들(601),을 보여준다. 샘플 위치들에 기반하여, 블록(108)의 네개의 인접 블록들은 현재 블록(28)의 미리 결정된 샘플 위치들(581, 583 및 585)에 관하여 향상 레이어 인접 블록들(92a,b 및 94a,b)에 관해 설명되는 것과 동일한 방식으로 결정된다: 네개의 베이스 레이어 인접 블록들(603a, 603b, 605a 및 605b)은 이러한 방식으로 발견되며, (603a)는 명백하게 향상 레이어 인접 블록(92a)에 대응하며, 베이스 레이어 블록(603b)는 향상 레이어 인접 블록(92b)에 대응하며, 베이스 레이어 블록(605a)는 향상 레이어 인접 블록(94a)에 대응하며, 베이스 레이어 블록(605b)는 향상 레이어 인접 블록(94b)에 대응한다. 이전에 설명되는 것과 동일한 방식으로, 베이스 레이어 블록들(903a,b 및 905a,b)의 베이스 레이어 모션 파라미터들 M1 내지 M4 및 공존되는 베이스 레이어 블록(108)의 베이스 레이어 모션 파라미터 m 의 거리들은 향상 레이어 블록들(92a,b 및 94a,b)의 모션 파라미터들 M1 내지 M4로부터 형성되는 리스트(528/512) 내에서 모션 파라미터 후보들을 정렬하기 위해 이용된다.
도 20의 가능성에 따라, 부분(28)에 대한 향상 레이어 신호를 위한 최종 모션 파라미터 후보 리스트의 형성(562)는 도 18 및/또는 19에 관해 설명된 것처럼 단지 선택적으로 수행된다. 그것은, 동일한 것이 (528) 또는 (512) 또는 (528/512')일 수 있고 도면 부호(564)가 도 20에서 이용된다. 도 20에 따라, 모션 파라미터 후보 리스트(564)를 가리키는 인덱스(566)는 예를 들어, 공존되는 블록(108)에 관해 베이스 레이어 신호를 코딩/디코딩하기 위해 이용된 모션 파라미터 후보 리스트(568)에 대한 인덱스(567)에 의존하여 결정된다. 예를 들어, 블록(108)에서 베이스 레이어 신호를 복원하는데 있어, 모션 파라미터 후보들의 리스트(568)는, 리스트들(568 및 564)의 리스트 멤버들 중의 정렬같은 형성(formation, 562)에서 이용되는 것처럼 동일 구성 규칙을 잠재적으로 이용하여 리스트(567)의 결정(572)과 함께, 현재 블록(28) 및 미리 결정된 인접 향상 레이어 블록들(92, 94) 사이의 인접 관계와 동일한 블록(108)에 대한 인접 관계(왼쪽 인접, 위쪽 인접, A1, A2, B1, B2, B0 또는 도 36 내지 38을 추가 예를 위해 참조)를 갖는 블록(108)의 인접 블록들(548)의 모션 파라미터들(548)에 기반하여 결정되었을 수 있다. 더 일반적으로, 향상 레이어에 대한 인덱스(566)는 인접 향상 레이어 블록(92, 94)이 인덱스된 베이스 레이어 후보들, 즉 인덱스(567)이 가리키는 것,에 관련된 베이스 레이어 블록(548)과 공존되는 인덱스에 대해 표시되는 방식으로 결정될 수 있다. 인덱스(567)는 인덱스(566)의 의미있는 예측으로 기능할 수 있다. 향상 레이어 모션 파라미터는 이후 모션 파라미터 후보 리스트(564)로의 인덱스(566)을 이용하여 결정되며 블록(28)의 모션 보상 예측은 결정된 모션 파라미터를 이용하여 수행된다.
도 20에서 언급되는 모션 파라미터들에 관해, 위에서 언급된 것과 동일하게 도 18 및 19에 관해 적용된다.
다음 도면들에 관해, 스케일러블 비디오 인코더 또는 디코더가 도 1 내지 4에 관해 위에서 언급된 것처럼 어떻게 응용의 더 추가적인 관점에 따라 본 출원의 실시예를 형성하기 위해 실행될 수 있는지가 설명된다. 여기 이후에 설명된 관점들의 자세한 실시예들은 관점 V라는 레퍼런스로 아래에서 설명된다.
본 관점은 향상 레이어 내 잔류 코딩에 관련된다. 특히, 도 21은 베이스 레이어 신호(200)의 픽쳐(22a), 향상 레이어 신호(400)의 시간적 등록 방식으로 픽쳐(22b)를 예시적으로 보여준다. 도 21은 스케일러블 비디오 디코더 내에서의 복원, 또는 향상 레이어 신호 및 스케일러블 비디오 인코더 내에서의 인코딩 방식을 보여주며 미리 결정된 부분(404) 및 향상 레이어 신호(400)을 나타내는 변환 계수들(402)의 미리 결정된 변환 계수 블록에 집중한다. 다른 말로, 변환 계수 블록(402)은 향상 레이어 신호(400)의 부분(404)의 공간적 분해를 나타낸다. 이미 설명된 것처럼, 코딩/디코딩 순서에 따라, 베이스 레이어 신호(200)의 대응 부분(406)은 변환 계수 블록(402)을 디코딩/코딩하는 때에 이미 디코딩/코딩될 수 있다. 베이스 레이어 신호(200)에 관한 한, 예측 코딩/디코딩이 거기에 이용될 수 있고, 베이스 레이어 서브스트림(6a)같은, 코딩된 데이터 스트림 내 베이스 레이어 잔류 신호의 신호화를 포함한다.
도 21에 관해 설명된 관점에 따라, 스케일러블 비디오 디코더/인코더는 부분(404)에 공존되는 부분(406)에서 베이스 레이어 잔류 신호 또는 베이스 레이어 신호의 측정(evaluation, 408)이 서브블록들(412)로의 변환 계수 블록(402)의 세부분할의 유리한 선택을 도출할 수 있다는 사실을 이용한다. 특히, 서브블록들로 변환 계수 블록(402)을 세부분할 하기 위한 몇몇 가능한 서브블록 세부분할들은 스케일러블 비디오 디코더/인코더에 의해 지지될 수 있다. 이러한 가능한 서브블록 세부분할들은 직사각형 서브블록들(412)로 변환 계수 블록(402)을 규칙적으로 세부분할할 수 있다. 그것은, 변환 계수 블록(402)의 변환 계수들(414)이 행 및 열로 배치될 수 있다는 것이고, 가능한 서브블록 세부분할들에 따라, 이러한 변환 계수들(414)은 서브블록들(412) 그 자체들이 열 및 행들에 배치되도록 변환 계수들(414)이 규칙적으로 서브블록들(412)로 클러스터링(clustered)된다. 측정(evaluation, 408)은, 즉 그들의 너비 및 높이를, 선택되는 서브블록 세부분할을 이용하여 변환 계수 블록(402)의 코딩이 가장 효율적인 방식으로, 서브블록들(412)의 열의 숫자 및 행의 숫자 사이의 비율을 설정하는 것이 가능하다. 예를 들어, 만약 측정(408)이 공존되는 부분(406) 내 복원된 베이스 레이어 신호(200)를 드러내거나, 또는 적어도 대응 부분(406) 내 베이스 레이어 잔류 신호가 공간적 영역에서 주로 수평 모서리를 구성하는 경우, 변환 계수 블록(402) 상당한, 즉 비-제로인, 변환 계수 레벨들,즉 변환 계수 블록(402)의 제로 수평 주파수 측(zero horizontal frequency side) 근처의, 양자화된 변환 계수들,과 아마 함께 존재할 것이다. 수직 모서리의 경우에, 변환 계수 블록(402)은 변환 계수 블록(402)의 제로 수직 주파수 측(zero vertical frequency side) 근처의 위치에서 비-제로 변환 계수 레벨들과 아마 함께 존재할 것이다. 따라서, 제1인스턴스(첫번째 인스턴스, first instance)에서, 서브블록들(412)은 수평 방향을 따라 더 작게 수직 방향을 따라 더 길게 선택되어야 하고, 제2인스턴스에서 서브블록들은 수직 방향에서 더 작게 수평 방향에서 더 길게 선택되어야 한다.
그것은, 스케일러블 비디오 디코더/인코더가 베이스 레이어 신호 또는 베이스 레이어 잔류 신호에 기반하여 가능한 서브블록 세부분할들의 집합 중에서 서브블록 세부분할을 선택할 것이라는 점이다. 변환 계수 블록(402)의 코딩(414), 또는 디코딩은, 선택된 서브블록 세부분할을 적용하여 수행될 것이다. 특히, 변환 계수들(414)의 위치들은 서브블록(412)의 유닛들에서 횡단될 것이며 하나의 서브블록 내 모든 위치들(all positions)은 서브블록들 중 정의되는 서브블록 순서에서 다음 서브블록으로 진행하는 즉시 연속 방식으로 횡단된다. 현재 방문되는(visited) 서브블록은, 도 40의 22에서 예시적으로 보여지는 도면부호(412)에 대한 서브블록(412)같은 것이며, 구문 요소는, 현재 방문된 서브블록이 어떠한 중요 변환 계수를 갖는지 아닌지 여부를 나타내는, 향상 레이어 서브스트림(6b)같은 데이터 스트림 내에서 시그널링된다. 도 21에서, 구문 요소들(416)은 두개의 예시적 서브블록들에 대해 도시된다. 만약 개별 서브블록의 각 구문 요소가 비중요 변환 계수를 나타내는 경우, 다른 아무것도 향상 레이어 서브스트림(6b) 또는 데이터 스트림 내에서 전송될 필요가 없을 것이다. 오히려, 스케일러블 비디오 디코더는 그 서브블록 내 변환 계수들을 0으로 설정할 수 있다. 그러나, 만약 각 서브블록의 구문 요소(416)가 이 서브블록이 어떠한 중요 변환 계수를 갖는다는 것을 나타내는 경우, 그 서브블록 내에서 변환 계수에 관련되는 추가 정보는 서브스트림(6b) 또는 데이터 스트림 내에서 시그널링된다. 디코딩 측면에서, 스케일러블 비디오 디코더는 서브스트림(6b) 또는 데이터 스트림으로부터 각 서브블록 내 변환 계수들의 레벨을 나타내는 구문 요소들(418)을 디코딩한다. 구문 요소들(418)은, 각 서브블록 내 이러한 변환 계수들 중 스캔 순서에 따라, 그리고 선택적으로 각 서브블록 내 변환 계수들 중 스캔 순서에 따라, 그 서브블록 내 중요 변환 계수들의 위치를 시그널링할 수 있다.
도 22는 측정(408)에서 가능한 서브블록 세부분할들 중에서 선택을 수행하기 위해 존재하는 상이한 가능성들을 각각, 보여준다. 도 22는 변환 계수 블록(402)이 후자가 부분(404)의 스펙트럼 분해를 나타낸다는 점에 관련되는 향상 레이어 신호의 부분(404)를 다시 도시한다. 예를 들어, 변환 계수 블록(402)은 향상 레이어 신호를 예측적으로 코딩/디코딩하는 스케일러블 비디오 디코더/인코더를 가지고 향상 레이어 잔류 신호의 스펙트럼 분해를 나타낸다. 특히, 블록-별 방식으로 수행되는 변환 코딩/디코딩으로, 즉 향상 레이어 신호의 픽쳐들(22b)가 세부분할되는 블록들로, 변환 코딩/디코딩은 향상 레이어 잔류 신호를 인코딩하기 위해 스케일러블 비디오 디코더/인코더에 의해 이용된다. 도 22는 베이스 레이어 신호의 대응하는 또는 공존되는 부분(406)을 나타내며 여기서 스케일러블 비디오 디코더/인코더는 또한, 베이스 레이어의 예측 잔류에 관해, 즉 베이스 레이어 잔류 신호에 관해, 변환 코딩/디코딩을 이용하는 동안 베이스 레이어 신호에 예측 인코딩/디코딩을 적용한다. 특히, 블록-별 변환은 베이스 레이어 잔류 신호에 대해 이용되며, 즉, 베이스 레이어 잔류 신호는 도 22에서 점선으로 표시되는 개별적으로 변환되는 블록들과 함께 블록-별로 변환된다(transformed block-wise). 도 22에서 도시되는 것처럼, 베이스 레이어의 변환 블록들의 블록 경계(바운더리, boundaries)들은 공존되는 부분(406)의 윤곽과 반드시 일치할 필요는 없다.
그럼에도 불구하고 측정(408)을 수행하기 위해서, 다음 옵션들 A 내지 C 중 하나 또는 그 조합이 이용될 수 있다.
특히, 스케일러블 비디오 디코더/인코더는 코딩/디코딩될 변환 계수 블록(402)의 크기와 일치하는 변환 계수들의 변환 계수 블록(424)을 얻기 위해 부분(406) 내 복원된 베이스 레이어 신호 또는 베이스 레이어 잔류 신호 상에 변환(422)을 수행할 수 있다. 변환 계수 블록(424, 426) 내 변환 계수들의 값의 분포의 조사(inspection)는, 수평 주파수들(horizontal frequencies)의 방향, 즉 428에 따른 서브블록들(412)의 크기 및 수직 주파수들의 방향, 즉 432에 따른 서브블록(412)의 크기를 적절히 설정하기 위해 이용될 수 있다.
추가적으로 또는 대안적으로, 스케일러블 비디오 디코더/인코더는 공존되는 부분(406)을 적어도 부분적으로 중첩하는, 도 22에서 상이하게 해칭되어 도시되는 베이스 레이어 변환 블록들(434)의 모든 변환 계수 블록들을 조사할 수 있다. 도 22의 예시적 경우에서, 네개의 베이스 레이어 변환 블록들이 있고, 그것의 변환 계수 블록들이 조사될 것이다. 특히, 이러한 베이스 레이어 변환 블록들 모두는 서로 중에서 상이한 크기일 수 있고 추가적으로 변환 계수 블록(412)에 관한 크기와 다를 수 있으며, 스케일링(scaling, 436)은 베이스 레이어 변환 블록들(434) 중첩의 변환 계수 블록들 상에서 수행될 수 있고, 이는 부분(406) 내에서 베이스 레이어 잔류 신호의 스펙트럼 분해의 변환 계수 블록(438)의 근사를 도출하기 위함이다. 그 변환 계수 블록(438) 내 변환 계수들의 값의 분포, 즉 442는, 서브블록 크기(428) 및 (432)를 적절히 선택하기 위해 측정 내에서 이용될 수 있고, 그것에 의해 변환 계수 블록(402)의 서브블록 세부분할을 선택한다.
측정(408)을 수행하기 위해 추가적으로 또는 대안적으로 이용될 수 있는 추가 대안은, 예를 들어, 서브블록 크기(428 및 432)를 적절히 설정하기 위해 공존되는 부분(406) 내에서 결정되는 기울기(그래디언트, gradient) 또는 감지되는 모서리들(edges)의 확장 방향에 기반하여 결정하는, 주 기울기 방향(main gradient direction)의 결정 또는 모서리 감지(444)의 이용에 의해 공간적 영역 내 복원된 베이스 레이어 신호 또는 베이스 레이어 잔류 신호를 조사하는 것이다.
비록 위에서 특정적으로 설명되지는 않았지만, 서브블록들(412)의 유닛들 및 변환 계수들의 위치들을 횡단하는 데 있어, 변환 계수 블록의 제로 주파수 코너로부터 시작하여, 블록의 가장 높은 주파수 코너(402)까지의 순서로 서브블록들(412)을 횡단하는 것, 즉 도 21의 왼쪽 위 코너로부터, 도 21의 오른쪽 아래 코너로 횡단하는 것이 바람직할 수 있다. 게다가, 엔트로피 코딩은 데이터 스트림(6b) 내 구문 요소들을 시그널링하기 위해 이용될 수 있다 : 그것은, 구문 요소들(416 및 418)이 엔트로피 코딩의 몇몇 다른 형태들 또는 산술(arithmetic) 또는 가변 길이 코딩같은 엔트로피 코딩을 이용하여 코딩될 수 있다는 것이다. 또한, 횡단 서브블록들(412)의 순서는 408에 따라 선택된 서브블록 형태에 의존할 수 있다 : 그들의 높이보다 더 넓도록 선택되는 서브블록들에 대해, 횡단의 순서는 서브블록들 행-방향으로 먼저 횡단하고 이후 다음 행으로 진행하는 등이다. 이를 넘어, 서브블록 크기를 선택하기 위해 이용되는 베이스 레이어 정보는 그 자체로 복원되는 베이스 레이어 신호 또는 베이스 레이어 잔류 신호일 수 있다는 것이 다시 주목되어야 한다.
다음에서, 위에서 설명된 관점들과 결합될 수 있는 상이한 실시예들이 설명된다. 아래에서 설명되는 실시예들은 훨씬 더 효율적인 스케일러블 비디오 코딩을 렌더링하기 위한 많은 다양한 관점들 또는 방법들에 관련된다. 부분적으로, 위 관점들은 아래에서 더 자세히 설명되고, 이는 그것의 유도되는 실시예를 나타내기 위함이며, 다만 일반적인 개념은 유지한다. 이러한 아래에 제시된 설명들은 위 실시예들/관점들의 확장들 또는 대안들을 얻기 위해 이용될 수 있다. 아래에서 설명되는 실시예들 대부분은, 그러나, 서브 관점들에 관련되고, 이는 선택적으로, 위 실시예들과 함께 동시에 하나의 스케일러블 비디오 디코더/인코더 내 실행될 수 있는, 그러나 반드시 그럴 필요는 없는, 위에서 이미 설명된 관점들과 결합할 수 있다.
더 쉬운 이해를 가능하게 하기 위해 실시예들 및 그 결합의 통합에 적합한 스케일러블 비디오 인코더/디코더를 실행하기 위한 더 세부적인 실시예에 대한 설명이 다음에 제시된다. 아래에서 설명되는 상이한 관점들은 글자와 숫자(alphanumeric) 부호들을 이용하여 열거된다. 이러한 관점들 몇몇의 설명은 이제 설명되는 도면들에서 요소들을 참조하며, 여기서 하나의 실시예에 따라, 이러한 관점들은 공통적으로 실행될 수 있다. 그러나, 각 관점들에 관한 한, 스케일러블 비디오 디코더/인코더의 실행에서 모든 요소들의 존재가 모든 관점이 관련되는 한 필수적인 것은 아니라는 점이 주목되어야 한다. 문제가 되는 관점에 기반하여, 몇몇 요소들 및 몇몇 인터-커넥션들(상호-연결들)은 다음에서 설명되는 도면들로부터 제외될 수 있다. 각 관점들에 관해 인용되는 요소들은 단지각 관점의 설명에서 언급된 업무 또는 기능을 수행하기 위해 존재해야 하며, 그러나 몇몇 요소들이 하나의 기능과 관련되어 언급될 때 때로 대안들이 특히 존재할 수도 있다.
그러나, 다음에 설명되는 관점들이 실행될 수 있는 스케일러블 비디오 디코더/인코더의 기능의 개요를 제공하기 위해, 아래 도면에서 보여지는 요소들이 간략히 이제 설명된다.
도 23은 코딩된 데이터 스트림(6)의 적절한 서브부분(subpart), 즉 6a가, 제1해상도 또는 품질 레벨에서 비디오를 나타내는 방식으로 코딩되는 비디오로 코딩된 데이터 스트림(6)을 디코딩하기 위한 스케일러블 비디오 디코더를 보여주며, 반면 코딩된 데이터 스트림의 추가 부분(6b)은 증가된 해상도 또는 품질 레벨에서 비디오의 표현에 대응한다. 코딩된 데이터 스트림(6)의 데이터량을 낮게 유지하기 위해, 서브스트림들(6a 및 6b) 사이의 인터-레이어 중복(리던던시, redundancies)은 서브스트림(6b)를 형성하는데 이용된다. 아래에서 설명되는 몇몇 관점들은 서브스트림(6a)이 관련되는 베이스 레이어로부터 서브스트림(6b)이 관련되는 향상 레이어까지의 인터-레이어 예측을 겨냥한다.
스케일러블 비디오 디코더는 병렬로 구동하는 그리고 서브스트림 (6a) 및 (6b)를, 각각, 수신하는 두개의 블록-기반 예측 디코더들(80, 60)을 포함한다. 도면에서 보여지는 것처럼, 디멀티플레서(demultiplexer, 40)는 그들의 대응 서브스트림들 (6a) 및 (6b)와 디코딩 스테이지들 (80) 및 (60)을 개별적으로 제공할 수 있다.
블록-기반 예측 코딩 스테이지들 (80) 및 (60)의 내부 구성은, 도면에서 보여지는 것처럼, 유사할 수 있다. 각 디코딩 스테이지들 (80, 60)의 입력으로부터, 직렬 연결의 끝에서 복원된 레이어 신호(600) 및 복원된 향상 레이어 신호(360)가, 각각, 유도가능하도록 하는 순서로, 엔트로피 디코딩 모듈(100; 320), 역 변환기(inverse transformer, 560; 580), 가산기(애더, adder, 180; 340) 및 선택 필터들(optional filters, 120; 300 및 140; 280)이 직렬로 연결된다. 반면 가산기(180, 340)의 출력 및 필터들(120, 140, 300 및 280)은 베이스 레이어 및 향상 레이어 신호들 복원의 상이한 버젼들을 각각 제공하며, 개별 예측 제공자(respective prediction provider, 160; 260)는, 그에 기반하여, 가산기(180; 340)의 잔여 입력에 대한 예측 신호를 제공하고 이러한 모든 버젼들 또는 부분집합을 수신하기 위해 제공된다. 엔트로피 디코딩 스테이지들(100; 320)은 개별 입력 신호(6a) 및 (6b)로부터, 각각, 각각 예측 제공자(160; 260)에 대한 예측 파라미터들을 포함하는 코딩 파라미터들 및 역 변환기(560; 580)로 들어가는 변환 계수 블록들을 디코딩한다.
이와 같이, 예측 제공자들(160) 및 (260)은 각 해상도/품질 레벨에서 비디오 프레임들의 블록들을 예측하며, 이런 이유로, 동일한 것이 공간적 인트라-예측 모드 및 시간적 인터-예측 모드, 인트라-레이어 예측 모드들 양쪽 같은 특정 예측 모드들 중에서 선택할 수 있고, 즉 예측 모드들은 오직 각 레벨에 들어가는 서브스트림의 데이터에 의존한다.
그러나, 앞서 언급된 인터-레이어 중복을 이용하기 위해, 향상 레이어 디코딩 스테이지(60)는 코딩 파라미터 인터-레이어 예측(coding parameter inter-layer predictor, 240), 해상도/품질 개선기(220) 및/또는 예측 제공자(150)와 비교하여, 베이스 레이어 디코딩 스테이지(80)의 내부 상태들로부터 유도되는 데이터에 기반하여 향상 레이어 예측 신호(420)를 제공할 수 있는 인터-레이어 예측 모드들을 추가적으로/대안적으로 지지하는, 예측 제공자(260)를 추가적으로 포함한다. 해상도/품질 개선기(resolution/quality refiner, 220)는 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선에 베이스 레이어 잔류 신호(480) 또는 복원된 베이스 레이어 신호들(200a, 200b 및 200c) 중 어느 것의 대상이 되며, 코딩 파라미터 인터-레이어 예측기(coding parameter inter-layer predictor, 240)는 각각 예측 파라미터들 및 모션 파라미터들같은 코딩 파라미터들을 어떻게든 예측하기 위한 것이다. 예측 제공자(prediction provider, 260)는, 예를 들어, 증가된 해상도/품질 레벨로 잠재적으로 개선되는, 베이스 레이어 잔류 신호(640)의 복원된 부분들 또는, 200a, 200b and 200c 같은, 베이스 레이어 신호의 복원된 부분들이 레퍼런스/기분으로 이용되는 것에 따른 인터-레이어 예측 모드들을 추가적으로 지원할 수 있다.
위에서 설명되는 것처럼, 디코딩 스테이지들(60) 및 (80)은 블록-기반 방식으로 작동할 수 있다. 그것은, 비디오의 프레임들이 블록들처럼 부분들로 세부분할 될 수 있다는 것이다. 상이한 입도 레벨들(Different granularity levels)은 예측 제공자(160) 및 (260)에 의해 수행되는 예측 모드들, 역 변환들(560) 및 (580)에 의한 로컬 변환들, 필터들(120) 및 (140)에 의한 필터 계수 선택들 및 예측 제공자들(160) 및 (260)에 의한 예측 모드들에 대해 설정하는 예측 파라미터를 할당(assign)하는데 이용될 수 있다. 그것은, 예측 블록들로의 프레임의 서브-파티셔닝(sub-partitioning)은, 차례로, 예를 들어 코딩 유닛들 또는 예측 유닛들로 불리트ㅌ, 예측 모드들이 선택되는 블록들로 프레임들의 서브-파티셔닝의 연속일 수 있다는 것이다. 변환 코딩에 대한 블록들로의 프레임들의 서브-파티셔닝은, 변환 유닛들로 불릴 수 있고, 파티셔닝으로부터 예측 유닛들까지 다를 수 있다. 예측 제공자(260)에 의해 이용되는 인터-레이어 예측 모드들 몇몇은 관점들에 관해 아래에서 설명된다. 동일한 것(same)을 몇몇 인트라-레이어 예측 모드들에 관해 적용하며, 즉, 각각, 가산기(180) 및 (340)으로 입력되는 각 예측 신호를 내부적으로 유도하는 예측 모드들에 대해서이며, 즉 각각, 현재 레벨의 코딩 스테이지 (60) 및 (80)에 포함되는 상태들에만 기반한다.
도면에서 보이는 블록들의 몇몇 더 자세한 내용들은 아래에서 개별 관점들의 설명으로부터 명확해질 것이다. 그러한 설명들이 구체적으로 그것들이 제공된 관점들에 관련되지 않는 한, 이러한 설명들은 일반적으로 도면의 설명 및 다른 관점과 동등하게 전환될 수 있다는 것이 숙지되어야 한다.
특히, 도 23의 스케일러블 비디오 디코더의 실시예는 도 2 및 4에 따른 스케일러블 비디오 디코더들의 가능한 실시예를 나타낸다. 도 23에 따른 스케일러블 비디오 디코더가 위에서 설명된 반면, 도 23은 대응 스케일러블 비디오 인코더를 보여주며, 동일한 도면 부호들이 도 23 및 24에서 예측 코딩/디코딩 설계들의 내부 요소들에 대해 이용된다. 상기 이유는, 위에서 설명되는 것처럼 : 인코더 및 디코더 사이의 공통 예측 기반을 유지하기 위해, 베이스 및 향상 레이어 신호들의 복원가능 버젼이 인코더에서도 이용되며, 이는 이러한 이유로, 스케일러블 비디오의 복원가능 버젼을 얻기 위해, 이미 코딩된 부분들을 복원한다. 따라서, 도 23의 설명에 대한 차이점은 코딩 파라미터 인터-레이어 예측자(240) 뿐만 아니라 예측 제공자(160) 및 예측 제공자(260)가 데이터 스트림으로부터 동일한 것(same)을 수신하는 것보다 몇몇 레이트/왜곡 최적화(rate/distortion optimization)의 프로세스 내에서 예측 파라미터들을 결정하는 것이라는 점이다. 오히려, 상기 제공자들은 데이터 스트림(6)에 포함되기 위해 멀티플렉서(16)를 통해 향상 레이어 서브스트림(6b) 및 각 베이스 레이어 서브스트림(6a)을 차례로 보내는, 엔트로피 디코더들(19a 및 19b)에 결정된 예측 파라미터들을 보낸다. 동일한 방식으로, 이러한 엔트로피 인코더들(19a 및 19b)은 그러한 잔류물의 엔트로피 디코딩 결과를 출력하는 것보다, 각각, 변환 모듈(724, 726)이 뒤따르는 감산기(subtracter, 720 및 722)를 통해 얻어지는 것처럼 향상 레이어 버젼들(4a 및 4b) 및 원래 베이스 레이어(original base layer) 및 복원된 향상 레이어 신호(400) 및 복원된 베이스 레이어 신호(200) 사이의 예측 잔류를 수신한다. 그러나 이 외에도 도 24에서 스케일러블 비디오 인코더의 구성은 도 23의 스케일러블 비디오 디코더의 구성과 일치하며, 따라서 이러한 이슈들에 관해, 도 23의 상기 설명이 참조되며, 방금 설명된 것처럼, 어떠한 데이터 스트림으로부터의 어떤 유도를 언급하는 부분들은 각 데이터 스트림으로의 다음 입력과 함께 각 요소의 각 결정으로 전환되어야 한다.
다음에서 설명되는 실시예에서 이용되는 향상 레이어 신호의 인트라 코딩 기술은 향상 레이어 블록들에 대해 (베이스 레이어 데이터를 이용하여) 인트라 예측 신호를 발생시키기 위한 다중 방법들을 포함한다. 이러한 방법들은 복원된 향상 레이어 샘플들만에 기반하여 인트라 예측 신호를 발생시키는 방법에 추가로 제공된다.
인트라 예측은 인트라 코딩된 블록들의 복원 처리의 부분이다. 최종 복원 블록은 인트라 예측 신호에 (0일 수 있는) 변환-코딩된 잔류 신호를 더하여 얻어진다. 잔류 신호는 역 변환이 뒤따르는 비트스트림에서 전송되는 변환 계수 레벨들의 역 양자화 (스케일링)에 의해 발생된다.
다음 설명은 품질 향상 레이어들과의 스케일러블 코딩 (향상 레이어는 베이스 레이어와 동일한 해상도를 갖지만, 더 높은 품질 또는 충실도를 갖는 입력 비디오를 나타낸다.) 및 공간적 향상 레이어들과의 스케일러블 코딩 (향상 레이어는 베이스 레이어보다 더 높은 해상도, 즉 더 큰 크기의 샘플들을 가진다.)에 적용된다. 품질 향상 레이어들에 대해, 블록(220)처럼, 베이스 레이어 신호들의 업샘플링이 요구되지 않으며, 그러나 복원된 베이스 레이어 샘플들의, (500) 같은 필터링은, 적용될 수 있다. 공간적 향상 레이어들의 경우에, 블록(220)처럼, 베이스 레이어 신호들의 업샘플링이 일반적으로 요구된다.
다음 설명되는 관점은 복원된 베이스 레이어 샘플들을 ((200) 참조) 또는 향상 레이어 블록의 인트라 예측에 대한 베이스 레이어 잔류 샘플들((640) 참조)을 이용하기 위해 상이한 방법들을 지원한다. 인트라-레이어 인트라 코딩에 더하여 아래에서 설명되는 방법들 중 하나 이상을 지원하는 것이 가능하다. (여기서 오직 복원된 향상 레이어 샘플들((400) 참조)이 인트라 예측에 대해 이용된다.) 특정 방법의 이용은 (H.264/AVC의 매크로블록 또는 HEVC 에서 코딩 트리 블록/최대 코딩 유닛같은) 최대 지원 블록 크기(largest supportedblock size)의 레벨에서 시그널링될 수 있고, 또는 모든 지원 블록 크기들에서 시그널링될 수 있고, 또는 지원 블록 크기들의 부분집합에 대해 시그널링될 수 있다.
다음에서 설명되는 모든 방법들에 대해, 예측 신호는 블록에 대해 복원 신호로 직접 이용될 수 있고, 즉 전송되는 잔류물(residual)이 없다. 또는 인터-레이어 인트라 예측을 위해 선택된 방법은 잔류 코딩과 결합될 수 있다. 특정 실시예에서 잔류 신호는 변환 코딩을 통해 전송되며, 즉 양자화된 변환 계수들(변환 계수 레벨들)은 엔트로피 코딩 기술 (예를 들어, 가변 길이 코딩 또는 산술 코딩((19b) 참조))을 이용하여 전송되며 잔류물(residual)은 전송된 변환 계수 레벨들을 역 양자화(스케일링)하고 역 변환을 적용하는 것에 의해 ((580) 참조) 얻어진다. 특정 버젼에서, 인터-레이어 인트라 예측 신호가 발생되는 블록에 대응하는 완전 잔류 블록이 단일 변환(single transform)을 이용하여 변환된다((726) 참조) (즉, 전체 블록이 예측 블록과 동일 크기의 단일 변환을 이용하여 변환된다.) 또다른 실시예에서, 예측 블록은 (예를 들어, 계층 분해를 이용하여) 더 작은 블록들로 추가 세부분할될 수 있고 (상이한 블록 크기들을 가질 수도 있는) 더 작은 블록 각각에 대해 개별 변환이 적용된다. 추가 실시예에서, 코딩 유닛은 더 작은 예측 블록들로 분할될 수 있고 예측 블록들의 0 또는 그 이상에 대해 예측 신호가 인터-레이어 인트라 예측을 위한 방법들 중 하나를 이용하여 발생된다. 그리고 그 후, 전체 코딩 유닛의 잔류물은 단일 변환((726) 참조)을 이용하여 변환되거나, 또는 코딩 유닛은 상이한 변환 유닛들로 세부분할되며, 여기서 변환 유닛들(단일 변환이 적용되는 블록들)을 형성하기 위한 세부분할은 예측 블록들로 코딩 유닛을 분해하기 위한 세부분할과는 다르다.
특정 실시예에서, (업샘플링된/필터링된) 복원 베이스 레이어 신호(380 참조)는 예측 신호로 직접 이용된다. 향상 레이어를 인트라 예측하기 위해 베이스 레이어를 이용하기 위한 다양한 방법들은 다음 방법을 포함한다: (업샘플링된/필터링된) 복원 베이스 레이어 신호(380 참조)는 향상 레이어 예측 신호로 직접 이용된다. 이 방법은 알려진 H.264/SVC 인터-레이어 인트라 예측 모드에 유사하다. 이러한 방법에서 향상 레이어를 위한 예측 블록은 향상 레이어의 대응 샘플 위치들을 매칭하기 위해 업샘플링되었을 수 있는 (220 참조) 베이스 레이어 복원 신호의 공존되는 샘플들에 의해 형성되며 업샘플링 이전 또는 후에 선택적으로 필터링되었을 수 있다. SVC 인터-레이어 인트라 예측 모드에 대조적으로, 이 모드는 매크로 레벨에서 (또는 최대 지원 블록 크기에서)만 지원되는 것이 아니라 그러나 임의의 블록 크기들에서도 지원될 수 있다. 그것은, 상기 모드기 최대 지원 블록 크기에 대해서만 시그널링될 수 없고, 최대 지원 블록 크기의 블록(MPEG-4에서의 매크로브록, H.264 및 HEVC에서의 코딩 트리 블록/최대 코딩 유닛)은 더 작은 블록들/코딩 유닛들로 계층적으로 세부분할될 수 있고 인터-레이어 인트라 예측 모드의 이용은 어떠한 지원 블록 크기에서 (대응 블록에 대해) 시그널링될 수 있다는 것을 의미한다. 특정 실시예에서, 이 모드는 선택된 블록 크기들에 대해서만 지원된다. 이후, 이 모드의 이용을 시그널링하는 구문 요소는 대응 블록 크기들에 대해서만 전송될 수 있고, 이 모드의 이용을 (다른 코딩 파라미터들 중에서) 시그널링하는 구문 요소들의 값은 다른 블록 크기들에 대해 대응적으로 제한될 수 있다. H.264/AVC 의 SVC 확장에서 인터-레이어 인트라 예측 모드에 대한 또다른 차이는 베이스 레이어의 공존되는 영역이 인트라 코딩되는 경우에 인터-레이어 인트라 예측 모드가 지원되는 것 뿐만 아니라, 공존되는 베이스 레이어 영역이 인터 코딩되거나(inter coded) 부분적으로 인터 코딩되는 경우 또한 지원된다는 점이다.
특정 실시예에서, 차이 신호(관점 A 참조)의 공간적 인트라 예측이 수행된다. 다수의 방법들은 다음 방버을 포함한다: (잠재적으로 업샘플링된/필터링된) 복원 베이스 레이어 신호(380 참조)는 공간적 인트라 예측 신호와 결합되고, 여기서 공간적 인트라 예측(420 참조)은 인접 블록들에 대한 상이한 샘플들에 기반하여 유도된다(260 참조). 상이한 샘플들은 복원된 향상 레이어 신호(400 참조) 차이 및 (잠재적으로 업샘플링된/필터링된) 복원된 베이스 레이어 신호(380 참조)를 나타낸다.
도 25는 이미 코딩한 인접 블록들(736)의 차이 신호(734) (EH Diff)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 신호(380) (BL Reco)의 합에 의해 인터-레이어 예측되고, 여기서 이미 코딩된 블록들(736)에 대한 차이 신호(EH Diff)는 이미 코딩된/디코딩된 부분들이 해칭되어 보여지는 복원된 향상 레이어 신호 (EH Reco) (400 참조)로부터 (업샘플링된/필터링된) 베이스 레이어 복원 신호(380) (BL Reco)를 감산(738)하는 것에 의해 발생되며, 현재 코딩/디코딩된 블록/영역/부분은 (28)이다. 그것은 도 25에서 도시된 인터-레이어 인트라 예측 방법이 예측 블록을 발생시키기 위한 두개의 중첩된 입력 신호들을 이용한다는 것이다. 이 방법을 위해 업샘플링 이전 또는 후에 선택적으로 필터링될 수 있는 그리고 향상 레이어의 대응 샘플 위치들에 매칭하기 위해 업샘플링될 수 있었던(220) 공존되는 복원된 베이스 레이어 신호(200) 및 복원된 향상-레이어 신호(400)의 차이인 차이 신호(734)가 요구된다(품질 스케일러블 코딩의 경우에처럼 업샘플링이 적용되지 않는 경우에 필터링될 수도 있다). 특히, 공간적 스케일러블 코딩에 대해, 차이 신호(734)는 일반적으로 주요하게 고주파수 구성요소들을 포함한다. 차이 신호(734)는 이미 복원된 블록들 모두에 대해 이용가능하다(즉, 모든 향상 레이어 블록들에 대해 이미 코딩/디코딩되었다). 이미 코딩된/디코딩된 블록들(736)의 인접 샘플들(742)에 대한 차이 신호(734)는 (H.264/AVC 또는 HEVC에서 특정된 공간적 인트라 예측 모드들 같이) 공간적 인트라 예측 기술에 입력으로 이용된다. 화살표(744)에 의해 도시된 공간적 인트라 예측에 의해 예측된 블록(28)의 차이 구성요소에 대한 예측 신호(746)가 발생된다. 특정 실시예에서, (H.264/AVC 또는 HEVC으로부터 알려진 것처럼) 공간적 인트라 예측 프로세스의 어떠한 클리핑(clipping) 기능은 차이 신호(734)의 다이내믹 범위(dynamic range)를 매칭하기 위해 수정되거나 또는 불활성화된다(disabled). (다수의 제공된 방법들 중 하나일 수 있고 평면 인트라 예측, DC 예측, 또는 어떠한 특정 각도를 갖는 방향성 인트라 예측(744)를 포함할 수 있는) 실제로 이용되는 인트라 예측 방법은 비트스트림(6b) 내에서 시그널링된다. H.264/AVC 및 HEVC에서 제공되는 방법들과 다른 공간적 인트라 예측 기술들을 이용하는 것이 가능하다(이미 코딩된 인접 블록들의 샘플들을 이용하여 예측 신호를 발생시키는 방법). (인접 블록들의 차이 샘플들을 이용하여) 얻어지는 예측 블록(746)은 최종 예측 블록(420)의 제1부분(first portion)이다.
예측 신호의 제2부분은 베이스 레이어의 복원된 신호(200)에 공존되는 영역(28)을 이용하여 발생된다. 품질 향상 레이어들을 위해, 공존되는 베이스 레이어 샘플들은 직접 이용될 수 있거나 또는 그것들은 선택적으로 필터링될 수 있고, 예를 들어, 로-패스 필터(low-pass filter) 또는 고주파수 구성요소들을 감쇠시키는 필터(500)에 의해서이다. 공간적 향상 레이어들에 대해, 공존되는 베이스 레이어 샘플들이 언샘플링된다. 업샘플링(220)에 대해, FIR 필터 또는 FIR 필터들의 집합이 이용될 수 있다. IIR 필터들을 이용하는 것 또한 가능하다. 선택적으로, 복원된 베이스 레이어 샘플들(200)은 업샘플링 이전에 필터링될 수 있고 또는 베이스 레이어 예측 신호(베이스 레이어를 업샘플링 한 후에 얻어지는 신호)는 업샘플링 스테이지 후에 필터링될 수 있다. 베이스 레이어의 복원 프로세스는 디블록킹 필터(deblocking filter)(120 참조) 및 적응 루프 필터(140 참조) 같은 하나 이상의 추가 필터들을 포함할 수 있다. 업샘플링을 위해 이용되는 베이스 레이어 복원(200)은 루프 필터들(200c 참조) 중 어느 것 이전에 복원 신호일 수 있고, 또는 디블록킹 필터 후에 그러나 어떠한 추가 필터(200b 참조) 전의 복원 신호일 수 있고, 또는 특정 필터 후의 복원 신호 또는 베이스 레이어 디코딩 프로세스(200a 참조)에서 이용된 모든 필터들을 적용한 후의 복원 신호일 수 있다.
예측 신호의 두 발생된 부분들(공간적으로 예측된 차이 신호(746) 및 잠재적으로 필터링된/업샘플링된 베이스 레이어 복원(380))은 최종 예측 신호(420)을 형성하기 위해 샘플별로 가산된다(732).
도 6 내지 10의 실시예에 관해 방금 설명된 관점을 전달하는 것은, 도 6 내지 10에 관해 설명된 예측 설계에 대한 대안으로 각 스케일러블 비디오 디코더/인코더에 의해 향상 레이어 신호의 현재 블록을 예측하는 방금 설명된 가능성이 지지될 수 있다는 것이다. 그것에 관해 이용된 모드가 도 9에서 보여지지 않은 각 예측 모드 식별자를 통해 향상 레이어 서브스트림(6b)에서 시그널링된다.
특정 실시예에서, 인트라 예측은 인터-레이어 잔류 예측(관점 B 참조)과 함께 연속된다. 베이스 레이어 데이터를 이용하는 인트라 예측 신호를 발생시키기 위한 다수의 방법들은 다음 방법을 포함한다: (인접 복원된 향상 레이어 샘플들을 이용하여 유도되는) 종래의 공간적 인트라 예측 신호는 (업샘플링된/필터링된) 베이스 레이어 잔류 신호과 결합된다(베이스 레이어 복원 및 베이스 레이어 예측 사이의 차이 또는 베이스 레이어 변환 계수들의 역 변환).
도 26은 점선들(762)로 도시되는 이미 코딩한 인접 블록들의 복원된 향상 레이어 샘플들 (758) (EH Reco)를 이용하는 공간적 인트라 예측(756) 및 (업샘플링된/필터링된) 베이스 레이어 잔류 신호(754)(BL Resi)의 합(752)에 의한 인터-레이어 인트라 예측 신호(420)의 그러한 발생을 도시한다.
도 26에서 보여지는 개념은 예측 블록(420)을 형성하기 위해 두개의 예측 신호들을 중첩하는 것이며, 하나의 예측 신호(764)는 이미 복원된 향상 레이어 샘플들(758)로부터 발생되고 다른 예측 신호(754)는 베이스 레이어 잔류 샘플들(480)으로부터 발생된다. 상기 예측 신호(420)의 제1부분(764)은 복원된 향상 레이어 샘플들(758)을 이용하여 공간적 인트라 예측(756)을 적용하는 것에 의해 유도된다. 공간적 인트라 예측(756)은 H.264/AVC에서 특정된 방법들 중 하나 또는 HEVC에서 특정된 방법들 중 하나가 될 수 있고, 또는 현재 블록(18)에 대해 발생된 예측 신호(764)가 인접 블록들(762)의 샘플들(758)을 형성하는 또다른 공간적 인트라 예측 기술일 수 있다. (다수의 제공된 방법들 중 하나일 수 있고 평면 인트라 예측, DC 인트라 예측, 또는 어떠한 특정 각도를 갖는 방향성 인트라 예측을 포함할 수 있는) 실제적으로 이용되는 인트라 예측 방법(756)은 비트스트림(6b) 내에서 시그널링된다. H.264/AVC 및 HEVC 에서 제공되는 방법들과 다른 공간적 인트라 예측 기술(이미 코딩된 인접 블록들의 샘플들을 이용하여 예측 신호를 발생시키는 방법)을 이용하는 것이 가능하다. 예측 신호(420)의 제2부분(754)은 베이스-레이어의 공존되는 잔류 신호(480)을 이용하여 발생된다. 품질 향상 레이어들에 대해, 잔류 신호는 베이스 레이어에서 복원되는 것처럼 이용될 수 있고 추가적으로 필터링될 수도 있다. 공간적 향상 레이어(480)에 대해, 에측 신호의 제2부분으로 이용되기 전에 잔류 신호는 (향상 레이어 샘플 위치들에 베이스 레이어 샘플 위치들을 맵핑하기 위해) 업샘플링된다(220). 베이스 레이어 잔류 신호(480)는 업샘플링 스테이지 전에 또는 그 후에 필터링 될 수도 있다. 업샘플링(220)에 대해, 잔류 신호, FIR필터들이 적용될 수 있다. 업샘플링 프로세스는 베이스 레이어에서 변환 블록 경계들을 넘는 필터링이 업샘플링 목적으로 적용되지 않는 방식으로 구성될 수 있다.
인터-레이어 예측을 위해 이용되는 베이스 레이어 잔류 신호(480)는 베이스 레이어의 변환 계수 레벨들을 역 변환(560)하고 스케일링하는 것에 의해 얻어지는 잔류 신호일 수 있다. 또는 베이스 레이어에서 이용되는 예측 신호(660) 및 (어떠한 필터링 작업들 또는 추가 필터링 및 디블록킹 전 또는 후에) 복원되는 베이스 레이어 신호(200) 사이의 차이일 수 있다.
두개의 발생된 신호 구성요소들(공간적 인트라 예측 신호(764) 및 인터-레이어 잔류 예측 신호(754))은 최종 향상 레이어 인트라 예측 신호를 형성하기 위해 함께 더해진다(752).
이는, 도 26에 관해 방금 설명된 예측 모드가, 현재 코딩된/디코딩된 부분(28)에 대해 도 6 내지 10에 관해 위에서 설명된 대안적 예측 모드를 형성하기 위해, 도 6 내지 10에 따른 어떠한 스케일러블 비디오 디코더/인코더에 의해, 이용될 수 있거나 지원될 수 있다는 것이다.
특정 실시예에서, 베이스 레이어 복원 및 공간적 인트라 예측의 가중된 예측(weighted prediction) (관점 C 참조)가 이용된다. 이는 실제적으로 도 6 내지 10에 관해 위에서 설명된 실시예들의 특정 실행의 언급된 세부사항들을 나타내며, 따라서 그러한 가중된 예측에 관한 설명은 위 실시예들에 대한 대안으로 해석되는 것 뿐만 아니라, 특정 관점들과 달리 도 6 내지 10에 관해 설명된 실시예를 어떻게 실행하는지의 가능성에 대한 설명이기도 하다.
베이스 레이어 데이터를 이용하는 인트라 예측 신호를 발생시키기 위한 다양한 방법들은 다음 방법을 포함한다: (업샘플링된/필터링된) 복원 베이스 레이어 신호는 공간적 인트라 예측 신호와 결합되며, 공간적 인트라 예측은 인접 블록들의 복원된 향상 레이어 샘플들에 기반하여 유도된다. 최종 예측 신호는 상이한 주파수 구성요소들이 상이한 가중을 이용하는 방식으로 베이스 레이어 예측 신호 및 공간적 예측 신호를 가중(41 참조)하여 얻어진다. 이는 예를 들어 로-패스 필터(38 참조)로 베이스 레이어 예측 신호를 필터링(62 참조)하고 하이-패스 필터(high-pass filter)로 공간적 인트라 예측 신호(34 참조)를 필터링하고 얻어진 필터링된 신호들을 가산(66 참조)하여 실현될 수 있다. 또는 주파수-기반 가중은 변환(72, 74 참조)베이스 레이어 예측 신호(38 참조) 및 향상 레이어 예측 신호(34 참조)를 변환(72, 74 참조)하여 실현될 수 있고 상이한 가중 인수들(82, 84 참조)이 상이한 주파수 위치들에 대해 이용되는 얻어지는 변환 블록들(76, 78 참조)을 중첩할 수 있다. 얻어진 변환 블록(도 10에서 42 참조)은 역 변환(83 참조)될 수 있고 향상 레이어 예측 신호(54 참조)로 이용될 수 있고 또는 얻어진 변환 계수들은 스케일링된 전송된 변환 계수 레벨들(59 참조)에 가산되고(52 참조) 그리고 디블록킹 및 인-루프(in-loop) 처리 전에 복원된 블록(54 참조)을 얻기 위해 역 변환(84 참조)된다.
도 27은 이미 코딩한 인접 블록들의 복원된 향상 레이어 샘플들(EH Reco)를 이용하는 공간적 인트라 예측 및 (업샘플링된/필터링된) 베이스 레이어 복원 신호(BL Reco)의 주파수-가중된 합(frequency-weighted sum)에의한 인터-레이어 인트라 예측 신호의 그러한 발생을 보여준다.
도 27의 개념은 예측 블록(420)을 형성하기 위해 두개의 중첩된 신호들(772, 774)를 이용한다. 신호(420)의 제1부분(774)은 도 6에서 (30)에 대응하는 공간적 인트라 예측 (776)을 적용하는 것에 의해 이용되며, 향상 레이어에서 이미 구성된 인접 블록의 복원된 샘플들(778)을 이용한다. 예측 신호(420)의 제2부분(772)은 베이스-레이어의 공존되는 복원된 신호(200)를 이용하여 발생된다. 품질 향상 레이어들에 대해, 공존되는 베이스 레이어 샘플들(200)은 직접 이용될 수 있고 그것들은 선택적으로 필터링될 수 있으며, 예를 들어, 고-주파수 구성요소들을 감쇠시키는 필터 또는 로-패스 필터에 의해서이다. 공간적 향상 레이어들에 대해, 공존되는 베이스 레이어 샘플들은 업샘플링된다(220). 업샘플링에 대하여, FIR 필터 또는 FIR 필터들의 집합이 이용될 수 있다. IIR 필터들을 이용하는 것 또한 가능하다. 선택적으로, 복원된 베이스 레이어 샘플들은 업샘플링 전에 필터링될 수 있고 베이스 레이어 예측 신호(베이스 레이어를 업샘플링 하기 전에 얻어지는 신호)가 업샘플링 스테이지 후에 필터링될 수 있다. 베이스 레이어의 복원 프로세스는 디블록킹 필터(deblocking filter, 120) 및 적응 루프 필터(adaptive loop filter, 140) 같은 하나 이상의 추가 필터를 포함할 수 있다. 업샘플링에 이용되는 베이스 레이어 복원(200)은 어떠한 루프 필터들(120, 140) 전에 복원 신호(200c)가 될 수 있고, 또는 디블록킹 필터(120) 후에 그러나 어떠한 추가 필터 전의 복원 신호(200b)가 될 수 있고, 또는 베이스 레이어 디코딩 프로세스에서 이용되는 모든 필터들(120, 140)을 적용한 후에 복원 신호 또는 특정 필터 후의 복원 신호(200a)가 될 수 있다.
도 6 내지 10에 연결되어 이용되는 것들과 함께 도 23 및 24에서 이용되는 도면 부호들을 비교할 때, 블록(220)은 도 6에서 이용되는 도면 부호(38)에 대응하고, (39)는, 현재 부분(28)에 대응되는, (380)의 부분에 대응하며, (420)은 (42)에 대응하며, 적어도 현재 부분(28)에 공존되는 부분이 관련되는 한, 공간적 예측(776)은 (32)에 대응한다.
두개의 예측 신호들(잠재적으로 업샘플링된/필터링된 베이스 레이어 복원(386) 및 향상 레이어 인트라 예측(782))은 최종 예측 신호(420)를 형성하기 위해 결합된다. 이러한 신호들을 결합하기 위한 방법은 상이한 가중 인수들(different weighting factors)이 상이한 주파수 구성요소들에 대해 이용되는 특성을 가질 수 있다. 특정 실시예에서, 업샘플링된 베이스 레이어 복원은 로-패스 필터((62) 참조)로 필터링되며 (업샘플링(220) 전에 베이스 레이어 복원을 필터링하는 것도 가능하다) 그리고 인트라 예측 신호((30)에 의해 얻어지는 (34) 참조)는 하이-패스 필터((64) 참조)로 필터링되고, 최종 예측 신호(420)를 형성하기 위해 양쪽 필터링된 신호들은 가산된다(784)((66) 참조). 로-패스 및 하이-패스 필터의 쌍(pair)은 직교 미러 필터 쌍(quadrature mirror filter pair)을 나타낼 수 있지만, 이것이 요구되는 것은 아니다.
또다른 특정 실시예에서(도 10 참조), 두개의 예측 신호들 (380) 및 (782)의 결합 프로세스는 공간적 변환을 통해 실현된다. 양쪽 (잠재적으로 업샘플링된/필터링된) 베이스 레이어 복원(380) 및 인트라 예측 신호(782)는 공간적 변환을 이용하여 변환된다((72), (74) 참조). 양쪽 신호들의 변환 계수들 ((76), (78) 참조)은 적절한 가중 인수들((82), (84) 참조)로 스케일링되고 이후 최종 예측 신호의 변환 계수 블록((42) 참조)을 형성하기 위해 가산된다((90) 참조). 하나의 버젼에서, 가중 인수들((82, 84) 참조)은 각 변환 계수 위치에 대해, 양쪽 신호 구성요소들에 대한 가중 인수들의 합이 1과 같도록 선택된다. 또다른 버젼에서, 가중 인수들의 합은 몇몇 또는 모든 변환 계수 위치들에 대해 1이 아닐 수도 있다. 특정 버젼에서, 가중 인수들은 저-주파수 구성요소들을 나타내는 변환 계수들에 대해, 베이스 레이어 복원을 위한 가중 인수가 향상 레이어 인트라 예측 신호에 대한 가중 인수보다 크도록 그리고, 고-주파수 구성요소들을 나타내는 변환 계수들에 대해, 베이스 레이어 복원을 위한 가중 인수가 향상 레이어 인트라 예측 신호에 대한 가중 인수보다 작도록 선택된다.
하나의 실시예에서, (양쪽 구성요소들에 대해 가중 변환된 신호들을 합산하는 것에 의해 얻어지는) 얻어진 변환 계수 블록((42) 참조)은 최종 예측 신호(420)(54 참조)를 형성하기 위해 역 변환(84 참조)된다. 또다른 실시예에서, 상기 예측은 변환 영역에서 직접적으로 수행된다. 그것은, 코딩된 변환 계수 레벨들(59 참조)이 (양쪽 구성요소들에 대해 가중된 변환 신호들을 합산하는 것에 의해 얻어지는) 예측 신호의 변환 계수들(42 참조)에 가산되고(52 참조) 스케일링되고(즉, 역 양자화), (도 10에서 미도시된) 변환 계수들의 결과 블록은 (추가 인-루프 필터링 단계들(140) 및 잠재적 디-블록킹(120) 전에) 현재 블록에 대해 복원된 신호(420)을 얻기 위해 역 변환(84 참조) 된다는 것이다. 다른 말로, 첫번째 실시예에서, 양쪽 구성요소들에 대해 가중된 변환 신호들을 합산하는 것에 의해 얻어지는 변환 블록은 향상 레이어 예측 신호로 각각 이용되고 역 변환될 수 있고, 두번째 실시예에서, 얻어지는 변환 계수들은 스케일링되고 전송된 변환 계수 레벨들에 더해질 수 있고 그리고 디블록킹 및 인-루프 프로세싱 전에 복원된 블록을 얻기 위해 역 변환될 수 있다.
베이스 레이어 복원 및 잔류 신호의 선택 (관점 D 참조)이 이용될 수도 있다. (위에서 설명된 것처럼) 복원된 베이스 레이어 신호를 이용하는 방법에 대해, 다음 버젼들이 이용될 수 있다:
·(샘플 적응 오프셋 필터 또는 적응 루프 필터처럼) 디블록킹(120) 및 추가 인-루프 프로세싱(140) 전 복원된 베이스 레이어 샘플들(200c).
·(샘플 적응 오프셋 필터 또는 적응 루프 필터처럼) 디블록킹(120) 후의 그러나 추가 인-루프 프로세싱(140) 전의 복원된 베이스 레이어 샘플들(200b).
·디블록킹(120) 및 (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱(140) 후의 또는 다수 인-루프 프로세싱 단계들 사이의 복원된 베이스 레이어 샘플들(200a).
대응 베이스 레이어 신호(200a, b, c)의 선택이 특정 디코더 (및 인코더) 실행을 위해 고정될 수 있고, 또는 비트스트림(6) 내로 시그널링 될 수 있다. 다음 경우에 대해서, 상이한 버젼들이 이용될 수 있다. 베이스 레이어 신호의 특정 버젼의 이용은 시퀀스 레벨에서, 또는 픽쳐 레벨에서, 또는 슬라이스 레벨에서, 또는 최대 코딩 유닛 레벨에서, 또는 코딩 유닛 레벨에서, 또는 예측 블록 레벨에서, 또는 변환 블록 레벨에서, 또는 어떠한 다른 블록 레벨에서, 시그널링될 수 있다. 또다른 버젼에서, 상기 선택은 (코딩 모드들처럼) 다른 코딩 파라미터들에 또는 베이스 레이어 신호의 특성에 의존할 수 있다.
또다른 실시예에서, (업샘플링된/필터링된) 베이스 레이어 신호(200)을 이용하는 방법들의 다수의 버젼들이 이용될 수 있다. 예를 들어, 업샘플링된 베이스 레이어 신호, 즉 (200a)를 직접 이용하는 두개의 다른 모드들이 제공될 수 있고, 상기 두개의 모드들은 상이한 보간 필터들(interpolation filters)을 이용하거나 또는 하나의 모드가 (업샘플링된) 베이스 레이어 복원 신호의 추가 필터링(500)을 이용한다. 유사하게, 위에서 설명된 다른 모드들에 대해 다수의 상이한 버젼들이 제공될 수 있다. 모드의 상이한 버젼들에 대한 이용된 업샘플링된/필터링된 베이스 레이어 신호(380)는 (정수-샘플 위치들을 또한 필터링하는 보간 필터들을 포함하는) 이용되는 보간 필터들에서 달라질 수 있고, 또는 제2버젼에 대한 업샘플링된/필터링된 베이스 레이어 신호(380)는 제1버젼에 대해 업샘플링된/필터링된 베이스 레이어 신호를 필터링(500)하는 것에 의해 얻어질 수도 있다. 상이한 버젼 중 하나의 선택은 시퀀스, 픽쳐, 슬라이드, 최대 코딩 유닛, 코딩 유닛 레벨, 예측 블록 레벨, 또는 변환 블록 레벨에서 시그널링될 수 있고, 또는 대응 복원된 베이스 레이어 신호 또는 전송되는 코딩 파라미터들의 특성들로부터 추론될 수 있다.
상기 동일한 것을, (480)을 통해, 복원되는 베이스 레이어 잔류 신호를 이용하는 모드들에 적용할 수 있다. 여기서, 또한 보간 필터들 또는 추가 필터링 단계들에서 달라지는 상이한 버젼들이 이용될 수 있다.
상이한 필터들은 베이스 레이어 잔류 신호 및 복원되는 베이스 레이어 신호를 업샘플링/필터링하는데 이용될 수 있다. 그것은 베이스 레이어 잔류 신호를 업샘플링하는데 대해, 베이스 레이어 복원 신호를 업샘플링하는 것과는 상이한 접근법이 이용된다는 것을 의미한다.
잔류 신호가 제로인 베이스 레이어 블록들에 대해(즉, 변환 계수 레벨들이 블록에 대해 전송되지 않는 경우), 대응 베이스 레이어 잔류 신호는 베이스 레이어로부터 유도되는 또다른 신호로 교체될 수 있다. 이는, 예를 들어, 복원되는 베이스 레이어 블록의 하이-패스 필터링된 버젼 또는 복원된 베이스 레이어 샘플들로부터 유도되는 어떠한 다른 차이-유사 신호(difference-like signal) 또는 인접 블록들의 복원된 베이스 레이어 잔류 샘플들일 수 있다.
향상 레이어(관점 H 참조)에서 공간적 인트라 예측에 대해 샘플들이 이용되는 한 다음 특별한 처리들(treatments)이 제공될 수 있다. 공간적 인트라 예측을 이용하는 모드들에 대해, (인접 샘플들이 이용불가능일 수 있고, 이는 인접 블록들이 현재 블록 다음에 코딩될 수 있기 때문이다) 향상 레이어에서 이용불가능 인접 샘플들이 업샘플링된/필터링된 베이스 레이어 신호의 대응 샘플들과 교체될 수 있다.
인트라 예측 모드들의 코딩들이 (관점 X 참조) 관련되는 한, 다음 특별한 모드들 및 기능성(함수들)이 제공될 수 있다. (30a)같은 공간적 인트라 예측을 이용하는 모드들에 대해, 인트라 예측 모드의 코딩이 베이스 레이어에서 (만약 이용가능하다면) 인트라 예측 모드에 대한 정보가 더 효율적으로 향상 레이어에서 인트라 예측 모드를 코딩하는데 이용되는 방식으로 수정될 수 있다. 이는, 예를 들어, 파라미터들(56)일 수 있다. 만약 공존되는 영역이(36 참조) 베이스 레이어에서 특정 공간적 인트라 예측 모드를 이용하여 인트라 코딩되는 경우, 유사 인트라 예측 모드가 또한 향상 레이어 블록에서 이용될 수도 있다(28 참조). 인트라 예측 모드는, 더 짧은 코드 워드들(code words)로 시그널링될 수 있는 (또는 더 적은 비트들에서 더 적은 산술 코드 이진 결정 결과들과 함께), 가능한 인트라 예측 모드들 집합 중에서 하나 이상의 모드들이 가장 있는 모드들로서 분류되는 방식으로 일반적으로 시그널링된다. HEVC의 인트라 예측에서, (만약 이용가능하다면) 위쪽(top)에 대한 블록의 인트라 예측 모드에서 그리고 (만약 이용가능하다면) 왼쪽(left)에 대한 블록의 인트라 예측 모드가 가장 가능성 있는 모드들의 집합에 포함된다. 이러한 모드들에 더하여, (종종 이용된) 하나 이상의 추가 모드들은 가장 개연성 있는 모드들의 리스트에 포함되며, 실제 추가되는 모드들은 현재 블록의 왼쪽에 대한 블록 및 현재 블록 위의 블록의 인트라 예측 모드들의 이용가능성에 의존한다. H.264/AVC에서, 하나의 모드는 가장 개연성 있는 모드로 분류되고, 이 모드는 현재 블록의 왼쪽에 대한 블록 및 현재 블록 위의 블록에 대해 이용되는 인트라 예측 모드들에 기반하여 유도된다. 인트라 예측 모드들을 분류하기 위해 (H.264/AVC 및 HEVC와 다른) 어떠한 다른 개념이 가능하며, 다음 확장에 대해 이용될 수 있다.
향상 레이어에서 인트라 예측 모드들의 효율적인 코딩에 대해 베이스 레이어 데이터를 이용하기 위해, 하나 이상의 가장 개연성 있는 모드들(most probable modes)을 이용하는 개념은 가장 개연성 있는 모드가 공존되는 베이스 레이어 블록에서 이용된 인트라 예측 모드를 포함하는 방식으로 수정된다. 특정 실시예에서, 다음 접근법이 이용된다 : 주어진 현재 향상 레이어 블록에서, 공존되는 베이스 레이어 블록이 결정된다. 특정 버젼에서, 공존되는 베이스 레이어 블록은 향상 블록의 위-왼쪽(top-left) 샘플의 공존되는 위치를 커버하는 베이스 레이어 블록이다. 또다른 버젼에서, 공존되는 베이스 레이어 블록은 향상 블록의 중간에서 샘플의 공존되는 위치를 커버하는 베이스 레이어 블록이다. 다른 버젼들에서, 향상 레이어 블록 내에서 다른 샘플이 공존되는 베이스 레이어 블록을 결정하기 위해 이용될 수 있다. 결정된 공존되는 베이스 레이어 블록이 인트라 코딩되고 베이스 레이어 인트라 예측 모드는 각 인트라 예측 모드를 특정하고 향상 레이어 블록으로부터 현재 향상 레이어 블록의 왼쪽에 대해 유도되는 인트라 예측 모드가 각 인트라 예측 모드를 이용하지 않으면, 왼쪽 향상 레이어 블록으로부터 유도되는 인트라 예측 모드는 대응 베이스 레이어 인트라 예측 모드로 교체된다. 그렇지 않으면, 결정된 공존되는 베이스 레이어 블록이 인트라 코딩되고 베이스 레이어 인트라 예측 모드는 각 인트라 예측 모드를 특정하고 현재 향상 레이어 블록 위 향상 레이어 블록으로부터 유도되는 인트라 예측 모드가 각 인트라 예측 모드를 이용하지 않으면, 향상 레이어 블록 위로부터 유도되는 인트라 예측 모드는 대응 베이스 레이어 인트라 예측 모드로 교체된다. 다른 버젼들에서, 베이스 레이어 인트라 예측 모드를 이용하여 (단일 요소로 구성될 수 있는) 가장 개연성 있는 모드들의 리스트를 수정하기 위한 상이한 접근법이 이용된다.
공간적 및 품질 향상 레이어들의 인터 코딩 기술들이 다음에 제안된다.
(H.264/AVC 또는 떠오르는 HEVC 같은) 최신 하이브리드 비디오 코딩 기준들에서, 비디오 시퀀스의 픽쳐들은 샘플들의 블록들로 분할된다. 상기 블록 크기는 고정될 수 있고 또는 코딩 접근법(coding approach)은 블록들이 더 작은 블록 크기들을 갖는 블록들로 더 세부분할되는 것을 허용하는 계층 구조를 제공할 수 있다. 블록의 복원은 전송되는 잔류 신호를 더하고 블록에 대한 예측 신호를 발생시키는 것에 의해 일반적으로 얻어진다. 잔류 신호는 일반적으로 변환 코딩을 이용하여 전송되며, 이는 (변환 계수 레벨로도 언급되는) 변환 계수들에 대한 양자화 지수들(인덱스들)이 엔트로피 코딩 기술을 이용하여 전송된다는 것을 의미하며, 디코더 측면에서, 이러한 전송된 변환 계수 레벨들은 스케일링되고 예측 신호에 더해지는 잔류 신호를 얻기 위해 역 변환된다. 잔류 신호는 (현재 시간 인스턴트에 대해 이미 전송된 데이터만을 이용하는) 인트라 예측에 의해 또는 (상이한 시간 인스턴트에 대해 이미 전송된 데이터를 이용하는) 인터 예측에 의해 각각 발생된다.
인터 예측에서 예측 블록은 이미 복원된 프레임들의 샘플들을 이용하여 모션-보상 예측에 의해 유도된다. 이는 (모션 파라미터들의 하나의 집합 및 하나의 레퍼런스 픽쳐를 이용하여) 단일방향(unidirectional) 예측에 수행될 수 있고, 또는 예측 신호는 멀티-가설 예측(multi-hypothesis prediction)에 의해 발생될 수 있다. 다음 케이스에서, 두개 이상의 예측 신호들이 중첩되며, 즉 각 샘플에 대해, 가중된 평균은 최종 예측 신호를 형성하도록 구성된다. (중첩되는) 다수 예측 신호들은 상이한 가설들(예를 들어, 상이한 기준 픽쳐들 또는 모션 벡터들)에 대해 상이한 모션 파라미터들을 이용하여 발생될 수 있다. 단일-방향 예측에 대해, 상수 인자(constant factor)를 갖는 모션-보상 예측 신호의 샘플들을 곱하고 최종 예측 신호를 형성하기 위해 상수 오프셋(constant offset)을 추가하는 것 또한 가능하다. 그러한 스케일링 및 오프셋 보정은 멀티-가설 예측에서 전체 또는 선택된 가설에 대해 이용될 수도 있다.
스케일러블 비디오 코딩에서 베이스 레이어 정보는 또한 향상 레이어에 대한 인터 예측 프로세스를 지원하도록 활용될 수 있다. 스케일러블 코딩에 대한 최신 비디오 코딩 기준에서, H.264/AVC의 SVC 확장, 거기에 향상 레이어에서 인터 예측 프로세스의 코딩 효율을 향상시키기 위한 하나의 추가 모드가 있다. 이 모드는 매크로 블록 레벨에서 시그널링된다(16x16 루마 샘플들의 블록). 이 모드에서, 낮은 레이어에서 복원된 잔류 샘플들이 향상 레이어에서 모션-보상 예측 신호를 향상시키기 위해 이용된다. 이 모드는 인터-레이어 잔류 예측으로도 언급된다. 만약 이 모드가 품질 향상 레이어에서 매크로블록에 대해 선택되는 경우, 인터-레이어 예측 신호는 복원된 낮은 레이어 잔류 신호의 공존되는 샘플들에 의해 구축된다. 만약 인터-레이어 잔류 예측 모드가 공간적 향상 레이어에서 선택되는 경우, 예측 신호는 공존되는 복원된 베이스 레이어 잔류 신호를 업샘플링하는 것에 의해 발생된다. 업샘플링에 대해, FIR 필터들이 이용되며, 그러나 변환 블록 경계들을 넘어 적용되는 필터링은 없다. 복원된 베이스 레이어 잔류 샘플들로부터 발생되는 예측 신호는 향상 레이어 블록에 대해 최종 예측 신호를 형성하기 위한 종래의 모션-보상 예측 신호에 더해진다. 일반적으로, 인터-레이어 잔류 예측 모드에 대해, 추가 잔류 신호는 변환 코딩에 의해 전송된다. 잔류 신호의 전송은 그것이 비트스트림 내에서 대응적으로 시그널링되는 경우 (0과 동일하다고 언급되며) 생략될 수도 있다. 최종 복원 신호는 (모션-보상 예측 신호에 인터-레이어 잔류 예측 신호를 더하는 것에 의해 얻어지는) 예측 신호에 (역 공간적 변환을 적용하고 전송된 변환 계수 레벨들을 스케일링하는 것에 의해 얻어지는) 복원된 잔류 신호를 가산하는 것에 의해 얻어진다.
다음은, 향상 레이어 신호의 인터 코딩을 위한 기술들이 설명된다. 이 섹션은 스케일러블 비디오 코딩 시나리오에서 코딩될 향상 레이어 신호를 인터 예측하기 위한 이미 복원된 향상 레이어 신호들에 더하여 베이스 레이어 신호들을 이용하는 방법들을 설명한다. 코딩된 향상 레이어 신호를 인터-예측하기 위한 베이스 레이어 신호들을 이용하여, 예측 에러가 상당히 감소될 수 있고, 이는 향상 레이어를 코딩하는데 전체 비트 레이트 절약을 도출한다. 이 섹션의 주요한 초점은 베이스 레이어로부터 추가 신호들을 갖는 이미 코딩된 향상 레이어 샘플들을 이용하여 향상 레이어 샘플들의 모션 보상에 기반한 블록을 논의하는 것이다. 다음 설명은 코딩된 베이스 레이어로부터 다양한 신호들을 이용하는 가능성을 제공한다. 비록 쿼드-트리 블록 파티셔닝이 바람직한 실시예에서 일반적으로 이용되지만, 제안되는 예들은 어떠한 특정 블록 파티셔닝을 가정함 없이 일반 블록-기반 하이브리드 코딩 접근법에 적용가능하다. 코딩된 향상 레이어 블록의 인터 예측에 대해 이미 코딩된 픽쳐들의 베이스 레이어 복원, 또는 현재 시간 인덱스의 베이스 레이어 잔류(base layer residual), 현재 시간 인덱스의 베이스 레이어 복원의 활용이 설명된다. 또한 베이스 레이어 신호들이 현재 향상 레이어에 대해 더 나은 예측을 얻기 위해 이미 코딩된 향상 레이어 신호들과 어떻게 결합될 수 있는지가 설명된다. 최신의 주요 기술 중 하나는 H.264/SVC에서 인터-레이어 잔류 예측이다. H.264/SVC에서 인터-레이어 잔류 예측은 그것들이 종래의 매크로블록 타입들 중 어느 것을 이용하여 또는 베이스 모드 플래그에 의해 시그널링되는 SVC 매크로블록 타입을 이용하여 코딩되는지 여부에 관계없이 모든 인터-코딩된 매크로블록들에 대해 이용될 수 있다. 플래그는 공간적 그리고 품질 향상 레이어들에 대해 매크로블록 구문에 더해지며, 이는 인터-레이어 잔류 예측의 활용을 시그널링한다. 잔류 예측 플래그가 1과 동일할 때, 오직 대응 차이 신호가 향상 레이어에서 코딩될 필요가 있도록, 기준 레이어에서 대응 영역의 잔류 신호는 쌍일차 필터(bilinear filter)를 이용하여 블록-별로 업샘플링되며 향상 레이어 매크로블록의 잔류 신호에 대한 예측으로 이용된다. 이 섹션에서의 설명에 대해, 다음 기호가 이용된다:
t0:= 현재 픽쳐의 시간 인덱스(time index of the currentpicture)
t1:= 이미 복원된 픽쳐의 시간 인덱스(time index of an already reconstructed picture)
EL := 향상 레이어(enhancement layer)
BL := 베이스 레이어(base layer)
EL(t0) := 코딩될 현재 향상 레이어 픽쳐(current enhancement layer picture to be coded)
EL_reco := 향상 레이어 복원(enhancement layer reconstruction)
BL_reco := 베이스 레이어 복원(base layer reconstruction)
BL_resi := 베이스 레이어 잔류 신호(base layer residual signal)(베이스 레이어 변환 계수들의 역 변환 또는 베이스 레이어 복원 및 베이스 레이어 예측 사이의 차이)
EL_diff := 향상 레이어 복원 및 업샘플링된/필터링된 베이스 레이어 복원 사이의 차이
설명에서 이용되는 차이 베이스 레이어 및 향상 레이어 신호들은 도 28에서 도시된다.
설명에 대해, 필터들의 다음 특성들이 이용된다:
·선형성(Linearity) : 상기 설명에서 언급되는 대부분의 필터들은 선형이지만, 비-선형 필터들 또한 이용될 수 있다.
·출력 샘플들의 숫자 : 샘플링 작업에서, 출력 샘플들의 숫자는 입력 샘플들의 숫자보다 크다. 여기서 입력 데이터의 필터링은 입력 값들보다 더 많은 샘플들을 생성한다. 종래 필터링에서, 출력 샘플들의 숫자는 입력 샘플들의 숫자와 동일하다. 그러한 필터링 작업들은, 예를 들어, 품질 스케일러블 코딩에서 이용될 수 있다.
·위상 지연 : 정수 위치(integer positions)에서 샘플들의 필터링에 대해, 위상 지연은 일반적으로 0(zero)이다(또는 샘플들에서 정수-값 지연이다). 분수 위치의 샘플들을 발생에 대해(예를 들어, 절반-화소(half-pel) 또는 사분의 일 화소(쿼터-펠, quarter-pel)위치들), 일반적으로 (샘플들의 유닛에서) 분수 지연을 갖는 필터들은 정수 그리드(integer grid)의 샘플들에 적용될 수 있다.
모든 하이브리드 비디오 코딩 기준들에서 이용되는 것처럼 종래 모션-보상 예측(즉, MPEG-2, H.264/AVC, 또는 다가오는 HEVC 기준)이 도 29에서 도시된다. 현재 블록의 신호를 예측하기 위해, 이미 복원된 픽쳐의 영역이 예측 신호로 이용되고 대체된다. 대체(displacement)를 시그널링하기 위해, 모션 벡터는 비트스트림 내에서 일반적으로 코딩된다. 그러나, 분수-샘플 정밀 모션 벡터(fractional-sample precision motion vectors)를 전송하는 것도 가능하다. 이러한 경우에, 예측 신호는 분수 샘플 지연을 갖는 필터로 기준 신호를 필터링하여 얻어진다. 이용된 기준 픽쳐는 비트스트림 구문에 기준 픽쳐 인덱스를 포함하여 일반적으로 특정될 수 있다. 일반적으로, 최종 예측 신호를 형성하기 위해 두개 이상의 예측 신호들을 중첩하는 것도 가능하다. 상기 개념은 두개의 모션 가설들과 함께, B 슬라이스들에서 예를 들어 지원된다. 이러한 케이스에서, 다수의 예측 신호들은 상이한 가설들에 대한 상이한 모션 파라미터들 (예를 들어, 상이한 기준 픽쳐들 또는 모션 벡터들)을 이용하여 발생된다. 단일-방향 예측에 대해, 최종 예측 신호를 형성하기 위해 상수 인자(상수 인수, constant factor)로 모션-보상 예측 신호의 샘플들을 곱하고 상수 오프셋(constant offset)을 더하는 것도 가능하다. 그러한 스케일링 및 오프셋 보정은 멀티-가설 예측에서 모든 또는 선택된 가설에 대해 이용될 수도 있다.
다음 설명은 품질 향상 레이어를 갖는 스케일러블 코딩 (향상 레이어는 베이스 레이어와 동일한 해상도를 가지고, 그러나 높은 품질 또는 충실도를 갖는 입력 오디오를 나타내며) 및 공간적 향상 레이어들을 갖는 스케일러블 코딩에 적용한다(향상 레이어는 베이스 레이어보다 고 해상도이며, 즉 샘플들의 큰 숫자를 가진다). 품질 향상 레이어들에 대해, 베이스 레이어 신호들의 업샘플링이 요구되지는 않지만, 복원 베이스 레이어 샘플들의 필터링이 적용될 수 있다. 공간적 향상 레이어들의 경우에, 베이스 레이어 신호들의 업샘플링이 일반적으로 요구된다.
실시예들은 향상 레이어 블록의 인터 예측에 대해 베이스 레이어 잔류 샘플들 또는 복원된 베이스 레이어 샘플들을 이용하기 위한 상이한 방법들을 지원한다. 추가적인 종래의 인터 예측 및 인트라 예측에서 아래에 설명되는 방법들 중 하나 이상을 지원하는 것이 가능하다. (HEVC 에서 코딩 트리 블록/최대 코딩 유닛 또는 H.264/AVC에서 매크로블록처럼) 특정 방법의 활용은 최대 지원 블록 크기의 레벨에서 시그널링될 수 있고, 또는 모든 지원되는 블록 크기들에서 시그널링될 수 있고, 또는 지원되는 블록 크기들의 부분집합에 대해 시그널링될 수 있다.
다음에서 설명되는 모든 방법들에 대해, 예측 신호는 블록에 대해 복원 신호로 직접 이용될 수 있다. 또는 인터-레이어 인터 예측에 대한 선택된 방법은 잔류 코딩과 결합될 수 있다. 특정 실시예에서 잔류 신호는 변환 코딩을 통해 전송되며, 즉 양자화된 변환 계수들(변환 계수 레벨들)이 엔트로피 코딩 기술을 이용하여 전송되며 (예, 가변 길이 코딩 또는 산술 코딩) 그리고 잔류물(the residual)은 전송된 변환 계수 레벨들을 역 양자화 (스케일링)하고 역 변환을 적용하여 얻어진다. 특정 버젼에서, 인터-레이어 인터 예측 신호가 발생되는 블록에 대응하는 완전 잔류 블록은 단일 변환을 이용하여 변환된다(즉, 전체 블록은 예측 블록과 동일한 크기의 단일 변환을 이용하여 변환된다). 또다른 실시예에서, 예측 블록은 더 작은 블록으로 추가로 세부분할될 수 있고(예를 들어, 계층 분해를 이용) (상이한 블록 크기들을 가질 수도 있는) 더 작은 블록 각각에 대해 개별 변환이 적용된다. 추가 실싱PDp서, 코딩 유닛은 더 작은 예측 블록들로 분할될 수 있고 예측 블록들의 0 이상에 대해(for zero or more of the prediction blocks) 예측 신호는 인터-레이어 인터 예측에 대한 방법들 중 하나를 이용하여 발생된다. 이후, 전체 코딩 유닛의 잔류는 단일 변환을 이용하여 변환되며, 또는 코딩 유닛은 상이한 변환 유닛들로 세부분할되고, 변환 유닛들(단일 변환이 적용되는 블록들)을 형성하기 위한 세부분할은 코딩 유닛의 예측 블록들로의 분해에 대한 세부분할과는 다르다.
다음에서, 베이스 레이어 잔류 및 향상 레이어 복원을 이용하여 예측을 수행하는 가능성들이 설명된다. 많은 방법들이 다음 방법을 포함한다 : (이미 복원된 향상 레이어 픽쳐들의 모션-보상 보간에 의해 유도되는) 종래의 인터 예측 신호는 (업샘플링된/필터링된0 베이스 레이어 잔류 신호와 결합된다(베이스 레이어 예측 및 베이스 레이어 복원 사이의 차이 또는 베이스 레이어 변환 계수들의 역 변환). 이 방법은 BL_resi 모드(mode)로도 언급된다.(도 30 참조)
간단히 말해, 향상 레이어 샘플들에 대한 예측은 다음처럼 쓰여질 수 있다:
EL prediction = filter( BL_resi(t
0
) ) + MCP_filter( EL_reco(t
1
) ).
향상 레이어 복원 신호들의 2- 또는 그 이상의 가설들이 이용되는 것이 가능하며, 예를 들어 다음과 같다,
EL prediction = filter( BL_resi(t
0
) ) + MCP_filter1( EL_reco(t
1
) ) + MCP_filter2( EL_reco(t
2
) ).
향상 레이어 (EL) 기준 픽쳐들에서 이용되는 모션-보상 예측(MCP) 필터들은 정수 또는 분수 샘플 정확성(accuracy)일 수 있다. EL 기준 픽쳐들에서 이용되는 MCP 필터들은 BL 디코딩 프로세스 동안 BL 기준 픽쳐들에서 이용되는 MCP 필터들과 동일하거나 다를 수 있다.
모션 벡터 MV(x,y,t)는 EL 기준 픽쳐에서 특정 위치를 가리키도록 정의될 수 있다. 파라미터들 x 및 y는 픽쳐 내 공간적 위치를 가리키며 파라미터 t는, 기준 인덱스로도 불리는, 기준 픽쳐들의 시간 인덱스를 다루는데 이용된다. 종종 모션 벡터 용어는 두개의 공간적 구성요소들 (x,y)만을 언급하는데 이용된다. MV 의 정수 부분은 기준 픽쳐로부터 샘플들 집합을 불러오는데(페치하는데, fetch) 이용되고 MV의 분수 부분은 필터들 집합으로부터 MCP 필터를 선택하는데 이용된다. 페치된 기준 샘플들(fetched reference samples)은 필터링된 기준 샘플들을 생성하기 위해 필터링된다. 모션 벡터들은 차등적인 예측(차등 예측, differential prediction)을 이용하여 일반적으로 코딩된다. 그것은, 모션 벡터 예측기가 이미 코딩된 모션 벡터들(및 잠재적 모션 벡터 예측기들 집합 중 하나의 이용을 잠재적으로 나타내는 구문 요소)에 기반하여 유도되며, 차이 벡터는 비트스트림에 포함된다는 것을 의미한다. 최종 모션 벡터는 모션 벡터 예측기에 전송된 모션 벡터 차이를 더하여 얻어진다. 일반적으로, 블록에 모션 파라미터들을 완전히 유도하는 것 또한 가능하다. 그래서, 일반적으로 잠재적 모션 파라미터 후보들의 리스트는 이미 코딩된 데이터에 기반하여 구성된다. 이 리스트는 기준 프레임에서 공존되는 블록의 모션 파라미터들에 기반하여 유도되는 모션 파라미터들 뿐만 아니라 공간적 인접 블록들의 모션 파라미터들도 포함할 수 있다. 베이스 레이어 (base layer, BL) 잔류 신호는 다음 중 하나에 따라 정의될 수 있다:
·BL 변환 계수들의 역 변환, 또는
·BL 복원 및 BL 예측 사이의 차이, 또는
·BL 변환 계수들의 역 변환이 0인 BL 블록들에 대해, BL로부터 유도된 또다른 신호로 교체될 수 있고, 예를 들어, 복원된 BL블록의 하이-패스 필터링된 버젼, 또는
·상기 방법들의 결합.
현재 BL 잔류물로부터 EL 예측 구성요소를 계산하기 위해, EL 픽쳐에서 고려된 영역과 공존되는 BL 픽쳐의 영역이 식별되고 잔류 신호는 식별된 BL 영역으로부터 취해진다. 공존되는 영역의 정의는 BL 해상도 (예를 들어 2x 확장성(scalability))의 정수 스케일링 인수, 또는 BL 해상도(예를 들어, 1.5x 확장성)의 분수 스케일링 인수 또는 BL 해상도(예를 들어, 품질 확장성)에 따라 동일 EL 해상도 생성을 설명하도록 만들어질 수 있다. 품질 확장성의 경우, BL 픽쳐에 공존되는 블록은 예측된 EL 블록과 동일한 좌표를 갖는다.
공존되는 BL 잔류물은 필터링된 BL 잔류 샘플들을 발생시키기 위해 업샘플링/필터링될 수 있다.
최종 EL 예측은 필터링된 BL 잔류 샘플들 및 필터링된 EL 복원 샘플들을 더하여 얻어진다.
베이스 레이어 복원 및 향상 레이어 차이 신호를 이용한 예측에 관련된 다수의 방법들은 다음 방법을 포함한다(관점 J 참조). (업샘플링/필터링된) 복원된 베이스 레이어 신호는 모션-보상 예측 신호와 결합되고, 모션-보상 예측 신호는 모션 보상 차이 픽쳐들에 의해 얻어진다. 차이 픽쳐들(difference pictures)은 기준 픽쳐들에 대한 (업샘플링/필터링된) 복원된 베이스 레이어 신호 및 복원된 향상 레이어 신호의 차이를 나타낸다. 이 방법은 BL_reco 모드로도 언급된다.
이 개념은 도 31에서 도시된다. 간단히 말해, EL 샘플들에 대한 예측은 다음과 같이 기재될 수 있다:
EL prediction = filter( BL_reco(t
0
) ) + MCP_filter( EL_diff(t
1
) ).
EL 차이 신호들의 2- 또는 그 이상의 가설들이 이용되는 것 또한 가능하며, 예를 들어,
EL prediction = filter( BL_resi(t 0 ) ) + MCP_filter1( EL_diff(t 1 ) ) + MCP_filter2( EL_diff(t 2 ) ) 이다.
EL 차이 신호에 대해, 다음 버젼들이 이용될 수 있다:
·EL 복원 및 업샘플링된/필터링된 BL 복원의 차이, 또는
·이전 EL 복원 사이의 또는 (디블록킹, SAO, ALF 같은) 루프 필터링 스테이지들 및 업샘플링/필터링된 BL 복원 사이의 차이.
특정 버젼의 이용은 디코더에서 고정될 수 있고 또는 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨(slice level), 최대 코딩 유닛 레벨, 코딩 유닛 레벨, 또는 다른 파티셔닝 레벨들에서 시그널링될 수 있다. 또는 다른 코딩 파라미터들에 의존하여 만들어질 수 있다.
EL 차이 신호가 업샘플링/필터링된 BL 복원 및 EL 복원 사이의 차이를 이용하여 정의될 때, BL 복원 및 EL복원을 그냥 절약하고 예측 모드를 이용하여 블록들에 대해 EL 차이 신호 온-더-플라이(EL difference signal on-the-fly)를 계산하는 것이 타협될 수 있고, 그래서 EL 차이 신호를 저장하도록 요구되는 메모리가 절약될 수 있다. 그러나, 그것은 조금 계산적 복잡성 오버헤드를 일으킨다.
EL 차이 픽쳐들에서 이용되는 MCP 필터들은 정수 또는 분수 샘플 정확성일 수 있다.
·차이 픽쳐들의 MCP에 대해, 복원된 픽쳐들의 MCP 보다 상이한 보간 필터들이 이용될 수 있다.
·차이 픽쳐들의 MCP에 대해, 보간 필터들은 차이 픽쳐들에서 대응 영역의 특성에 기반하여 선택될 수 있다 (또는 코딩 파라미터들에 기반하여 또는 비트스트림에서 전송되는 정보에 기반하여).
모션 벡터 MV(x,y,t)는 EL 차이 픽쳐에서 특정 위치를 가리키도록 정의된다. 파라미터들 x 및 y 는 픽쳐 내 공간적 위치를 가리키며 파라미터 t 는 차이 픽쳐의 시간 인덱스를 다루는데 이용된다.
MV의 정수 부분은 차이 픽쳐의 샘플 집합을 가져오는데(페치하는데, fetch) 이용되고 MV의 분수 부분은 필터들의 집합으로부터 MCP 필터를 선택하는데 이용된다. 페치된 차이 샘플들은 필터링된 차이 샘플들을 생성하도록 필터링된다.
차이 픽쳐들의 동적 범위(dynamic range)는 원본 픽쳐의 동적 범위를 이론적으로 넘어설 수 있다. 범위 [0 255]에서 이미지들의 8-비트 표현을 가정하면, 차이 이미지들은 [-255 255]의 범위를 가질 수 있다. 그러나, 실무적으로, 대부분의 진폭은 0 근방의 양 또는 음 근처에 분포된다. 차이 이미지들을 저장하는 바람직한 실시예에서, 128의 상수 오프셋이 더해지며 상기 결과는 범위 [0 255]에 클리핑되며 정규 8-비트 이미지들로 저장된다. 나중에, 인코딩 및 디코딩 프로세스에서, 128의 오프셋(offset)은 차이 픽쳐들로부터 로딩된 차이 진폭으로부터 감산된다.
복원된 BL 신호를 이용하는 방법에 대해, 다음 버젼들이 이용될 수 있다. 이는 고정될 수 있고 또는 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨, 최대 코딩 유닛 레벨, 코딩 유닛 레벨, 또는 다른 파티셔닝 레벨들에서 시그널링될 수 있다. 또는 다른 코딩 파라미터들에 의존하여 만들어질 수 있다.
·디블록킹 및 (샘플 적응 오프셋 필터 또는 적응 루프 필터 같은) 추가 인-루프 프로세싱 전 복원된 베이스 레이어 샘플들
·디블록킹 후의 그러나 (샘플 적응 오프셋 필터 또는 적응 루프 필터 같은) 추가 인-루프 프로세싱 전의 복원된 베이스 레이어 샘플들
·다중 인-루프 프로세싱 단계들(multiple in-loop processing steps) 사이의 또는 (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 및 디블록킹 후의 복원된 베이스 레이어 샘플들
현재 BL 복원으로부터 EL 예측 구성요소를 계싼하기 위해, EL 픽쳐의 고려된 영역에 공존하는 BL 픽쳐의 영역이 식별되고 복원 신호는 식별되는 BL 영역으로부터 취해진다. 공존되는 영역의 정의는 BL 해상도의 정수 스케일링 인수 (예를 들어, 2x 확장성), BL 해상도의 분수 스케일링 인수 (예를 들어, 1.5 확장성) 또는 BL 해상도와 동일 EL 해상도를 생성 (예를 들어 SNR 확장성)을 설명하도록 만들어질 수 있다. SNR 확장성의 경우, BL 픽쳐에서 공존되는 블록은 예측될 EL 블록과 동일 좌표를 갖는다.
최종 EL 예측은 필터링된 EL 차이 샘플들 및 필터링된 BL 복원 샘플들을 가산하여 얻어진다.
모션-보상 향상 레이어 차이 신호 및 (업샘플링/필터링된) 베이스 레이어 복원 신호를 결합하는 모드의 몇몇 가능한 변화들이 아래에 나열된다:
·(업샘플링/필터링된) BL 신호를 이용하는 방법들의 다양한 버젼들이 이용될 수 있다. 세개의 버젼들에 대해 이용된 업샘플링/필터링된 BL 신호는 (정수-샘플 위치들을 또한 필터링하는 보간 필터들을 포함하는) 이용된 보간 필터들에서 다를 수 있고, 또는 제2버젼에 대해 업샘플링/필터링된 BL 신호는 제1버젼에 대해 업샘플링/필터링된 BL 신호를 필터링하여 얻어질 수 있다. 상이한 버젼 중 하나의 선택은 시퀀스, 픽쳐, 슬라이드, 최대 코딩 유닛, 코딩 유닛 레벨, 예측 블록 레벨, 또는 변환 블록 레벨에서 시그널링될 수 있고, 또는 대응 복원된 베이스 레이어 신호 또는 전송되는 코딩 파라미터들의 특성들로부터 추론될 수 있다.
·상이한 필터들이 BL-resi 모드의 경우에 BL 잔류 신호 그리고 BL_reco 모드의 경우 BL 복원된 신호를 업샘플링/필터링하기 위해 이용될 수 있다.
·모션-보상 차이 신호들의 2- 또는 그 이상의 가설들이 업샘플링/필터링된 BL 신호와 결합되는 것 또한 가능하다. 이는 도 32에서 도시된다.
위 내용을 고려하면, 예측은 베이스 레이어 복원 및 향상 레이어 복원의 결합을 이용하여 수행될 수 있다(관점 C 참조). 도 11, 12 및 13에 관한 위 설명과의 하나의 주요한 차이점은, 공간적보다는 시간적으로 수행되는 인트라-레이어 예측(34)를 얻기 위한 코딩 모드이다. 그것은, 인트라-레이어 예측 신호(34)를 형성하기 위해, 공간적 예측(30) 대신에, 시간적 예측(32)가 이용된다는 것이다. 따라서, 아래에 설명된 몇몇 관점들은 도 6 내지 10 및 11 내지 13의 위 실시예들에 각각 쉽게 전환가능하다. 다수의 방법들은 다음 방법을 포함한다. (업샘플링/필터링된) 복원 베이스 레이어 신호는 인터 예측 신호와 결합되며, 인터 예측은 복원된 향상 레이어 픽쳐들을 이용하여 모션-보상 예측에 의해 유도된다. 최종 예측 신호는 차이 주파수 구성요소들이 상이한 가중을 이용하는 방식으로 베이스 레이어 예측 신호 및 인터 예측 신호를 가중하여 얻어진다. 이는, 예를 들어, 다음에 의해 실현될 수 있다:
·얻어진 필터링 신호들을 가산하고 하이-패스 필터로 인터 예측 신호를 필터링하며 로-패스 필터로 베이스 레이어 예측 신호를 필터링.
·얻어진 변환 블록들을 중첩하고 인터 예측 신호 및 베이스 레이어 예측 신호를 변환하며, 여기서 상이한 가중 인수들은 상이한 주파수 위치들에 대해 이용된다. 얻어진 변환 블록은 향상 레이어 예측 신호로 이용되고 역 변환될 수 있고 또는 얻어진 변환 계수들은 스케일링되고 전송된 변환 계수 레벨들에 가산되고 이후 인-루프 프로세싱 및 디블록킹 전에 복원된 블록을 얻기 위해 역 변환될 수 있다.
이 모드는 도 33에서 도시되는 BL_comb 모드로도 언급될 수 있다. 간단히 말해, EL 예측은 다음처럼 표현될 수 있다.
EL prediction = BL_weighting( BL_reco(t
0
) ) + EL_weighting( MCP_filter( EL_reco(t
1
) ) ).
바람직한 실시예에서, 상기 가중은 BL 해상도에 대한 EL 해상도의 비율에 의존하여 만들어진다. 예를 들어, BL이 범위 [1, 1.25)에서 인수에 의해 스케일 업(scaled up) 될 때, EL 및BL 복원에 대한 가중들의 특정 집합이 이용될 수 있다. BL 이 범위 [1.25 1.75)에서의 인수에 의해 스케일 업 될 때, 가중의 상이한 집합이 이용될 수 있다. BL이 1.75 또는 그 이상의 인수로 스케일 업 될 때, 가중의 더 상이한 집합이 이용될 수 있는 등등이다.
베이스 및 향상 레이어를 분리하는 스케일링 인수에 의존하는 개별 가중을 렌더링하는 것은 공간적 인트라-레이어 예측에 관련한 다른 실시예로도 실현가능하다.
또다른 바람직한 실시예에서, 가중은 예측될 EL 블록 크기에 의존하여 만들어진다. 예를 들어, EL에서 4x4 블록에 대해, 가중 매트릭스는 BL 복원 변환 계수에 대한 가중을 특정하는 또다른 가중 매트릭스가 정의될 수 있고 EL 복원 변환 계수들에 대한 가중을 특정하는 가중 매트릭스가 정의될 수 있다. BL 복원 변환 계수들에 대한 가중 매트릭스는, 예를 들어, 다음일 수 있고,
64, 63, 61, 49,
63, 62, 57, 40,
61, 56, 44, 28,
49, 46, 32, 15,
그리고 EL 복원 변환 계수들에 대한 가중 매트릭스는, 예를 들어,
0, 2, 8, 24,
3, 7, 16, 32,
9, 18, 20, 26,
22, 31, 30, 23,
일 수 있다.
8x8, 16x16, 32x32 같은 블록 크기들에 대해 유사하게 다른 것들, 개별 가중 매트릭스들이 정의될 수 있다. 주파수 영역 가중에 대해 이용되는 실제 변환은 예측 잔류를 코딩하는데 이용되는 변환과 다르거나 또는 동일할 수 있다. 예를 들어, DCT에 대한 정수 근사는 주파수 영역에서 코딩된 예측 잔류의 변환 계수들을 계산하고 그리고 양쪽 주파수 영역 가중에 대해 이용될 수 있다.
또다른 바람직한 실시예에서, 최대 변환 크기는 주파수 영역 가중에 대해 정의되고, 이는 계산적 복잡성을 제한하기 위함이다. 고려되는 EL 블록 크기가 최대 변환 크기보다 큰 경우, EL 복원 및 BL 복원은 인접 서브-블록들의 시리즈에 공간적으로 분할되며 주파수 영역 가중은 서브-블록들 상에서 수행되고 최종 예측 신호는 가중 결과들을 합하여 형성된다.
게다가, 상기 가중은 색상 구성요소들의 선택된 부분집합 또는 광도 및 색차 구성요소들 상에서 수행될 수도 있다.
다음에서, 향상 레이어 코딩 파라미터들을 유도하는 상이한 가능성들이 설명된다. 향상 레이어 블록을 복원하기 위해 이용되는 코딩(또는 예측) -파라미터들은 베이스 레이어에서 공존되는 코딩 파라미터들로부터 다수의 방법들에 의해 유도될 수 있다. 베이스 및 향상 레이어들은 상이한 공간적 해상도를 가질 수 있고 또는 동일한 공간적 해상도를 가질 수 있다.
H.264/AVC 의 스케일러블 비디오 확장에 있어서, 인터-레이어 모션 예측은 매크로블록 타입들에 대해 수행되며, 이는 구문 요소 베이스 모드 플래그에 의해 시그널링된다. 만약 베이스 모드 플래그가 1과 동일한 경우 베이스 레이어에서 대응 기준 매크로블록은 인터-코딩되고 향상 레이어 매크로블록 또한 인터-코딩되며, 모든 모션 파라미터들은 공존되는 베이스 레이어 블록(들)로부터 추론된다. 그렇지 않으면(베이스 모드 플래그는 0과 동일하며), 각 모션 벡터에 대해 소위 모션 예측 플래그(motion prediction flag) 구문 요소가 전송되고 베이스 레이어 모션 벡터들이 모션 벡터 예측기로서 이용되는지 여부가 특정된다. 만약 모션 예측 플래그가 1과 동일한 경우 베이스 레이어의 공존되는 기준 블록의 모션 벡터 예측기는 모션 벡터 예측기로 이용되고 해상도 비율에 따라 스케일링된다. 만약 모션 예측 플래그가 0과 동일하면 모션 벡터 예측기는 H.264/AVC에서 특정되면서 계산된다.
다음에서, 향상 레이어 코딩 파라미터들을 유도하는 방법들이 설명된다. 베이스 레이어 픽쳐와 관련된 샘플 배치는 블록들로 분해되고 각 블록은 관련 코딩(또는 예측) -파라미터들을 갖는다. 다른 말로, 특정 블록 내 모든 샘플 위치들은 동일 관련 코딩(또는 예측) -파라미터들을 갖는다. 코딩 파라미터들은 모션 가설들, 기준 인덱스들, 모션 벡터들, 모션 벡터 예측기 식별자들 및 병합 식별자들의 숫자로 구성되는 모션 보상 예측에 대한 파라미터들을 포함할 수 있다. 코딩 파라미터들은 인트라 예측 방향들같은 인트라 예측 파라미터들을 포함할 수도 있다.
베이스 레이어로부터 공존되는 정보를 이용하여 향상 레이어에서 블록이 코딩되는 것이 비트스트림 내에서 시그널링될 수 있다.
예를 들어, 향상 레이어 코딩 파라미터들(관점 T 참조)의 유도는 다음에 따라 만들어질 수 있다. 향상 레이어에서 NxM 블록에 대해, 이는 공존되는 레이어 정보를 이용하여 시그널링되며, 블록 내에서 샘플 위치에 관련되는 코딩 파라미터들은 베이스 레이어 샘플 배치에서 공존되는 샘플 위치들에 할당되는 코딩 파라미터들에 기반하여 유도될 수 있다.
특정 실시예에서, 이 프로세스는 다음 단계들에 의해 수행된다:
1. 베이스 레이어 코딩 파라미터들에 기반하여 NxM 향상 레이어 블록에서 각 샘플 위치에 대해 코딩 파라미터들을 유도.
2. 특정 서브-블록 내에서 모든 샘플 위치들이 동일 관련 코딩 파라미터들을 갖도록, 서브-블록들로 NxM 향상 레이어 블록의 파티셔닝의 유도.
두번째 단계는 또한 생략될 수 있다.
단계 1 은 코딩 파라미터들을 주는, 향상 레이어 샘플 위치의 함수를 이용하여 수행될 수 있고, 즉
c = fc(pel)이다.
예를 들어, 향상 레이어의 최소 블록 크기 m x n를 확실히하기 위해, 상기 함수 fc는
fp, m x m (pel)=pbl
xbl=floor 
* n
ybl=floor 
* m
pbl = (xbl, ybl)
pel = (xel, yel)
와 함께 주어지는 함수 fp,m x n에 pbl 관련되는 코딩 파라미터들 c를 되돌릴 수 있다.
두개의 수평적으로 또는 수직적으로 인접한 베이스 레이어 샘플 위치들 사이의 거리는 1과 동일하며, 그리고 가장 왼쪽 위 베이스 레이어 샘플 및 가장 왼쪽 위 향상 레이어 샘플 둘 다 p=(0, 0) 위치를 갖는다.
또다른 예에서, 상기 함수 fc(pel)는 베이스 레이어 샘플 위치 pel에 가장 인접한 베이스 레이어 샘플 위치에 관련된 코딩 파라미터들을 되돌릴 수 있다. 상기 함수 fc(pel)는 주어진 향상 레이어 샘플 위치가 베이스 레이어 샘플 위치들 사이의 거리 단위로 분수 구성요소들을 갖는 경우 코딩 파라미터들을 보간(interpolate )할 수도 있다.
모션 파라미터들을 되돌리기 전에(before returning), 상기 함수 fc는 향상 레이어 샘플링 그리드에서 가장 인접한 이용가능한 값에 모션 파라미터들의 공간적 교체 구성요소들을 반올림한다.
단계 1 후에, 각 샘플 위치가 단계 1 후에 관련 예측 파라미터들을 가지기 때문에, 각 향상 레이어 샘플이 예측될 수 있다. 그럼에도 불구하고, 단계 2에서 블록 파티셔닝이 샘플들의 더 큰 블록에서 예측 작업들을 수행하는 목적을 위해 유도될 수 있고, 또는 유도된 파티셔닝의 블록들 내 예측 잔류를 변환 코딩하는 목적을 위해 유도될 수 있다.
단계 2 (Step 2) 는 정사각형 또는 직사각형 블록들로 향상 레이어 샘플 위치들을 그룹핑(grouping)하여 수행될 수 있고, 각각은 서브-블록들로 허용된 분해의 집합 중 하나로 분해된다. 정사각 또는 직사각 블록들은 도 34에서 도시되는 것처럼 상이한 레벨들에 존재할 수 있는 쿼드 트리 구조에서 리프들(leafs)에 대응한다.
각 스퀘어 또는 직사각 블록의 레벨 및 분해는 다음 순서 단계들을 수행하여 결정될 수 있다:
a) NxM 크기 블록에 대응하는 레벨에 최고 레벨을 설정한다. 정사각 또는 직사각 블록이 최소 블록 크기의 단일 블록을 포함하는 레벨인, 최저 레벨에 현재 레벨을 설정한다. 단계 b)로 진행한다.
b) 현재 레벨에서 각 정사각 또는 직사각 블록에 대해, 만약 정사각 또는 직사각 블록의 허용되는 분해가 존재하는 경우, 각 서브-블록 내 모든 샘플 위치들이 동일한 코딩 파라미터들에 관련되거나, 또는 작은 차이를 갖는 코딩 파라미터들에 관련되고 (몇몇 차이 측정에 따라), 분해는 후보 분해(candidate decomposition)이다. 모든 후보 분해들 중에서, 서브-블록들의 최소 숫자에 정사각 또는 직사각 블록을 분해하는 하나를 선택한다. 만약 현재 레벨이 최고 레벨이면, 단계 c)로 진행한다. 아니라면, 현재 레벨은 다음 최고 레벨(next higher level)로 설정하고 단계 b)로 진행한다.
c) 종결
상기 함수 fc는 단계 b)의 동일 레벨에서 적어도 하나의 후보 분해가 언제나 존재하는 방식으로 선택된다.
동일 코딩 파라미터들을 갖는 그룹핑은 정사각 블록들에 제한되지 않고, 상기 블록들은 직사각 블록들로 요약될 수도 있다.
게다가, 상기 그룹핑은 쿼드트리 구조에 제한되지 않고, 동일 크기의 또는 상이한 크기의 두 직사각 블록들의 두개의 직사각 블록들로 블록이 분해되는 분해 구조를 이용하는 것도 가능하다. 특정 레벨까지 쿼드트리 분해를 이용하고 그 후 두개의 직사각 블록들로의 분해를 이용하는 분해 구조를 이용하는 것도 가능하다. 또한, 다른 어떤 블록 분해가 가능하다.
SVC 레이어 간 모션 파라미터 예측 모드와 대조적으로, 상술 한 모드는 매크로 블록 레벨에서 지원되지 않는다 (또는 가장 큰 블록 크기를 지원하는) 한 임의의 블록 크기. 즉, 모드는 지원되는 최대 블록 크기 시그널링 될 수 없지만 최대 지원 블록 크기의 블록 (MPEG-4에서의 매크로 블록이, HEVC에서 H.264 코딩 트리 블록 / 최대 부호화 유닛)이 계층 적으로 분할 될 수 있고, 작은 블록 / 코딩 단위와 레이어 간 모션 모드의 사용은 (대응하는 블록을 위해) 지원되는 블록 크기로 시그널링 될 수있다. 특정 실시 예에서,이 모드는 선택된 블록 크기에 대해 지원된다. 그리고, 이 모드의 사용을 신호 구문 요소가 (다른 코딩 파라미터 중) 해당 블록의 크기, 또는 신호 구문 요소의 값에 대해서만 송신 될 수 있고, 또는 이 모드의 사용은 대응하는 다른 블록 크기에 대해 제한 될 수 있다 . H.264 / AVC의 SVC 확장의 레이어 간 모션 파라미터 예측 모드로의 또 다른 차이점은,이 모드로 코딩 된 블록은 완전히 인터 코딩되지 않는다는 것이다. 블록은 공존되는 베이스 레이어 신호에 의존하여, 인트라 코딩 된 서브 블록을 포함 할 수 있다.
상술 한 방법에 의해 유도되는 코딩 파라미터를 사용하여 샘플들의 M × M 향상 레이어 블록을 복원하는 방법 중 여러 가지 방법 중의 하나는 비트 스트림 안에 시그널링 될 수 있다는 것이다. 유도된 코딩 파라미터들을 이용하여 향상 레이어 블록을 예측하는 그러한 방법은 다음을 포함할 수 있다 :
·모션 보상에 대한 복원된 향상 레이어 기준 픽쳐들 및 유도된 모션 파라미터들을 이용하여 향상 레이어 블록에 대한 예측 신호를 유도.
·복원된 향상 레이어 픽쳐로부터 (업샘플링/필터링된) 베이스 레이어 복원을 감산하여 발생되는 향상 레이어 기준 픽쳐 및 유도된 모션 파라미터들을 이용하여 모션 보상 신호 (b) 및 현재 픽쳐에 대한 (업샘플링/필터링된) 베이스 레이어 복원 (a) 를 계산.
·현재 픽쳐에 대해 (업샘플링/필터링된) 베이스 레이어 잔류물 (코딩된 변환 계수 값들의 예측 또는 역 변환 및 복원 신호 사이의 차이) (a) 및 복원된 향상 레이어 기준 픽쳐들 및 유도된 모션 파라미터들을 이용한 모션 보상 신호 (b)를 결합.
현재 블록에 대해 더 작은 블록들로 파티셔닝하는 것을 유도하고 서브블록들에 대한 코딩 파라미터들을 유도하는 프로세스는 인트라-코딩으로 서브-블록들 중 몇몇을 분류가능하며, 반면 다른 서브블록들은 인터-코딩으로 분류된다. 인터-코딩된 서브블록에 대해, 모션 파라미터들은 공존되는 베이스 레이어 블록들로부터 유도된다. 그러나 공존되는 베이스 레이어 블록이 인트라 코딩되는 경우, 향상 레이어의 대응 서브블록은 인트라 코딩될 때 분류될 수도 있다. 그러한 인트라-코딩된 서브블록들의 샘플들에 대해, 향상 레이어 신호는 다음 예에 따라 베이스 레이어로부터의 정보를 이용하여 예측될 수 있다:
·대응 베이스 레이어 복원의 (업샘플링/필터링된) 버젼은 인트라 예측 신호로 이용됨.
·유도된 인트라 예측 파라미터들은 향상 레이어에서 공간적 인트라 예측에 대해 이용됨.
예측 신호들의 가중 결합을 이용하여 향상 레이어 블록을 예측하는 다음 실시예들은 (a) 복원된 향상 레이어 샘플들을 이용하여 공간적 또는 시간적 (즉 모션 보상) 예측에 의해 얻어지는 향상 레이어 내부 예측 신호 및 (b) 현재 픽쳐에 대해 (업샘플링/필터링된) 베이스 레이어 복원인 베이스 레이어 예측 신호,를 결합하여 향상 레이어 블록에 대한 예측 신호를 발생시키는 방법을 포함한다. 최종 예측 신호는 가중 함수에 따른 가중이 각 샘플에 대해 이용되는 방식으로 베이스 레이어 예측 신호 및 향상 레이어 내부 예측 신호를 가중하여 얻어진다.
가중 함수는 예를 들어 다음 방법에 의해 실현될 수 있다. 베이스 레이어 복원의 로 패스 필터링된 버젼과 원래의 향상 레이어 내부 예측 신호의 로 패스 필터링된 버젼을 비교한다. (업샘플링/필터링된) 베이스 레이어 복원 및 원래의 인터 예측 신호를 결합하는데 이용될 각 샘플 위치에 대한 가중을 그 비교로부터 유도한다. 상기 가중은 전달 함수 t를 이용한 가중 w에 대해 차이 u - v 를 맵핑하여 유도될 수 있으며, 즉
t(u-v)=w 이다.
상이한 가중 함수는 예측되는 현재 블록의 상이한 블록 크기들에 대해 이용될 수 있다. 또한, 가중 함수는 기준 픽쳐들의 시간적 거리에 따라 수정될 수 있고 그것으로부터 인터 예측 가설들이 얻어진다.
향상 레이어 내부 예측 신호가 예측 신호인 경우에, 예를 들어 가중 함수는 예측될 현재 블록 내 위치에 의존하여 상이한 가중을 이용하여 실현될 수 있다. 바람직한 실시예에서, 향상 레이어 코딩 파라미터들을 유도하는 상기 방법이 이용되며, 방법의 단계 2 는 도 35에서 설명되는 것처럼 정사각 블록의 허용되는 분해의 집합을 이용한다.
바람직한 실시예에서, 함수 fc(pel) 은 m = 4, n = 4 와 함께 위에서 설명된 함수 fp,m x n(pel)에 의해 주어지는 베이스 레이어 샘플 위치에 관련되는 코딩 파라미터들을 복귀시킨다.
실시예에서, 상기 함수 fc(pel)는 다음 코딩 파라미터들을 복귀시킨다:
·먼저, 베이스 레이어 샘플 위치가 pbl=fp,4 x 4(pel)에 따라 유도된다.
·pbl이 이전에 코딩된 베이스 레이어 블록과 병합되어 얻어지는 관련 인터 예측 파라미터들을 갖는 경우 (또는 동일 모션 파라미터들을 갖는 경우), c는 베이스 레이어에서 병합을 위해 이용되는 베이스 레이어 블록에 대응하는 향상 레이어 블록의 모션 파라미터들과 동일하다 (즉 모션 파라미터들은 대응 향상 레이어 블록으로부터 복제된다).
·그렇지 않으면, c는 pbl에 관련된 코딩 파라미터들과 동일하다.
또한 위 실시예들의 결합 또한 가능하다.
또다른 실시예에서, 공존되는 베이스 레이어 정보를 이용하여 시그널링되는 향상 레이어 블록에 대해, 모션 파라미터들의 디폴트 집합을 유도된 인트라 예측 파라미터들과 향상 레이어 샘플 위치들에 관련시키고, 그래서 상기 블록은 이러한 샘플들을 포함하는 블록과 병합 가능하다. 모션 파라미터들의 디폴트 집합(default set)은 하나 또는 두가지 가설을 이용하는 표시기(indicator)로 구성되며, 기준 인덱스들은 제로(0) 공간적 배치를 갖는 모션 벡터들, 기준 픽쳐 리스트에서 제1픽쳐를 참조한다.
또다른 실시예에서, 공존되는 베이스 레이어 정보를 이용하여 시그널링되는 향상 레이어 블록에 대해, 유도된 모션 파라미터들을 갖는 향상 레이어 샘플들은 몇몇 순서로 먼저 복원되고 예측된다. 그 후에, 유도된 인트라 예측 파라미터들을 갖는 샘플들은 인트라 복원 순서로 예측된다. 그에 의해, 인트라 예측은 (a) 어떠한 인접 인터 예측 블록 및 (b)인트라 복원 순서로 선행자(predecessors)인 인접 인트라 예측 블록들로부터 이미 복원된 샘플 값들을 이용할 수 있다.
또다른 실시예에서, 병합되는 향상 레이어 블록들에 대해(즉, 다른 인터 예측 블록들로부터 유도되는 모션 파라미터들을 취하여), 병합 후보들의 리스트는 추가적으로 대응 베이스 레이어 블록으로부터의 후보를 포함하며 만약 향상 레이어가 베이스 레이어보다 더 높은 공간적 샘플링 레이트를 갖는 경우, 향상 레이어에서 오직 이용가능한 인접 값들에 대해 공간적 배치 구성요소를 개선(refining)하여 베이스 레이어 후보로부터 유도되는 네개의 후보들까지 포함한다.
또다른 실시예에서, 단계 2 에서 이용되는 차이 측정은 b) 차이들이 전혀 없는 경우 서브-블록에서 아주 작은 차이가 있다는 것을 언급하며, 즉 서브-블록은 모든 포함된 샘플 위치들이 동일한 유도된 코딩 파라미터들을 가질 때에만 형성될 수 있다.
또다른 실시예에서, 단계 2 에서 이용되는 차이 측정은 (a) 모든 포함된 샘플 위치들은 유도된 모션 파라미터들은 가지며 블록 내 샘플 위치들의 쌍이 대응 모션 벡터들에 적용되는 벡터 놈(vertor norm)에 따라 특정 값과 다른 유도된 모션 파라미터들을 갖는 것이 없는 경우, 또는 b) 모든 포함된 샘플 위치들은 유도된 인트라 예측 파라미터들을 가지며 블록 내 동일 위치들 쌍 중 방향성 인트라 예측의 특정 각도와 더 다른 유도된 인트라 예측 파라미터들을 갖는 것이 없는 경우, 서브-블록에서 아주 작은 차이만을 언급한다. 서브-블록에 대한 결과 파라미터들은 평균 또는 중간 작업들(mean or median operations)에 의해 계산된다. 또다른 실시예에서, 베이스 레이어로부터 코딩 파라미터들을 추론하여 얻어지는 파티셔닝은 비트스트림 내에서 시그널링되는 부가정보에 기반하여 더 개선(refined)될 수 있다. 또다른 실시예에서, 코딩 파라미터들이 베이스 레이어로부터 추론되는 블록에 대한 잔류 코딩은 베이스 레이어로부터 추론되는 블록들로의 파티셔닝에 독립적이다. 그것은, 예를 들어, 베이스 레이어로부터 코딩 파라미터들의 추론이 코딩 파라미터들의 개별 집합과 함께 몇몇 서브블록 각각으로 블록들을 분할하지만 단일 변환이 블록에 대해 적용될 수도 있다. 또는 파티셔닝 및 서브블록들에 대한 코딩 파라미터들이 베이스 레이어로부터 추론되는 블록이 더 작은 블록들로 잔류물을 변환 코딩하기 위한 목적으로 분할될 수 있고, 여기서 변환 블록들로의 분할은 상이한 코딩 파라미터들을 갖는 블록들로 추론되는 파티셔닝으로부터 독립적이다.
또다른 실시예에서, 코딩 파라미터들이 베이스 레이어로부터 추론되는 블록에 대한 잔류 코딩은 베이스 레이어로부터 추론되는 블록들로의 파티셔닝에 의존한다. 그것은, 예를 들어, 변환 코딩에 대해 변환 블록들에서 블록의 분할이 베이스 레이어로부터 추론되는 파티셔닝에 의존한다는 것을 의미한다. 하나의 버젼에서, 단일 변환이 상이한 코딩 파라미터들을 갖는 서브블록들 각각에 대해 적용될 수 있다. 또다른 버젼에서, 상기 파티셔닝은 비트스트림을 포함하는 부가 정보에 기반하여 개선될 수 있다. 또다른 버젼에서, 서브블록들 몇몇은 잔류 신호를 변환 코딩할 목적으로 비트스트림 내에서 시그널링될 때 더 큰 블록들로 요약될 수 있다(summarized).
위 설명된 실시예들의 결합에 의해 얻어지는 실시예들 또한 가능하다.
향상 레이어 모션 벡터 코딩에 관련되어, 이 다음 부분은 향상 레이어의 모션 정보를 효율적으로 코딩하기 위해 베이스 레이어에서 코딩된 모션 정보를 이용하고 다중 향상 레이어 예측기들을 제공하여 스케일러블 비디오 코딩 어플리케이션들에서 모션 정보를 감소시키는 방법을 설명한다. 이 아이디어는 공간적, 시간적 그리고 품질 확장성(스케일러빌리티, scalability)을 포함하는 스케일러블 비디오 코딩에 적용가능하다.
H.264/AVC 의 스케일러블 비디오 확장에서 인터-레이어 모션 예측은 구문 요소 베이스 모드 플래그(base mode flag)에 의해 시그널링되는, 매크로블록 타입들에 대해 수행된다. 만약 base mode flag 가 1과 동일하다면 베이스 레이어에서 대응 기준 매크로블록은 인터-코딩되고 향상 레이어 매크로블록 또한 인터-코딩되며, 모든 모션 파라미터들은 공존되는 베이스 레이어 블록(들)로부터 추론된다. 그렇지 않다면 (base mode flag는 0과 동일), 각 모션 벡터에 대해 소위 motion prediction flag 구문 요소가 전송되고 베이스 레이어 모션 벡터들이 모션 벡터 예측기로서 이용되는지 여부가 특정된다. 만약 motion prediction flag 가 1과 동일하다면 베이스 레이어의 공존되는 기준 블록의 모션 벡터 예측기는 해상도 비율에 따라 스케일링되고 모션 벡터 예측기로 이용된다. 만약 motion prediction flag 이 0과 동일하다면 모션 벡터 예측기는 H.264/AVC에서 특정되는 것처럼 계산된다. HEVC에서 모션 파라미터들이 발전된 모션 벡터 경쟁 (advanced motion vector competition, AMVP)를 적용하여 예측된다. AMVP 는 서로 경쟁하는 두개의 공간적 그리고 하나의 시간적 모션 벡터 예측기들을 특징으로 한다. 공간적 후보들은 현재 예측 블록 왼쪽 또는 위에 할당되는 인접 예측 블록들의 위치들로부터 선택된다. 시간적 후보는 이전에 코딩된 픽쳐의 공존되는 위치들 중에서 선택된다. 모든 공간적 그리고 시간적 후보들의 위치들은 도 36에서 도시된다.
공간적 그리고 시간적 후보들이 추론된 후에, 리스트에 대한 후보로서 0 모션 벡터를 도입할 수 있는 중복 확인(redundancy check)이 수행된다. 후보 리스트를 다루는 인덱스는 모션 보상 예측에 대해 모션 벡터 차이와 함께 이용되는 모션 벡터 예측기를 식별하도록 전송된다.
HEVC는 쿼드-트리 기반 코딩 설계를 도출하는 코딩 중복 모션 파라미터들(coding redundant motion parameters)의 감소를 목적으로 하는, 블록 병합 알고리즘을 더 이용한다. 이는 동일 모션 파라미터들을 공유하는 다수의 예측 블록들로 구성되는 영역들을 생성하여 달성된다. 이러한 모션 파라미터들은 - 새로운 모션 정보를 배정하는 - 각 영역의 제1예측 블록에 대해 한번 코딩될 필요가 있다. AMVP 에 유사하한 블록 병합 알고리즘은 각 d측 블록에 대한 가능한 병합 후보들을 포함하는 리스트를 구성한다. 후보들의 숫자는 NumMergeCands에 의해 정의되고, 이는 1에서 5까지 범위 및 슬라이스 헤더(slice header)에서 시그널링된다. 후보들은 공간적으로 인접 예측 블록들로부터 그리고 공존되는 시간적 픽쳐들에서 예측 블록들로부터 추론된다. 후보들로 고려되는 예측 블록들에 대해 가능한 샘플 위치들은 도 36에서 보여지는 위치들과 동일하다. HEVC에서 가능한 예측 블록 파티셔닝을 갖는 블록 병합 알고리즘의 예가 도 37에서 도시된다. 도면 (a)에서 굵은 라인은 동일 모션 데이터를 모두 갖는 그리고 하나의 영역으로 병합되는 예측 블록들을 정의한다. 이 모션 데이터는 블록 S 만으로 전송된다. 코딩될 현재 예측 블록은 X로 표시된다. 줄쳐진 영역의 블록들은 관련 예측 데이터를 아직 자지지 않으며, 이러한 예측 블록들은 블록 스캐닝 순서에 있어 예측 블록 X 에 후행자들(successors)이다. 상기 점들(dots)은 가능한 공간적 병합 후보들인 인접 블록들의 샘플 위치들을 나타낸다. 가능한 후보들이 예측기 리스트에 삽입되기 전에 공간적 후보들에 대한 중복 확인(redundancy check)이 도 37의 (b)로 나타내지며 수행된다.
공간적 그리고 시간적 후보들의 숫자가 NumMergeCands 보다 작은 경우에 추가 후보들은 0 모션 벡터 후보들에 의해 또는 존재하는 후보들을 결합하여 제공된다. 후보가 리스트에 더해지는 경우 후보를 식별하기 위해 이용되는, 인덱스가 갖추어진다. 리스트에 새로운 후보의 추가와 함께 상기 인덱스는 (0부터 시작해서) 리스트가 인덱스 NumMergeCands- 1에 의해 식별되는 최종 후보로 완결될 때까지 증가된다. 고정 길이 코드워드(fixed length codeword)는 비트스트림의 파싱(parsing) 및 후보 리스트의 유도에 독립적임을 확실히하기 위해 병합 후보 인덱스를 코딩하기 위해 이용된다.
다음 섹션은 향상 레이어의 모션 파라미터들을 코딩하기 위해 베이스 레이어로부터 유도되는 예측기들을 포함하는 다수의 향상 레이어 예측기들을 이용하는 방법을 설명한다. 베이스 레이어에 대해 이미 코딩된 모션 정보는 향상 레이어를 코딩하는 동안 모션 데이터 레이트를 상당히 감소시키기 위해 이용될 수 있다. 이 방법은 코딩될 추가적인 모션 데이터를 필요로 하지 않는 경우 베이스 레이어로부터 예측 블록의 모든 모션 데이터를 직접 유도하는 가능성을 포함한다. 다음 설명에서 예측 블록 용어는 HEVC에서 예측 유닛, H.264/AVC에서 MxN 블록으로 언급되며 픽쳐에서 샘플들 일반 집합으로 이해될 수 있다.
현재 섹션의 첫번째 부분은 베이스 레이어 모션 벡터 예측기에 의해 모션 벡터 예측 후보들의 리스트를 확장하는 것에 관한 것이다(관점 K 참조). 베이스 레이어 모션 벡터는 향상 레이어 코딩 동안 모션 벡터 예측기 리스트에 더해진다. 이는 베이스 레이어로부터 공존되는 예측 블록의 하나 이상의 모션 벡터 예측기들을 추론해서 달성되며 모션 보상 예측을 위한 예측기들의 리스트에서의 후보들로서 그것들을 이용한다. 베이스 레이어의 공존되는 예측 블록은 중앙, 왼쪽, 위, 오른쪽 그리고 현재 블록의 아래에 위치된다. 선택된 위치의 베이스 레이어의 예측 블록은 어떠한 모션 관련 데이터를 포함하지 않고 또는 현재 범위의 바깥에 위치하지 않으며 현재 접근가능하지 않으며 대안적인 위치들은 모션 벡터 예측기들을 추론하는데 이용될 수 있다. 이러한 대안적인 위치들은 도 38에서 도시된다.
베이스 레이어로부터 추론되는 모션 벡터들은 예측기 후보들로서 이용되기 전에 해상도 비율에 따라 스케일링될 수 있다. 모션 벡터 차이 뿐만 아니라 모션 벡터 예측기들의 후보 리스트를 다루는 인덱스는 예측 블록에 대해 전송되며, 이는 모션-보상 예측을 위해 이용되는 최종 모션 벡터를 특정한다. H.264/AVC 기준의 스케일러블 확장에 대조적으로 여기에서 제시되는 실시예들은 기준 픽쳐에서 공존되는 블록의 모션 벡터 예측기의 활용을 구성하지 않는다 - 오히려 전송되는 인덱스에 의해 다뤄질 수 있고 다른 예측기들 중 리스트에서 이용가능하다.
실시예에서 모션 벡터는 베이스 레이어의 공존되는 예측 블록의 중심 위치 C1으로뷰터 유도되고 첫번째 입력으로서 후보 리스트의 위쪽(top)에 더해진다. 모션 벡터 예측기들의 후보 리스트는 하나의 아이템에 의해 확장된다. 만약 베이스 레이어에서 샘플 위치들 C1 에 대해 이용가능한 모션 데이터가 없는 경우 리스트 구성은 변경되지 않는다(untouched). 또다른 실시예에서 베이스 레이어에서 샘플 위치들의 어떠한 시퀀스는 모션 데이터에 대해 확인될 수 있다. 모션 데이터가 발견되는 경우, 대응 위치의 모션 벡터 예측기는 향상 레이어의 모션 보상 예측에 대해 이용가능하고 후보 리스트에 삽입된다. 게다가 베이스 레이어로부터 유도되는 모션 벡터 예측기는 리스트의 어떠한 다른 위치에서 후보 리스트에 삽입될 수 있다. 또다른 실시예에서 베이스 레이어 모션 예측기는 특정 제약들(constraints )이 충족되는 경우 후보 리스트에 삽입될 수 있다. 이러한 제약들은 공존되는 기준 블록의 병합 플래그(merge flag)의 값을 포함할 수 있고, 이는 0과 동일해야 한다. 또다른 제약은 해상도 비율에 관해 베이스의 공존되는 예측 블록의 크기를 동일하게 하는 향상 레이어의 예측 블록의 크기일 수 있다. 예를 들어 K x 공간적 확장성의 어플리케이션에서 - 만약 베이스 레이어의 공존되는 블록의 너비가 N 인 경우 모션 벡터 예측기는 향상 레이어에서 코딩될 예측 블록의 너비가 K*N 인 경우에만 추론될 수 있다(inferred).
또다른 실시예에서 베이스 레이어의 몇몇 샘플 위치로부터 하나 이상의 모션 벡터 예측기들은 향상 레이어의 후보 리스트에 더해질 수 있다. 또다른 실시예에서 공존되는 블록으로부터 추론되는 모션 벡터 예측기를 갖는 후보는 리스트를 확장하는 것보다 리스트에서 공간적 또는 시간적 후보들을 교체할 수 있다. 베이스 레이어 데이터로부터 모션 벡터 예측 후보 리스트로 유도되는 다수의 모션 벡터 예측기들을 포함할 수도 있다.
두번째 부분은 베이스 레이어 후보에 의해 병합 후보들의 리스트를 확장하는 것에 관한 것이다(관점 K 참조). 베이스 레이어의 하나 이상의 공존되는 블록들의 모션 데이터는 병합 후보 리스트에 더해진다. 이 방안은 베이스 및 향상 레이어를 넘어 동일 모션 파라미터들을 공유하는 병합 영역을 생성하는 가능성을 허용한다. 이전 섹션에 유사하게 중앙 위치에서 공존되는 샘플을 덮는 베이스 레이어 블록은 이 중심 위치에 제한되지 않지만 도 38에서 묘사되는 것처럼, 바로 근방의 어떠한 위치로부터 유도될 수 있다. 모션 데이터가 특정 위치에 대해 이용가능하거나 접근가능하지 않을 경우 대안적 위치들이 가능한 병합 후보들을 추론하도록 선택될 수 있다. 유도된 모션 데이터가 병합 후보 리스트에 삽입되기 전에 해상도 비율에 따라 스케일링 될 수 있다. 병합 후보 리스트를 다루는 인덱스가 전송되고 모션 벡터를 정의하며, 이는 모션 보상 예측에 대해 이용된다. 그러나 상기 방법은 베이스 레이어에서 예측 블록의 모션 데이터에 의존하여 가능한 모션 예측기 후보들을 압축할 수도 있다.
실시예에서 도 38의 샘플 위치 C 1 을 덮는 베이스 레이어에서 공존되는 블록의 모션 벡터 예측기는 향상 레이어에서 현재 예측 블록을 코딩하기 위한 가능한 병합 후보로서 고려된다. 그러나 모션 벡터 예측기는 만약 기준 블록의 merge_flag 가 1과 동일한 경우 또는 공존되는 기준 블록이 모션 데이터를 포함하지 않는 경우 리스트에 삽입되지 않는다. 어떠한 다른 케이스에서 유도된 모션 벡터 예측기는 후보 리스트를 병합하는데 두번째 입력으로서 가산된다. 이 실시예에서 병합 후보 리스트의 길이는 유지되고 확장되지 않는다는 것을 주목하라. 다른 실시예에서 하나 이상의 모션 벡터 예측기들은 도 38에서 묘사되는 것처럼 샘플 위치들 중 어느 것을 커버하는 예측 블록들로부터 유도될 수 있고 병합 후보 리스트에 가산될 수 있다. 또다른 실시예에서 베이스 레이어의 몇몇 모션 벡터 예측기들은 병합 후보 리스트에 어떠한 위치에서 가산될 수 있다. 또다른 실시예에서, 하나 또는 다수의 모션 벡터 예측기는 특정 제약조건들이 만족되는 경우에만 병합 후보들에 더해질 수 있다. 그러한 제약조건들은 (모션 벡터 예측에 대한 이전 실시예 섹션에서 설명되는 것처럼 해상도 비율에 관해) 베이스 레이어의 공존되는 블록의 크기에 매칭하는 향상 레이어의 예측 블록 크기들을 포함한다. 또다른 제약조건은 또다른 실시예에서 merge_flag 가 1과 동일한 값이라는 것일 수 있다. 또다른 실시예에서 병합 후보 리스트의 길이는 베이스 레이어의 공존되는 기준 블록들로부터 추론되는 모션 벡터 예측기들의 숫자에 의해 확장될 수 있다.
이 명세서의 세번째 부분은 베이스 레이어 데이터를 이용한 모션 파라미터 (또는 병합) 후보 리스트를 재배열하는 것에 관한 것이고 (관점 L 참조) 베이스 레이어에서 이미 코딩된 정보에 따라 병합 후보 리스트를 재-배열하는 프로세스를 설명한다. 현재 블록의 샘플을 커버하는 공존되는 베이스 레이어가 특정 출처(particular origin)로부터 유도되는 후보와 함께 모션 보상 예측되는 경우, (만약 존재하는 경우) 균등한 출처로부터의 대응 향상 레이어 후보가 병합 후보 리스트의 위(top)에서 첫번째 입력으로 놓여진다. 이 단계는 가장 낮은 인덱스와 함께 이 후보를 다루는 것과 동일하며, 이 후보에 가장 저렴한 코드워드를 할당하도록 한다.
실시예에서 공존되는 베이스 레이어 블록은 도 38에서 묘사되는 것처럼 샘플 위치 A1 을 커버하는 예측 블록으로부터 기원하는(originate) 후보와 함께 모션 보상 예측된다. 향상 레이어에서 예측 블록의 병합 후보 리스트가 그 모션 벡터 예측 향상 레이어 내 대응 샘플 위치 A1 으로부터 기원하는 후보를 포함하는 경우 이 후보는 리스트에 첫번째 입력으로 놓여진다. 결과적으로 이 후보는 인덱스 0 에 의해 인덱스화되고 그래서 가장 짧은 고정 길이 코드워드로 할당된다. 이 실시예에서 이 단계는 향상 레이어에서 병합 후보 리스트에 대한 공존되는 베이스 레이어 블록의 모션 벡터 예측기의 유도 후에 수행된다. 이런 이유로 재배열 프로세스(reordering process)는 공존되는 베이스 레이어 블록의 모션 벡터 예측기로서 대응 블록으로부터 기원하는 후보에 대해 최저 인덱스를 할당한다. 두번째 최저 인덱스는 이 섹션의 두번째 부분에서 설명되는 것처럼 베이스 레이어에서 공존되는 블록으로부터 유도되는 후보에 할당된다. 게다가 재배열 프로세스는 베이스 레이어에서 공존되는 블록의 merge_flag 가 1과 동일한 경우에만 일어난다. 또다른 실시예에서 재배열 프로세스는 베이스 레이어에서 공존되는 예측 블록의 merge_flag 값에 독립적으로 수행될 수 있다. 또다른 실시예에서 대응 출처(corresponding origin)의 모션 벡터 예측기를 갖는 후보는 병합 후보 리스트의 어떠한 위치에 놓여질 수 있다. 또다른 실시예에서 재배열 프로세스는 병합 후보에서 모든 다른 후보들을 제거할 수 있다. 여기서 베이스 레이어에서 공존되는 블록의 모션 보상 예측을 위해 이용되는 모션 벡터 예측기와 모션 벡터 예측기가 동일 출처를 갖는 후보는 리스트에서 유지된다. 이 경우에 단일 후보가 이용가능하고 인덱스는 전송되지 않는다.
이 명세서의 네번째 부분은 베이스 레이어 데이터를 이용하여 모션 벡터 예측기 후보를 재배열하고 (관점 L 참조) 베이스 레이어 블록의 모션 파라미터들을 이용하여 모션 벡터 예측의 후보 리스트를 재-배열하는 프로세스를 포함한다. 현재 예측 블록의 샘플을 커버하는 공존되는 베이스 레이어 블록이 특정 출처로부터 모션 벡터를 이용하는 경우, 향상 레이어에서 대응 출추로부터 모션 벡터 예측기는 현재 예측 블록의 모션 벡터 예측 리스트에서 첫번째 입력으로 이용된다. 이는 이 후보에 가장 저렴한(cheapest) 코드워드를 할당한다.
실시예에서 공존되는 베이스 레이어 블록은 도 38에서 묘사되는 것처럼 샘플 위치 A1 을 커버하는 예측 블록으로부터 기원하는 후보와 함께 모션 보상 예측된다. 향상 레이어에서 블록의 모션 벡터 예측기 후보가 모션 벡터 예측기가 향상 레이어 내 대응 샘플 위치 A1 으로부터 기원하는 후보를 포함하는 경우 이 후보를 리스트에 대한 첫번째 입력(first entry)으로 놓는다. 결과적으로 이 후보는 인덱스 0에 의해 인덱스되고 그래서 최단 고정 길이 코드워드(shortest fixed length codeword)가 할당된다. 이런 이유로 재배열 프로세스는 공존되는 베이스 레이어 블록의 모션 벡터 예측기로서 대응 블록으로부터 기원하는 후보에 최저 인덱스를 할당한다. 제2최저 인덱스(second lowest index)는 이 섹션의 첫번째 부분에서 설명되는 것처럼 베이스 레이어에 공존되는 블록으로부터 유도되는 후보에 할당된다. 게다가 재배열 프로세스는 베이스 레이어에서 공존되는 블록의 merge_flag 가 0과 동일한 경우에만 일어난다. 또다른 실시예에서 재배열 프로세스는 베이스 레이어에서 공존되는 예측 블록의 merge_flag 의 값에 독립적으로 수행될 수 있다. 또다른 실시예에서 대응 출처의 모션 벡터 예측기를 갖는 후보는 모션 벡터 예측기 후보 리스트의 어떠한 위치에서 놓여질 수 있다.
다음은 변환 계수들의 향상 레이어 코딩에 관한 것이다.
최신 비디오 및 이미지 코딩에서 예측 신호의 잔류물(residual)은 포워드 변환되고(forward transformed) 결과 양자화 변환 계수들(resulting quantizedtransform coefficients)은 비트스트림 내에서 시그널링된다. 이 계수 코딩은 고정된 설계를 따른다:
변환 크기에 의존하여 (루마 잔류물(luma residuals)에 대해 : 4x4, 8x8, 16x16 및 32x32) 상이한 스캔 방향들이 정의된다. 스캔 순서에서 최초 및 최종 위치가 주어지는 경우 이러한 스캔(scans)들은 어떠한 계수 위치들이 중요할 수 있는지 고유하게 결정하며(uniquely determine), 그래서 이와 같이 코딩될 필요가 있다. 모든 스캔(scans)들에서 제1계수(첫번째 계수, first coefficient)는 위치 (0, 0)에서 DC 계수로 설정되며, 반면 최종 위치는 비트스트림 내에서 시그널링되어야 하고, 이는 변환 블록 내 그 x (수평) 및 y (수직) 위치를 코딩하여 수행된다. 최종 위치로부터 시작하여, 중요 계수의 시그널링은 DC 위치가 도달될 때까지 역 스캔 순서(reverse scan order)로 수행된다.
변환 크기들 16x16 및 32x32에 대해 오직 하나의 스캔만이 정의되며, 즉 '대각 스캔(diagonal scan)'이며, 반면 크기 2x2, 4x4, 및 8x8의 변환 블록들은 '수직' 및 '수평' 스캔을 추가적으로 활용할 수 있다. 그러나, 수직 및 수평 스캔의 활용은 인트라 예측 코딩 유닛들의 잔류물에 제한되고 실제 이용된 스캔은 인트라 예측의 방향 모드(direction mode)로부터 유도된다. 범위 6 및 14에서 인덱스를 갖는 방향 모드들은 수직 스캔을 도출하며, 반면 범위 22 및 30의 인덱스를 갖는 방향 모드들은 수평 스캔을 도출한다. 모든 잔여 방향 모드들은 대각선 스캔을 도출한다.
도 39는 4x4 변환 블록에 대해 정의되는 것처럼 대각선, 수직 및 수평 스캔을 보여준다. 더 큰 변환들의 계수들은 16 계수들의 서브그룹들로 분할된다. 이러한 서브그룹들은 중요 계수 위치들의 계층 코딩을 허용한다. 비-중요로 시그널링되는 서브그룹은 어떠한 중요 계수들도 포함하지 않는다. 8x8 및 16x16 변환들에 대한 스캔들은 도 40 및 도 41에서 그들의 관련 서브그룹 분할들과, 각각 함께 설명된다. 큰 화살표들은 계수 서브그룹들의 스캔순서를 나타낸다.
지그재그 스캔에서, 4x4보다 큰 크기의 블록에 대해, 서브그룹은 지그재그 스캔에서 스캔된 4x4 픽셀 블록으로 구성된다. 도 42는 JCTVC-G703에서 제안된 것처럼 16x16 변환에 대해 수직 스캔을 보여준다.
다음 섹션은 변환 계수 코딩에 대한 확장들을 설명한다. 이것들은 중요 계수 위치들의 수정된 코딩 및 변환 블록들에 대해 스캔들을 할당하는 방법, 새로운 스캔 모드들의 도입을 포함한다. 이러한 확장들은 변환 블록 내 상이한 계수 분포들에 대한 더 나은 적응을 허용하며, 이와 같이 레이트-왜곡 관점(rate-distortion sense)에서 코딩 이득을 달성한다.
수직 및 수평 스캔 패턴들에 대한 새로운 구현들은 16x16 및 32x32 변환 블록들에 대해 도입된다. 이미 제안된 스캔 패턴들에 대조적으로, 스캔 서브그룹의 크기는, 각각, 수평 스캔에 대해 16x1, 수직 스캔에 대해 1x16이다. 각각, 8x2 및 2x8 크기의 서브그룹들이 또한 선택될 수 있다. 서브그룹들 그 자체는 동일 방식으로 스캔된다.
수직 스캔은 열 방향 분산(column wise spread)으로 위치되는 변환 계수들에 대해 효과적이다. 이는 수평 모서리들을 포함하는 이미지들에서 발견될 수 있다.
수평 스캔은 행 방향 분산에서 발견되는 변환 계수들에 대해 효과적일 수 있다. 이는 수직 모서리들을 포함하는 이미지들에서 발견될 수 있다.
도 43은 16x16 변환 블록들에 대해 수직 및 수평 스캔들의 구현을 보여준다. 계수 서브그룹은, 각각, 단일 열 또는 단일 행으로 정의된다. VerHor 스캔은 도입된 스캔 패턴이며, 이는 행 방향 스캔(row wise scan)에 의해 열(column)에서 계수들의 코딩을 허용한다. 4x4 블록들에 대해 첫번째 열은 첫번째 행의 나머지 이후 두번째 열의 나머지 이후 두번째 행 계수들의 나머지가 뒤따르며 스캔된다. 이후 세번째 컬럼의 나머지가 스캔되고 마지막으로 네번째 행 및 열이 스캔된다.
더 큰 블록들에 대해 상기 블록은 4x4 서브그룹들로 분할된다. 이러한 4x4 블록들은 VerHor 스캔에서 스캔되고, 반면 서브그룹들은 스캔된 VerHor 스캔 그 자체들이다.
verhor 스캔은 계수들이 블록에서 첫번째 열 및 행에 위치되는 경우에 이용될 수 있다. 이러한 방식으로, 계수들은 예를 들어 대각 스캔에 대해 다른 스캔을 이용할 때 케이스들보다 더 빨리(earlier) 스캔된다. 이는 수평 및 수직 모서리들을 양쪽을 포함하는 이미지들에 대해 발견될 수 있다.
도 44는 16x16 변환 블록에 대해 VerHor 스캔을 보여준다.
다른 스캔들 또한 실현가능하다. 서브그룹들 및 스캔(scans)들 사이의 모든 결합들이 이용될 수 있다. 예를 들어 서브그룹들의 대각선 스캔을 갖는 4x4 블록들에 대해 수평 스캔을 이용하는 것이다. 스캔의 적응 선택(adaptive selection)은 각 서브그룹에 대해 상이한 스캔을 선택하여 적용될 수 있다.
상이한 스캔이 변환 계수들이 인코더 측면에서의 양자화 후에 재배열되고 및 종래 코딩이 이용되는 방식으로 구현될 수 있다는 것이 언급되어야 한다. 디코더 측면에서, 변환 계수들은 일반적으로 디코딩되고 스케일링 및 역 변환 전에 (또는 스케일링 전 그리고 역 변환 후) 재배열된다.
베이스 레이어 신호의 상이한 부분들은 베이스 레이어 신호로부터 코딩 파라미터들을 유도하는데 활용될 수 있다. 그러한 신호들 중에서 :
·공존되는 복원 베이스 레이어 신호
·공존되는 잔류 베이스 레이어 신호
·복원 베이스 레이어 신호로부터 향상 레이어 예측 신호를 감산하여 얻어지는, 추정되는 향상 레이어 잔류 신호
·베이스 레이어 프레임의 픽쳐 분할
경사도 파라미터들(
Gradient parameters
):
경사도 파라미터들은 다음에 따라 유도될 수 있다:
조사된 블록(investigated block)의 각 픽셀에 대해, 경사도가 계산된다. 이러한 경사도로부터 크기 및 각도가 계산된다. 블록에서 가장 빈번히 발생하는 각도는 블록(블록 각도)에 관련된다. 상기 각도는 오직 세개의 방향들이 이용되는 수평(0°), 수직 (90°) 및 대각선(45°)이도록 라운드(반올림, round)될 수 있다.
감지 모서리(
Detecting edges
):
모서리 감지기가 다음에 따라 조사되는 블록에 적용될 수 있다:
첫번째로 상기 블록은 n x n 평활 필터(스무싱 필터, smoothing filter) (예를 들어, 가우시안).
크기 m x m 의 경사도 매트릭스는 각 픽셀에 대한 경사도를 계산하도록 이용된다. 모든 픽셀의 크기 및 각도가 계산된다. 각도는 오직 세개의 방향들이 이용되는 수평(0°), 수직 (90°) 및 대각선(45°)이도록 라운드(반올림, round)될 수 있다.
특정 임계1(threshold1)보다 더 큰 크기를 갖는 모든 픽셀에 대해, 인접 픽셀들이 확인된다(checked). 만약 인접 픽셀이 임계2보다 큰 크기를 갖고 현재 픽셀과 동일한 각도를 갖는 경우 이 대응각은(counter of this angle) 증가된다. 전체 블록에 대해 최고 숫자를 갖는 카운터는 블록 각도에 따라 선택된다.
포워드 변환에 의해 베이스 레이어 계수들을 획득(
Obtaining base layer coefficients by forward transformation
)
코딩 파라미터들을 유도하기 위해, 특정 TU에 대해, 베이스 레이어 신호의 주파수 영역으로부터, 조사되는 공존되는 신호 (복원 베이스 레이어 신호 / 잔류 베이스 레이어 신호 / 측정 향상 레이어 신호)는 주파수 영역으로 변환될 수 있다. 바람직하게, 특정 향상 레이어 TU에 의해 이용되는 것처럼, 이는 동일 변환을 이용하여 수행된다.
결과 베이스 레이어 변환 계수들은 양자화되거나, 또는 아니다.
향상 레이어 블록에서처럼 비교가능한 계수 분포들을 얻기 위해, 수정된 람다(lambda)를 갖는 레이트 왜곡 양자화가 이용될 수 있다.
주어진 분포 및 스캔의 스캔 유효 스코어(
Scan effectiveness score of a given distribution and scan
)
주어진 중요 계수 분포의 스캔 유효 스코어는 다음에 따라 정의될 수 있다:
조사되는 블록의 각 위치가 조사되는 스캔의 순서에 따라 그 인덱스에 의해 표현되도록 하자. 이후, 중요 계수 위치들의 인덱스 값들의 합은 이 스캔의 유효 스코어에 따라 정의된다. 이와 같이, 더 작은 스코어를 갖는 스캔은, 특정 분포를 더 효율적으로 나타낸다.
변환 계수 코딩을 위한 적응 스캔 패턴 선택(Adaptive scan pattern selection for transformation coefficient coding)
만약 몇몇 스캔이 특정 TU에 대해 이용가능한 경우, 그중 하나를 고유하게 선택하는 규칙(rule)이 정의될 필요가 있다.
스캔 패턴 선택 방법(
Methods for scan pattern selection
)
선택된 스캔은 이미 디코딩된 신호들로부터 직접 유도될 수 있다(어떠한 추가 데이터 전송없이). 이는, 공존되는 베이스 레이어 신호의 특성들에 기반하여, 또는 향상 레이어 신호들만을 활용하여 수행될 수 있다.
스캔 패턴은 EL 신호로부터 다음에 의해 유도될 수 있다.
·위에서 설명된 것처럼 최신 유도 규칙
·공존되는 밝기 잔류물(휘도 잔류물)에 대해 선택되는 색차 잔류물에 대한 스캔 패턴 이용
·코딩 모드들 및 사용된 스캔 패턴들 사이의 고정된 맵핑을 정의
·(가정되는 고정 스캔 패턴에 관련된) 최종 중요 계수 위치로부터 스캔 순서를 유도
바람직한 실시예에서, 스캔 패턴은 다음에 따라 이미 디코딩된 최종 위치에 의존하여 선택된다:
최종 위치는 변환 블록 내 x 및 y 좌표들로 나타내어지고, 이미 디코딩된다(스캔 의존 최종 코딩에 대해, 고정 스캔 패턴은 최종 위치의 디코딩 프로세스에 대해 가정되며, 이는 그 TU의 최신 스캔 패턴일 수 있다). T 가 정의된 임계라고 해보면, 이는 특정 변환 크기에 의존할 수 있다. 최종 중요 위치(last significant position)의 x 좌표도, y좌표도 T를 초과하지 않는 경우, 대각 스캔이 선택된다.
그렇지 않으면, x는 y와 비교된다. 만약 x 가 y를 초과하면 수평 스캔이 선택되며, 그렇지 않다면 수직 스캔이 선택된다. 4x4 TU들에 대한 T의 바람직한 값은 1이다. 4x4보다 큰 TU들에 대한 T의 바람직한 값은 4이다.
더 바람직한 실시예에서, 이전 실시예에서 설명되는 것처럼 스캔 패턴의 유도는 16x16 및 32x32 크기의 TU들에 대해서만 수행되도록 제한된다. 더 나아가 휘도 신호(luminance signals)들에만 제한될 수도 있다.
스캔 패턴은 BL 신호로부터 유도될 수도 있다. 베이스 레이어 신호로부터 선택된 스캔 패턴을 유도하기 위해, 위에서 설명된 어떠한 코딩 파라미터든 이용될 수 있다. 특히, 공존되는 베이스 레이어 신호의 경사도가 계산될 수 있고 미리 정의된 임계들에 비교되거나 및/또는 잠재적으로 발견된 모서리들(edges)이 활용될 수 있다.
바람직한 실시예에서, 스캔 방향은 다음에 따라, 블록 경사도 각에 의존하여 유도된다 : 수평 방향에서 양자화되는 경사도에 대해, 수직 스캔이 이용된다. 수직 방향으로 양자화되는 경사도에 대해, 수평 스캔이 이용된다. 그렇지 않으면, 대각 스캔이 선택된다.
더 바람직한 실시예에서, 스캔 패턴은 이전 실시예에서 설명되는 것처럼 유도되지만, 그러한 변환 블록들에 대해서만, 블록 각도의 발생 숫자가 임계(threshold)를 초과한다. 잔여 변환 유닛들은 TU의 최신 스캔 패턴을 이용하여 디코딩된다.
공존되는 블록의 베이스 레이어 계수들이 이용가능한 경우, 베이스 레이어 데이터 스트림에서 명시적 시그널링되거나 또는 포워드 변환에 의해 계산되고, 이러한 것들은 다음 방식들에서 활용될 수 있다.
·각 이용가능 스캔에 대해 베이스 레이어 계수들을 코딩하기 위한 비용이 측정될 수 있다. 최소 비용을 갖는 스캔은 향상 레이어 계수들을 디코딩하는데 이용된다.
·각 이용가능한 스캔의 유효 스코어가 베이스 레이어 계수 분포에 대해 계산되고, 최소 스코어를 갖는 스캔은 향상 레이어 계수들을 디코딩하는데 이용된다.
·변환 블록 내 베이스 레이어 계수들의 분포는 분포들의 미리 정의된 집합 중 하나에 분류되고, 이는 특정 스캔 패턴과 관련된다.
·스캔 패턴은 최종 중요 베이스 레이어 계수에 의존하여 선택된다.
만약 공존되는 베이스 레이어 블록이 인트라 예측을 이용하여 예측되었다면, 그 예측의 인트라 방향(intra direction)은 향상 레이어 스캔 패턴을 유도하는데 이용될 수 있다.
게다가, 공존되는 베이스 레이어 블록의 변환 크기는 스캔 패턴을 유도하기 위해 이용될 수 있다.
바람직한 실시예에서, 상기 스캔 패턴은 BL 신호로부터 TU들에 대해서만 유도되며, 이는 INTRA_COPY 모드 예측 블록들의 잔류물들을 나타내고, 그들의 공존되는 베이스 레이어 블록이 인트라 예측된다. 이러한 블록들에 대해 수정된 최신 스캔 선택이 이용된다. 최신 스캔-선택에 대조적으로, 공존되는 베이스 레이어 블록의 인트라 예측 방향은 스캔 패턴을 선택하기 위해 이용된다.
비트스트림 내 스캔 패턴 인덱스의 시그널링 ( Signaling of an scan pattern index within the bitstream ) (관점 R 참조)
변환 블록들의 스캔 패턴들은 레이트-왜곡 관점에서 인코더에 의해 선택될 수 있고 이후 비트스트림 내 시그널링될 수 있다.
특정 스캔 패턴은, 이용가능 스캔 패턴 후보들의 리스트에 대해 인덱스를 시그널링하는 것에 의해, 코딩될 수 있다. 이 리스트는 특정 변환 크기에 대해 정의되는 스캔 패턴들의 고정된 리스트일 수 있고, 또는 디코딩 프로세스 내에서 동적으로 채워질 수 있다. 리스트를 동적으로 채우는 것은, 그러한 스캔 패턴들의 적응적 선발(adaptive picking)을 가능하게 하며, 이는 아마도 특정 계수 분포를 가장 효율적으로 코딩할 수 있다. 그렇게 함으로써, 특정 TU에 대한 이용가능 스캔 패턴들의 숫자는 감소될 수 있고, 이와 같이, 그 리스트로의 인덱스의 시그널링은 덜 비싸다(less expensive).
위에서 설명된 대로, 특정 TU에 대한 스캔 패턴 후보들을 선택하는 프로세스는 어떠한 코딩 파라미터든 활용할 수 있고, 및/또는 특정 규칙을 따르며, 이는 특정TU의 특정 특성들을 활용한다. 그러한 것들 중에서 :
·TU는 휘도/색차 신호의 잔류물을 나타낸다.
·TU는 특정 크기를 갖는다.
·TU는 특정 예측 모드의 잔류물을 나타낸다.
·TU 내 최종 중요 위치는 디코더에 의해 알려지고 TU의 특정 세부분할 내 위치한다.
·TU는 I/B/P-Slice의 부분이다.
·TU의 계수들은 특정 양자화 파라미터들을 이용하여 양자화된다.
바람직한 실시예에서, 스캔 패턴 후보들의 리스트는 세가지 스캔을 포함한다: 모든 TU들에 대해 '대각 스캔', '수직 스캔' 및 '수평 스캔'.
추가 실시예는 후보 리스트가 스캔 패턴들의 임의의 결합을 포함하도록 하는 것에 의해 얻어질 수 있다.
특정한 바람직한 실시예에서, 스캔 패턴 후보들의 리스트는 스캔들 중 어느 것을 포함할 수 있다 : '대각 스캔', '수직 스캔' 및 '수평 스캔'
반면, (위에서 설명된 것처럼) 최신 스캔 유도에 의해 선택되는 스캔 패턴은 리스트에서 먼저 설정된다. 특정 TU는 16x16 또는 32x32의 크기를 갖는 경우, 추가 후보들이 리스트에 가산된다. 잔여 스캔 패턴들의 순서는 최종 중요 계수 위치에 의존한다.
(노트 : 대각 스캔은 16x16 및 32x32 변환들을 가정하는 리스트에서 언제나 첫번째 패턴이다.)
그것의 x 좌표 크기가 y 좌표 크기를 초과하는 경우, 수평 스캔은 다음으로 선택되며, 수직 스캔은 최종 위치에 입력된다. 그렇지 않으면, 수직 스캔은 두번째 위치(제2위치, 2nd position)에 입력되고, 수평 스캔이 뒤따른다.
다른 바람직한 실시예들은 리스트에서 하나 이상의 후보에 대한 조건을 더 제한하여 얻어진다.
또다른 실시예에서, 그 계수들이 휘도 신호의 잔류물을 나타내는 경우에, 수직 및 수평 스캔은 16x16 및 32x32 변환 블록들의 후보 리스트들에만 더해질 수 있다.
또다른 실시예에서, 만약 최종 중요 위치의 x 및 y 좌표 양쪽은 특정 임계보다 큰 경우, 수직 및 수평 스캔은 변환 블록의 후보 리스트들에 더해진다. 이 임계는 모드 및/또는 TU 크기 의존적일 수 있다. 바람직한 임계 값은 4x4보다 큰 모든 크기에 대해 3이고, 4x4 TU들에 대해서는 1이다.
또다른 실시예에서, 최종 중요 위치의 x 또는 y 좌표들이 특정 임계보다 큰 경우, 수직 및 수평 스캔은 변환 블록의 후보 리스트에 가산된다. 이 임계는 모드 및/또는 TU 크기 의존적일 수 있다. 바람직한 임계 값은 4x4 보다 큰 모든 크기에 대해 3이고, 4x4 TU들에 대해 1이다.
또다른 실시예에서, 최종 중요 위치의 x 및 y 좌표들 모두 특정 임계보다 큰 경우, 수직 및 수평 스캔들은 16x16 및 32x32 변환 블록들의 후보 리스트들에만 더해진다. 이 임계는 모드 및/또는 TU 크기 의존적일 수 있다. 바람직한 임계 값은 4x4 보다 큰 모든 크기들에 대해 3이고, 4x4 TU들에 대해 1이다.
또다른 실시예에서, 최종 중요 위치의 x 및 y 좌표들 모두 특정 임계보다 큰 경우, 수직 및 수평 스캔들은 16x16 및 32x32 변환 블록들의 후보 리스트들에만 더해진다. 이 임계는 모드 및/또는 TU 크기 의존적일 수 있다. 바람직한 임계 값은 4x4 보다 큰 모든 크기들에 대해 3이고, 4x4 TU들에 대해 1이다.
설명된 실시예들에 대해, 특정 스캔 패턴들은 비트스트림 내에서 시그널링되고, 시그널링 그 자체는 상이한 시그널링 레벨들에서 수행될 수 있다. 특히, 상기 시그널링은 (시그널링 된 스캔 패턴들을 갖는 TU들의 서브그룹에 해당하는) 각 TU에 대해, 잔류 쿼드-트리의 어떠한 노드에서 (시그널링된 스캔을 이용하는, 그 노드의 모든 서브-TU들은, 동일 후보 리스트 인덱스를 이용한다), CU/LCU 레벨에서, 또는 슬라이스 레벨에서, 수행될 수 있다.
후보 리스트에 대한 인덱스는 고정 길이 코딩, 가변 길이 코딩, (컨텍스트-적응 이진 산술 코딩을 포함하는) 산술 코딩, 또는 PIPE 코딩을 이용하여 전송될 수 있다. 만약 컨텍스트-적응 코딩이 이용되는 경우, 컨텍스트는 인접 블록들의 파라미터, 위에서 설명된 코딩 모드들 및/또는 특정 TU 그 자체의 특정 특성에 기반하여 유도될 수 있다.
바람직한 실시예에서, 컨텍스트-적응 코딩은 TU의 스캔 패턴 후보 리스트에 대해 인덱스를 시그널링하기 위해 이용되며, 반면 컨텍스트 모델은 TU 내 최종 중요 위치의 위치 및/또는 변환 크기에 기반하여 유도된다. 스캔 패턴들을 유도하기 위해 위에서 설명되는 각 방법은, 특정 TU 에 대해 명시적 스캔 패턴을 시그널링하기 위해 컨텍스트 모델을 유도하는데 이용될 수도 있다.
최종 중요 스캐닝 위치를 코딩하기 위해, 다음 수정이 향상 레이어에서 이용될 수 있다:
·개별 컨텍스트 모델들은 베이스 레이어 정보를 이용하는 코딩 모드들의 부분집합 또는 전체에 대해 이용된다. 베이스 레이어 정보를 갖는 상이한 모드들에 대해 상이한 컨텍스트 모델들을 이용하는 것도 가능하다.
·컨텍스트 모델링은 공존되는 베이스 레이어 블록에서 데이터에 의존할 수 있다(예를 들어, 베이스 레이어에서 변환 계수 분포, 베이스 레이어의 경사도 정보, 공존되는 베이스 레이어 블록들에서 최종 스캐닝 위치)
·최종 스캐닝 위치는 최종 베이스 레이어 스캐닝 위치에 대한 차이에 따라 코딩될 수 있다.
·최종 스캐닝 위치가 TU 내에서 x 및 y 위치들을 시그널링하여 코딩되는 경우, 두번째로 시그널링된 좌표의 컨텍스트 모델링은 첫번째 것의 값에 의존할 수 있다.
·최종 중요 위치에 독립적인, 스캔 패턴들을 유도하기 위해 위에서 설명된 각 방법은, 최종 중요 위치를 시그널링하기 위한 컨텍스트 모델들을 유도하기 위해서도 이용될 수 있다.
특정 버젼에서, 스캔 패턴 유도는 최종 중요 위치에 의존한다.
·최종 스캐닝 위치가 TU 내에서 x 및 y 위치를 시그널링하여 코디오디는 경우, 제2좌표의 컨텍스트 모델링은, 첫번째 좌표를 이미 알때, 여전히 가능한 후보들인, 스캔 패턴들에 의존할 수 있다.
·최종 스캐닝 위치가 TU 내에서 그것의 x 및 y 위치를 시그널링하여 코딩되는 경우, 제2좌표의 컨텍스트 모델링은, 이미 첫번째 좌표를 알 때, 스캔 패턴이 이미 고유하게 선택되었는지 여부에 의존할 수 있다.
또다른 버젼에서, 스캔 패턴 유도는 최종 중요 위치에 독립적이다.
·컨텍스트 모델링은 특정 TU에서 이용된 스캔 패턴에 의존할 수 있다.
·스캔 패턴을 유도하기 위한 위에서 설명된 각 방법은, 최종 중요 위치를 시그널링하는 컨텍스트 모델들을 유도하기 위해 이용될 수도 있다.
각각, 중요 플래그(significance flags)들 및 TU 내 중요 위치들을 코딩하기 위해 (단일 변환 계수들에 대한 서브-그룹 플래그들 및/또는 중요 플래그들), 다음 수정들이 향상 레이어에서 이용될 수 있다:
·개별 컨텍스트 모델들은 베이스 레이어 정보를 이용하는 코딩 모드들의 부분집합 또는 전체에 대해 이용된다. 베이스 레이어 정보를 갖는 상이한 모드들에 대해 상이한 컨텍스트 모델들을 이용하는 것 또한 가능하다.
·컨텍스트 모델링은 공존되는 베이스 레이어 블록에서 데이터에 의존할 수 있다 (예를 들어, 특정 주파수 위치들에 대한 중요 변환 계수들).
·스캔 패턴들을 유도하기 위해 위에서 설명된 각 방법은, 중요 위치 및/또는 그들의 레벨들을 시그널링하기 위한 컨텍스트 모델들을 유도하기 위해 이용될 수도 있다.
·유사 주파수 위치들의 공존되는 베이스 레이어 신호에서 중요 변환 계수들의 숫자 및 코딩될 계수의 공간적 인접부분에서 이미 코딩된 중요 변환 계수 레벨들의 숫자 양쪽 모두를 측정한, 일반화된 템플릿이 이용될 수 있다.
·유사 주파수 위치들의 공존되는 베이스 레이어 신호에서 중요 변환 계수들의 레벨 및 코딩될 계수의 공간적 인접부분에서 이미 코딩된 중요 변환 계수 레벨들의 숫자 양쪽 모두를 측정한, 일반화된 템플릿이 이용될 수 있다.
·서브-그룹 플래그들에 대한 컨텍스트 모델링은 이용된 스캔 패턴 및/또는 특정 변환 크기들에 의존할 수 있다.
베이스 및 향상 레이어에 대한 상이한 컨텍스트 초기화 테이블들의 활용이 이용될 수 있다. 향상 레이어에 대한 컨텍스트 모델 초기화는 다음 방식으로 수정될 수 있다:
·향상 레이어는 초기화 값들의 개별 집합을 이용한다.
·향상 레이어는 상이한 작업 모드들에 대해, 초기화 값들의 개별 집합들을 이용한다 (공간적/시간적 또는 품질 확장성)
·베이스 레이어에서 카운터파트(counterparts)를 가지는 향상 레이어 컨텍스트 모델들은, 초기화 상태로서 그들의 카운터파트의 상태를 이용할 수 있다.
·컨텍스트 모델들의 초기 상태들을 유도하기 위한 알고리즘은, 베이스 레이어 QP 및/또는 델타 QP 의존적일 수 있다.
다음으로, 베이스 레이어 데이터를 이용하는 백워드 적응 향상 레이어 코딩의 가능성이 설명된다. 이 다음 부분은 스케일러블 비디오 코딩 시스템에서 향상 레이어 예측 신호를 생성하기 위한 방법들을 설명한다. 상기 방법은 예측 파라미터들의 값을 추론하기 위한 베이스 레이어 디코딩된 픽쳐 샘플 정보를 이용하며, 이는 코딩된 비디오 비트스트림에서 전송되지 않지만, 향상 레이어에 대해한 예측 신호를 형성하는데 이용된다. 이와 같이 향상 레이어 신호를 코딩하는데 필요한 전체 비트레이트는 감소된다.
최신 하이브리드 비디오 인코더는, 일반적으로 다음 계층(hierarchy)을 이용하여, 상이한 크기들의 블록들로 소스 이미지를 분해한다(decompose). 각 블록에 대해 비디오 신호는 공간적 인접 블록들로부터 예측되거나(인트라 예측), 또는 시간적으로 이전에 코딩된 픽쳐들로부터 예측된다(인터 예측). 예측 및 실제 이미지 사이의 차이는 변환되고 양자화된다. 결과 예측 파라미터들 및 변환 계수들은 코딩된 비디오 비트스트림을 형성하기 위해 엔트로피 코딩된다. 매칭 디코더는 역 순서(inverse order)로 단계를 따른다.
비트스트림을 스케일러블 비디오 코딩하는 것은 상이한 레이어들로 구성된다. 베이스 레이어는 디코딩을 위해 추가적으로 이용될 수 잇는 향상 레이어들 및 완전 디코더블 비디오(complete decodable video)를 제안한다. 향상 레이어들은 높은 공간적 해상도 (공간적 확장성), 시간적 해상도 (시간적 확장성) 또는 품질(SNR 확장성)을 제공할 수 있다.
H.264/AVC SVC 같은 이전 기준들에서 모션 벡터들 같은 구문 요소들, 기준 픽쳐 인덱스들 또는 인트라 예측 모드들은 코딩된 베이스 레이어에서 대응 구문 요소로부터 직접 예측된다.
향상 레이어에서 디코딩된 향상 레이어 샘플들 또는 다른 향상 레이어 구문 요소들로부터 예측 또는 베이스 레이어 구문 요소로부터 유도되는 예측 신호 이용 사이를 스위칭하기 위해 블록 레벨에서의 메커니즘이 존재한다.
다음 부분에서, 베이스 레이어 데이터는 디코더 측면에서 향상 레이어 파라미터들을 유도하기 위해 이용된다.
방법(Method) 1 : 모션 파라미터 후보 유도(Motion parameter candidate derivation)
공간적 또는 품질 향상 레이어 픽쳐의 블록 (a)에 대해 베이스 레이어 픽쳐의 대응 블록 (b)이 결정되며, 그것은 동일 픽쳐 영역을 커버한다. 향상 레이어의 블록 (a)에 대한 인터 예측 신호는 다음 방법을 이용하여 형성된다:
1. 모션 보상 파라미터 집합 후보들이 결정되며, 예를 들어, 시간적 또는 공간적 인접 향상 레이어 블록들 또는 그 유도물(derivatives)들로부터이다.
2. 모션 보상이 향상 레이어에서 인터 예측 신호를 형성하기 위해 각 후보 모션 보상 파라미터에 대해 형성된다.
3. 최적의 모션 보상 파라미터 집합은 향상 레이어 블록(a)에 대한 예측 신호 및 베이스 레이어 블록 (b) 의 복원 신호 사이의 에러 측정을 최소화하여 선택된다. 공간적 확장성에 대해 베이스 레이어 블록 (b)은 보간 필터(interpolation filter)를 이용하여 공간적으로 언샘플링될 수 있다.
모션 보상 파라미터들은 모션 보상 파라미터들의 특정 결합을 포함한다. 모션 보상 파라미터들은 모션 벡터들, 기준 픽쳐 인덱스들, 단일- 및 쌍- 예측(uni- and bi-prediction) 사이의 선택 및 다른 파라미터들일 수 있다. 대안적 실시예에서 베이스 레이어 블록들로부터의 모션 보상 파라미터 집합 후보들이 이용된다. (베이스 레이어 기준 픽쳐들을 이용하여) 인터 예측은 베이스 레이어에서도 수행된다. 에러 측정을 적용하기 위해 베이스 레이어 블록 (b) 복원 신호는 업샘플링 없이 직접 이용될 수 있다.
선택되는 최적 모션 보상 파라미터 집합은 블록 (a)의 예측 신호를 형성하기 위해 향상 레이어 기준 픽쳐들에 적용된다. 공간적 향상 레이어에서 모션 벡터를 적용할 때, 모션 벡터들은 해상도 변화에 따라 스케일링된다(scaled). 인코더 및 디코더 양쪽은 이용가능 후보들 중에서 최적 모션 보상 파라미터 집합을 선택하기 위한 동일 예측 단계들을 수행할 수 있고 동일 예측 신호들을 생성할 수 있다. 이러한 파라미터들은 코딩된 비디오 비트스트림에서 시그널링되지 않는다.
예측 방법의 선택은 비트스트림에서 시그널링되고 엔트로피 코딩을 이용하여 코딩될 수 있다. 계층 블록 세부분할 구조 내에서 이 코딩 방법은 모든 서브-레벨에서 또는 코딩 계층의 부분집합들 상에서만 대안적으로 선택될 수 있다. 대안적 실시예에서 인코더는 디코더에 개선 모션 파라미터 집합 예측 신호(refinement motion parameter set prediction signal)를 전송할 수 있다. 개선 신호는 모션 파라미터들의 차등적으로 코딩된 값들을 포함한다. 개선 신호는 엔트로피 코딩될 수 있다.
대안적 실시예에서 디코더는 최적 후보들의 리스트를 생성한다. 이용된 모션 파라미터 집합의 인덱스는 코딩된 비디오 비트스트림에서 시그널링된다. 인덱스는 엔트로피 코딩될 수 있다. 예시적 실시예에서 리스트는 에러 측정을 증가시켜 정렬될 수 있다.
하나의 예시 실시예는 HEVE의 적응 모션 벡터 예측 (AMVP) 후보 리스트를 모션 보상 파라미터 집합 후보들을 발생시키기 위해 이용한다.
또다른 예시 실시예는 모션 보상 파라미터 집합 후보들을 발생시키기 위해 HEVC의 병합 모드 후보 리스트를 이용한다.
방법 2: 모션 벡터 유도 (Motion vector derivation)
공간적 또는 품질 향상 레이어 픽쳐의 블록 (a)에 대해 베이스 레이어 픽쳐의 대응 블록 (b)이 결정되며, 그것은 동일 픽쳐 영역을 커버한다.
향상 레이어의 블록 (a)에 대한 인터 예측 신호가 다음 방법을 이용하여 형성된다:
1. 모션 벡터 예측기가 선택된다.
2. 검색 위치들의 정의된 집합의 모션 측정이 향상 레이어 기준 픽쳐들 상에서 수행된다.
3. 각 검색 위치에 대해 에러 측정이 결정되며 최소 에러를 갖는 모션 벡터가 선택된다.
4. 블록(a)에 대한 예측 신호는 선택된 모션 벡터를 이용하여 형성된다.
대안적 실시예에서 상기 검색은 복원된 베이스 레이어 신호상에서 수행된다. 공간적 확장성에 대해 선택된 모션 벡터는 단계 4에서 예측 신호를 생성하기 전에 공간적 해상도 변화에 따라 스케일링된다.
상기 검색 위치들은 풀(full) 또는 서브-화소(sub-pel) 해상도에 있을 수 있다. 상기 검색은 다수의 단계들에서 수행될 수도 있고, 예를 들어, 선택된 풀-화소 위치에 기반하여 후보들의 또다른 집합이 뒤따르는 최적 풀-화소 위치를 먼저 결정하는 것이다. 상기 검색은 일찍 종결될 수도 있고, 예를 들어, 에러 측정이 정의된 임계 밑에 존재할 때이다.
인코더 및 디코더 양쪽은 후보들 중 최적 모션 벡터를 선택하기 위한 동일 예측 단계들을 수행할 수 있고 동일 예측 신호들을 생성할 수 있다. 이러한 벡터들은 코딩된 비디오 비트스트림에서 시그널링되지 않는다.
예측 방법의 선택은 비트스트림내에서 시그널링되고 엔트로피 코딩을 이용하여 코딩될 수 있다. 계층적 블록 세부분할 구조 내에서 이 코딩 방법은 모든 서브-레벨에서 또는 코딩 계층의 부분집합들 상에서만 대안적으로 선택될 수 있다.
대안적 실시예에서 인코더는 디코더에 개선 모션 벡터 예측 신호를 전송할 수 있다. 개선 신호(refinement signal)는 엔트로피 코딩될 수 있다.
예시 실시예는 모션 벡터 예측기를 선택하기 위해 방법 1 에서 설명되는 알고리즘을 이용한다.
또다른 예시 실시예는 향상 레이어의 시간적 또는 공간적 인접 블록들로부터 모션 벡터 예측기를 선택하기 위해 HEVC의 적응 모션 벡터 예측 (AMVP) 방법을 이용한다.
방법 3 : 인트라 예측 모드 유도 (Intra prediction mode derivation)
향상 레이어 (n) 픽쳐의 각 블록 (a)에 대해, 복원된 베이스 레이어 (n-1) 픽쳐에서 동일 영역을 커버하는 대응 블록 (b)이 결정된다.
각 베이스 레이어 블록(b)에 대한 스케일러블 비디오 디코더에서 인트라 예측 신호는 다음 알고리즘에 의해 추론되는 인트라 예측 모드 (p)를 이용하여 형성된다.
1) 인트라 예측 신호는 향상 레이어의 인트라 예측에 대한 규칙을 따라 각 이용가능한 인트라 예측 모드에 대해 생성되고, 다만 베이스 레이어로부터 샘플 값들을 이용한다.
2) 최적 예측 모드 (pbest)는 인트라 예측 신호 및 디코딩된 베이스 레이어 블록 (b) 사이의 에러 측정을 최소화하여 결정된다(예를 들어, 절대 차이값들의 합).
3) 단계 2) 로부터 선택되는 예측 (pbest) 모드는 향상 레이어에 대해 인트라 예측 규칙들을 따라 향상 레이어 블록 (a)에 대해 예측 신호를 생성하는데 이용된다.
인코더 및 디코더 모두 매칭 예측 신호(matching prediction signal)를 형성하고 최적 예측 모드 (pbest)를 선택하기 위해 동일 단계들을 형성할 수 있다. 실제 인트라 예측 모드 (pbest)는 이와 같이 코딩된 비디오 비트스트림에서 시그널링되지 않는다.
예측 방법의 선택은 비트스트림에서 시그널링되고 엔트로피 코딩을 이용하여 코딩될 수 있다. 계층적 블록 세부분할 구조 내에서 이 코딩 모드는 코딩 계층의 부분집합 상에서만 또는 모든 서브-레벨에서 선택될 수 있다. 대안적인 실시예는 인트라 예측 신호를 생성하기 위해 단계 2) 에서 향상 레이어로부터 샘플들을 이용한다. 공간적 스케일러블 향상 레이어에 대해, 베이스 레이어는 에러 측정을 적용하기 위해 보간 필터를 이용하여 언샘플링될 수 있다.
대안적 실시예는 더 작은 블록 크기 (ai)의 다수의 블록들로 향상 레이어 블록을 분할한다(예를 들어, 16x16 블록 (a)이 16개의 4x4 블록 (ai)으로 분할될 수 있다). 위에서 설명된 알고리즘은 각 서브블록 (ai) 및 대응 베이스 레이어 블록 (bi)에 적용된다. 예측 블록 (ai) 전에 잔류 코딩이 적용되고 상기 결과는 예측 블록 (ai+1)에 대해 이용된다.
대안적 실시예는 예측된 인트라 예측 모드 (pbest)를 결정하기 위해 서라운eld 샘플 값들 (b) 또는 (bi)을 이용한다. 예를 들어 공간적 향상 레이어 (n)의 4x4 블록 (ai)이 대응 2x2 베이스 레이어 블록 (bi)을 가질 때, (bi)의 서라운딩 샘플들은 예측된 인트라 예측 모드(pbeat)를 결정하기 위해 이용되는 4x4 블록 (ci)을 형성하기 위해 이용된다.
대안적 실시예에서 인코더는 디코더에 개선 인트라 예측 방향 신호를 전송할 수 있다. 예를 들어, HEVC같은, 비디오 코덱들에서, 대부분의 인트라 예측 모드들은 경계 픽셀들이 예측 신호를 형성하기 위해 이용되는 각도에 대응한다. 최적 모드에 대한 오프셋은 (위에서 설명되는 것처럼 결정되는) 예측 모드(pbest)에 대한 차이로서 전송될 수 있다. 개선 모드는 엔트로피 코딩될 수 있다.
인트라 예측 모드들은 그들의 개연성(probability)에 의존하여 일반적으로 코딩된다. H.264/AVC에서 하나의 가장 개연성있는(가장 확률이 높은) 모드는 블록의 (공간적) 인접부분에서 이용되는 모드들에 기반하여 결정된다. 이러한 가장 개연성 있는 모드들은 전체 모드 숫자가 요구하는 것보다 비트스트림에서 더 적은 기호들을 이용하여 선택될 수 있다. 대안적 실시예는 가장 개연성 있는 모드 또는 가장 개연성 있는 모드들의 리스트의 멤버로서 (위 알고리즘에서 설명된 것처럼 결정되는) 블록 (a)에 대해 예측된 인트라 예측 모드 (pbest)를 이용한다.
방법 4 : 경계 영역들을 이용하는 인트라 예측 (Intra prediction using border areas)
스케일러블 또는 품질 향상 레이어의 블록 (a)에 대한 인트라 예측 신호를 형성하기 위한 스케일러블 비디오 디코더에서 (도 45 참조), 샘플 레이어의 서라운딩 영역으로부터의 샘플들 (b) 의 라인(line)은 블록 영역을 채우기 위해 이용된다. 이러한 샘플들은 이미 코딩된 영역들로부터 취해진다 (일반적이지만, 그러나 위쪽 및 왼쪽 경계에서 필수적으로는 아니다).
이러한 픽셀들 선택의 다음 대안적인 변형이 이용될 수 있다:
a) 서라운딩 영역에서 픽셀이 아직 코딩되지 않았다면, 상기 픽셀 값은 현재 블록을 예측하기 위해 이용되지 않는다
b) 서라운딩 영역에서 픽셀이 아직 코딩되지 않았다면, 픽셀 값은 이미 코딩된 인접 픽셀들로부터 유도된다(예를 들어, 반복에 의해).
c) 서라운딩 영역에서 픽셀이 아직 코딩되지 않은 경우, 상기 픽셀 값은 디코딩된 베이스 레이어 픽쳐의 대응 영역에서 픽셀로부터 유도된다.
블록(a)의 인트라 예측을 형성하기 위해 (위에서 설명된 것처럼 유도되는) 픽셀들 (b)의 인접 라인은 블록 (a)의 각 라인 (aj)를 채우기 위한 템플릿(template)으로 이용된다.
블록(a)의 라인들 (aj)은 x-축을 따라 단계적으로 채워진다. 최적의 가능한 예측 신호를 달성하기 위해, 템플릿 샘플들 (b)의 행은 관련 라인 (aj)에 대해 예측 신호 (b'j)를 형성하기 위해 y-축을 따라 시프트된다(이동된다, shifted).
각 라인에서 최적 예측을 찾기 위해, 시프트 오프셋(shift offset) (oj)은 베이스 레이어에서 대응 라인의 샘플 값들 및 결과 예측 신호 (aj) 사이의 에러 측정을 최소화하기 위해 결정된다.
만약 (oj)이 비-정수 값인 경우, 보간 필터는 (b`7)에서 보여지는 것처럼 (aj)의 정수 샘플 위치들에 (b)의 값들을 맵핑하는데 이용될 수 있다.
공간적 확장성이 이용되는 경우, 보간 필터는 베이스 레이어의 대응 라인의 샘플 값들의 매칭 숫자를 생성하는데 이용될 수 있다.
채움 방향(fill direction) (x-축)은 수평 (왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽), 수직 (위에서 아래 또는 아래에서 위), 대각, 또는 어떠한 다른 각도일 수 있다. 템플릿 라인 (b)에 대해 이용되는 샘플들은 x-축을 따라 블록의 직접 인접부분에서의 샘플들이다. 템플릿 라인 (b)는, x-축에 대해 90°을 형성하는, y-축을 따라 시프트된다.
x-축의 최적 방향을 찾기 위해, 풀 인트라 예측 신호가 블록(a)에 대해 생성된다. 예측 신호 및 대응 베이스 레이어 블록 사이의 최소 에러 측정을 갖는 각도가 선택된다.
가능한 각도들의 숫자는 제한될 수 있다.
인코더 및 디코더 둘 다 최적 예측 각도들 및 오프셋들을 결정하기 위해 동일 알고리즘을 구동한다. 명확한 각도나 오프셋 정보가 비트스트림에서 시그널링되기 위해 필요한 것은 아니다. 대안적 실시예에서 베이스 레이어 픽쳐의 샘플들만이 오프셋들 (oi)을 결정하기 위해 이용된다.
대안적 실시예에서 예측 오프셋들 (oi)의 개선(예를 들어, 차이 값)이 비트스트림에서 시그널링된다. 엔트로피 코딩은 개선 오프셋 값을 코딩하기 위해 이용될 수 있다.
대안적 실시예에서 예측 방향의 개선 (예를 들어, 차이 값)이 비트스트림에서 시그널링된다. 엔트로피 코딩은 개선 방향 값을 코딩하기 위해 이용될 수 있다. 대안적 실시예는 라인(b`j)이 예측을 위해 이용되는지를 선택하기 위한 임계(threshold)를 이용한다. 최적 오프셋(oj)의 에러 측정이 임계 이하인 경우, 라인(ci)은 블록 라인(ai)의 값들을 결정하기 위해 이용된다. 최적 오프셋(oj)에 대한 에러 측정이 임계 위인 경우, (업샘플링된) 베이스 레이어 신호는 블록 라인(aj)의 값들을 결정하기 위해 이용된다.
방법 5 : 다른 예측 파라미터들(Other prediction parameters)
다른 예측 정보는 방법들 1-3에 유사하게 추론되며, 예를 들어 서브-블록들로의 블록의 분할이다.
공간적 또는 품질 향상 레이어 픽쳐의 블록 (a)에 대해서 베이스 레이어 픽쳐의 대응 블록(b)이 결정되며, 이는 동일 픽쳐 영역을 커버한다.
향상 레이어의 블록(a)에 대한 예측 신호는 다음 방법을 이용하여 형성된다:
1) 예측 신호는 테스트된 파라미터의 각 가능한 값에 대해 생성된다.
2) 최적 예측 모드(pbest)는 예측 신호 및 디코딩된 베이스 레이어 블록(b) 사이의 에러 측정을 최소화하여 결정된다 (예를 들어, 절대값 차이의 합)
3) 단계 2)에서 선택되는 예측(pbest) 모드는 향상 레이어 블록(a)에 대해 예측 신호를 생성하기 위해 이용된다.
인코더 및 디코더 양쪽은 동일 예측 신호들을 생성하고 가능한 후보들 중에서 최적 예측 모드를 선택하기 위해 동일 예측 단계들을 형성할 수 있다. 실제 예측 모드는 코딩된 비디오 비트스트림에서 시그널링되지 않는다.
예측 모드의 선택은 비트스트림에서 시그널링되며 엔트로피 코딩을 이용하여 코딩될 수 있다. 계층 블록 세부분할 구조 내에서 이 코딩 방법은 모든 서브-레벨에서 또는 대안적으로 코딩 계층의 부분집합 상에서만 선택될 수 있다.
다음 설명은 간략하게 위 실시예들을 요약한다.
복원된 베이스 레이어 샘플들을 이용하여 인트라 예측 신호를 발생시키는 다수의 방법을 갖는 향상 레이어 코딩
주요 관점 : 블록을 코딩하기 위해 복원된 베이스 레이어 샘플들을 이용하여 인트라 예측 신호를 발생시키는 다수의 방법을 갖는 향상 레이어 코딩이 복원된 향상 레이어 샘플들만에 기반하여 예측 신호를 발생시키는 방법들에 추가로 제공된다.
서브 관점들(Subaspects):
·다수의 방법들은 다음 방법을 포함한다 : (업샘플링/필터링된) 복원된 베이스 레이어 신호는 향상 레이어 예측 신호로서 직접 이용된다.
·다수의 방법들은 다음 방법을 포함한다 : (업샘플링/필터링된) 복원된 베이스 레이어 신호는 공간적 인트라 예측 신호와 결합되고, 여기서 공간적 인트라 예측은 인접 블록들에 대해 차이 샘플들 상에 기반하여 유도된다.
·차이 샘플들은 복원된 향상 레이어 신호의 차이를 나타내며 (업샘플링/필터링된) 복원 베이스 레이어 신호를 나타낸다 (관점 A 참조).
·다수의 방법들은 다음 방법을 포함한다: (인접 복원 향상 레이어 샘플들을 이용하여 유도되는) 종래의 공간적 인트라 예측 신호는 (업샘플링/필터링된) 베이스 레이어 잔류 신호와 결합된다 (베이스 레이어 예측 및 베이스 레이어 복원 사이의 차이 또는 베이스 레이어 변환 계수들의 역 변환) (관점 B 참조).
·다수의 방법들은 다음 방법을 포함한다: (업샘플링/필터링된) 복원 베이스 레이어 신호는 공간적 인트라 예측 신호와 결합되며, 여기서 공간적 인트라 예측은 인접 블록들의 복원된 향상 레이어 샘플들에 기반하여 유도된다. 최종 예측 신호는 상이한 주파수 구성요소들이 상이한 가중을 이용하는 방식으로 베이스 레이어 예측 신호 및 공간적 예측 신호를 가중하여 얻어진다(관점 C1 참조). 이는, 예를 들어, 다음 중 어느 것에 의해 실현된다:
ｏ 로-패스 필터로 베이스 레이어 예측 신호를 필터링 및 하이-패스 필터로 공간적 인트라 예측 신호를 필터링 및 얻어진 필터링된 신호들을 가산(관점 C2)
ｏ 베이스 레이어 예측 신호 및 향상 레이어 신호를 변환 그리고 얻어지는 변환 블록들을 중첩, 여기서 상이한 가중 인수들이 상이한 주파수 위치들에 대해 이용된다.(관점 C3 참조) 얻어지는 변환 블록은 역 변환될 수 있고 향상 레이어 예측 신호로 이용될 수 있고 (관점 C4 참조) 얻어지는 변환 계수들은 스케일링되고 전송된 변환 계수 레벨들에 가산되며 이후 디블록킹 및 인-루프 프로세싱 전에 복원된 블록을 얻기 위해 역 변환된다.
·복원된 베이스 레이어 신호를 이용하는 방법들에 대해, 다음 버젼들이 이용될 수 있다. 이는 고정될 수 있거나 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨, 최대 코딩 유닛 레벨, 코딩 유닛 레벨에서 시그널링될 수 있다. 또는 다른 코딩 파라미터들에 의존하여 만들어질 수 있다.
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 및 디블록킹 전 복원된 베이스 레이어 샘플들
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 전 디블록킹 후 복원된 베이스 레이어 샘플들
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 및 디블록킹 후 또는 다수의 인-루프 프로세싱 단계들 사이의 복원된 베이스 레이어 샘플들 (관점 D 참조)
·(업샘플링/필터링된) 베이스 레이어 신호를 이용하는 방법들의 다수의 버젼들이 이용될 수 있다. 이러한 버젼들에 대해 이용되는 업샘플링/필터링된 베이스 레이어 신호는 이용된 (정수-샘플 위치들도 필터링하는 보간 필터들을 포함하는) 보간 필터들에서 달라질 수 있고, 또는 두번째 버젼에 대해 업샘플링/필터링된 베이스 레이어 신호는 첫번째 버젼에 대해 업샘플링/필터링된 베이스 레이어 신호를 필터링하여 얻어질 수 있다. 상이한 버젼 중 하나의 선택은 시퀀스, 픽쳐, 슬라이스, 최대 코딩 유닛, 또는 코딩 유닛 레벨에서 시그널링될 수 있고 또는 전송된 코딩 파라미터들 또는 대응 복원 베이스 레이어 신호의 특성으로부터 추론될 수 있다 (관점 E 참조).
·차이 필터들은 복원 베이스 레이어 신호 (관점 E 참조) 및 베이스 레이어 잔류 신호 (관점 F 참조)를 업샘플링/필터링하기 위해 이용될 수 있다.
·잔류 신호가 0인 베이스 레이어 블록들에 대해, 베이스 레이어로부터 유도되는 또다른 신호로 교체될 수 있고, 예를 들어, 복원된 베이스 레이어 블록의 하이-패스 필터링된 버젼이다(관점 G 참조).
·공간적 인트라 예측을 이용하는 모드에 대해, 향상 레이어에서 이용가능하지 않은 인접 샘플들은 (주어진 코딩 순서 때문에) 업샘플링/필터링된 베이스 레이어 신호의 대응 샘플들로 교체될 수 있다(관점 H 참조).
·공간적 인트라 예측을 이용하는 모드들에 대해, 인트라 예측 모드의 코딩이 수정될 수 있다. 가장 개연성있는 모드들의 리스트는 공존되는 베이스 레이어 신호의 인트라 예측 모드를 포함한다.
·특정 버젼에서, 향상 레이어 픽쳐들은 두-스테이지 프로세스(two-stage process)에서 디코딩된다. 첫번째 스테이지에서, 오직 베이스 레이어 신호를 이용하는 (그러나 인접 블록들을 이용하지 않는) 블록들 또는 예측을 위한 인터 예측 신호가 디코딩되고 복원된다. 두번째 스테이지에서, 예측을 위한 인접 샘플들을 이용하는 잔여 블록이 복원된다. 두번째 스테이지에서 복원되는 블록들에 대해, 공간적 인트라 예측 개념이 확장될 수 있다(관점 I 참조). 이미 복원된 블록들의 이용가능성에 기반하여, 위쪽에 대한 그리고 왼쪽에 대한 인접 샘플들 뿐만 아니라, 현재 블록의 아래쪽 및 오른쪽에 인접한 샘플들도 공간적 인트라 예측에 대해 이용될 수 있다.
복원된 베이스 레이어 샘플들을 이용하여 인터 예측 신호를 발생시키는 다수의 방법들로 향상 레이어 코딩
주요 관점: 향상 레이어에서 블록을 코딩하기 위해 복원된 향상 레이어 샘플들만에 기반하여 예측 신호를 발생시키는 방법에 더하여 복원된 베이스 레이어 샘플들을 이용하여 인터 예측 신호를 발생시키는 다양한 방법들이 제공된다.
서브 관점들:
·다수의 방법들은 다음 방법을 포함한다. (이미 복원된 향상 레이어 픽쳐들의 모션-보상 보간에 의해 유도되는) 종래의 인터 예측 신호는 (업샘플링/필터링된) 베이스 레이어 잔류 신호와 결합된다(베이스 레이어 변환 계수들의 역 변환 또는 베이스 레이어 복원 및 베이스 레이어 예측 사이의 차이)
·다수의 방법들이 다음 방법을 포함한다. (업샘플링/필터링된) 복원된 베이스 레이어 신호는 모션-보상 예측 신호와 결합되고, 여기서 모션-보상 예측 신호는 차이 픽쳐들을 보상하는 모션에 의해 얻어진다. 차이 픽쳐들(difference pictures)은 복원된 향상 레이어 신호의 차이 및 기준 픽쳐들에 대한 (업샘플링/필터링된) 복원된 베이스 레이어 신호를 나타낸다(관점 J 참조).
·다수의 방법들은 다음 방법을 포함한다. (업샘플링/필터링된) 복원된 베이스 레이어 신호는 인터 예측 신호와 결합되며, 여기서 인터 예측은 복원된 향상 레이어 픽쳐들을 이용하여 모션-보상 예측에 의해 유도된다. 최종 예측 신호는 상이한 주파수 구성요소들이 상이한 가중을 이용하는 방식으로 베이스 레이어 예측 신호 및 인터 예측 신호를 가중하여 얻어진다(관점 C 참조). 이는, 예를 들어, 다음 중 어느 것에 의해 실현될 수 있다.
ｏ 로-패스 필터로 베이스 레이어 예측 신호를 필터링 및 하이-패스 필터로 공간적 인트라 예측 신호를 필터링 및 얻어진 필터링된 신호들을 가산
ｏ 베이스 레이어 예측 신호 및 향상 레이어 신호를 변환 그리고 얻어지는 변환 블록들을 중첩, 여기서 상이한 가중 인수들이 상이한 주파수 위치들에 대해 이용된다. 얻어지는 변환 블록은 역 변환될 수 있고 향상 레이어 예측 신호로 이용될 수 있고 얻어지는 변환 계수들은 스케일링되고 전송된 변환 계수 레벨들에 가산되며 이후 디블록킹 및 인-루프 프로세싱 전에 복원된 블록을 얻기 위해 역 변환된다.
·복원된 베이스 레이어 신호를 이용하는 방법들에 대해, 다음 버젼들이 이용될 수 있다. 이는 고정될 수 있거나 시퀀스 레벨, 픽쳐 레벨, 슬라이스 레벨, 최대 코딩 유닛 레벨, 코딩 유닛 레벨에서 시그널링될 수 있다. 또는 다른 코딩 파라미터들에 의존하여 만들어질 수 있다.
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 및 디블록킹 전 복원된 베이스 레이어 샘플들
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 전 디블록킹 후 복원된 베이스 레이어 샘플들
ｏ (샘플 적응 오프셋 필터 또는 적응 루프 필터같은) 추가 인-루프 프로세싱 및 디블록킹 후 또는 다수의 인-루프 프로세싱 단계들 사이의 복원된 베이스 레이어 샘플들 (관점 D 참조)
·잔류 신호가 0인 베이스 레이어 블록들에 대해, 베이스 레이어로부터 유도되는 또다른 신호로 교체될 수 있고, 예를 들어, 복원된 베이스 레이어 블록의 하이-패스 필터링된 버젼이다(관점 G 참조).
·(업샘플링/필터링된) 베이스 레이어 신호를 이용하는 방법들의 다수의 버젼들이 이용될 수 있다. 이러한 버젼들에 대해 이용되는 업샘플링/필터링된 베이스 레이어 신호는 이용된 (정수-샘플 위치들도 필터링하는 보간 필터들을 포함하는) 보간 필터들에서 달라질 수 있고, 또는 두번째 버젼에 대해 업샘플링/필터링된 베이스 레이어 신호는 첫번째 버젼에 대해 업샘플링/필터링된 베이스 레이어 신호를 필터링하여 얻어질 수 있다. 상이한 버젼 중 하나의 선택은 시퀀스, 픽쳐, 슬라이스, 최대 코딩 유닛, 또는 코딩 유닛 레벨에서 시그널링될 수 있고 또는 전송된 코딩 파라미터들 또는 대응 복원 베이스 레이어 신호의 특성으로부터 추론될 수 있다 (관점 E 참조).
·차이 필터들은 복원 베이스 레이어 신호 (관점 E 참조) 및 베이스 레이어 잔류 신호 (관점 F 참조)를 업샘플링/필터링하기 위해 이용될 수 있다.
·차이 픽쳐들의 모션-보상 예측에 대해 (향상 레이어 복원 및 업샘플링/필터링된 베이스 레이어 잔류 신호 사이의 차이) (관점 J), 복원된 픽쳐들의 모션-보상 예측보다 차이 보간 필터들이 이용된다.
·차이 픽쳐들의 모션-보상 예측에 대해 (향상 레이어 복원 및 업샘플링/필터링된 베이스 레이어 신호 사이의 차이) (관점 J 참조), 보간 필터들은 차이 픽쳐의 대응 영역 특성에 기반하여 (또는 코딩 파라미터들에 기반하여 또는 비트스트림에서 전송되는 정보에 기반하여) 선택된다.
향상 레이어 모션 파라미터 코딩(Enhancement layer motion parameter coding)
주요 관점:향상 레이어 모션 파라미터 코딩을 위해 베이스 레이어로부터 유도되는 적어도 하나의 예측기 및 다수의 향상 레이어 예측기들을 이용
서브 관점:
·모션 벡터 예측기 리스트에 대해 (스케일링된) 베이스 레이어 모션 벡터의 추가 (관점 K)
ｏ 현재 블록의 중심 위치의 공존되는 샘플을 커버하는 베이스 레이어 블록을 이용 (다른 유도들 가능)
ｏ 해상도 비율에 따른 스케일 모션 벡터들
· 공존되는 베이스 레이어 블록의 모션 데이터를 병합 후보 리스트에 대해 가산 (관점 K 참조)
ｏ 현재 블록의 중심 위치의 공존되는 블록을 커버하는 베이스 레이어 블록을 이용 (다른 유도들 가능)
ｏ 해상도 비율에 따른 스케일 모션 벡터들
ｏ 베이스 레이어에서 merge_flag이 1과 동일한 경우 가산하지 않음
·베이스 레이어 병합 정보에 기반하여 병합 후보 리스트를 재배열 (관점 L 참조)
ｏ 만약 공존되는 베이스 레이어 블록이 특정 후보와 병합되는 경우, 대응 향상 레이어 후보는 향상 레이어 병합 후보 리스트에서 첫번째 입력(제1입력, first entry)으로 이용된다.
· 베이스 레이어 모션 예측기 정보에 기반하여 모션 예측기 후보 리스트를 재-배열 (관점 L 참조)
ｏ 공존되는 베이스 레이어 블록이 특정 모션 벡터 예측기를 이용하는 경우, 대응 향상 레이어 모션 벡터 예측기는 향상 레이어 모션 벡터 예측기 후보 리스트에서 첫번째 입력으로 이용된다.
· 공존되는 블록에서 베이스 레이어 정보에 기반하여 병합 인덱스의 유도(즉, 현재 블록이 병합되는 후보) (관점 M 참조). 예를 들어, 만약 베이스 레이어 블록이 특정 인접 블록에 병합되고 그것이 향상 레이어 블록이 병합되는 비트스트림 내에서 시그널링된다면, 병합 인덱스는 전송되지 않지만, 그 대신 향상 레이어 블록은 공존되는 베이스 레이어 블록에 따라 동일 인접부와 (그러나 향상 레이어에서) 병합된다.
향상 레이어 파티셔닝 및 모션 파라미터 추론(Enhancement layer partitioning and motion parameter inference)
주요 관점: (아마도 서브 관점들 중 어느 것과 이 관점을 결합하도록 요구되는) 모션 파라미터들 및 베이스 레이어 파티셔닝에 기반하여 향상 레이어 파티셔닝 및 모션 파라미터들의 추론
서브 관점들:
·공존되는 베이스 레이어 모션 데이터에 기반하여 향상 레이어의 NxM 서브-블록들에 대한 모션 파라미터들 유도; 동일한 유도된 파라미터들(또는 작은 차이를 갖는 파라미터들)을 갖는 블록을 더 큰 블록들로 요약(summarize); 예측 및 코딩 유닛들을 결정(관점 T 참조).
·모션 파라미터들은 다음을 포함할 수 있다: 다수의 모션 가설들, 기준 인덱스들, 모션 벡터들, 모션 벡터 예측기 식별자들, 병합 식별자들.
·향상 레이어 예측 신호를 발생시키는 다수의 방법들 중 하나를 시그널링한다; 그러한 방법들은 다음을 포함할 수 있다:
ｏ 유도된 모션 파라미터들 및 복원된 향상 레이어 기준 픽쳐들을 이용한 모션 보상
ｏ (a) 현재 픽쳐에 대한 (업샘플링/필터링된) 베이스 레이어 복원 및 (b) 복원된 향상 레이어 픽쳐로부터 (업샘플링/필터링된) 베이스 레이어 복원을 감산하여 발생되는 향상 레이어 기준 픽쳐 및 유도된 모션 파라미터들을 이용한 모션 보상 신호의 결합
ｏ (a) 현재 픽쳐에 대한 (업샘플링/필터링된) 베이스 레이어 잔류 (복원된 신호 및 예측 사이의 차이 및 코딩된 변환 계수 값들의 역 변환) 및 (b) 복원된 향상 레이어 기준 픽쳐들 및 유도된 모션 파라미터들을 이용한 모션 보상 신호
·베이스 레이어에서 공존되는 블록이 인트라-코딩되는 경우, 대응 향상 레이어 MxN 블록 (또는 CU)가 또한 인트라 코딩되고, 여기서 인트라 예측 신호는 베이스 레이어 정보를 이용하여 유도되며(관점 U 참조), 예를 들어 다음과 같다:
ｏ 대응 베이스 레이어 복원의 (업샘플링/필터링된) 버젼은 인트라 예측 신호로 이용된다(관점 U 참조).
ｏ 인트라 예측 모드는 베이스 레이어에서 이용되는 인트라 예측 모드에 기반하여 유도되며 인트라 예측 모드는 향상 레이어에서 공간적 인트라 예측에 대해 이용된다.
·MxN 향상 레이어 블록(서브블록)에 대해 공존되는 베이스 레이어가 이전 코딩된 베이스 레이어 블록과 병합되는 경우 (또는 동일 모션 파라미터들을 갖는 경우), MxN 향상 레이어 (서브-)블록은 베이스 레이어에 병합되기 위해 이용되는 베이스 레이어 블록에 대응하는 향상 레이어 블록과도 병합된다(즉, 모션 파라미터들은 대응 향상 레이어 블록으로부터 복제된다) (관점 M 참조).
변환 계수 레벨들 코딩 / 컨텍스트 모델링 (Coding of transform coefficient levels / context modelling)
주요 관점: 상이한 스캔 패턴들을 이용한 변환 계수 코딩. 향상 레이어에 대한, 컨텍스트 모델들에 대해 상이한 초기화들(initializations), 코딩 모드 및/또는 베이스 레이어 데이터에 기반한 컨텍스트 모델링.
서브 관점들:
·하나 이상의 추가 스캔 패턴들, 예를 들어, 수평 및 수직 스캔 패턴을 도입한다. 4x4 서브블록들 대신에, 16x1 또는 1x16 서브블록들이 이용될 수 있고, 또는 8x2 및 8x2 서브블록들이 이용될 수 있다. 추가 스캔 패턴은 예를 들어, 8x8 또는 16x16인, 특정 크기와 동일하거나 그보다 큰 블록들에 대해서만 도입될 수 있다(관점 V).
·(코딩 블록 플래그가 1과 동일한 경우) 선택된 스캔 패턴은 비트스트림들 내에서 시그널링된다(관점 N 참조). 대응 구문 요소를 시그널링하기 위해, 고정 컨텍스트가 이용될 수 있다. 또는 대응 구문 요소들에 대한 컨텍스트 유도가 다음 중 어느 것에 의존할 수 있다:
ｏ 복원된 베이스 레이어 잔류 또는 공존되는 복원된 베이스 레이어의 경사도. 또는 베이스 레이어 신호에서 감지되는 모서리들.
ｏ 공존되는 베이스 레이어 블록들에서의 변환 계수 분포.
·상기 선택된 스캔은 공존되는 베이스 레이어 신호의 특성에 기반하여 (전송되는 어떠한 추가 데이터 없이) 베이스 레이어 신호로부터 직접 유도될 수 있다(관점 N 참고).
ｏ 공존되는 복원된 베이스 레이어 신호 또는 복원된 베이스 레이어 잔류의 경사도. 또는 베이스 레이어 신호에서 감지된 모서리들(edges).
ｏ 공존되는 베이스 레이어 블록들에서 변환 계수 분포
·변환 스캔들은 변환 계수들이 인코더에서의 양자화 후에 재-배열되고 종래의 코딩이 이용되는 방식으로 실현될 수 있다. 디코더 측면에서, 변환 계수들은 종래와 같이 디코딩되고 스케일링 및 역 변환 전에 재배열된다(또는 스케일링 후 그리고 역 변환 전에)
·중요성 플래그들(단일 변환 계수들에 대한 중요성 플래그들 및/또는 서브-그룹 플래그들)을 코딩하기 위해 , 다음 수정(modifications)들이 향상 레이어에서 이용될 수 있다:
ｏ 개별 컨텍스트 모델들은 베이스 레이어 정보를 이용하는 코딩 모드들의 전체 또는 부분집합에 대해 이용된다. 베이스 레이어 정보와 상이한 모드들에 대해 상이한 컨텍스트 모델들을 이용하는 것도 가능하다.
ｏ 컨텍스트 모델링은 공존되는-베이스 레이어 블록에서 데이터에 의존할 수 있다(예를 들어, 특정 주파수 위치들에 대한 중요 변환 계수들의 숫자) (관점 O 참조).
ｏ 일반화된 템플릿은, 유사 주파수 위치들의 공존되는 베이스 레이어 신호에서 중요 변환 계수들의 숫자 및 코딩될 계수의 공간적 인접성에서 이미 코딩된 변환 계수 레벨들의 숫자, 양쪽을 측정하여 이용될 수 있다(관점 O 참조).
·최종 중요 스캐닝 위치를 코딩하기 위해, 다음 수정들이 향상 레이어에서 이용될 수 있다:
ｏ 개별 컨텍스트 모델들은 베이스 레이어 정보를 이용하는 코딩 모드들의 전체 또는 부분집합에 대해 이용된다. 베이스 레이어 정보를 갖는 상이한 모드들에 대해 상이한 컨텍스트 모델들을 이용하는 것도 가능하다(관점 P 참조).
ｏ 컨텍스트 모델링은 공존되는 베이스 레이어 블록에서 데이터에 의존할 수 있다(베이스 레이어에서 변환 계수 분포, 베이스 레이어의 경사도 정보, 공존되는 베이스 레이어 블록들에서 최종 스캐닝 위치).
ｏ 최종 스캐닝 위치는 최종 베이스 레이어 스캐닝 위치에 대한 차이(difference)에 따라 코딩될 수 있다(관점 S 참조).
·베이스 및 향상 레이어에 대한 상이한 컨텍스트 초기화 테이블들의 활용
베이스 레이어 데이터를 이용한 백워드 적응 향상 레이어 코딩(Backward adaptive enhancement layer coding using base layer data)
주요 관점: 향상 레이어 코딩 파라미터들을 유도하기 위한 베이스 레이어 데이터 이용.
서브 관점:
·(잠재적으로 언샘플링된) 베이스 레이어 복원에 기반하여 병합 후보를 유도. 향상 레이어에서, 오직 병합의 이용이 시그널링되지만, 현재 블록을 병합하기 위해 이용되는 실제 후보는 복원된 베이스 레이어 신호에 기반하여 유도된다. 그래서, 모든 병합 후보들에 대해, (병합 후보들에 대한 모션 파라미터들을 이용하여 유도되는) 대응 예측 신호들 및 현재 향상 레이어 블록에 대한 (잠재적으로 업샘플링된) 베이스 레이어 신호들 사이의 에러 측정이 모든 병합 후보들에 대해(또는 그들의 부분집합에 대해) 측정되며 최소 에러 측정과 관련된 병합 후보가 선택된다. 에러 측정의 계산은 베이스 레이어 기준 픽쳐들 및 복원된 베이스 레이어 신호를 이용하여 베이스 레이어에서 수행될 수도 있다(관점 Q 참조).
·(잠재적으로 업샘플링된) 베이스 레이어 복원에 기반하여 모션 벡터들을 유도. 모션 벡터 차이들은 코딩되지 않지만, 복원된 베이스 레이어에 기반하여 추론된다. 현재 블록에 대한 모션 벡터 예측기를 결정하고 모션 벡터 예측기 주변의 검색 위치들의 정의된 집합을 측정한다. 각 검색 위치에 대해, 교체된 기준 프레임(교체는 검색 위치에 의해 주어진다) 및 현재 향상 레이어 블록에 대한 (잠재적으로 업샘플링된) 베이스 레이어 신호 사이의 에러 측정을 결정한다. 최소 에러 측정을 산출하는 검색 위치/모션 벡터를 선택한다. 검색은 몇 단계들로 나누어질 수 있다. 예를 들어, 풀-화소 검색이 먼저 수행되고, 최적의 풀-화소 벡터 주변의 절반-화소 검색이 뒤따르며, 최적 풀/절반-화소 벡터 주변의 쿼터-화소(사분의일-화소, quarter-pel)가뒤따른다. 상기 검색은 베이스 레이어 기준 픽쳐들 및 복원된 베이스 레이어 신호를 이용하여 베이스 레이어에서 수행될 수도 있고, 발견된 모션 벡터들은 베이스 및 향상 레이어 사이의 해상도 변경에 따라 이후 스케일링된다.(관점 Q)
·(잠재적으로 업샘플링된) 베이스 레이어 복원에 기반하여 인트라 예측 모드들을 유도한다. 인트라 예측 모드들은 코딩되지 않지만, 복원된 베이스 레이어에 기반하여 추론된다. 각 가능한 인트라 예측 모드(또는 그것의 부분집합)에 대하여, (테스트된 예측 모드를 이용하여) 인트라 예측 신호 및 현재 향상 레이어 블록에 대해 (잠재적으로 업샘플링된) 베이스 레이어 신호 사이의 에러 측정을 결정한다. 최소 에러 측정을 산출하는 예측 모드를 선택한다. 에러 측정의 계산은 베이스 레이어에서 인트라 예측 신호 및 복원된 베이스 레이어 신호를 이용하여 베이스 레이어에서 수행될 수 있다. 게다가, 인트라 블록은 4x4 블록들 (또는 다른 블록 크기들)로 함축적으로 분해될 수 있고 각 4x4 블록에 대해 개별 예측 모드가 결정될 수 있다(관점 Q 참조).
·인트라 예측 신호는 복원된 베이스 레이어 신호를 갖는 경계 샘플들의 줄-방향 또는 열-방향 매칭에 의해 결정될 수 있다. 인접 샘플들 및 현재 라인/열 사이의 시프트를 유도하기 위해, 에러 측정이 복원된 베이스 레이어 신호 및 인접 샘플들의 시프팅된 라인/열 사이에서 계산되며, 최소 에러 측정을 산출하는 시프트가 선택된다. 인접 샘플들, (업샘플링된) 베이스 레이어 샘플들 또는 향상 레이어 샘플들이 이용될 수 있다. 에러 측정은 베이스 레이어에서 직접 계산될 수도 있다(관점 W 참조).
·블록 파티셔닝처럼 다른 코딩 파라미터들의 유도를 위한 백워드-적응 방법의 이용, 등등.
위 실시예들의 추가적인 간단한 요약이 아래에서 제안된다. 특히, 위 실시예들이 설명된다.
A1) 다음에 따라 구성되는 스케일러블 비디오 디코더.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a, 200b, 200c)를 복원하고(80),
향상 레이어 신호(360)를 복원(60)하며, 이는
복원된 베이스 레이어 신호(200a, 200b, 200c)를 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선의 대상으로 하며(220),
인터-레이어 예측 신호(380) 및 향상 레이어 신호의 이미 복원된 부분(400a 또는 400b) 사이의 차이 신호를 계산하고(260);
공간적 인트라 예측 신호를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분에 속하는 제1부분에 공간적으로 인접한, 차이 신호의 제2부분(460)으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분에 공존되는 첫번째 부분(400, 도 46 참조)에서 차이 신호를 공간적으로 예측(260)하고,
향상 레이어 예측 신호(420)을 얻기 위해 공간적 인트라 예측 신호 및 인터-레이어 예측 신호(380)을 결합(260)하고, 그리고 향상 레이어 예측 신호(420)를 이용하여 향상 레이어 신호(360)을 예측적으로 복원(320, 580, 340, 300, 280)하는 것을 포함한다.
관점 A1에 따라, 예를 들어, 베이스 레이어 잔류 신호(640/480)이 관련되는 한, 위에서 설명되는 블록-기반 예측 방식으로, 베이스 레이어 신호는 코딩된 데이터 스트림(6) 또는 서브스트림(6a), 각각으로부터 베이스 레이어 디코딩 스테이지(80)에 의해 복원될 수 있지만, 다른 복원 대안들 또한 실현가능하다.
향상 레이어 디코딩 스테이지(60)에 의한 향상 레이어 신호(360)의 복원이 관련되는 한, 베이스 레이어 신호(200a, 200b, 또는 200c)가 대상인 해상도 또는 품질 개선은, 예를 들어, 비트 깊이 개선의 경우에 m > n 을 갖는 n 비트들로부터 m 비트들까지의 톤-맵핑(tone-mapping) 또는 품질 개선의 경우의 복제(copying), 해상도 개선의 경우에 업-샘플링을 포함할 수 있다.
차이 신호의 계산은 픽셀-별로 수행될 수 있고, 즉 한편으로는 향상 레이어 신호의 공존되는 픽셀들 및 다른 한편으로 예측 신호(380)는 서로로부터 감산되고 이는 픽셀 위치당(per pixel position) 수행된다.
인트라 예측 방향 같은, 인트라-예측 파라미터를 서브스트림(6b) 내에서 또는 코딩된 데이터 스트림(6)에서 전송 그리고 향상 레이어 신호의 현재 부분에 대한 인트라 예측 방향을 따라, 현재 복원될, 향상 레이어 신호(360)의 부분을 경계짓는 이미 복원된 픽셀들을 복제/보간(copying/interpolating) 처럼, 차이 신호의 공간적 예측은 어떠한 방식으로도 수행될 수 있다. 상기 결합은 주파수 영역에서 분포를 상이하게 가중하는 결합들처럼 훨씬 더 복잡한 결합들 또는 가중된 합, 합산을 포함할 수 있다.
향상 레이어 예측 신호(420)를 이용하는 향상 레이어 신호(360)의 예측적 복원은, 도면에서 보여진 것처럼, 엔트로피 디코딩 및 향상 레이어 잔류 신호(540)의 역 변환 및 향상 레이어 신호(420)을 갖는 후자(latter)의 결합(340)을 포함할 수 있다.
B1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
향상 레이어 신호(360)를 복원하고, 코딩된 데이터 스트림(6)으로부터 베이스 레이어 잔류 신호(480)을 디코딩(100)하며, 이는
인터-레이어 잔류 예측 신호(380)을 얻기 위해 해상도 또는 품질 개선을 위해 복원된 베이스 레이어 잔류 신호(480)를 대상으로 하고(subjecting, 220),
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적으로 예측(260)하고;
향상 레이어 예측 신호(420)를 얻기 위해 향상 레이어 내부 예측 신호 및 인터-레이어 잔류 예측 신호를 결합(260); 및
향상 레이어 예측 신호(420)를 이용하여 향상 레이어 신호(360)를 예측적으로 복원(340)하는 것을 포함한다.
도면에서 보여지는 것처럼, 코딩된 데이터 스트림으로부터 베이스 레이어 잔류 신호의 디코딩은, 엔트로피 디코딩 및 역 변환을 이용하여 수행될 수 있다. 게다가, 스케일러블 비디오 디코더는, 선택적으로, 베이스 레이어 신호 그 자체의 복원을 수행하며, 즉 베이스 레이어 예측 신호(660)를 유도하여 예측 디코딩하고 베이스 레이어 잔류 신호(480)를 동일하게 결합하는 것에 의해서이다. 방금 언급된 것처럼, 이것은 단지 선택적이다.
향상 레이어 신호의 복원에 관한 한, 해상도 또는 품질 개선은 A) 와 관련하여 위에서 나타내진 것처럼 수행될 수 있다. 향상 레이어 신호의 부분의 공간적 예측에 관한 한, 공간적 예측은 차이 신호에 관해 A) 에서 예시적으로 설명된 것처럼 수행될 수도 있다. 유사한 노트는 결합 및 예측 복원이 관련되는 한 유효하다.
그러나, 관점 B 에서 베이스 레이어 잔류 신호(480)은 베이스 레이어 잔류 신호(480)의 명시적 시그널링된 버젼에 동일하도록 제한되지 않는다는 것이 언급되어야 한다. 오히려, 스케일러블 비디오 디코더가 베이스 레이어 예측 신호(660)을 갖는 어떠한 복원된 베이스 레이어 신호 버젼(200)을 감산하고, 그것에 의해 필터들(120) 또는 (140)처럼 필터 기능(함수들)로부터 연유하는 편차들에 의해 명시적 시그널링된 것으로부터 편차를 보일 수 있는 베이스 레이어 잔류 신호(480)를 얻는 것이 가능할 수도 있다. 나중의 언급은 베이스 레이어 잔류 신호가 인터-레이어 예측에 포함되는 다른 관점들에서도 유효하다.
C1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a. 200b; 200c)를 복원(80)하고,
향상 레이어 신호(360)을 복원하며, 이는
인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선에 대한 복원된 베이스 레이어 신호(200)를 대상으로 하고(220),
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호의 이미 복원된 부분 ("공간적"인 경우의 400a,b, "시간적"인 경우의 400a,b, c)으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적 또는 시간적으로 예측(260)하고,
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호(380)가 향상 레이어 예측 신호(420)에 기여하는 가중들이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하는, 향상 레이어 예측 신호(420)을 얻기 위해 향상 레이어 내부 예측 신호(380) 및 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성(260)하고; 그리고
향상 레이어 예측 신호(420)를 이용하여 향상 레이어 신호(360)을 예측적으로 복원(320, 340)하는 것을 포함한다.
C2) 현재 복원될 부분에서, 가중된 평균의 형성(260)은, 현재 복원될 부분에서, 필터링된 신호들을 얻기 위해 로-패스 필터로 인터-레이어 예측 신호(380)를 필터링(260)하고 하이-패스 필터로 향상 레이어 내부 예측 신호를 필터링(260)하고, 얻어진 필터링된 신호들을 가산(adding-up)하는 것을 포함한다.
C3) 현재 복원될 부분에서, 가중된 평균의 형성은, 변환 계수들을 얻기 위해 인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호를 형성(260)하고; 중첩된 변환 계수들을 얻기 위해 상이한 공간적 주파수 구성요소들에 대해 상이한 가중 인수들을 이용하여 얻어진 변환 계수들을 중첩(260)하고; 향상 레이어 예측 신호를 얻기 위해 중첩된 변환 계수들을 역 변환하는 것을 포함한다.
C4) 향상 레이어 예측 신호(420)를 이용하는 향상 레이어 신호의 예측 복원(320, 340)은 코딩된 데이터 스트림(6)으로부터 향상 레이어 신호에 대한 변환 계수 레벨들을 추출(320)하고, 향상 레이어 신호의 변환된 버젼을 얻기 위해 중첩된 변환 계수들 및 변환 계수 레벨들의 합을 수행(340)하고 향상 레이어 신호(360)를 얻기 위해 역 변환에 대해 향상 레이어 신호의 변환된 버젼을 대상으로 하는 것을 포함한다(즉, 도면에서 역 변환 T-1 은 코딩 모드에 대해 적어도, 가산기(adder, 340) 아래 지류에(downstream) 위치된다).
베이스 레이어 신호의 복원에 관한 한, A) 및 B)에 관하여 그리고 일반적으로 도면에 관해서처럼, 위 설명이 참조된다. 동일한 것은 공간적 예측 뿐만 아니라, C에서 언급된 해상도 또는 품질 개선에도 적용된다.
C에서 언급되는 시간적 예측은, 각각, 코딩된 데이터 스트림(6) 및 서브스트림(6a)으로부터 모션 예측 파라미터들을 유도하는 예측 제공자(160)를 포함할 수 있다. 모션 파라미터들은 다음을 포함할 수 있다 : 모션 벡터, 기준 프레임 인덱스, 또는 그것들은 현재 복원되는 부분의 서브-블록 당 모션 벡터 및 모션 세부분할 정보의 결합을 포함할 수 있다.
이전에 설명되는 것처럼, 가중된 평균의 형성은 공간적 영역 또는 변환 영역에서 종결될 수 있고 따라서, 가산기(adder, 340)에서의 가산은 공간적 또는 변환 영역에서 수행될 수 있다. 나중의 케이스에서, 역 변환(580)은 가중된 평균 상에서 역 변환을 적용할 것이다.
D1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a,b, 200c)를 복원(80)하고,
향상 레이어 신호(380)를 복원(60)하며, 이는
복원된 베이스 레이어 신호를 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선의 대상으로 하며(220),
인터-레이어 예측 신호(380)를 이용하여 향상 레이어 신호(360)을 예측적으로 복원(320, 340)하는 것을 포함하며,
상기 향상 레이어 신호의 복원(60)은 인터-레이어 예측 신호(380)가, 코딩된 비트스트림(360)에서 부가-정보를 통해 제어되며, 각각, 베이스 레이어 신호 및 향상 레이어 신호에 의해 스케일적으로 표현되는 비디오의 상이한 부분들에 대해 인-루프 필터링(140) 및 디블록킹의, 아무것도 없는 것 중 상이한 하나(different one of none, 200a), 하나 또는 전체(200b, c)로부터 발전하면서 수행된다.
베이스 레이어 신호의 복원에 관한 한, A) 및 B)에 관하여 그리고 일반적으로 도면에 관한것처럼, 위 설명들이 언급된다.
D에서 언급된 예측 복원은, 위에서 설명된 것처럼, 예측 제공자(160)를 포함할 수 있고, 향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호(380)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적, 시간적으로 예측(260)하며;
향상 레이어 예측 신호(420)를 얻기 위해 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호(380)를 결합(260)한다.
인터-레이어 예측 신호(380)가, 코딩된 비트-스트림(360)에서 부가-정보를 통해 제어되며, 각각, 베이스 레이어 신호 및 향상 레이어 신호에 의해 비디오의 상이한 부분들에 대해 인-루프 필터링(140) 및 디블록킹의, 아무것도 없는 것 중 상이한 하나(different one of none, 200a), 하나 또는 전체(200b, c)로부터 발전하면서 수행된다는 사실은 다음을 의미한다:
자연스럽게, 베이스 레이어 서브스트림(6a) 그 자체는 모든 필터들(120, 140)을 우회, 단지 디블록킹의 이용 또는 단지 인-루프 필터링의 이용 또는 양쪽 디블록킹 및 인-루프 필터링의 이용같은 것에 의해 최종 베이스 레이어 신호(600)를 도출하기 위한 상이한 측정들의 이용을 (선택적으로) 시그널링할 수 있다. 필터 전송 기능들은 부가 정보(6a)에 의해 시그널링되고/변환될 수 있다. 이러한 변화들이 수행되는 상이한 부분들을 정의하는 입도는 미리-언급된 코딩 유닛들, 예측 블록들 또는 어떠한 다른 입도에 의해 정의될 수 있다. 스케일러블 비디오 디코더(코딩 스테이지(80))은, 만약 단지 베이스 레이어 신호가 복원될 것이라면 이러한 변화에 적용된다. 그러나, 그것으로부터 독립적으로, 서브스트림(6b)은 부가-정보를 포함하며, 이는 향상 신호의 예측 복원에서 이용되는 베이스 레이어 신호를 얻기 위해 필터링의 결합이 이용되는 새로운 (즉 베이스 레이어 신호(6a)에서 방금-언급된 부가-정보로부터 독립적인) 변화를 시그널링한다: 인-루프 필터링 및 디블록킹 양쪽의 이용 또는 단지 인-루프 필터링의 이용 또는 단지 디블록킹의 이용, 모든 필터들(120, 140)을 우회. 필터 전달 함수들은 6b에서 부가 정보에 의해 시그널링/변화될 수 있다. 이러한 변화들이 수행되는 상이한 부분들을 정의하는 입도는 앞서-언급된 코딩 유닛들, 예측 블록들 또는 어떠한 다른 입도에 의해 정의될 수 있고, 베이스 레이어 신호(6a)에서 이 시그널링이 이용되는 입도와는 다를 수 있다.
E1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a,b,c)를 복원(80)하고;
향상 레이어 신호(360)를 복원(60)하며, 이는
복원된 베이스 레이어 신호를 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선의 대상으로 하고(220),
인터-레이어 예측 신호(380)을 이용하여 향상 레이어 신호(60)를 예측적으로 복원(320, 340)하는 것을 포함하고,
향상 레이어 신호(360)의 복원(60)은 인터-레이어 예측 신호가, 코딩된 비트스트림(360)에서 부가-정보를 통해 제어되며, 각각, 베이스 레이어 신호 및 향상 레이어 신호에 의해 스케일적으로 표현되는 비디오의 상이한 부분들에 대해 인-루프 필터링(140) 및 디블록킹의, 아무것도 없는 것 중 상이한 하나(different one of none, 200a), 하나 또는 전체(200b, c)로부터 발전하면서 수행된다.
베이스 레이어 신호의 복원이 관련되는 한, A) 및 B)에 관하여 그리고 일반적으로 도면에 관해서처럼, 위 설명이 참조된다. 동일한 것은 해상도 또는 품질 개선에 적용된다.
언급된 예측 복원기는, 위에서 설명된 것처럼, 예측 제공자(160)를 포함할 수 있고,
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적, 시간적으로 예측(260)하며;
향상 레이어 예측 신호(420)를 얻기 위해 향상 레이어 내부 예측 신호 및 인터-레이어 예측 신호(380)를 결합(260)하는 것을 포함할 수 있다.
인터-레이어 예측 신호(380)가, 코딩된 비트-스트림(360)에서 부가-정보를 통해 제어되거나 신호-의존적이며, 비디오의 상이한 부분들이 업샘플링 보간 필터(220)에 대해 상이한 필터 전달 함수들로부터 발전하면서 수행된다는 사실은 다음을 의미한다:
자연스럽게, 베이스 레이어 서브스트림(6a) 그 자체는 모든 필터들(120, 140)을 우회, 단지 디블록킹의 이용 또는 단지 인-루프 필터링의 이용 또는 양쪽 디블록킹 및 인-루프 필터링의 이용같은 것에 의해 최종 베이스 레이어 신호(600)를 도출하기 위한 상이한 측정들의 이용을 (선택적으로) 시그널링할 수 있다.
필터 전송 기능들은 부가 정보(6a)에 의해 시그널링되고/변환될 수 있다. 이러한 변화들이 수행되는 상이한 부분들을 정의하는 입도(granularity)는 미리-언급된 코딩 유닛들, 예측 블록들 또는 어떠한 다른 입도에 의해 정의될 수 있다. 스케일러블 비디오 디코더(코딩 스테이지(80))은, 만약 단지 베이스 레이어 신호가 복원될 것이라면 이러한 변화에 적용된다. 그러나, 그것으로부터 독립적으로, 서브스트림(6b)은 부가-정보를 포함하며, 이는 개선된 신호(380)를 얻기 위해 개선기(refiner, 220)에서 이용되는 필터 전달 함수의 (즉 베이스 레이어 신호(6a)에서 방금-언급된 부가-정보로부터 독립적인) 변화를 추가적으로 시그널링한다: 이러한 변화들이 수행되는 상이한 부분들을 정의하는 입도는 앞서-언급된 코딩 유닛들, 예측 블록들 또는 어떠한 다른 입도에 의해 정의될 수 있고, 베이스 레이어 신호(6a)에서 이 시그널링이 이용되는 입도와는 다를 수 있다.
위에서 설명된 것처럼, 베이스 레이어 신호, 베이스 레이어 잔류 신호 또는 서브스트림(6a)의 코딩 파라미터들로부터, 추가 부가 정보를 이용하거나 이용하지 않고, 이용되는 변화가 신호-의존적으로 추론될 수 있다.
F1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩 데이터 스트림으로부터 베이스 레이어 잔류 신호(480)을 디코딩(100)하고,
인터-레이어 잔류 예측 신호(380)를 얻기 위해 복원된 베이스 레이어 잔류 신호(480)를 해상도 또는 품질 개선의 대상으로 하여 그리고 인터-레이어 잔류 예측 신호(380)를 이용하여 향상 신호(360)를 예측적으로 복원(320, 340, 및 선택적으로, 260)하여 향상 레이어 신호(360)를 복원(60)하고,
여기서 향상 레이어 신호(360)의 복원(60)은, 인터-레이어 잔류 예측 신호가, 각각, 베이스 레이어 신호 및 향상 레이어 신호에 의해 스케일적으로 표현되는 비디오의 상이한 부분들에 대해 상이한 필터 전달 함수들로부터, 코딩된 비트-스트림(360)에서 부가-정보를 통해 제어되거나 신호-의존적이도록, 수행된다.
베이스 레이어 잔류 신호의 복원에 관한 한, B)에 관해서 그리고 일반적으로 상기 도면에 관해, 위 설명들이 언급된다. 동일한 것들은 해상도 또는 품질 개선에 적용된다.
위에서 언급된 것처럼, 언급된 예측 복원은 예측 제공자(160)를 포함할 수 있고, 향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적 또는 시간적으로 예측(260);
코딩된 데이터 스트림으로부터 향상 잔류 신호를 디코딩(320);
향상 레이어 신호(360)를 얻기 위해 향상 레이어 잔류 신호 및 인터-레이어 잔류 예측 신호를 결합(380), 향상 레이어 내부 예측 신호를 결합(340 및 260 또한 포함);하는 것을 포함할 수 있다.
인터-레이어 잔류 예측 신호가, 비디오의 상이한 부분들에 대한 상이한 필터 전달 함수들로부터, 코딩된 비트-스트림에서 부가-정보를 통해 제어되며, 발전한다는 사실은 다음을 의미한다:
자연스럽게, 베이스 레이어 서브스트림(6a) 그 자체는 모든 필터들(120, 140)을 우회 같은 것에 의해 최종 베이스 레이어 신호(600)를 도출하기 위한 상이한 측정들의 이용을 (선택적으로) 시그널링할 수 있다. 위 설명 D) 및 E)를 참조하라.
그러나, 그것으로부터 독립적으로, 서브스트림(6b)은 부가-정보를 포함하며, 이는 개선된 신호(380)를 얻기 위해 개선기(refiner, 220)에서 이용되는 필터 전달 함수의 (즉 베이스 레이어 신호(6a)에서 방금-언급된 부가-정보로부터 독립적인) 변화를 추가적으로 시그널링한다. 이러한 변화들이 수행되는 상이한 부분들을 정의하는 입도는 앞서-언급된 코딩 유닛들, 예측 블록들 또는 어떠한 다른 입도에 의해 정의될 수 있고, 베이스 레이어 신호(6a)에서 이 시그널링이 이용되는 입도와는 다를 수 있다.
위에서 설명된 것처럼, 베이스 레이어 신호, 베이스 레이어 잔류 신호 또는 서브스트림(6a)의 코딩 파라미터들로부터, 추가 부가 정보를 이용하거나 이용하지 않고, 이용되는 변화가 신호-의존적으로 추론될 수 있다.
G1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩 데이터 스트림(6)으로부터 베이스 레이어 신호(200)의 베이스 레이어 잔류 신호(480)을 디코딩(100)하고,
인터-레이어 잔류 예측 신호(380)를 얻기 위해 복원된 베이스 레이어 잔류 신호(480)를 해상도 또는 품질 개선의 대상으로 하여 그리고 인터-레이어 잔류 예측 신호(380)를 이용하여 향상 신호(360)를 예측적으로 복원(320, 340, 및 선택적으로, 260)하여 향상 레이어 신호(360)를 복원(60)하고,
여기서 향상 레이어 신호(360)의 복원(60)은 모두 0(zero)인 베이스 레이어 잔류 신호(480)의 블록들을 식별하고(260) 베이스 레이어 신호(200)의 부분으로부터 유도되는 교체 신호로 식별된 블록들을 교체하는 것을 포함한다.
베이스 레이어 잔류 신호의 복원에 관한 한, B)에 관해서 그리고 일반적으로 상기 도면에 관해, 위 설명들이 언급된다. 동일한 것들은 해상도 또는 품질 개선에 적용된다.
위에서 언급된 것처럼, 언급된 예측 복원은 예측 제공자(160)를 포함할 수 있고,
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적으로 또는 시간적으로 예측(260);
코딩된 데이터 스트림으로부터 향상 잔류 신호를 디코딩(320);
향상 레이어 신호(360)를 얻기 위해 향상 레이어 잔류 신호 및 인터-레이어 잔류 예측 신호를 결합(380), 향상 레이어 내부 예측 신호를 결합(340 및 260 또한 포함);하는 것을 포함할 수 있다.
바람직하게는, 상기 식별(identification)은, 변환 블록들의 입도에서, 각 변환 블록이 모두 0인지 아닌지에 관해, 예를 들어, 앞서 언급된 코딩 유닛들의 추가 세부분할을, 나타내는 베이스 레이어 스트림(6a)에서의 구문 요소를 확인하는 제공자(provider, 260)를 포함한다.
교체를 위해 이용되는 베이스 레이어 신호의 부분은, 위에서 설명되는 것처럼, 베이스 레이어 신호(200a,b,c)의 하이-패스 필터링된 버젼일 수 있다.
H1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a,b,c)를 복원(80)하고;
향상 레이어 신호를 복원(60)하며 이는 다음을 포함한다
복원된 베이스 레이어 신호(200)를 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선의 대상으로 하고(220),
향상 레이어 예측 신호(420)를 얻기 위해 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을 공간적으로 예측(260)하고;
향상 레이어 예측 신호(420)를 이용하여 향상 레이어 신호(360)를 예측적으로 복원(340)하고,
여기서 공간적 예측(260)은 현재 복원될 부분의 미리 결정된 인접부분 내에서 이용불가능한 부분을 인터-레이어 예측 신호(380)의, 이용가능하지 않은 부분에 공존되는, 공존 부분으로 교체하고 인터-레이어 예측 신호(380)의 공존되는 부분에도 의존하는 공간적 예측을 수행하는 것을 포함한다.
베이스 레이어 신호의 복원이 관련되는 한, A) 및 B)에 관하여 그리고 일반적으로 도면에 관해서처럼, 위 설명이 참조된다. 동일한 것은 공간적 예측 뿐 및 위에서 설명된 예측적 복원 뿐만 아니라, 해상도 또는 품질 개선에도 적용된다.
이용불가능성(non-availability)은 다음 사실들로부터 도출될 수 있다: 오른쪽으로 더 확장하는 샘플들 뿐만 아니라 현재 복원될 부분/블록의 위쪽 모서리 위의 인접 샘플들, 및 더 아래로 확장하는 샘플들 뿐만 아니라 현재 복원될 현재 블록/부분의 왼쪽 모서리의 왼쪽에 대한 샘플들을 지나가는 미리 결정된 인접부분들을 상상해보자. 또한, 공간적 예측이 멀티-트리 기반 세부분할의 리프들(leafs)인 블록들/부분들에 적용되고 깊이-우선-지그-재그-횡단 순서(depth-first-zig-zag-traversal order)로 이러한 블록들이 횡단되는 것을 상상해보자. 그때, 몇몇 블록들은 현재 문제가 되는 모든 인접 샘플들에서 이용가능하며, 즉 그것들은 이미 복원되었다. 몇몇 블록들은, 그러나, 이러한 샘플들이 부족하며, 즉 그것들은 완전히 복원되지 않는다. 이러한 손실 샘플들(missing samples)은 설명된 것처럼 그 다음에 교체된다. 잠재적으로 교체를 필요로 하는 또다른 사실은 어떠한 프레임에서 내부적으로 슬라이스 경계들의 위치이다. 교체 그 자체는 손실 샘플들에 인터-레이어 예측 신호(380)의 공존되는 샘플들을 복제하여 수행된다. 그 때, 공간적 예측은 복원된 향상 레이어 신호로부터 샘플들 및 인터-레이어 예측 신호(380)로부터 복제된 샘플들을 포함하며, 완전한 (완성된) 미리 결정된 인접부분들을 이용하여 수행된다.
I1) 스케일러블 비디오 디코더는 다음에 따라 구성된다.
프레임의 상이한 블록들에 대해, 인터-레이어 예측 모드, 시간적 인터 예측 모드 및 공간적 인트라-예측 모드 중 상이한 하나를 이용하여 향상 레이어 신호(360)를 복원(60)하고,
여기서 스케일러블 비디오 디코더가, 향상 레이어 신호(360)를 복원하는 데 있어(60), 첫번째 스캔 그리고 그 이후 두번째 스캔에서 블록들을 횡단하여 블록들을 복원하고(60), 첫번째 스캔에서, 공간적 인트라-예측 모드를 이용하여 복원될 블록들을 스킵(skip)하고 인터-레이어 예측 모드 및 인터 예측 모드 중 하나를 이용하여 복원될 블록들을 복원하며, 두번째 스캔에서, 공간적 인트라-예측 모드를 이용하여 복원될 블록들을 복원하도록 구성된다.
"공간적 인트라 예측 모드" 및 "시간적 인터-예측 모드"에 대해, 가능한 실시예에 대한 위 논의가 언급된다.
"인터-레이어 예측 모드"에 대해 그러한 모드들에 대한 예들 중 어떤 것은 지금까지 또는 아래에서 설명되는 것처럼 이용될 수 있다.
이미 복원된 샘플들에 의해 둘러싸인 향상 레이어 신호의 공간적 인트라-예측 모드 블록들의 완전한 윤곽(outline)을 가질 증가된 기회 때문에, 현재 예측된 공간적 인트라-예측 모드 블록의 내부가 채워지는 인접 샘플들의 템플릿은, 윤곽을 완전히 둘러싸도록 증가될 수 있다.
J1) 스케일러블 비디오 디코더는 다음에 따라 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200a,b,c)를 복원(80)하고,
향상 레이어 신호(360)를 복원(60)하며, 이는
현재 프레임 및 기준 프레임에 대해 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선을 위해 복원된 베이스 레이어 신호(200a,b,c)를 대상으로 하고(220),
기준 프레임에 대해 이미 복원된 향상 레이어 신호(360) 및 기준 프레임에 대해 인터-레이어 예측 신호(380) 사이의 차이 신호를 형성(260)하며;
현재 프레임에 대해 차이 신호 예측을 얻기 위해 모션 보상 예측에 대한 차이 신호를 대상으로 하고(260);
향상 레이어 예측 신호(420)를 얻기 위해 현재 프레임을 위해 차이 신호 예측 및 현재 프레임을 위한 인터-레이어 예측 신호(380)를 결합(260)하며; 그리고
향상 레이어 예측 신호(420)를 이용하여 향상 레이어 신호(360)을 예측적으로 복원(320, 340, 300, 280)하는 것을 포함한다.
J2) 기준 프레임에 대해 차이 신호를 형성하는 데 있어, 이용되는 복원된 향상 레이어 신호는 디블록킹 전, 디블록킹 전 그러나 최적 루프-필터링 후, 또는 디블록킹 및 최적 루프 필터링 후의, 향상 레이어 복원이다.
J3) 기준 프레임의 차이 신호를 형성하기 위해 이용되는 향상 레이어 신호의 선택은 시퀀스, 픽쳐, 또는 블록 레벨에서 비트스트림 내에서 시그널링된다.
모션 보상 예측은 디코더(320)을 포함하는 유도, 향상 신호의 현재 복원된 블록에 대해, 코딩된 데이터 스트림(6) 및 서브스트림(6b), 각각으로부터 모션 예측 파라미터들을 유도하는 예측 제공자(260)를 포함할 수 있다. 모션 벡터(들)은 현재 복원될 향상 신호의 부분의 위치에 적용되며, 각 교체 위치(들)은 차이 신호로부터 (부분-샘플 보간과 함께 또는 부분-샘플 보간 없이) 복제된다. 이와 같이 복제된 부분은, 결합에서, 예를 들어, 현재 복원되는 부분에 공존되는, 인터-레이어 예측 신호(380)의 부분과 픽셀-별로 더해진다.
K1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 모션 파라미터들(520)을 디코딩하고,
향상 레이어 신호(260)을 복원하고 이는,
향상 레이어 신호(360)의 프레임의 블록에 대해, 프레임의 이미 복원된 인접 블록들로부터 모션 파라미터 후보들의 집합을 수집하고(gathering, 260);
베이스 레이어 모션 파라미터들(520)로부터, 향상 레이어 신호(360)의 프레임의 블록에 공존되는, 베이스 레이어 신호의 블록의 베이스 레이어 모션 파라미터들을 모으고(260);
모션 파라미터 후보들의 확장된 모션 파라미터 후보 집합을 얻기 위해 모션 파라미터 후보들의 집합에 베이스 레이어 모션 파라미터들의 스케일링된 버젼 또는 베이스 레이어 모션 파라미터들을 가산하고(260);
확장된 모션 파라미터 후보 집합의 모션 파라미터 후보들 중 적어도 하나를 선택(260)하며,
모션 보상 예측에 의해, 확장된 모션 파라미터 후보 집합의 모션 파라미터 후보들 중 선택된 하나를 이용하여 향상 레이어 신호를 예측(260)하는 것을 포함한다.
K2) 여기서 스케일러블 비디오 디코더는 베이스 레이어 모션 파라미터들의 스케일된(scaled) 버젼을 얻기 위해 향상 레이어 신호 및 베이스 레이어 신호 사이의 공간적 해상도 비율에 따라 베이스 레이어 모션 파라미터들을 스케일하도록 구성된다.
K3) 여기서 스케일러블 비디오 디코더는, 병합을 이용하여 코딩된 데이터 스트림에서 베이스 레이어 모션 파라미터들이 코딩되는지 아닌지 여부를 확인하고, 병합을 이용하여 코딩된 데이터 스트림에서 베이스 레이어 모션 파라미터들이 코딩되는 경우, 가산(adding)을 억제하도록 구성된다.
이 관점에서 언급된 모션 파라미터들은 모션 벡터들에만(모션 벡터 예측), 또는 분할 정보(병합), 기준 인덱스들, 블록 당 모션 가설들의 숫자를 포함하는 모션 파라미터들의 완전한 집합에 관련될 수 있다.
따라서, "스케일된 버젼(scaled version)"은 공간적 확장성에서 베이스 및 향상 레이어 신호 사이의 공간적 해상도 비율에 따라 베이스 레이어 신호에서 이용되는 모션 파라미터들의 스케일링으로부터 연유할 수 있다.
코딩된 데이터 스트림으로부터 베이스 레이어 모션 파라미터들(520)의 디코딩은, 모션 벡터 예측 또는 병합을 포함할 수도 있다.
병합/모션 벡터 후보들의 집합으로 베이스 레이어 신호의 공존되는 부분에서 이용되는 모션 파라미터들의 통합(incorporation)은 인트라-레이어 후보들 및 인터-레이어 후보 사이의 매우 효율적인 인덱싱을 가능하게 한다.
상기 선택은 예측 블록, 코딩 유닛 또는 유사한 것들같은 향상 레이어 신호에서 모션 파라미터 후보들의 확장된 집합/리스트로의 인덱스의 명시적 시그널링을 포함할 수 있다. 대안적으로, 상기 선택은 향상 레이어 신호(6b) 또는 인터-레이어 정보의 다른 정보로부터 추론될 수 있다.
L1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 모션 파라미터들(520)을 디코딩(100)하며,
향상 레이어 신호(360)를 복원(60)하며, 이는
베이스 레이어 모션 파라미터들에 의존하여 향상 레이어 신호에 대한 모션 파라미터 후보 리스트를 배열(240)하고;
결정된 모션 파라미터를 이용하여 향상 레이어 신호를, 모션 보상 예측에 의해, 예측(260)하고, 향상 레이어 신호에 대한 정렬된 모션 파라미터 후보 리스트로부터 향상 레이어 모션 파라미터들을, 코딩된 데이터 스트림(6)에서 명시적 시그널링된 인덱스 구문 요소를 통해 제어되며, 선택(240)하는 것을 포함한다.
이 관점에서 언급된 모션 파라미터들에 관해, 관점 K에 관해 위에서 설명된 것과 동일한 것이 적용된다.
코딩된 데이터 스트림으로부터 베이스 레이어 모션 파라미터들(520)의 디코딩은, 동일한 것이 모션 벡터 예측 또는 병합도 (선택적으로) 포함할 수 있다.
상기 배열은, 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록에 관련되는, 베이스 레이어 신호의 베이스 레이어 모션 파라미터들 및 각 향상 레이어 모션 파라미터 후보들 사이의 차이를 측정하는 측정(measure)에 따라 수행된다. 그것은, 향상 레이어 신호의 현재 블록에 대해, 향상 레이어 모션 파라미터 후보들의 리스트가 먼저 결정될 수 있다는 것이다. 이후, 정렬은 방금-언급된 것처럼 수행된다. 이후에, 상기 선택은 명시적 시그널링(explicit signaling)에 의해 수행된다.
정렬은, 대안적으로, 베이스 레이어에서 공간적 및/또는 시간적 인접 블록들(548)의 베이스 레이어 모션 파라미터들, 및 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록에 관련되는, 베이스 레이어 신호의 베이스 레이어 모션 파라미터 사이의 차이를 측정하는 측정에 따라 수행된다. 베이스 레이어에서 결정된 정렬은 향상 레이어에 전달되며, 향상 레이어 모션 파라미터 후보들은 정렬이 대응 베이스 레이어 후보들에 대해 미리 결정되는 정렬과 동일한 방식으로 정렬되고, 여기서 베이스 레이어 모션 파라미터 후보는 관련 베이스 레이어 블록이 고려된 향상 레이어 모션 파라미터들에 관련된 인접 향상 레이어 블록에 공간적/시간적으로 공존될 때, 인접 향상 레이어 블록의 향상 레이어 모션 파라미터에 대응한다고 말해질 수 있다. 배열에 기반하여, 상기 선택은 명시적 시그널링에 의해 수행된다.
M1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
베이스 레이어 신호(200)에 대한 모션 파라미터 후보 리스트로의 인덱스를 이용하여 코딩된 데이터 스트림(6)으로부터 베이스 레이어 모션 파라미터들(520)을 디코딩(100)하고,
향상 레이어 신호(360)를 복원(60)하며 이는,
베이스 레이어 신호에 대한 모션 파라미터 후보로의 인덱스에 의존하여 향상 레이어 신호에 대한 모션 파라미터 후보에 대한 인덱스를 결정(240)하며;
향상 레이어 신호에 대한 모션 파라미터 후보 리스트로의 인덱스를 이용하여 향상 레이어 모션 파라미터를 결정(240)하고, 결정된 모션 파라미터를 이용하여 향상 레이어 신호를, 모션 보상 예측에 의해, 예측(260)하는 것을 포함한다.
이 관점에서 언ㄱ브된 모션 파라미터에 대해, 위에서 언급된 것과 동일한 것이 관점 K 에 관해 적용된다.
베이스 레이어 모션 파라미터들(520)의 디코딩은, 베이스 레이어 신호의 블록들에 대해, 다음을 포함할 수 있다:
(예측적으로 또는 독립적으로 코딩된) 병합 또는 병합 없는 방식으로 베이스 레이어 서브스트림(6a)에서 현재 블록에 대해 모션 파라미터들이 시그널링되는지 여부를 시그널링하는 플래그(flag)를 조사(Inspecting)하고,
만약 병합을 이용하여 코딩되거나 또는 예측적으로 코딩되는 경우,
베이스 레이어 모션 파라미터들의 리스트를 결정하고; 예를 들어,
베이스 레이어 신호의 인접 블록들에 대해 이용/선택된 모션 파라미터들은 결정을 위해 이용되고;
각 리스트에 대한 인덱스는 베이스 레이어 신호(6a)로부터 얻어지고 리스트에서 베이스 레이어 모션 파라미터들 중 하나를 선택하는데 이용되며;
향상 레이어의 인덱스는 인덱스된 베이스 레이어 후보와 관련된 베이스 레이어 블록과 공존되는 향상 레이어 블록이 선택되는 방식으로 결정된다.
향상 레이어 신호의 현재 블록에 대해, 향상 레이어 모션 파라미터들의 리스트가 결정된다; 예를 들어, 향상 레이어 신호의 인접 블록들에 대해 이용/선택된 모션 파라미터들은 결정을 위해 이용된다.
향상 레이어에서 모션 파라미터 인덱스의 선택은 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록에 관련된, 베이스 레이어 신호의 (즉, 베이스 레이어 신호에서 선택되거나 이용된) 베이스 레이어 모션 파라미터 및 각 향상 레이어 모션 파라미터들 사이의 차이를 측정하는 측정에 따라 수행될 수 있다.
향상 레이어에서 모션 파라미터 인덱스의 선택은, 베이스 레이어에서 공간적으로 및/또는 시간적으로 인접한 블록들의 베이스 레이어 모션 파라미터들 및, 향상 레이어 신호의 현재 블록에 공존되는 베이스 레이어 신호의 블록에 관련되는, 베이스 레이어 신호의 베이스 레이어 모션 파라미터들 사이의 차이를 측정하는 측정에 따라 수행될 수도 있다. 베이스 레이어에 대한 선택은 이후 향상 레이어에 전송되며, 선택된 베이스 레이어 후보에 대응하는 향상 레이어 모션 파라미터 후보가 선택되고, 여기서 관련 베이스 레이어 블록이 고려되는 향상 레이어 모션 파라미터들 후보와 관련되는 향상 레이어 블록과 공간적/시간적으로 공존될 때, 베이스 레이어 모션 파라미터 후보가 향상 레이어 모션 파라미터 후보에 대응한다고 말해진다.
N1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호의 베이스 레이어 잔류 신호(480)를 디코딩(100)하고,
향상 레이어 신호(360)를 복원하며, 이는
스캔 예측기(520)를 얻기 위해 베이스 레이어 신호 또는 베이스 레이어 잔류 신호(480)의 스펙트럼 분해에 관한 정보 또는, 그것의 경사도를 결정하고(240);
스캔 예측기에 의존하는 스캔 패턴을 이용하여 코딩된 데이터 스트림(6)으로부터 향상 레이어 잔류 신호(540)의 변환 계수들을 디코딩(320)하는 것을 포함한다.
그것은, 변환 계수들의 디코딩은 모두가 변환 블록을 완전히 커버하는 가능 스캔 패턴들의 집합으로부터 스캔 패턴의 선택을 포함한다는 것이다. 바람직하게, 상기 선택은 선택된 스캔 패턴이 가능한 스캔 패턴들의 집합의 다른 스캔 패턴들보다 더 일찍 베이스 레이어 잔류 신호의 중요 스펙트럼 구성요소들을 횡단하도록 만들어진다는 것이다.
R1) 비디오 디코더가 모두가 변환 블록을 완전히 커버하는 가능한 스캔 패턴들의 집합으로부터 스캔 패턴을 선택하여 코딩된 데이터 스트림(6)으로부터 잔류 신호(540 또는 100의 출력)의 변환 블록의 변환 계수들을 디코딩(320)하도록 구성되며, 상기 선택은 코딩된 데이터 스트림에서 명시적 시그널링에 의존한다.
R2) 여기서 디코딩(320)은 (520 및 420을 통해) 스캔 패턴의 선택에 의존하는 변환 계수들에 관련된 구문 요소들에 대한 컨텍스트 모델을 이용한다.
R2a) 여기서 변환 계수들에 관련된 구문 요소들은 특정 스캔 위치에 대해 변환 계수가 0과 동일한지 동일하지 않은지 여부를 나타내는 구문 요소를 포함한다.
R2b) 여기서 변환 계수들에 관련되는 구문 요소들은 주어진 스캔 순서로 최종 비-제로 변환 계수의 위치를 나타내는 구문 요소를 포함한다.
R2c) 여기서 변환 계수들에 관련된 구문 요소들은 변환 블록의 서브블록이 0과 동일하지 않은 변환 계수들을 포함하는지 여부를 나타내는 구문 요소를 포함한다.
R3) 여기서 명시적 시그널링은 베이스 레이어 신호 또는 베이스 레이어 잔류 신호(480),의 스펙트럼 분해에 관한 정보, 또는 그 경사도에 의존하는 컨텍스트 모델을 이용하여 가능한 스캔 패턴들의 집합에 인덱스를 엔트로피 디코딩(320)하는 것을 포함한다.
R4) 여기서 변환 계수 레벨들을 디코딩(320)하기 위해 변환 블록은 서브블록들로 세부분할되고, 서브블록이 비-제로-변환 계수들을 포함하는지, 그리고 서브블록들로의 변환 블록의 파티셔닝 또는 서브블록들의 형태 또는 크기가 선택된 스캔 패턴에 의존하는지 여부를 시그널링하는 구문 요소가 전송된다.
S1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
베이스 레이어 잔류 신호의 변환 블록의 최종 중요 변환 계수의 위치를 나타내는 코딩된 데이터 스트림으로부터 첫번째 구문 요소(제1구문 요소)를 디코딩하는 것을 포함하는 코딩된 데이터 스트림(6)으로부터 베이스 레이어 잔류 신호의 변환 블록의 변환 계수들을 디코딩(100)하고; 그리고
첫번째 구문 요소(제1 구문 요소) 및 두번째 구문 요소(제2 구문 요소)에 기반하여 향상 레이어 잔류 신호의 변환 블록의 최종 중요 변환 계수의 위치를 계산하고 코딩된 데이터 스트림으로부터 제2 디코딩 구문 요소를 포함하는 코딩된 데이터 스트림(6)으로부터 향상 레이어 잔류 신호의 변환 블록의 변환 계수들을 디코딩(100)한다.
O1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호의 베이스 레이어 잔류 신호(480)를 디코딩(100)하고,
향상 레이어 신호(360)를 복원(60)하고, 이는
(520 및 240을 통해) 베이스 레이어 신호 또는 베이스 레이어 잔류 신호(480)에 의존하는 예측기 또는 컨텍스트 모델을 이용하여 코딩된 데이터 스트림(6)으로부터 향상 레이어 잔류 신호(540)의 변환 계수 블록에 관련된 구문 요소를 디코딩(320)하는 것을 포함한다.
예를 들어, 템플릿은 현재 방문되는 변환 계수 위치에서 특정 변환 계수에 대한 컨텍스트를 결정하도록 이용되고, 템플릿은 스펙트럼 주파수 및 (베이스 및 향상 레이어에서 변환 블록 크기들의 입도의) 위치 관점에서 특정 변환 계수 위치에 대응하는 베이스 레이어 잔류 신호에서 하나 이상의 변환 블록들에서의 위치를 또한 포함한다.
또는, 베이스 레이어 신호 또는 베이스 레이어 잔류 신호(480)의, 스펙트럼 분해 상의 정보, 또는 경사도가 컨텍스트 모델을 결정하기 위해 이용된다.
P1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호의 베이스 레이어 잔류 신호(480)을 디코딩(100)하고,
향상 레이어 신호(360)를 복원(60)하며, 이는
향상 레이어 신호(360)의 부분과 다른 예측 모드들에 따라 베이스 레이어 신호 및 베이스 레이어 잔류 신호, 향상 레이어 신호(360)의 이미 복원된 부분들로부터 향상 레이어 신호(360)의 부분들을 예측(260)하고,
변환 계수 블록이 속하는 향상 레이어 신호(360)의 부분이 베이스 레이어 신호 및 베이스 레이어 잔류 신호 중 어느 것에 기반하여 인터-레이어 예측을 포함하는지, 아닌지에 여부에 (520 및 240을 통해) 의존하는 컨텍스트 모델을 이용하여 코딩된 데이터 스트림(6)으로부터 향상 레이어 잔류 신호(540)의 변환 계수 블록에 관련된 구문 요소를 디코딩(320)하며; 그리고
향상 레이어 예측 신호(420)을 이용하여 향상 레이어 신호(360)을 예측적으로 복원(340)하는 것을 포함한다.
Q1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림으로부터 베이스 레이어 신호(200a, b, c)를 복원(380)하고,
향상 레이어 신호(360)를 복원(60)하며, 이는
인터-레이어 예측 신호(380)을 얻기 위해 복원된 베이스 레이어 신호(200)를 해상도 또는 품질 개선의 대상으로 하며(220),
각 실험 복원 또는 부분적 복원 결과를 얻기 위해 각 코딩 파라미터 후보를 이용하여 향상 레이어 신호(360)의 복원 또는 부분적 복원을, 코딩 파라미터 후보들의 집합의 각 코딩 파라미터 후보에 대해, 실험적으로 수행하며(260),
각 실험적 복원 또는 부분적 복원 결과 및 인터-레이어 예측 신호(380) 사이의 차이 측정을, 각 코딩 파라미터 후보에 대해, 결정하며(260);
각 코딩 파라미터 후보에 대한 측정에 의존하여, 코딩 파라미터 후보들의 집합 중에서 선택하고(260); 그리고
선택된 코딩 파라미터 후보를 이용하여 향상 레이어 신호(360)를 결국 복원하는 것(320, 340, 260)을 포함한다.
Q2) 향상 레이어에 대해 결정된 코딩 파라미터들은 인트라 예측 모드들에 관련된다.
Q3) 향상 레이어에 대해 결정된 코딩 파라미터들은 기준 픽쳐들 또는 모션 벡터들같은 모션 파라미터들에 관련된다.
Q4) 여기서 향상 레이어에 대해 결정되는 코딩 파라미터들은 후보들을 병합하는데 관련된다.
Z1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림으로부터 베이스 레이어 신호(200a, b, c)를 복원(80)하고,
향상 레이어 신호(360)를 복원(60)하며, 이는
각 실험적 복원 또는 부분적 복원 결과를 얻기 위해 각 코딩 파라미터 후보를 이용하여 베이스 레이어 신호(360)의 복원 또는 부분적 복원을, 코딩 파라미터 후보의 집합의 각 코딩 파라미터 후보에 대해, 실험적으로 수행하고(260);
실제 디코딩된 베이스 레이어 복원 및 각 실험적 복원 또는 부분적 복원 결과 사이의 차이의 측정을, 각 코딩 파라미터 후보에 대해, 결정하고(260);
각 코딩 파라미터 후보에 대한 측정에 의존하여, 코딩 파라미터 후보들의 집합 중에서 선택하고(260);
향상 레이어에 대해 선택된 코딩 파라미터 후보를 전송하며, 여기서 상기 전송은 해상도 차이에 따라 스케일링을 포함할 수 있고; 그리고
전송된 코딩 파라미터 후보를 이용하여 향상 레이어 신호(360)을 결국 복원(320, 340, 260)하는 것을 포함한다.
T1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
인터 블록들에 대한 시간적 인터-예측 및 인트라-블록들에 대한 공간적 인트라 예측을 이용하여 인트라-블록들 및 인터-블록들로 프레임들을 세부분할하여 베이스 레이어 신호를 예측적으로 복원(100, 180, 160)하고,
향상 레이어 신호(360)를 예측적으로 복원하며(320, 340, 260), 이는
베이스 레이어 모션 벡터들에 기반하여 서브-부분들에 향상 레이어 모션 벡터들을 관련시키고, 현재 복원될, 향상 레이어 신호(360)의 부분의 서브-부분들을 얻기 위해, 현재 복원될, 향상 레이어 신호(360)의 부분상에, 현재 복원될, 향상 레이어 신호(360)에 공존되는, 베이스 레이어 신호 블록의 블록 서브-분할을 지역적으로 전송하고;
베이스 레이어 모션 벡터에 기반하여 서브-부분들과 관련된 향상 레이어 모션 벡터들을 이용하여 향상 레이어 신호(360)의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분을, 모션 보상 예측에 의해, 예측(260)하는 것을 포함한다.
T2) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
베이스 레이어 신호에 걸쳐 공간적으로 변화하는 베이스 레이어 코딩 파라미터들을 이용하여 베이스 레이어 신호를 예측적으로 복원(10, 18, 16)하며;
블록들 유닛들로 향상 레이어 신호(36)를 복원(32, 34, 26)하며, 이는
각 서브블록 세부분할의 각 서브블록 내에서 베이스 레이어 코딩 파라미터들이 서로에 충분히 유사하도록, 베이스 레이어 신호의 공존되는 부분상에 전송될 때, 선택된 서브블록 세부분할이, 베이스 레이어 신호를 세부분할하는 가능한 서브블록 세부분할들의 집합 중에서 가장 거칠은 것(coarsest)이도록, 가능한 서브블록 세부분할들의 집합 중에서 서브블록 세부분할, 블록들의 미리 결정된 블록에 대해, 선택하며;
선택된 서브블록 세부분할을 이용하여 미리 결정된 블록을 예측적으로 복원하는 것을 포함한다.
U1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
인트라- 및 인터-블록들이 세부-분할되는 블록들의 유닛들에서, 각각, 공간적 인트라 및 시간적 인터 예측과 관련된 예측 파라미터들을 설정하고, 인터 블록들에 대한 시간적 인터-예측 및 인트라-블록들에 대한 공간적 인트라 예측을 이용하여 인터-블록들 및 인트라-블록들로의 베이스 레이어 신호의 세부-분할 프레임들에 의해 베이스 레이어 신호를 예측적으로 복원(100, 180, 160)하고;
향상 레이어 신호(360)을 예측적으로 복원(320, 340, 260)하며, 이는
인터-레이어 예측 모드, 시간적 인터-예측 모드, 공간적 인트라 예측 모드를 포함하는 예측 모드들 집합 중 각 하나에 향상 신호의 프레임들이 세부분할되는 코딩 유닛들에서 향상 신호의 프레임들을, 코딩된 데이터 스트림에서 예측 모드 구문을 통해 제어되며, 할당하고,
각 코딩 유닛이 관련되는 각 예측 모드를 이용하여 각 코딩 유닛을 예측적으로 복원하고
거기에 할당되는 시간적 인터-예측 모드 및 공간적 인트라 예측 모드 중 어느 것을 갖는 코딩 유닛들에 대해
각 코딩 유닛이 예측 블록들의 유닛들에 할당되는 각 예측 모드와 관련되는 예측 파라미터들을 설정하고 예측 블록들로 코딩 유닛들로 추가 세부-분할하며; 그리고
거기에 할당되는 공간적 인트라 예측을 갖는 각 코딩 유닛의 경우에, 모든 예측 블록들을 예측 파라미터들 집합을 이용하여 공간적 인트라 예측에 대한 대상으로 하며, 거기에 할당되는 시간적 인터 예측을 갖는 각 코딩 유닛의 경우에, 모든 예측 블록들을 예측 파라미터 집합을 이용하여 시간적 인터 예측에 대한 대상으로 하며,
거기에 할당되는 인터-레이어 예측 모드를 갖는 각 코딩 유닛에 대해, 인트라 및 인터 블록들 양쪽을 지역적으로 중첩하는 코딩 유닛들은,
인트라 블록들과 지역적으로 일치하는 그리고 비-시간적 모드와 관련되는 적어도 하나의 예측 블록, 및 인터 블록들과 지역적으로 일치하는 그리고 시간적 인터 예측 모드와 관련되는 적어도 하나의 예측 블록으로 세부분할되도록,
각 코딩 유닛상에 베이스 레이어 신호의 인트라 및 인터-블록들의 세부분할을 지역적으로 전송하며;
거기에 할당되는 비-시간적 예측 모드를 갖는, 각 코딩 유닛의 모든 예측 블록들을,
베이스 레이어 신호를 인터-레이어 예측 신호(380)을 얻기 위해 해상도 또는 품질 개선에 대한 대상으로 하여,
인터 레이어 예측에 의해, 또는
지역적으로 일치하는 인트라 블록들의 예측 파라미터들로부터 유도되는 예측 파라미터들을 이용하여 공간적 인트라 예측을 인터 레이어 예측의 대상으로 하며,
인터-레이어 예측 신호(380)을 이용하여, 거기에 할당되는 비-시간적 예측 모드를 갖는, 각 코딩 유닛의 예측 블록들을 예측(260)하고;
그리고, 거기에 할당되는 시간적 인터 예측 모드를 갖는, 각 코딩 유닛의 모든 예측 블록들을, 지역적으로 일치하는 인터 블록들의 예측 파라미터들로부터 유도되는 예측 파라미터들을 이용하여 시간적 인터 예측의 대상으로 하는 것을 포함한다.
V1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200)의 베이스 레이어 잔류 신호(480)을 디코딩(100)하고,
향상 레이어 신호(360)을 복원하며, 이는
베이스 레이어 신호 또는 베이스 레이어 잔류 신호를 기반으로 가능한 서브블록 세부분할의 집합 중 서브블록 세부분할을 선택하여,
코딩된 데이터 스트림으로부터 향상 레이어 신호를 나타내는 변환 계수들의 변환 계수 블록을 디코딩하고,
하나의 서브블록 내 모든 위치들이 즉시 연속 방식으로 횡단되고 이후 서브블록들 중 정의되는 서브블록 순서로 다음 서브블록으로 진행하도록
선택된 서브블록 세부분할에 따라 변환 계수 블록이 규칙적으로 세부분할되는 서브블록들 유닛에서 변환 계수들의 위치들을 횡단하고,
현재 방문되는 서브블록들에 대해,
데이터 스트림으로부터 현재 방문되는 서브블록이 어떠한 중요 변환 계수를 갖는지 아닌지 여부를 나타내는 구문 요소를 디코딩하고;
만약 구문 요소가 현재 방문되는 서브블록이 어떠한 중요 변환 계수를 갖지 않는 것을 나타내는 경우, 현재 방문되는 서브블록 내 변환 계수들을 0으로 설정하고,
만약 구문 요소가 현재 방문되는 서브블록이 어떠한 중요 변환 계수를 갖는지 나타내는 경우, 현재 방문되는 서브블록 내 변환 계수들의 레벨들을 나타내는 구문 요소들을 데이터 스트림으로부터 디코딩하는 것을 포함한다.
W1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200)를 복원(80)하고,
향상 레이어 신호(360)을 복원(60)하며, 이는
복원된 베이스 레이어 신호(200a, 200b, 200c)를 인터-레이어 예측 신호(380)를 얻기 위해 해상도 또는 품질 개선의 대상으로 하는 것에 의해,
향상 신호의 블록을 공간적으로 예측하며,
블록에 인접하는, 향상 레이어 신호의 이미 복원된 부분의 제2라인과, 블록을 지역적으로 중첩하는, 인터-레이어 예측 신호(380)의 제1라인을 등록(레지스터, registering)하고(260), 여기서 상기 제1 및 제2라인들은 라인 방향(line direction)에 양쪽 다 평행이며, 그것에 의해 시프트 값(이동 값, shift value)을 얻고,
시프트 값에 의해 시프트된, 제1라인의 내용과 함께, 제1라인에 공존되는 블록의 라인을 채우는(filling, 260) 것을 포함한다.
상기 라인 방향은 그 예측이, 각각, 줄별로(row by row) 또는 열별로(column by column)로 수행되도록, 예를 들어, 수평 또는 수직일 수 있다.
X1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
블록-별 예측에 의해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200)를 복원(80)하고,
공간적 인트라 예측 및 시간적 인터-예측 모드 사이의 블록-별 선택, 및
공간적 인트라 예측 모드가 선택된 베이스 레이어 신호의 블록들에 대해 인트라 예측 파라미터를 이용하여,
공간적 인트라 예측 모드가 선택된 향상 레이어 신호의 블록들에 대해 인트라 예측 파라미터를 이용하여, 그리고 공간적 인트라 예측 및 시간적 인터-예측 모드 사이의 블록-별 선택, 블록-별 예측에 의해 코딩된 데이터 스트림(6)으로부터 향상 레이어 신호(360)를 복원하고(60), 이는
공간적 인트라 예측 모드를 이용하여 동일한 것이 예측되는지 여부에 관해, 향상 레이어 신호의 현재 블록에 인접한, 향상 레이어 신호의 인접 블록을 확인하고;
만약 그렇다면, 인접 블록의 인트라 예측 파라미터를 현재 블록에 대한 확률적으로 유리한(probably advantageous) 인트라 예측 파라미터로 지정하고,
만약 그렇지 현재 블록에 공존되는, 베이스 레이어 신호의 블록의 인트라 예측 파라미터를, 현재 블록에 대해 확률적으로 유리한 인트라 예측 파라미터로 지정하며,
확률적으로 유리한 인트라 예측 파라미터, 및 현재 블록에 대해 코딩된 데이터 스트림에서 존재하는 구문 요소에 기반하여 현재 블록에 대한 인트라 예측 파라미터를 결정하는 것을 포함한다.
Y1) 스케일러블 비디오 디코더는 다음과 같이 구성된다.
블록-별 예측에 의해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호(200)를 복원(80)하고,
공간적 인트라 예측 및 시간적 인터-예측 모드 사이의 블록-별 선택, 및
공간적 인트라 예측 모드가 선택되는 베이스 레이어 신호의 블록들의 부분집합에 대해 각도 인트라 예측 파라미터(angular intra prediction parameter)를 이용하여,
공간적 인트라 예측 모드가 선택되는 향상 레이어 신호의 블록들의 부분집합에 대해 각도 인트라 예측 파라미터를 이용하여, 그리고 공간적 인트라 예측 및 시간적 인터-예측 모드 사이의 블록-별 선택, 블록-별 예측에 의해 코딩된 데이터 스트림(6)으로부터 향상 레이어 신호(360)을 복원(60)하고, 이는
각도 인트라 예측 파라미터와 공간적 인트라 예측 모드를 이용하여 동일한 것이 예측되는지 여부에 대해, 향상 레이어 신호의 현재 블록에 인접하는, 향상 레이어 신호의 인접 블록을 확인하고;
만약 그렇다면, 인접 블록의 각도 인트라 예측 파라미터를 현재 블록에 대해 확률적으로 유리한 인트라 예측 파라미터에 지정하고(appoint),
만약 그렇지 않고, 현재 블록에 공존되는 베이스 레이어 신호의 블록이 각도 인트라 예측 파라미터와 코딩되는 경우, 현재 블록에 공존되는, 베이스 레이어 신호의 블록의 각도 인트라 예측 파라미터를 현재 블록에 대해 확률적으로 유리한 이느라 예측 파라미터에 지정하고,
확률적으로 유리한 인트라 예측 파라미터 및, 현재 블록에 대해 코딩된 데이터 스트림에 존재하는 구문 요소에 기반하여 현재 블록에 대해 인트라 예측 파라미터를 결정하는 것을 포함한다.
비록 몇몇 관점들이 장치의 관점에서 설명되었지만, 이러한 관점들은 또한 대응하는 방법의 묘사도 나타낸다는 것이 명백하며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 유사하게, 방법 단계의 문맥에서 설명된 관점들은 대응하는 장치의 대응하는 블록 또는 아이템 또는 특징의 설명 또한 나타낸다. 방법 발명의 몇몇 또는 전체는, 마이크로프로세서, 프로그래밍 가능한 컴퓨터 또는 전기 회로같은, 하드웨어 장치에 의해 (또는 그것을 이용하여) 실행될 수 있다. 몇몇 실시예들에서, 가장 중요한 방법 단계들 중 몇몇 또는 그 이상은 그러한 장치에 의해 실행될 수 있다.
특정한 실행의 요구들에 의존하여, 이 발명의 실시 예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행들은 전자적으로 읽을 수 있는 컨트롤 신호들을 그곳에 저장하고 있는 디지털 저장매체, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리,를 이용하여 수행될 수 있고 그것은, 각 방법이 수행되는, 프로그래밍 가능한 컴퓨터 시스템과 연동한다(또는 연동할 수 있다).
본 발명에 따른 몇몇 실시 예들은 전자적 판독 가능한 컨트롤 신호들을 갖는 데이터 캐리어를 포함하며, 그것은 여기서 설명된 방법 중 하나가 수행되는 프로그래밍 가능한 컴퓨터 시스템과 연동 가능하다.
일반적으로 본 발명의 실시 예들은 프로그램 코드로 컴퓨터 프로그램 결과물에서 실행될 수 있으며, 상기 프로그램 코드는 컴퓨터 프로그램 결과물이 컴퓨터에서 수행될 때 상기 방법 중 하나를 수행하도록 작동되는 것이다. 프로그램 코드는 예시적으로 기계 판독가능 캐리어에 저장될 수도 있다.
다른 실시 예들은 여기에 설명되고, 기계 판독가능 캐리어에 저장된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.
다른 말로, 발명의 방법의 실시 예는, 컴퓨터 프로그램이 컴퓨터에서 운영될 때 여기서 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
발명의 방법의 추가 실시 예는, 거기에 저장된, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는 데이터 캐리어이다.(또는 디지털 저장 매체, 또는 컴퓨터 판독가능 매체). 데이터 캐리어, 디지털 저장 매체 또는 레코딩 매체는 일반적으로 유형 및/또는 무형이다.
발명의 방법의 또 다른 실시 예는, 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 순서 또는 데이터 스트림이다. 데이터 스트림 또는 신호들의 순서는, 예를 들어 인터넷 같은 데이터 통신 연결을 통해 전송되기 위해 예시적으로 구성될 수 있다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위해 구성되거나 적응되기 위하여 프로세싱 수단, 예를 들어 컴퓨터 또는 프로그래밍 가능한 논리 장치를 포함한다.
또다른 실시 예는 여기서 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 그 자체에 설치된 컴퓨터를 포함한다.
발명에 따른 추가 실시예는 여기서 설명된 방법 중 하나를 리시버에 수행하기 위한 컴퓨터 프로그램을 리시버에 전송하도록 구성된 장치 또는 시스템을 포함한다. 리시버는, 예를 들어, 컴퓨터, 모바일 장치, 메모리 장치 또는 유사품일 수 있다. 장치 또는 시스템은, 예를 들어, 컴퓨터 프로그램을 리시버에 전송하기 위한 파일 서버를 포함할 수 있다.
몇몇 실시예들에서, 프로그램가능한 논리 장치(예를 들어, 필드 프로그래밍가능 게이트 어레이)는 여기서 설명된 방버들의 기능 중 몇몇 또는 전체를 수행하도록 이용될 수 있다. 몇몇 실시 예에서, 프로그래밍 가능한 논리 장치(예를 들어 필드 프로그래밍 가능한 게이트 어레이)는 여기서 설명된 방법 중 모든 기능 또는 몇몇을 수행하도록 사용될 수 있다. 몇몇 실시 예에서, 필드 프로그래밍 가능한 게이트 어레이는 여기서 설명된 방법 중 하나를 수행하기 위해 마이크로 프로세서와 연동될 수 있다. 일반적으로, 상기 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해서도 수행된다.
상기 설명된 실시 예들은 단지 본 발명의 원리를 위해 예시적일 뿐이다. 본 상기 배열의 변형, 변화, 그리고 여기서 설명된 자세한 내용들을 기술분야의 다른 숙련자에게 명백하다고 이해되어야 한다. 그것의 의도는, 따라서, 여기의 실시 예의 설명 또는 묘사의 방법에 의해 표현된 특정 세부사항들에 의해 제한되는 것이 아닌 오직 목전의 특허 청구항의 범위에 의해서만 제한된다는 것이다.
본 분할출원은 원출원의 최초 청구항 내용을 실시예로서 아래에 기재하였다.
[실시예 1]
복원된 베이스 레이어 신호를 얻기 위해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호를 복원하고(80);
향상 레이어 내부 예측 신호(34)를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분(a portion)을 공간적으로(30) 또는 시간적으로(32) 예측;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호(200)로부터 얻어지는 인터-레이어 예측 신호(39)의 가중된 평균을, 현재 복원될 부분(28)에서, 형성(41);
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원(52);을 포함하여,
향상 레이어 신호(400)를 복원하도록(60);
구성된 스케일러블 비디오 디코더.
[실시예 2]
제1실시예에 있어서,
향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호를 얻기 위해 해상도 또는 품질 개선을 위한 상기 복원된 베이스 레이어 신호를 투사하도록(38), 더 구성되는, 스케일러블 비디오 디코더.
[실시예 3]
제1실시예 또는 제2실시예에 있어서,
상기 가중 평균을 형성하는데 있어, 현재 복원될 상기 부분에서, 필터링된 신호들을 얻기 위해 제1필터(62)로 상기 인터-레이어 예측 신호(39)를 필터링하고, 제2필터(64)로 상기 향상 레이어 내부 예측 신호(34)를 필터링하고, 상기 얻어진 필터링된 신호들을 가산(add-up)하며, 상기 제1 및 제2필터는 상이한 전달 함수(transfer functions)를 갖도록, 더 구성되는, 스케일러블 비디오 디코더.
[실시예 4]
제3실시예에 있어서,
상기 제1필터는 로-패스 필터이고 상기 제2필터는 하이-패스 필터인, 스케일러블 비디오 디코더.
[실시예 5]
제3실시예 또는 제4실시예에 있어서,
상기 제1 및 제2필터들은 직교 미러 필터 쌍(quadrature mirror filter pair)을 형성하는, 스케일러블 비디오 디코더.
[실시예 6]
제1실시예 또는 제2실시예에 있어서,
상기 가중 평균을 형성함에 있어, 변환 계수들(76, 78)을 얻기 위해 상기 향상 레이어 내부 예측 신호 및 상기 인터-레이어 예측 신호를, 현재 복원될 상기 부분에서, 변환하고(72, 74); 그리고 중첩된 변환 계수들을 얻기 위해 상이한 공간적 주파수 구성요소들에 대해 그것들 사이의 상이한 비율의 가중 인수들(82, 84)를 이용하여 상기 얻어진 변환 계수들을 중첩하도록(90); 더 구성되는, 스케일러블 비디오 디코더.
[실시예 7]
제6실시예에 있어서,
상기 향상 레이어 예측 신호를 얻기 위해 상기 중첩된 변환 계수들을 역 변환(84)하도록 더 구성되는, 스케일러블 비디오 디코더.
[실시예 8]
제6실시예에 있어서,
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원하면서, 코딩된 데이터 스트림(6)으로부터 상기 향상 레이어 신호에 대한 변환 계수 레벨들(59)을 추출하고, 상기 향상 레이어 신호의 변환된 버젼을 얻기 위해 상기 변환 계수 레벨들 및 상기 중첩된 변환 계수들의 합(52)을 수행하고 상기 향상 레이어 신호를 얻기 위해 상기 향상 레이어 신호의 변환된 버젼을 역 변환(84)에 투사하도록, 더 구성되는, 스케일러블 비디오 디코더.
[실시예 9]
제5실시예 내지 제8실시예 중 어느 한 실시예에 있어서,
공간적 주파수 구성요소 당(per spatial frequency component), 상기 향상 레이어 내부 예측 신호 및 상기 인터-레이어 예측 신호를 가중하기 위한 상기 가중 인수는 모든 공간적 주파수 구성요소들에 대해 동일한 값(46)까지 가산하는, 스케일러블 비디오 디코더.
[실시예 10]
제5실시예 내지 제9실시예 중 어느 한 실시예에 있어서,
상기 인터-레이어 예측 신호를 가중하기 위한 상기 가중 인수들은 로-패스 전달 함수에 대응하며, 상기 향상 레이어 내부 예측 신호를 가중하기 위한 상기 가중 인수들은 하이-패스 전달 함수에 대응하는, 스케일러블 비디오 디코더.
[실시예 11]
제1실시예 내지 제10실시예 중 어느 한 실시예에 있어서,
상기 향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호 및 향상 레이어 신호의 이미 복원된 부분 사이의 차이 신호(734)를 계산하고; 공간적 인트라 예측 신호(746)을 얻기 위한 향상 레이어 신호의 이미 복원된 부분에 속하는 그리고 제1부분에 공간적으로 인접하는, 상기 차이 신호의 제2부분(736)으로부터, 현재 복원될, 상기 향상 레이어 신호 부분에 공존되는 제1부분(744)에서 상기 차이 신호를 공간적으로 예측하고; 상기 향상 레이어 예측 신호를 얻기 위해 상기 공간적 인트라 예측 신호 및 상기 인터-레이어 예측 신호를 결합(732)하도록; 더 구성되는, 스케일러블 비디오 디코더.
[실시예 12]
제1실시예 내지 제10실시예 중 어느 한 실시예에 있어서,
상기 향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호 및 향상 레이어 신호의 이미 복원된 부분 사이의 차이 신호(734)를 계산하고; 시간적으로 예측된 차이 신호(746)를 얻기 위한 향상 레이어 신호의 이미 복원된 프레임들에 속하는, 상기 차이 신호의 제2부분(736)으로부터, 현재 복원될, 상기 향상 레이어 신호 부분에 공존되는 제1부분(744)에서 상기 차이 신호를 시간적으로 예측하고; 상기 향상 레이어 예측 신호를 얻기 위해 상기 시간적으로 예측된 차이 신호 및 상기 인터-레이어 예측 신호를 결합(732)하도록; 더 구성되는, 스케일러블 비디오 디코더.
[실시예 13]
복원된 베이스 레이어 신호를 얻기 위해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호를 복원하는 단계(80); 및
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측하는 단계;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호(380) 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성하는 단계; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원하는 단계;를 포함하여,
향상 레이어 신호를 복원하는 단계(60);를 포함하는,
스케일러블 비디오 디코딩 방법.
[실시예 14]
복원된 베이스 레이어 신호를 코딩된 데이터 스트림으로부터 복원하는 것을 가능하게 하는 방식으로 베이스 레이어 신호를 코딩된 데이터 스트림(6)으로 인코딩(12)하고;
향상 레이어 내부 예측 신호를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 인코딩;을 포함하여,
향상 레이어 신호(400)를 인코딩(14)하도록;
구성된 스케일러블 비디오 인코더.
[실시예 15]
복원된 베이스 레이어 신호를 코딩된 데이터 스트림으로부터 복원하는 것을 가능하게 하는 방식으로 베이스 레이어 신호를 코딩된 데이터 스트림(6)으로 인코딩하는 단계(12);
향상 레이어 내부 예측 신호를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측하는 단계;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성하는 단계; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 인코딩하는 단계;를 포함하여,
향상 레이어 신호를 인코딩하는 단계(14);를 포함하는,
스케일러블 비디오 인코딩 방법.
[실시예 16]
컴퓨터 상에서 구동할 때, 제13실시예 또는 제15실시예에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
Claims (16)
- 복원된 베이스 레이어 신호를 얻기 위해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호를 복원하고(80);
향상 레이어 내부 예측 신호(34)를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호(360)의 부분(a portion)을 공간적으로(30) 또는 시간적으로(32) 예측;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호(200)로부터 얻어지는 인터-레이어 예측 신호(39)의 가중된 평균을, 현재 복원될 부분(28)에서, 형성(41);
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원(52);을 포함하여,
향상 레이어 신호(400)를 복원하도록(60);
구성된 스케일러블 비디오 디코더. - 제1항에 있어서,
향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호를 얻기 위해 해상도 또는 품질 개선을 위한 상기 복원된 베이스 레이어 신호를 투사하도록(38), 더 구성되는, 스케일러블 비디오 디코더. - 제1항에 있어서,
상기 가중 평균을 형성하는데 있어, 현재 복원될 상기 부분에서, 필터링된 신호들을 얻기 위해 제1필터(62)로 상기 인터-레이어 예측 신호(39)를 필터링하고, 제2필터(64)로 상기 향상 레이어 내부 예측 신호(34)를 필터링하고, 상기 얻어진 필터링된 신호들을 가산(add-up)하며, 상기 제1 및 제2필터는 상이한 전달 함수(transfer functions)를 갖도록, 더 구성되는, 스케일러블 비디오 디코더. - 제3항에 있어서,
상기 제1필터는 로-패스 필터이고 상기 제2필터는 하이-패스 필터인, 스케일러블 비디오 디코더. - 제3항에 있어서,
상기 제1 및 제2필터들은 직교 미러 필터 쌍(quadrature mirror filter pair)을 형성하는, 스케일러블 비디오 디코더. - 제1항에 있어서,
상기 가중 평균을 형성함에 있어, 변환 계수들(76, 78)을 얻기 위해 상기 향상 레이어 내부 예측 신호 및 상기 인터-레이어 예측 신호를, 현재 복원될 상기 부분에서, 변환하고(72, 74); 그리고 중첩된 변환 계수들을 얻기 위해 상이한 공간적 주파수 구성요소들에 대해 그것들 사이의 상이한 비율의 가중 인수들(82, 84)를 이용하여 상기 얻어진 변환 계수들을 중첩하도록(90); 더 구성되는, 스케일러블 비디오 디코더. - 제6항에 있어서,
상기 향상 레이어 예측 신호를 얻기 위해 상기 중첩된 변환 계수들을 역 변환(84)하도록 더 구성되는, 스케일러블 비디오 디코더. - 제6항에 있어서,
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원하면서, 코딩된 데이터 스트림(6)으로부터 상기 향상 레이어 신호에 대한 변환 계수 레벨들(59)을 추출하고, 상기 향상 레이어 신호의 변환된 버젼을 얻기 위해 상기 변환 계수 레벨들 및 상기 중첩된 변환 계수들의 합(52)을 수행하고 상기 향상 레이어 신호를 얻기 위해 상기 향상 레이어 신호의 변환된 버젼을 역 변환(84)에 투사하도록, 더 구성되는, 스케일러블 비디오 디코더. - 제5항에 있어서,
공간적 주파수 구성요소 당(per spatial frequency component), 상기 향상 레이어 내부 예측 신호 및 상기 인터-레이어 예측 신호를 가중하기 위한 상기 가중 인수는 모든 공간적 주파수 구성요소들에 대해 동일한 값(46)까지 가산하는, 스케일러블 비디오 디코더. - 제5항에 있어서,
상기 인터-레이어 예측 신호를 가중하기 위한 상기 가중 인수들은 로-패스 전달 함수에 대응하며, 상기 향상 레이어 내부 예측 신호를 가중하기 위한 상기 가중 인수들은 하이-패스 전달 함수에 대응하는, 스케일러블 비디오 디코더. - 제1항에 있어서,
상기 향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호 및 향상 레이어 신호의 이미 복원된 부분 사이의 차이 신호(734)를 계산하고; 공간적 인트라 예측 신호(746)을 얻기 위한 향상 레이어 신호의 이미 복원된 부분에 속하는 그리고 제1부분에 공간적으로 인접하는, 상기 차이 신호의 제2부분(736)으로부터, 현재 복원될, 상기 향상 레이어 신호 부분에 공존되는 제1부분(744)에서 상기 차이 신호를 공간적으로 예측하고; 상기 향상 레이어 예측 신호를 얻기 위해 상기 공간적 인트라 예측 신호 및 상기 인터-레이어 예측 신호를 결합(732)하도록; 더 구성되는, 스케일러블 비디오 디코더. - 제1항에 있어서,
상기 향상 레이어 신호를 복원하는데 있어(60), 상기 인터-레이어 예측 신호 및 향상 레이어 신호의 이미 복원된 부분 사이의 차이 신호(734)를 계산하고; 시간적으로 예측된 차이 신호(746)를 얻기 위한 향상 레이어 신호의 이미 복원된 프레임들에 속하는, 상기 차이 신호의 제2부분(736)으로부터, 현재 복원될, 상기 향상 레이어 신호 부분에 공존되는 제1부분(744)에서 상기 차이 신호를 시간적으로 예측하고; 상기 향상 레이어 예측 신호를 얻기 위해 상기 시간적으로 예측된 차이 신호 및 상기 인터-레이어 예측 신호를 결합(732)하도록; 더 구성되는, 스케일러블 비디오 디코더. - 복원된 베이스 레이어 신호를 얻기 위해 코딩된 데이터 스트림(6)으로부터 베이스 레이어 신호를 복원하는 단계(80); 및
향상 레이어 내부 예측 신호를 얻기 위해 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측하는 단계;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호(380) 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성하는 단계; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 복원하는 단계;를 포함하여,
향상 레이어 신호를 복원하는 단계(60);를 포함하는,
스케일러블 비디오 디코딩 방법. - 복원된 베이스 레이어 신호를 코딩된 데이터 스트림으로부터 복원하는 것을 가능하게 하는 방식으로 베이스 레이어 신호를 코딩된 데이터 스트림(6)으로 인코딩(12)하고;
향상 레이어 내부 예측 신호를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 인코딩;을 포함하여,
향상 레이어 신호(400)를 인코딩(14)하도록;
구성된 스케일러블 비디오 인코더. - 복원된 베이스 레이어 신호를 코딩된 데이터 스트림으로부터 복원하는 것을 가능하게 하는 방식으로 베이스 레이어 신호를 코딩된 데이터 스트림(6)으로 인코딩하는 단계(12);
향상 레이어 내부 예측 신호를 얻기 위한 향상 레이어 신호의 이미 복원된 부분으로부터, 현재 복원될, 향상 레이어 신호의 부분(a portion)을 공간적으로 또는 시간적으로 예측하는 단계;
인터-레이어 예측 신호 및 향상 레이어 내부 예측 신호 사이의 가중(weighting)이 상이한 공간적 주파수 구성요소들에 걸쳐 변화하도록, 향상 레이어 예측 신호를 얻기 위한 향상 레이어 내부 예측 신호 및 상기 복원된 베이스 레이어 신호로부터 얻어지는 인터-레이어 예측 신호의 가중된 평균을, 현재 복원될 부분에서, 형성하는 단계; 및
상기 향상 레이어 예측 신호를 이용하여 상기 향상 레이어 신호를 예측적으로 인코딩하는 단계;를 포함하여,
향상 레이어 신호를 인코딩하는 단계(14);를 포함하는,
스케일러블 비디오 인코딩 방법. - 컴퓨터 상에서 구동할 때, 제13항 또는 제15항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247006906A KR20240034863A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261708201P | 2012-10-01 | 2012-10-01 | |
| US61/708,201 | 2012-10-01 | ||
| KR1020207034470A KR102472484B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| PCT/EP2013/070484 WO2014053512A1 (en) | 2012-10-01 | 2013-10-01 | Scalable video coding using inter-layer prediction contribution to enhancement layer prediction |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207034470A Division KR102472484B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247006906A Division KR20240034863A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220165285A true KR20220165285A (ko) | 2022-12-14 |
| KR102643661B1 KR102643661B1 (ko) | 2024-03-05 |
Family
ID=49274661
Family Applications (28)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207036488A KR102367210B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020157011529A KR101835360B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020247006906A KR20240034863A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020157011364A KR20150070205A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020247012080A KR20240065272A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020227041493A KR102643661B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020217002851A KR102379609B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020197039023A KR102257542B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020157011336A KR102194749B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020227009728A KR102503114B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020217015435A KR102447521B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020187005900A KR102063306B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020197008139A KR102095504B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020187000276A KR102005915B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020197021988A KR20190091377A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020227032879A KR102703618B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020227005755A KR102534713B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020207008700A KR102187179B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020247016757A KR20240093824A (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020237016616A KR102668857B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020157011530A KR102211196B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020207034470A KR102472484B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020247029537A KR20240135883A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020157011347A KR101835358B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020217015529A KR102445274B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020187005899A KR101962442B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020227031961A KR102657912B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020237005915A KR20230031984A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207036488A KR102367210B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020157011529A KR101835360B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020247006906A KR20240034863A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020157011364A KR20150070205A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020247012080A KR20240065272A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
Family Applications After (22)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217002851A KR102379609B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020197039023A KR102257542B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020157011336A KR102194749B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020227009728A KR102503114B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020217015435A KR102447521B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020187005900A KR102063306B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020197008139A KR102095504B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020187000276A KR102005915B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020197021988A KR20190091377A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020227032879A KR102703618B1 (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020227005755A KR102534713B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020207008700A KR102187179B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020247016757A KR20240093824A (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020237016616A KR102668857B1 (ko) | 2012-10-01 | 2013-10-01 | 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩 |
| KR1020157011530A KR102211196B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
| KR1020207034470A KR102472484B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020247029537A KR20240135883A (ko) | 2012-10-01 | 2013-10-01 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
| KR1020157011347A KR101835358B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020217015529A KR102445274B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020187005899A KR101962442B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
| KR1020227031961A KR102657912B1 (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
| KR1020237005915A KR20230031984A (ko) | 2012-10-01 | 2013-10-01 | 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩 |
Country Status (6)
| Country | Link |
|---|---|
| US (17) | US10477210B2 (ko) |
| EP (11) | EP2904783B1 (ko) |
| JP (18) | JP6763664B2 (ko) |
| KR (28) | KR102367210B1 (ko) |
| CN (8) | CN105009577B (ko) |
| WO (5) | WO2014053519A1 (ko) |
Families Citing this family (135)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2654301A4 (en) * | 2010-12-14 | 2016-02-17 | M&K Holdings Inc | METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS |
| PL4124034T3 (pl) * | 2010-12-22 | 2024-01-03 | Lg Electronics Inc. | Predykcja wewnątrzramkowa w kodowaniu wideo |
| JP5950541B2 (ja) * | 2011-11-07 | 2016-07-13 | キヤノン株式会社 | 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム |
| TWI523497B (zh) * | 2011-11-10 | 2016-02-21 | Sony Corp | Image processing apparatus and method |
| CN110035286B (zh) * | 2012-07-09 | 2021-11-12 | Vid拓展公司 | 用于多层视频编码的编解码器架构 |
| CN104685881B (zh) * | 2012-09-28 | 2018-05-15 | 夏普株式会社 | 图像解码装置、图像编码装置以及图像解码方法 |
| KR101654814B1 (ko) | 2012-09-28 | 2016-09-22 | 브이아이디 스케일, 인크. | 비디오 코딩에서 크로마 신호 향상을 위한 교차-평면 필터링 |
| US9826229B2 (en) * | 2012-09-29 | 2017-11-21 | Google Technology Holdings LLC | Scan pattern determination from base layer pixel information for scalable extension |
| JP6763664B2 (ja) | 2012-10-01 | 2020-09-30 | ジーイー ビデオ コンプレッション エルエルシー | エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化 |
| WO2014075552A1 (en) * | 2012-11-15 | 2014-05-22 | Mediatek Inc. | Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates |
| US20140185671A1 (en) * | 2012-12-27 | 2014-07-03 | Electronics And Telecommunications Research Institute | Video encoding and decoding method and apparatus using the same |
| US9596465B2 (en) * | 2013-01-04 | 2017-03-14 | Intel Corporation | Refining filter for inter layer prediction of scalable video coding |
| US20140198846A1 (en) * | 2013-01-16 | 2014-07-17 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| KR20140121315A (ko) * | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치 |
| WO2015007754A1 (en) | 2013-07-15 | 2015-01-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low delay concept in multi-layered video coding |
| FR3008840A1 (fr) * | 2013-07-17 | 2015-01-23 | Thomson Licensing | Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants |
| CN105765979B (zh) * | 2013-09-24 | 2019-08-09 | Vid拓展公司 | 用于可缩放视频编码的层间预测 |
| US9712834B2 (en) * | 2013-10-01 | 2017-07-18 | Dolby Laboratories Licensing Corporation | Hardware efficient sparse FIR filtering in video codec |
| EP2938084A4 (en) * | 2013-12-27 | 2016-10-26 | Sony Corp | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD |
| KR102071581B1 (ko) * | 2014-03-31 | 2020-04-01 | 삼성전자주식회사 | 서브블록 기반 예측을 수행하는 인터 레이어 비디오 복호화 방법 및 그 장치 및 서브블록 기반 예측을 수행하는 인터 레이어 비디오 부호화 방법 및 그 장치 |
| WO2015168581A1 (en) * | 2014-05-01 | 2015-11-05 | Arris Enterprises, Inc. | Reference layer and scaled reference layer offsets for scalable video coding |
| CN107077726B (zh) | 2014-10-27 | 2019-04-09 | 杜比实验室特许公司 | 使用扩展颜色范围的内容映射 |
| EP3206403A4 (en) * | 2014-11-04 | 2017-11-01 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied |
| EP3026913A1 (en) * | 2014-11-27 | 2016-06-01 | Thomson Licensing | Scalable encoding and decoding methods and corresponding devices with combined intraprediction and interlayer prediction |
| FR3029333A1 (fr) * | 2014-11-27 | 2016-06-03 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| KR101818900B1 (ko) * | 2015-02-17 | 2018-02-21 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측 |
| EP3292687A4 (en) * | 2015-05-06 | 2019-07-03 | NGCodec Inc. | INTRA PREDICTION PROCESSOR WITH PARTITIONING OF REDUCED COST BLOCKS AND PERFECTED SELECTION OF INTRA MODES |
| EP4404572A3 (en) * | 2015-07-08 | 2024-10-16 | InterDigital Madison Patent Holdings, SAS | Enhanced chroma coding using cross plane filtering |
| CN107925765B (zh) * | 2015-08-19 | 2022-01-18 | 索尼公司 | 发送装置、发送方法、接收装置及接收方法 |
| GB2557809B (en) | 2015-08-28 | 2021-12-01 | Kt Corp | Method and device for processing video signal |
| WO2017039501A1 (en) * | 2015-09-01 | 2017-03-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Spatial improvement of transform blocks |
| WO2017043816A1 (ko) * | 2015-09-10 | 2017-03-16 | 엘지전자(주) | 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
| CN114697679A (zh) | 2015-09-11 | 2022-07-01 | 株式会社Kt | 图像解码方法、图像编码方法和包括比特流的设备 |
| CN106612433B (zh) * | 2015-10-22 | 2019-11-26 | 中国科学院上海高等研究院 | 一种层析式编码译码方法 |
| US10200719B2 (en) * | 2015-11-25 | 2019-02-05 | Qualcomm Incorporated | Modification of transform coefficients for non-square transform units in video coding |
| WO2017121549A1 (en) * | 2016-01-12 | 2017-07-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Frequency based prediction |
| CN109155847A (zh) * | 2016-03-24 | 2019-01-04 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和装置 |
| WO2017178827A1 (en) * | 2016-04-15 | 2017-10-19 | Magic Pony Technology Limited | In-loop post filtering for video encoding and decoding |
| EP3298783B1 (en) | 2016-04-15 | 2020-11-18 | Magic Pony Technology Limited | Motion compensation using temporal picture interpolation |
| US10764576B2 (en) | 2016-05-04 | 2020-09-01 | Microsoft Technology Licensing, Llc | Intra-picture prediction using non-adjacent reference lines of sample values |
| WO2017209455A2 (ko) * | 2016-05-28 | 2017-12-07 | 세종대학교 산학협력단 | 비디오 신호의 부호화 또는 복호화 방법 및 장치 |
| US20170374369A1 (en) * | 2016-06-24 | 2017-12-28 | Mediatek Inc. | Methods and Apparatuses of Decoder Side Intra Mode Derivation |
| US10440366B2 (en) | 2016-07-01 | 2019-10-08 | Intel Corporation | Method and system of video coding using content based metadata |
| US10666946B2 (en) | 2016-07-01 | 2020-05-26 | Intel Corporation | Method and system of video coding using display modification input |
| CN116708782A (zh) * | 2016-07-12 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法以及用于该方法的记录介质 |
| KR102471208B1 (ko) | 2016-09-20 | 2022-11-25 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| EP3301925A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method for local inter-layer prediction intra based |
| CN113873260B (zh) | 2016-10-04 | 2023-02-24 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法和装置 |
| WO2018097669A1 (ko) * | 2016-11-24 | 2018-05-31 | 한국전자통신연구원 | 스케일러블 비디오를 처리하기 위한 방법 및 장치 |
| KR102387909B1 (ko) | 2016-11-29 | 2022-04-18 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
| KR102574714B1 (ko) * | 2016-12-23 | 2023-09-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 미리 결정된 방향성 인트라 예측 모드들의 세트를 확장하기 위한 인트라 예측 장치 |
| KR20240142572A (ko) * | 2017-01-05 | 2024-09-30 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 화상의 블록 기반 예측 코딩 및 디코딩 |
| US10715827B2 (en) * | 2017-01-06 | 2020-07-14 | Mediatek Inc. | Multi-hypotheses merge mode |
| CN116193110A (zh) * | 2017-01-16 | 2023-05-30 | 世宗大学校产学协力团 | 影像编码/解码方法 |
| WO2018190595A1 (ko) * | 2017-04-13 | 2018-10-18 | 엘지전자(주) | 비디오 신호를 엔트로피 인코딩, 디코딩하는 방법 및 장치 |
| CN117014632A (zh) * | 2017-04-27 | 2023-11-07 | 松下电器（美国）知识产权公司 | 解码装置、编码装置以及非暂时性记录介质 |
| WO2018200993A1 (en) | 2017-04-28 | 2018-11-01 | Zermatt Technologies Llc | Video pipeline |
| US10979685B1 (en) | 2017-04-28 | 2021-04-13 | Apple Inc. | Focusing for virtual and augmented reality systems |
| US10531085B2 (en) * | 2017-05-09 | 2020-01-07 | Futurewei Technologies, Inc. | Coding chroma samples in video compression |
| CN107172386B (zh) * | 2017-05-09 | 2018-06-29 | 西安科技大学 | 一种基于计算机视觉的非接触式数据传输方法 |
| EP3625963A4 (en) * | 2017-06-07 | 2020-11-18 | MediaTek Inc. | INTRA-INTER PREDICTION MODE METHOD AND APPARATUS FOR VIDEO CODING |
| US12058309B2 (en) * | 2018-07-08 | 2024-08-06 | Mellanox Technologies, Ltd. | Application accelerator |
| US11252464B2 (en) | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
| US20200014945A1 (en) * | 2018-07-08 | 2020-01-09 | Mellanox Technologies, Ltd. | Application acceleration |
| US10861142B2 (en) * | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
| CN107580224B (zh) * | 2017-08-08 | 2019-11-22 | 西安理工大学 | 一种面向hevc熵编码的自适应扫描方法 |
| EP3451665A1 (en) | 2017-09-01 | 2019-03-06 | Thomson Licensing | Refinement of internal sub-blocks of a coding unit |
| EP3457695A1 (en) * | 2017-09-18 | 2019-03-20 | Thomson Licensing | Method and apparatus for motion vector predictor adaptation for omnidirectional video |
| US10986360B2 (en) * | 2017-10-16 | 2021-04-20 | Qualcomm Incorproated | Various improvements to FRUC template matching |
| FR3072850B1 (fr) | 2017-10-19 | 2021-06-04 | Tdf | Procedes de codage et de decodage d'un flux de donnees representatif d'une video omnidirectionnelle |
| US11297339B2 (en) * | 2017-12-06 | 2022-04-05 | V-Nova International Limited | Methods and apparatuses for hierarchically encoding and decoding a bytestream |
| US10445762B1 (en) | 2018-01-17 | 2019-10-15 | Yaoshiang Ho | Online video system, method, and medium for A/B testing of video content |
| EP3742403A4 (en) * | 2018-01-19 | 2021-03-17 | Panasonic Intellectual Property Corporation of America | METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA |
| JP7187566B2 (ja) * | 2018-02-09 | 2022-12-12 | フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | パーティションベースのイントラ符号化概念 |
| US10771781B2 (en) * | 2018-03-12 | 2020-09-08 | Electronics And Telecommunications Research Institute | Method and apparatus for deriving intra prediction mode |
| JP2021519546A (ja) * | 2018-03-29 | 2021-08-10 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 映像符号化のための候補変換セットの決定 |
| JP7395497B2 (ja) * | 2018-05-07 | 2023-12-11 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | コード化／復号化におけるデータ依存関係 |
| KR20210016581A (ko) | 2018-06-05 | 2021-02-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
| KR102701593B1 (ko) | 2018-06-21 | 2024-08-30 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 칼라 컴포넌트 간의 서브 블록 mv 상속 |
| WO2019244117A1 (en) | 2018-06-21 | 2019-12-26 | Beijing Bytedance Network Technology Co., Ltd. | Unified constrains for the merge affine mode and the non-merge affine mode |
| KR102598576B1 (ko) | 2018-07-02 | 2023-11-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 코딩에서의 필터링을 위한 장치 및 방법 |
| US10645380B2 (en) * | 2018-07-09 | 2020-05-05 | Tencent America LLC | Method and apparatus for video coding |
| US10715812B2 (en) * | 2018-07-13 | 2020-07-14 | Tencent America LLC | Method and apparatus for video coding |
| US11051010B2 (en) * | 2018-07-18 | 2021-06-29 | Mediatek Inc. | Merge candidates with multiple hypothesis |
| EP3824631A4 (en) | 2018-07-18 | 2022-07-06 | HFI Innovation Inc. | METHOD AND APPARATUS FOR MOTION COMPENSATION BANDWIDTH REDUCTION FOR VIDEO CODING SYSTEM USING MULTIHYPOTHEC |
| US11032549B2 (en) | 2018-07-26 | 2021-06-08 | Google Llc | Spatial layer rate allocation |
| CN108982521A (zh) * | 2018-08-04 | 2018-12-11 | 石修英 | 可视化土壤健康水平检测设备 |
| KR20230169474A (ko) | 2018-08-29 | 2023-12-15 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 서브블록 기반 시간적 모션 벡터 예측을 사용한 비디오 코딩의 방법 및 장치 |
| BR112021004890A2 (pt) * | 2018-09-13 | 2021-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. | intrapredições ponderadas lineares afins |
| EP3844959A2 (en) | 2018-09-16 | 2021-07-07 | Huawei Technologies Co., Ltd. | Apparatus and method for filtering in video coding with look-up table selected based on bitstream information |
| GB2577339A (en) * | 2018-09-24 | 2020-03-25 | Sony Corp | Image data encoding and decoding |
| US11006150B2 (en) * | 2018-09-24 | 2021-05-11 | Tencent America LLC | Method and apparatus for video coding |
| CN117768651A (zh) | 2018-09-24 | 2024-03-26 | 北京字节跳动网络技术有限公司 | 处理视频数据的方法、装置、介质、以及比特流存储方法 |
| EP3861741A1 (en) * | 2018-10-02 | 2021-08-11 | InterDigital VC Holdings, Inc. | Method and apparatus for video encoding and decoding using list of predictor candidates |
| US11184461B2 (en) | 2018-10-23 | 2021-11-23 | At&T Intellectual Property I, L.P. | VR video transmission with layered video by re-using existing network infrastructures |
| CN109660794B (zh) * | 2018-11-07 | 2020-07-07 | 北京达佳互联信息技术有限公司 | 帧内预测模式的决策方法、决策装置和计算机可读存储介质 |
| EP3861723A4 (en) | 2018-11-10 | 2022-04-20 | Beijing Bytedance Network Technology Co., Ltd. | ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS |
| KR102127846B1 (ko) * | 2018-11-28 | 2020-06-29 | 주식회사 카이 | 영상을 처리하는 방법, 영상을 재생하는 방법 및 그 장치들 |
| PT3891980T (pt) * | 2018-12-21 | 2024-07-22 | Huawei Tech Co Ltd | Método e aparelho de filtragem de interpolação para codificação preditiva |
| JP7288964B2 (ja) | 2018-12-28 | 2023-06-08 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | 動きベクトル予測因子リストを生成すること |
| CN113196753B (zh) | 2018-12-28 | 2023-05-12 | 华为技术有限公司 | 用于预测译码的插值滤波锐化方法和装置 |
| US11032560B2 (en) * | 2019-01-17 | 2021-06-08 | Tencent America LLC | Method and apparatus for video coding without updating the HMVP table |
| CN109672690B (zh) * | 2019-01-29 | 2021-02-19 | 哈尔滨工业大学 | 一种针对数据幅值范围已知的数据流进行编码的方法 |
| CN113383547A (zh) | 2019-02-01 | 2021-09-10 | 北京字节跳动网络技术有限公司 | 环路整形和帧间编解码工具之间的相互作用 |
| WO2020156534A1 (en) | 2019-02-01 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Interactions between in-loop reshaping and intra block copy |
| WO2020163535A1 (en) | 2019-02-05 | 2020-08-13 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding using intra sub-partition coding mode |
| US11012701B2 (en) * | 2019-02-22 | 2021-05-18 | Tencent America LLC | Residual coding for transform skip mode and block differential pulse-code modulation |
| US11323731B2 (en) * | 2019-03-08 | 2022-05-03 | Tencent America LLC | Method and apparatus for video coding |
| WO2020182140A1 (en) * | 2019-03-11 | 2020-09-17 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector refinement in video coding |
| CN113574889B (zh) | 2019-03-14 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 环路整形信息的信令和语法 |
| WO2020192614A1 (en) * | 2019-03-23 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Restrictions on adaptive-loop filtering parameter sets |
| CN113940082A (zh) * | 2019-06-06 | 2022-01-14 | 北京字节跳动网络技术有限公司 | 基于子块的帧内块复制和不同编解码工具之间的交互 |
| EP3989547A4 (en) * | 2019-06-21 | 2023-04-19 | Samsung Electronics Co., Ltd. | VIDEO ENCODING METHOD AND DEVICE, AND VIDEO DECODER METHOD AND DEVICE |
| WO2020256615A1 (en) * | 2019-06-21 | 2020-12-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Video coding layer up-switching indication |
| WO2020259426A1 (en) | 2019-06-22 | 2020-12-30 | Beijing Bytedance Network Technology Co., Ltd. | Motion candidate list construction for intra block copy mode |
| EP4000258A4 (en) | 2019-08-20 | 2023-03-15 | Beijing Bytedance Network Technology Co., Ltd. | SCALING POSITION-BASED COEFFICIENTS |
| CN110662071B (zh) * | 2019-09-27 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 视频解码方法和装置、存储介质及电子装置 |
| US11323732B2 (en) | 2020-04-13 | 2022-05-03 | Tencent America LLC | Method and apparatus for video coding |
| US20230209041A1 (en) * | 2020-05-22 | 2023-06-29 | Lg Electronics Inc. | Multilayer-based image coding method in video or image coding system |
| CN115443650A (zh) * | 2020-06-06 | 2022-12-06 | 阿里巴巴（中国）有限公司 | 用于帧间预测的角度加权预测 |
| US11330296B2 (en) * | 2020-09-14 | 2022-05-10 | Apple Inc. | Systems and methods for encoding image data |
| US12058322B2 (en) * | 2020-11-05 | 2024-08-06 | Alibaba Group Holding Limited | Methods and apparatuses for filtering intra predicted video blocks |
| KR20220096624A (ko) * | 2020-12-31 | 2022-07-07 | 엘지디스플레이 주식회사 | 표시 장치 |
| US11595665B2 (en) | 2021-02-11 | 2023-02-28 | Qualcomm Incorporated | Upsampling reference pixels for intra-prediction in video coding |
| US12058310B2 (en) * | 2021-02-26 | 2024-08-06 | Lemon Inc. | Methods of coding images/videos with alpha channels |
| US20220279185A1 (en) * | 2021-02-26 | 2022-09-01 | Lemon Inc. | Methods of coding images/videos with alpha channels |
| CN113271467B (zh) * | 2021-07-19 | 2021-10-22 | 成都索贝数码科技股份有限公司 | 一种支持高效编辑的超高清视频分层编解码方法 |
| GB2603559B (en) | 2021-07-22 | 2023-08-09 | Imagination Tech Ltd | Coding blocks of pixels |
| GB2609218B (en) * | 2021-07-22 | 2023-08-30 | Imagination Tech Ltd | Coding blocks of pixels |
| WO2023164020A2 (en) * | 2022-02-25 | 2023-08-31 | Op Solutions, Llc | Systems, methods and bitstream structure for video coding and decoding for machines with adaptive inference |
| US20230396799A1 (en) * | 2022-06-06 | 2023-12-07 | Tencent America LLC | Signaling method for scaling parameter in chroma from luma intra prediction mode |
| WO2024010635A1 (en) * | 2022-07-05 | 2024-01-11 | Innopeak Technology, Inc. | System and method for multiple-hypothesis prediction for video coding |
| KR102617498B1 (ko) | 2022-10-13 | 2023-12-27 | 주식회사 엘지에너지솔루션 | 리튬 이차전지용 음극 및 이를 위한 음극용 자성 정렬 장치 |
| US20240146902A1 (en) * | 2022-10-26 | 2024-05-02 | Tencent America LLC | Context Design for Coding and Decoding Syntax Elements in Inter Prediction Modes |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007028034A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体 |
| US20070223582A1 (en) * | 2006-01-05 | 2007-09-27 | Borer Timothy J | Image encoding-decoding system and related techniques |
| KR20080094041A (ko) * | 2006-01-11 | 2008-10-22 | 콸콤 인코포레이티드 | 미세 입도 공간 확장성을 가지는 비디오 코딩 |
| KR101962442B1 (ko) * | 2012-10-01 | 2019-03-26 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Family Cites Families (260)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62145988A (ja) * | 1985-12-20 | 1987-06-30 | Fujitsu Ltd | 適応的走査線変換画像伝送方式 |
| JPS631932A (ja) | 1986-06-23 | 1988-01-06 | Toshiba Corp | 振動検出器の断線検出回路 |
| US5933538A (en) | 1990-07-31 | 1999-08-03 | Fujitsu Limited | Image data processing method and apparatus |
| JPH05208631A (ja) | 1992-01-30 | 1993-08-20 | Aisin Seiki Co Ltd | スライドレールの取付ブラケツト |
| JP3032088B2 (ja) | 1992-03-03 | 2000-04-10 | 株式会社東芝 | 動画像符号化装置 |
| JPH06153180A (ja) | 1992-09-16 | 1994-05-31 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
| US5408580A (en) * | 1992-09-21 | 1995-04-18 | Aware, Inc. | Audio compression system employing multi-rate signal analysis |
| US6252909B1 (en) * | 1992-09-21 | 2001-06-26 | Aware, Inc. | Multi-carrier transmission system utilizing channels of different bandwidth |
| US5553277A (en) | 1992-12-29 | 1996-09-03 | Fujitsu Limited | Image search method for searching and retrieving desired image from memory device |
| JP3189258B2 (ja) | 1993-01-11 | 2001-07-16 | ソニー株式会社 | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 |
| EP0607484B1 (en) | 1993-01-20 | 1998-09-09 | Samsung Electronics Co. Ltd. | Method and device for encoding and decoding image data |
| JP3186307B2 (ja) | 1993-03-09 | 2001-07-11 | ソニー株式会社 | 圧縮データ記録装置及び方法 |
| JPH06301932A (ja) | 1993-04-15 | 1994-10-28 | Sumitomo Metal Ind Ltd | 薄膜磁気ヘッド及びその製造方法 |
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| JP3627870B2 (ja) * | 1995-02-28 | 2005-03-09 | ソニー株式会社 | 動きベクトル検出方法及び装置 |
| US5619256A (en) | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
| DE19526366A1 (de) * | 1995-07-20 | 1997-01-23 | Bosch Gmbh Robert | Verfahren zur Redundanzreduktion bei der Codierung von mehrkanaligen Signalen und Vorrichtung zur Dekodierung von redundanzreduzierten, mehrkanaligen Signalen |
| JPH0951504A (ja) | 1995-08-03 | 1997-02-18 | Matsushita Electric Ind Co Ltd | 画像符号化装置及び画像復号化装置 |
| EP0857392B1 (en) * | 1995-10-25 | 2004-08-11 | Sarnoff Corporation | Overlapping block zerotree wavelet image coder |
| US5852565A (en) * | 1996-01-30 | 1998-12-22 | Demografx | Temporal and resolution layering in advanced television |
| US6957350B1 (en) * | 1996-01-30 | 2005-10-18 | Dolby Laboratories Licensing Corporation | Encrypted and watermarked temporal and resolution layering in advanced television |
| JPH09208631A (ja) | 1996-02-07 | 1997-08-12 | Mitsubishi Chem Corp | 塩化ビニル系重合体 |
| JPH09238350A (ja) | 1996-03-01 | 1997-09-09 | Matsushita Electric Ind Co Ltd | 動画像符号化装置 |
| US6233017B1 (en) | 1996-09-16 | 2001-05-15 | Microsoft Corporation | Multimedia compression system with adaptive block sizes |
| US6545687B2 (en) | 1997-01-09 | 2003-04-08 | Canon Kabushiki Kaisha | Thumbnail manipulation using fast and aspect ratio zooming, compressing and scaling |
| US6728775B1 (en) * | 1997-03-17 | 2004-04-27 | Microsoft Corporation | Multiple multicasting of multimedia streams |
| AUPO951397A0 (en) | 1997-09-29 | 1997-10-23 | Canon Information Systems Research Australia Pty Ltd | A method for digital data compression |
| EP0905978A3 (en) | 1997-09-29 | 2000-04-12 | Canon Kabushiki Kaisha | An encoding method and apparatus |
| US6587590B1 (en) | 1998-02-02 | 2003-07-01 | The Trustees Of The University Of Pennsylvania | Method and system for computing 8×8 DCT/IDCT and a VLSI implementation |
| US8050329B2 (en) | 1998-06-26 | 2011-11-01 | Mediatek Inc. | Method and apparatus for generic scalable shape coding |
| AU743246B2 (en) | 1998-11-04 | 2002-01-24 | Mitsubishi Denki Kabushiki Kaisha | Image decoder and image encoder |
| US6480547B1 (en) * | 1999-10-15 | 2002-11-12 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding the residual signal for fine granular scalable video |
| US6476805B1 (en) | 1999-12-23 | 2002-11-05 | Microsoft Corporation | Techniques for spatial displacement estimation and multi-resolution operations on light fields |
| US8117313B2 (en) | 2001-03-19 | 2012-02-14 | International Business Machines Corporation | System and method for adaptive formatting of image information for efficient delivery and presentation |
| CA2582664C (en) | 2001-09-12 | 2012-04-24 | Matsushita Electric Industrial Co., Ltd. | Picture coding method and picture decoding method |
| CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| US20030118113A1 (en) * | 2001-12-20 | 2003-06-26 | Comer Mary Lafuze | Fine-grain scalable video decoder with conditional replacement |
| MXPA04007020A (es) | 2002-01-23 | 2004-10-11 | Nokia Corp | Agrupamiento de cuadros de imagen para codificacion de video. |
| AU2002951574A0 (en) * | 2002-09-20 | 2002-10-03 | Unisearch Limited | Method of signalling motion information for efficient scalable video compression |
| KR20050105222A (ko) * | 2003-02-17 | 2005-11-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 부호화 |
| US8107535B2 (en) * | 2003-06-10 | 2012-01-31 | Rensselaer Polytechnic Institute (Rpi) | Method and apparatus for scalable motion vector coding |
| US6900748B2 (en) | 2003-07-17 | 2005-05-31 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for binarization and arithmetic coding of a data value |
| US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| JP2005135249A (ja) | 2003-10-31 | 2005-05-26 | Kddi Corp | 映像の領域分割装置 |
| US7346111B2 (en) * | 2003-12-10 | 2008-03-18 | Lsi Logic Corporation | Co-located motion vector storage |
| EP1558039A1 (en) * | 2004-01-21 | 2005-07-27 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding |
| US7227894B2 (en) * | 2004-02-24 | 2007-06-05 | Industrial Technology Research Institute | Method and apparatus for MPEG-4 FGS performance enhancement |
| US7627037B2 (en) | 2004-02-27 | 2009-12-01 | Microsoft Corporation | Barbell lifting for multi-layer wavelet coding |
| US7418144B2 (en) * | 2004-03-03 | 2008-08-26 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Curved wavelet transform for image and video compression |
| WO2005099271A1 (en) * | 2004-04-06 | 2005-10-20 | Koninklijke Philips Electronics N.V. | Device and method for receiving video data |
| KR100586882B1 (ko) * | 2004-04-13 | 2006-06-08 | 삼성전자주식회사 | 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치 |
| US8442108B2 (en) * | 2004-07-12 | 2013-05-14 | Microsoft Corporation | Adaptive updates in motion-compensated temporal filtering |
| US8340177B2 (en) * | 2004-07-12 | 2012-12-25 | Microsoft Corporation | Embedded base layer codec for 3D sub-band coding |
| US8374238B2 (en) * | 2004-07-13 | 2013-02-12 | Microsoft Corporation | Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video |
| CN100466735C (zh) * | 2004-07-15 | 2009-03-04 | 三星电子株式会社 | 视频编码和解码方法以及视频编码器和解码器 |
| KR100679011B1 (ko) * | 2004-07-15 | 2007-02-05 | 삼성전자주식회사 | 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치 |
| KR100678949B1 (ko) | 2004-07-15 | 2007-02-06 | 삼성전자주식회사 | 비디오 코딩 및 디코딩 방법, 비디오 인코더 및 디코더 |
| DE102004041664A1 (de) | 2004-08-27 | 2006-03-09 | Siemens Ag | Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung |
| JP2008516556A (ja) * | 2004-10-13 | 2008-05-15 | トムソン ライセンシング | コンプレクシティスケーラブル映像符号化復号化方法及び装置 |
| DE102004059993B4 (de) | 2004-10-15 | 2006-08-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium |
| KR100703740B1 (ko) | 2004-10-21 | 2007-04-05 | 삼성전자주식회사 | 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 |
| KR100679025B1 (ko) * | 2004-11-12 | 2007-02-05 | 삼성전자주식회사 | 다 계층 기반의 인트라 예측 방법, 및 그 방법을 이용한비디오 코딩 방법 및 장치 |
| KR100679031B1 (ko) * | 2004-12-03 | 2007-02-05 | 삼성전자주식회사 | 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치 |
| EP1817911A4 (en) * | 2004-12-03 | 2015-05-20 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR MULTILAYER VIDEO ENCODING AND DECODING |
| EP1694074A1 (en) | 2005-02-18 | 2006-08-23 | Thomson Licensing | Process for scalable coding of images |
| KR100888962B1 (ko) * | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| KR100888963B1 (ko) * | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
| US20060153295A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for inter-layer prediction mode coding in scalable video coding |
| EP1836858A1 (en) | 2005-01-14 | 2007-09-26 | Sungkyunkwan University | Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding |
| KR100703748B1 (ko) | 2005-01-25 | 2007-04-05 | 삼성전자주식회사 | 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치 |
| US7792385B2 (en) | 2005-01-25 | 2010-09-07 | Globalfoundries Inc. | Scratch pad for storing intermediate loop filter data |
| US8576924B2 (en) | 2005-01-25 | 2013-11-05 | Advanced Micro Devices, Inc. | Piecewise processing of overlap smoothing and in-loop deblocking |
| KR100703751B1 (ko) | 2005-02-14 | 2007-04-06 | 삼성전자주식회사 | 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치 |
| JP5213456B2 (ja) * | 2005-02-18 | 2013-06-19 | トムソン ライセンシング | 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置 |
| JP5065051B2 (ja) | 2005-02-18 | 2012-10-31 | トムソン ライセンシング | 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 |
| KR100703770B1 (ko) | 2005-03-25 | 2007-04-06 | 삼성전자주식회사 | 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치 |
| JP4854046B2 (ja) * | 2005-04-06 | 2012-01-11 | トムソン ライセンシング | エンハンスメント層ビデオ・データを符号化する方法および装置 |
| EP1711018A1 (en) * | 2005-04-08 | 2006-10-11 | Thomson Licensing | Method and apparatus for encoding video pictures, and method and apparatus for decoding video pictures |
| US7876833B2 (en) | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
| EP1878257A1 (en) | 2005-04-12 | 2008-01-16 | Nokia Corporation | Method and system for motion compensated fine granularity scalable video coding with drift control |
| KR100896279B1 (ko) * | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
| US8619860B2 (en) | 2005-05-03 | 2013-12-31 | Qualcomm Incorporated | System and method for scalable encoding and decoding of multimedia data using multiple layers |
| US8059608B2 (en) * | 2005-06-14 | 2011-11-15 | Qualcomm Incorporated | Transmit spatial diversity for cellular single frequency networks |
| US7965773B1 (en) | 2005-06-30 | 2011-06-21 | Advanced Micro Devices, Inc. | Macroblock cache |
| KR101154999B1 (ko) | 2005-07-08 | 2012-07-09 | 엘지전자 주식회사 | 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는 방법 |
| KR100878827B1 (ko) * | 2005-07-08 | 2009-01-14 | 엘지전자 주식회사 | 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법 |
| WO2007008286A1 (en) * | 2005-07-11 | 2007-01-18 | Thomson Licensing | Method and apparatus for macroblock adaptive inter-layer intra texture prediction |
| US7630882B2 (en) | 2005-07-15 | 2009-12-08 | Microsoft Corporation | Frequency segmentation to obtain bands for efficient coding of digital media |
| US7562021B2 (en) | 2005-07-15 | 2009-07-14 | Microsoft Corporation | Modification of codewords in dictionary used for efficient coding of digital media spectral data |
| US8369406B2 (en) | 2005-07-18 | 2013-02-05 | Electronics And Telecommunications Research Institute | Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same |
| US8289370B2 (en) * | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| MX2008000906A (es) | 2005-07-21 | 2008-03-18 | Thomson Licensing | Metodo y aparato para la prediccion ponderada para la codificacion escalable de video. |
| KR100678911B1 (ko) * | 2005-07-21 | 2007-02-05 | 삼성전자주식회사 | 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치 |
| US20070025444A1 (en) | 2005-07-28 | 2007-02-01 | Shigeyuki Okada | Coding Method |
| KR100746011B1 (ko) * | 2005-08-24 | 2007-08-06 | 삼성전자주식회사 | 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 |
| JP4490351B2 (ja) * | 2005-08-29 | 2010-06-23 | 日本電信電話株式会社 | 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 |
| KR100736086B1 (ko) | 2005-09-06 | 2007-07-06 | 삼성전자주식회사 | 엔트로피 코딩의 성능 향상 방법 및 장치, 상기 방법을이용한 비디오 코딩 방법 및 장치 |
| JP4663792B2 (ja) | 2005-09-21 | 2011-04-06 | サムスン エレクトロニクス カンパニー リミテッド | 多視点動映像を符号化及び復号化する装置及び方法 |
| US8340450B2 (en) * | 2005-09-23 | 2012-12-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Successively refinable lattice vector quantization |
| US7348903B2 (en) | 2005-09-26 | 2008-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for enhancing performance of entropy coding, and video coding method and apparatus using the entropy coding performance enhancing method |
| US20070126853A1 (en) | 2005-10-03 | 2007-06-07 | Nokia Corporation | Variable length codes for scalable video coding |
| KR100891662B1 (ko) * | 2005-10-05 | 2009-04-02 | 엘지전자 주식회사 | 비디오 신호 디코딩 및 인코딩 방법 |
| US8180826B2 (en) * | 2005-10-31 | 2012-05-15 | Microsoft Corporation | Media sharing and authoring on the web |
| FR2894421B1 (fr) * | 2005-12-07 | 2008-01-18 | Canon Kk | Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique |
| KR100772870B1 (ko) | 2005-12-12 | 2007-11-02 | 삼성전자주식회사 | Ｆｇｓ 계층의 블록에 포함되는 계수의 특성에 따라 비디오신호를 부호화하고 복호화하는 방법 및 장치 |
| JP4565392B2 (ja) | 2005-12-22 | 2010-10-20 | 日本ビクター株式会社 | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム |
| CN101401440A (zh) | 2006-01-09 | 2009-04-01 | 诺基亚公司 | 可伸缩视频编码中的差错恢复模式判决 |
| ZA200805337B (en) | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
| EP1977608B1 (en) | 2006-01-09 | 2020-01-01 | LG Electronics, Inc. | Inter-layer prediction method for video signal |
| US20070201550A1 (en) * | 2006-01-09 | 2007-08-30 | Nokia Corporation | Method and apparatus for entropy coding in fine granularity scalable video coding |
| US8619865B2 (en) | 2006-02-16 | 2013-12-31 | Vidyo, Inc. | System and method for thinning of scalable video coding bit-streams |
| US8693538B2 (en) | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
| US8340179B2 (en) * | 2006-03-21 | 2012-12-25 | Canon Kabushiki Kaisha | Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method |
| EP1859630B1 (en) | 2006-03-22 | 2014-10-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Coding scheme enabling precision-scalability |
| US20070230567A1 (en) | 2006-03-28 | 2007-10-04 | Nokia Corporation | Slice groups and data partitioning in scalable video coding |
| US8320450B2 (en) | 2006-03-29 | 2012-11-27 | Vidyo, Inc. | System and method for transcoding between scalable and non-scalable video codecs |
| PL2008460T3 (pl) * | 2006-03-30 | 2017-10-31 | Lg Electronics Inc | Sposób i urządzenie do dekodowania/kodowania sygnału wideo |
| KR100781525B1 (ko) * | 2006-04-06 | 2007-12-03 | 삼성전자주식회사 | 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치 |
| US8275037B2 (en) * | 2006-05-05 | 2012-09-25 | Thomson Licensing | Simplified inter-layer motion prediction for scalable video coding |
| WO2007136094A1 (ja) | 2006-05-24 | 2007-11-29 | Panasonic Corporation | 動画像復号装置 |
| US7773672B2 (en) * | 2006-05-30 | 2010-08-10 | Freescale Semiconductor, Inc. | Scalable rate control system for a video encoder |
| CN101491107B (zh) * | 2006-07-07 | 2012-07-18 | 艾利森电话股份有限公司 | 一种对图像元素组进行解码的方法及其相关的编码器、解码器 |
| WO2008004940A1 (en) * | 2006-07-07 | 2008-01-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Video data management |
| US8059714B2 (en) * | 2006-07-10 | 2011-11-15 | Sharp Laboratories Of America, Inc. | Methods and systems for residual layer scaling |
| WO2008007792A1 (en) | 2006-07-10 | 2008-01-17 | Sharp Kabushiki Kaisha | Methods and systems for combining layers in a multi-layer bitstream |
| US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
| US8422555B2 (en) * | 2006-07-11 | 2013-04-16 | Nokia Corporation | Scalable video coding |
| JP5021739B2 (ja) | 2006-07-12 | 2012-09-12 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
| US8155454B2 (en) | 2006-07-20 | 2012-04-10 | Qualcomm Incorporated | Method and apparatus for encoder assisted post-processing |
| US8253752B2 (en) | 2006-07-20 | 2012-08-28 | Qualcomm Incorporated | Method and apparatus for encoder assisted pre-processing |
| US9001899B2 (en) | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
| US8942292B2 (en) | 2006-10-13 | 2015-01-27 | Qualcomm Incorporated | Efficient significant coefficients coding in scalable video codecs |
| US9014280B2 (en) * | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
| JP2008099045A (ja) | 2006-10-13 | 2008-04-24 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル符号化方法，復号方法，これらの装置，およびこれらのプログラム並びにその記録媒体 |
| EP2077038B1 (en) | 2006-10-18 | 2013-01-30 | Apple Inc. | Scalable video coding with filtering of lower layers |
| US20080095228A1 (en) | 2006-10-20 | 2008-04-24 | Nokia Corporation | System and method for providing picture output indications in video coding |
| WO2008051755A2 (en) * | 2006-10-20 | 2008-05-02 | Motorola, Inc. | Method and apparatus for intra-frame spatial scalable video coding |
| US20080095235A1 (en) * | 2006-10-20 | 2008-04-24 | Motorola, Inc. | Method and apparatus for intra-frame spatial scalable video coding |
| US8774269B2 (en) | 2006-10-25 | 2014-07-08 | Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Quality scalable coding with mapping different ranges of bit depths |
| MY146880A (en) | 2006-11-09 | 2012-10-15 | Invenpro M Sdn Bhd | Method for drying a substrate |
| US8054885B2 (en) * | 2006-11-09 | 2011-11-08 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
| US7545293B2 (en) * | 2006-11-14 | 2009-06-09 | Qualcomm Incorporated | Memory efficient coding of variable length codes |
| US7573407B2 (en) * | 2006-11-14 | 2009-08-11 | Qualcomm Incorporated | Memory efficient adaptive block coding |
| WO2008061211A2 (en) | 2006-11-15 | 2008-05-22 | Qualcomm Incorporated | Systems and methods for applications using channel switch frames |
| US9445128B2 (en) | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
| US9961372B2 (en) * | 2006-12-08 | 2018-05-01 | Nxp Usa, Inc. | Adaptive disabling of deblock filtering based on a content characteristic of video information |
| EP1933563A1 (en) * | 2006-12-14 | 2008-06-18 | Thomson Licensing | Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction |
| US8331448B2 (en) | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Systems and methods for efficient spatial intra predictabilty determination (or assessment) |
| CN101622877A (zh) | 2006-12-22 | 2010-01-06 | 高通股份有限公司 | 用于有效空间帧内可预测性确定（或评估）的系统和方法 |
| WO2008083296A2 (en) | 2006-12-28 | 2008-07-10 | Vidyo, Inc. | System and method for in-loop deblocking in scalable video coding |
| ES2535314T3 (es) | 2006-12-28 | 2015-05-08 | Nippon Telegraph And Telephone Corporation | Método de codificación de vídeo, método de decodificación, dispositivo de los mismos, programa de los mismos, y medio de almacenamiento que contiene el programa |
| RU2426267C2 (ru) | 2007-01-08 | 2011-08-10 | Нокиа Корпорейшн | Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала |
| US8335261B2 (en) * | 2007-01-08 | 2012-12-18 | Qualcomm Incorporated | Variable length coding techniques for coded block patterns |
| US8199812B2 (en) * | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
| KR20080066522A (ko) | 2007-01-11 | 2008-07-16 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
| US8126062B2 (en) | 2007-01-16 | 2012-02-28 | Cisco Technology, Inc. | Per multi-block partition breakpoint determining for hybrid variable length coding |
| US20080170611A1 (en) | 2007-01-17 | 2008-07-17 | Srikrishna Ramaswamy | Configurable functional multi-processing architecture for video processing |
| KR101341111B1 (ko) * | 2007-01-18 | 2013-12-13 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 화질 스케일러블 비디오 데이터 스트림 |
| US20080205508A1 (en) | 2007-02-22 | 2008-08-28 | Streaming Networks (Pvt.) Ltd. | Method and apparatus for low complexity video encoding and decoding |
| WO2008111005A1 (en) * | 2007-03-15 | 2008-09-18 | Nokia Corporation | System and method for providing improved residual prediction for spatial scalability in video coding |
| US8204129B2 (en) | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
| US8488677B2 (en) | 2007-04-25 | 2013-07-16 | Lg Electronics Inc. | Method and an apparatus for decoding/encoding a video signal |
| KR20080107965A (ko) * | 2007-06-08 | 2008-12-11 | 삼성전자주식회사 | 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치 |
| CN101690231A (zh) | 2007-06-28 | 2010-03-31 | 汤姆森特许公司 | 多视图编码视频的单环解码 |
| WO2009003499A1 (en) * | 2007-06-29 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
| US8265144B2 (en) | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
| WO2009011492A1 (en) | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
| BRPI0815108A2 (pt) | 2007-08-15 | 2015-01-27 | Thomson Licensing | Métodos e aparelho para modo de avanço de movimento em vídeo codificado de multi-visitas com o uso de vetores de disparidade regional |
| US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
| KR101345287B1 (ko) * | 2007-10-12 | 2013-12-27 | 삼성전자주식회사 | 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치 |
| US8432968B2 (en) | 2007-10-15 | 2013-04-30 | Qualcomm Incorporated | Scalable video coding techniques for scalable bitdepths |
| CN101415115B (zh) | 2007-10-15 | 2011-02-02 | 华为技术有限公司 | 基于运动跳跃模式的视频编解码方法及其编解码器 |
| US7777654B2 (en) | 2007-10-16 | 2010-08-17 | Industrial Technology Research Institute | System and method for context-based adaptive binary arithematic encoding and decoding |
| BRPI0817770B1 (pt) * | 2007-10-16 | 2020-11-10 | Interdigital Madison Patent Holdings | métodos e aparelhos para a remoção de artefatos para a escalabilidade de profundidade em bits |
| KR100918862B1 (ko) | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
| RU2461978C2 (ru) | 2007-10-25 | 2012-09-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ масштабируемого кодирования и способ масштабируемого декодирования видеоинформации, устройства для них, программы для них и носитель записи, на котором записаны программы |
| KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
| CN101198064A (zh) * | 2007-12-10 | 2008-06-11 | 武汉大学 | 一种分辨率分层技术中的运动矢量预测方法 |
| US8175158B2 (en) | 2008-01-04 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction parameter determination |
| KR101560182B1 (ko) | 2008-01-07 | 2015-10-15 | 삼성전자주식회사 | 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치 |
| US8126054B2 (en) * | 2008-01-09 | 2012-02-28 | Motorola Mobility, Inc. | Method and apparatus for highly scalable intraframe video coding |
| BRPI0821500A2 (pt) | 2008-01-11 | 2015-06-16 | Thomson Licensing | Codificação de vídeo e profundidade |
| EP2243297B1 (en) * | 2008-02-05 | 2017-03-08 | Thomson Licensing | Methods and apparatus for implicit block segmentation in video encoding and decoding |
| US8861598B2 (en) * | 2008-03-19 | 2014-10-14 | Cisco Technology, Inc. | Video compression using search techniques of long-term reference memory |
| PL2835976T3 (pl) * | 2008-04-16 | 2017-04-28 | Ge Video Compression, Llc | Skalowalność głębi bitowej |
| WO2009131688A2 (en) | 2008-04-25 | 2009-10-29 | Thomson Licensing | Inter-view skip modes with depth |
| WO2009131703A2 (en) | 2008-04-25 | 2009-10-29 | Thomson Licensing | Coding of depth signal |
| CA2727569C (en) * | 2008-06-09 | 2017-09-26 | Vidyo, Inc. | Improved view layout management in scalable video and audio communication systems |
| KR101663819B1 (ko) | 2008-08-20 | 2016-10-10 | 톰슨 라이센싱 | 정제된 깊이 맵 |
| US8660176B2 (en) | 2008-09-26 | 2014-02-25 | Qualcomm Incorporated | Resolving geometric relationships among video data units |
| US8724697B2 (en) | 2008-09-26 | 2014-05-13 | Qualcomm Incorporated | Locating motion vectors for video data units |
| US8634457B2 (en) | 2008-09-26 | 2014-01-21 | Qualcomm Incorporated | Determining availability of video data units |
| US8634456B2 (en) * | 2008-10-03 | 2014-01-21 | Qualcomm Incorporated | Video coding with large macroblocks |
| WO2010043773A1 (en) | 2008-10-17 | 2010-04-22 | Nokia Corporation | Sharing of motion vector in 3d video coding |
| EP2348733A4 (en) | 2008-10-27 | 2012-09-12 | Lg Electronics Inc | METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES |
| KR101590511B1 (ko) | 2009-01-23 | 2016-02-02 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 |
| WO2010090749A1 (en) | 2009-02-06 | 2010-08-12 | Thomson Licensing | Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders |
| TWI468020B (zh) * | 2009-02-19 | 2015-01-01 | Sony Corp | Image processing apparatus and method |
| KR20100095992A (ko) * | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
| CN102804785A (zh) * | 2009-04-13 | 2012-11-28 | 瑞尔D股份有限公司 | 编码、解码和发布增强分辨率的立体视频 |
| WO2012044487A1 (en) * | 2010-10-01 | 2012-04-05 | Dolby Laboratories Licensing Corporation | Optimized filter selection for reference picture processing |
| US8780999B2 (en) * | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
| US8411746B2 (en) | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| EP2265026A1 (en) * | 2009-06-16 | 2010-12-22 | Canon Kabushiki Kaisha | Method and device for deblocking filtering of SVC type video streams during decoding |
| US20100329361A1 (en) | 2009-06-30 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same |
| US8665964B2 (en) | 2009-06-30 | 2014-03-04 | Qualcomm Incorporated | Video coding based on first order prediction and pre-defined second order prediction mode |
| WO2011005624A1 (en) | 2009-07-04 | 2011-01-13 | Dolby Laboratories Licensing Corporation | Encoding and decoding architectures for format compatible 3d video delivery |
| JP5684823B2 (ja) * | 2009-11-06 | 2015-03-18 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | ハイブリッド映像符号化 |
| CN102656885B (zh) * | 2009-12-14 | 2016-01-27 | 汤姆森特许公司 | 合并编码比特流 |
| EP2529184A4 (en) | 2010-01-29 | 2016-03-09 | Nokia Technologies Oy | SYSTEMS, METHODS AND APPARATUSES FOR DELIVERING CONTEXT-BASED NAVIGATION SERVICES |
| US20110194613A1 (en) | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Video coding with large macroblocks |
| US9973768B2 (en) | 2010-03-16 | 2018-05-15 | Texas Instruments Incorporated | CABAC decoder with decoupled arithmetic decoding and inverse binarization |
| US8410959B2 (en) | 2010-04-09 | 2013-04-02 | Qualcomm, Incorporated | Variable length codes for coding of video data |
| EP2375747B1 (en) * | 2010-04-12 | 2019-03-13 | Sun Patent Trust | Filter positioning and selection |
| CN113556563B (zh) | 2010-04-13 | 2024-08-20 | Ge视频压缩有限责任公司 | 显著性图和变换系数块的编码 |
| US9793921B2 (en) | 2010-05-12 | 2017-10-17 | Thomson Licensing Dtv | Methods and apparatus for unified significance map coding |
| US9510009B2 (en) * | 2010-05-20 | 2016-11-29 | Thomson Licensing | Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding |
| US20110296009A1 (en) | 2010-05-27 | 2011-12-01 | Victor Baranov | System and method for wavelets-based adaptive mobile advertising fraud detection |
| US8930562B2 (en) | 2010-07-20 | 2015-01-06 | Qualcomm Incorporated | Arranging sub-track fragments for streaming video data |
| KR20120012385A (ko) * | 2010-07-31 | 2012-02-09 | 오수미 | 인트라 예측 부호화 장치 |
| GB2483294B (en) | 2010-09-03 | 2013-01-02 | Canon Kk | Method and device for motion estimation of video data coded according to a scalable coding structure |
| JP5703781B2 (ja) | 2010-09-03 | 2015-04-22 | ソニー株式会社 | 画像処理装置および方法 |
| US8780991B2 (en) | 2010-09-14 | 2014-07-15 | Texas Instruments Incorporated | Motion estimation in enhancement layers in video encoding |
| US20120075436A1 (en) | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
| CA2811660C (en) * | 2010-10-01 | 2016-08-16 | Research In Motion Limited | Methods and devices for parallel encoding and decoding using a bitstream structured for reduced delay |
| US8923395B2 (en) | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
| US9532059B2 (en) * | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
| US20120082235A1 (en) * | 2010-10-05 | 2012-04-05 | General Instrument Corporation | Coding and decoding utilizing context model selection with adaptive scan pattern |
| US8861617B2 (en) | 2010-10-05 | 2014-10-14 | Mediatek Inc | Method and apparatus of region-based adaptive loop filtering |
| US9525884B2 (en) | 2010-11-02 | 2016-12-20 | Hfi Innovation Inc. | Method and apparatus of slice boundary filtering for high efficiency video coding |
| CN106851320B (zh) | 2010-11-04 | 2020-06-02 | Ge视频压缩有限责任公司 | 数字存储介质、解码比特流的方法 |
| US20120114036A1 (en) | 2010-11-10 | 2012-05-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and Apparatus for Multiview Video Coding |
| US9497472B2 (en) | 2010-11-16 | 2016-11-15 | Qualcomm Incorporated | Parallel context calculation in video coding |
| US9042440B2 (en) | 2010-12-03 | 2015-05-26 | Qualcomm Incorporated | Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding |
| US20120163448A1 (en) | 2010-12-22 | 2012-06-28 | Qualcomm Incorporated | Coding the position of a last significant coefficient of a video block in video coding |
| US20120163456A1 (en) | 2010-12-22 | 2012-06-28 | Qualcomm Incorporated | Using a most probable scanning order to efficiently code scanning order information for a video block in video coding |
| CA2822929C (en) * | 2011-01-04 | 2016-07-12 | Research In Motion Limited | Coding of residual data in predictive compression |
| CA2822925C (en) * | 2011-01-04 | 2017-09-19 | Research In Motion Limited | Coding of residual data in predictive compression |
| US9635382B2 (en) * | 2011-01-07 | 2017-04-25 | Texas Instruments Incorporated | Method, system and computer program product for determining a motion vector |
| GB2487197B (en) * | 2011-01-11 | 2015-06-17 | Canon Kk | Video encoding and decoding with improved error resilience |
| WO2012096164A1 (ja) | 2011-01-12 | 2012-07-19 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
| US8553769B2 (en) * | 2011-01-19 | 2013-10-08 | Blackberry Limited | Method and device for improved multi-layer data compression |
| JP2012149982A (ja) | 2011-01-19 | 2012-08-09 | Fujifilm Corp | 放射線画像撮影用格子ユニット及び放射線画像撮影システム、並びに格子体の製造方法 |
| JP2012169762A (ja) | 2011-02-10 | 2012-09-06 | Sony Corp | 画像符号化装置と画像復号化装置およびその方法とプログラム |
| US9001883B2 (en) | 2011-02-16 | 2015-04-07 | Mediatek Inc | Method and apparatus for slice common information sharing |
| US9288501B2 (en) | 2011-03-08 | 2016-03-15 | Qualcomm Incorporated | Motion vector predictors (MVPs) for bi-predictive inter mode in video coding |
| US9338449B2 (en) | 2011-03-08 | 2016-05-10 | Qualcomm Incorporated | Harmonized scan order for coding transform coefficients in video coding |
| US20120236115A1 (en) * | 2011-03-14 | 2012-09-20 | Qualcomm Incorporated | Post-filtering in full resolution frame-compatible stereoscopic video coding |
| US9071848B2 (en) | 2011-03-15 | 2015-06-30 | Broadcom Corporation | Sub-band video coding architecture for packet based transmission |
| US9247249B2 (en) | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
| CN103597827B (zh) * | 2011-06-10 | 2018-08-07 | 寰发股份有限公司 | 可伸缩视频编码方法及其装置 |
| RU2583040C2 (ru) | 2011-08-30 | 2016-05-10 | Нокиа Текнолоджиз Ой | Устройство, способ и компьютерная программа для кодирования и декодирования видеосигналов |
| WO2013068547A2 (en) | 2011-11-11 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient multi-view coding using depth-map estimate and update |
| WO2013072484A1 (en) | 2011-11-18 | 2013-05-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-view coding with efficient residual handling |
| JP2013110518A (ja) * | 2011-11-18 | 2013-06-06 | Canon Inc | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| WO2013145021A1 (ja) * | 2012-03-30 | 2013-10-03 | 株式会社日立製作所 | 画像復号方法及び画像復号装置 |
| EP2853096A4 (en) * | 2012-05-21 | 2016-07-06 | Mediatek Singapore Pte Ltd | METHOD AND APPARATUS FOR FILTERING BETWEEN LAYERS FOR SCALABLE VIDEO CODING |
| JP2015167267A (ja) * | 2012-07-03 | 2015-09-24 | シャープ株式会社 | 画像復号装置、および画像符号化装置 |
| US9906786B2 (en) | 2012-09-07 | 2018-02-27 | Qualcomm Incorporated | Weighted prediction mode for scalable video coding |
| KR20150038249A (ko) * | 2012-09-28 | 2015-04-08 | 인텔 코포레이션 | 계층간 화소 샘플 예측 |
-
2013
- 2013-10-01 JP JP2015534997A patent/JP6763664B2/ja active Active
- 2013-10-01 KR KR1020207036488A patent/KR102367210B1/ko active IP Right Grant
- 2013-10-01 KR KR1020157011529A patent/KR101835360B1/ko active IP Right Grant
- 2013-10-01 KR KR1020247006906A patent/KR20240034863A/ko active Application Filing
- 2013-10-01 JP JP2015534996A patent/JP6636802B2/ja active Active
- 2013-10-01 KR KR1020157011364A patent/KR20150070205A/ko active Application Filing
- 2013-10-01 WO PCT/EP2013/070492 patent/WO2014053519A1/en active Application Filing
- 2013-10-01 EP EP13770936.6A patent/EP2904783B1/en active Active
- 2013-10-01 KR KR1020247012080A patent/KR20240065272A/ko active Search and Examination
- 2013-10-01 EP EP13773692.2A patent/EP2904786B1/en active Active
- 2013-10-01 WO PCT/EP2013/070490 patent/WO2014053517A1/en active Application Filing
- 2013-10-01 EP EP13773691.4A patent/EP2904785B1/en active Active
- 2013-10-01 KR KR1020227041493A patent/KR102643661B1/ko active IP Right Grant
- 2013-10-01 KR KR1020217002851A patent/KR102379609B1/ko active IP Right Grant
- 2013-10-01 KR KR1020197039023A patent/KR102257542B1/ko active IP Right Grant
- 2013-10-01 KR KR1020157011336A patent/KR102194749B1/ko active IP Right Grant
- 2013-10-01 EP EP13776752.1A patent/EP2904803A1/en not_active Ceased
- 2013-10-01 CN CN201380062694.5A patent/CN105009577B/zh active Active
- 2013-10-01 KR KR1020227009728A patent/KR102503114B1/ko active IP Right Grant
- 2013-10-01 JP JP2015534998A patent/JP6788346B2/ja active Active
- 2013-10-01 KR KR1020217015435A patent/KR102447521B1/ko active IP Right Grant
- 2013-10-01 WO PCT/EP2013/070491 patent/WO2014053518A1/en active Application Filing
- 2013-10-01 WO PCT/EP2013/070484 patent/WO2014053512A1/en active Application Filing
- 2013-10-01 WO PCT/EP2013/070486 patent/WO2014053514A1/en active Application Filing
- 2013-10-01 KR KR1020187005900A patent/KR102063306B1/ko active IP Right Grant
- 2013-10-01 KR KR1020197008139A patent/KR102095504B1/ko active IP Right Grant
- 2013-10-01 KR KR1020187000276A patent/KR102005915B1/ko active IP Right Grant
- 2013-10-01 KR KR1020197021988A patent/KR20190091377A/ko not_active IP Right Cessation
- 2013-10-01 KR KR1020227032879A patent/KR102703618B1/ko active IP Right Grant
- 2013-10-01 EP EP19187886.7A patent/EP3618436A1/en active Pending
- 2013-10-01 KR KR1020227005755A patent/KR102534713B1/ko active IP Right Grant
- 2013-10-01 JP JP2015535000A patent/JP6301933B2/ja active Active
- 2013-10-01 KR KR1020207008700A patent/KR102187179B1/ko active IP Right Grant
- 2013-10-01 CN CN201380062705.XA patent/CN105052134B/zh active Active
- 2013-10-01 KR KR1020247016757A patent/KR20240093824A/ko unknown
- 2013-10-01 KR KR1020237016616A patent/KR102668857B1/ko active IP Right Grant
- 2013-10-01 KR KR1020157011530A patent/KR102211196B1/ko active IP Right Grant
- 2013-10-01 KR KR1020207034470A patent/KR102472484B1/ko active IP Right Grant
- 2013-10-01 EP EP20211111.8A patent/EP3846468A1/en active Pending
- 2013-10-01 EP EP19171218.1A patent/EP3588947A1/en active Pending
- 2013-10-01 CN CN201380062699.8A patent/CN105052133B/zh active Active
- 2013-10-01 KR KR1020247029537A patent/KR20240135883A/ko active Search and Examination
- 2013-10-01 EP EP18210240.0A patent/EP3474546B1/en active Active
- 2013-10-01 EP EP13773689.8A patent/EP2904801B8/en active Active
- 2013-10-01 KR KR1020157011347A patent/KR101835358B1/ko active IP Right Grant
- 2013-10-01 CN CN201380062675.2A patent/CN105052132B/zh active Active
- 2013-10-01 KR KR1020217015529A patent/KR102445274B1/ko active IP Right Grant
- 2013-10-01 EP EP18177341.7A patent/EP3429203A3/en active Pending
- 2013-10-01 CN CN201910341031.6A patent/CN110267035B/zh active Active
- 2013-10-01 KR KR1020187005899A patent/KR101962442B1/ko active IP Right Grant
- 2013-10-01 EP EP22152073.7A patent/EP4054188A1/en active Pending
- 2013-10-01 KR KR1020227031961A patent/KR102657912B1/ko active IP Right Grant
- 2013-10-01 KR KR1020237005915A patent/KR20230031984A/ko not_active Application Discontinuation
- 2013-10-01 CN CN201911194632.5A patent/CN110996100B/zh active Active
- 2013-10-01 JP JP2015534999A patent/JP6301932B2/ja active Active
- 2013-10-01 CN CN201810455061.5A patent/CN108401157B/zh active Active
- 2013-10-01 CN CN201380062701.1A patent/CN104904207B/zh active Active
-
2015
- 2015-03-24 US US14/666,600 patent/US10477210B2/en active Active
- 2015-03-24 US US14/666,634 patent/US10212419B2/en active Active
- 2015-03-24 US US14/666,662 patent/US10218973B2/en active Active
- 2015-03-24 US US14/666,658 patent/US10212420B2/en active Active
- 2015-03-31 US US14/673,908 patent/US10694182B2/en active Active
-
2017
- 2017-10-13 JP JP2017198961A patent/JP6760911B2/ja active Active
- 2017-12-15 JP JP2017240170A patent/JP6693940B2/ja active Active
-
2018
- 2018-06-27 JP JP2018122462A patent/JP7030025B2/ja active Active
- 2018-09-25 US US16/140,796 patent/US10687059B2/en active Active
- 2018-09-26 US US16/142,195 patent/US10694183B2/en active Active
- 2018-10-12 JP JP2018193886A patent/JP6912438B2/ja active Active
- 2018-10-12 JP JP2018193252A patent/JP6912437B2/ja active Active
- 2018-11-05 US US16/180,292 patent/US10681348B2/en active Active
-
2019
- 2019-07-02 US US16/459,940 patent/US11134255B2/en active Active
-
2020
- 2020-04-16 US US16/850,588 patent/US12010334B2/en active Active
- 2020-04-29 US US16/861,540 patent/US11575921B2/en active Active
- 2020-05-05 US US16/867,181 patent/US11589062B2/en active Active
- 2020-05-11 US US16/871,866 patent/US11477467B2/en active Active
- 2020-09-03 JP JP2020148098A patent/JP2020205618A/ja active Pending
-
2021
- 2021-07-08 JP JP2021113490A patent/JP7323577B2/ja active Active
- 2021-07-08 JP JP2021113786A patent/JP7323578B2/ja active Active
- 2021-07-30 JP JP2021125888A patent/JP7284221B2/ja active Active
- 2021-08-25 US US17/412,171 patent/US20210409739A1/en active Pending
-
2022
- 2022-06-23 US US17/847,673 patent/US20220400271A1/en active Pending
-
2023
- 2023-02-03 US US18/164,548 patent/US20230262241A1/en active Pending
- 2023-02-06 US US18/165,318 patent/US20230262242A1/en active Pending
- 2023-05-18 JP JP2023081951A patent/JP2023116468A/ja active Pending
- 2023-07-27 JP JP2023122201A patent/JP2023159095A/ja active Pending
- 2023-07-27 JP JP2023122307A patent/JP2023159098A/ja active Pending
- 2023-09-11 JP JP2023146612A patent/JP2023164991A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007028034A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体 |
| US20070223582A1 (en) * | 2006-01-05 | 2007-09-27 | Borer Timothy J | Image encoding-decoding system and related techniques |
| KR20080094041A (ko) * | 2006-01-11 | 2008-10-22 | 콸콤 인코포레이티드 | 미세 입도 공간 확장성을 가지는 비디오 코딩 |
| KR101962442B1 (ko) * | 2012-10-01 | 2019-03-26 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Non-Patent Citations (1)
| Title |
|---|
| D. Hong, et al. Scalability Support in HEVC. JCT-VC of ITU-T and ISO/IEC. JCTVC-F290 Ver.2, Jul. 13, 2011, pp.1-15* * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102472484B1 (ko) | 향상 레이어 예측에 대한 인터-레이어 예측 기여를 이용한 스케일러블 비디오 코딩 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |