WO2013147495A1 - 스케일러블 비디오 인코딩/디코딩 방법 및 장치 - Google Patents

스케일러블 비디오 인코딩/디코딩 방법 및 장치 Download PDF

Info

Publication number
WO2013147495A1
WO2013147495A1 PCT/KR2013/002500 KR2013002500W WO2013147495A1 WO 2013147495 A1 WO2013147495 A1 WO 2013147495A1 KR 2013002500 W KR2013002500 W KR 2013002500W WO 2013147495 A1 WO2013147495 A1 WO 2013147495A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
filter
prediction
information
reference picture
Prior art date
Application number
PCT/KR2013/002500
Other languages
English (en)
French (fr)
Inventor
김철근
전병문
박승욱
임재현
전용준
박준영
박내리
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013147495A1 publication Critical patent/WO2013147495A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding (SVC).
  • SVC scalable video coding
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • the quality of the image for example, the image quality, the resolution of the image, and the size of the image
  • the present invention provides a method and apparatus for increasing compression efficiency in scalable video encoding / decoding.
  • the present invention provides a method and apparatus for improving inter prediction performance of a difference image used in an inter-layer difference mode.
  • the present invention provides a method and apparatus for effectively performing interpolation of difference images used in an inter-layer difference mode.
  • a scalable video decoding method that applies an inter-layer difference mode to a current block of an enhancement layer.
  • the method includes selecting a reference picture of the current block, generating a differential image of the reference picture, and performing prediction on the current block based on the differential image of the reference picture.
  • the difference image for the reference picture may be generated based on a difference between the reconstruction image of the enhancement layer for the reference picture and the reconstruction image of the base layer for the reference picture.
  • a sub-integer pixel sample may be generated based on filter information applied to the differential image of the reference picture to generate a prediction block corresponding to the current block.
  • a scalable video encoding method for applying an inter-layer difference mode to a current block of an enhancement layer includes selecting a reference picture of the current block, generating a differential image of the reference picture, and performing prediction on the current block based on the differential image of the reference picture.
  • the difference image for the reference picture may be generated based on a difference between the reconstruction image of the enhancement layer for the reference picture and the reconstruction image of the base layer for the reference picture.
  • a sub-integer pixel sample may be generated based on filter information applied to the differential image of the reference picture to generate a prediction block corresponding to the current block.
  • the type of interpolation filter (tap size of filter and filter coefficient) is determined in consideration of the characteristics of the difference image used in the inter-layer difference mode, thereby increasing the accuracy of the prediction block and the motion information. In addition, it is possible to improve prediction performance in the encoding apparatus and the decoding apparatus.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • FIG. 4 is a diagram schematically illustrating an inter-layer difference mode to which the present invention may be applied.
  • FIG. 5 is a diagram schematically illustrating a method of performing intra prediction and inter prediction by applying an inter-layer difference mode according to the present invention.
  • FIG. 6 is a diagram schematically illustrating a method of performing upsampling to generate a quarter pixel unit sample for a luminance component of a reference picture in inter prediction.
  • FIG. 7 illustrates an example of a difference image generated based on a difference between a reconstruction image of an enhancement layer and an image upsampled of a reconstruction image of a base layer when the inter-layer difference mode is applied.
  • FIG. 8 is a flowchart schematically illustrating a method of determining a tap size of a filter according to whether an inter-layer difference mode is applied according to an embodiment of the present invention.
  • FIG. 9 is a flowchart schematically illustrating a method of determining a coefficient of a filter according to whether an inter-layer difference mode is applied according to an embodiment of the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed for each layer.
  • the input signals may have at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165). ).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predtiction (MVP) method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction unit 160 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer) or the like.
  • the PU of the NxN block size may be configured to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as NxmN blocks, mNxN blocks, 2NxmN blocks, or mNx2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction units 110 and 140 may perform prediction on the layer 1 by using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • unit (CU, PU, and / or TU) information of a base layer is derived and used as unit information of an enhancement layer, or based on unit information of a base layer.
  • Unit information of the treatment layer may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • Interlayer motion prediction another example of interlayer prediction, is also called interlayer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit may use inter-layer residual prediction, which predicts the residual of the current layer using residual information of another layer as inter-layer prediction, and performs prediction on the current block in the current layer based on the residual layer.
  • the prediction unit is an interlayer prediction interlayer that performs prediction on the current block in the current layer by using a difference (difference image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the interlayer prediction. Differential prediction may also be performed.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the transform block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization units 115 and 145 may fixedly use a specific transform regardless of the prediction mode and the size of the transform block. For example, the transform / quantization units 115 and 145 may apply only DST to all transform blocks. In addition, the transform / quantization units 115 and 145 may apply only the DCT to all of the transform blocks.
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 160.
  • the transform / quantization units 115 and 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 160.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 145 may omit the transform on a block having a specific prediction method or a specific size block or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 165 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory 245. ) May be included.
  • the decoding unit 250 of the layer 0 includes an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a prediction unit 275, a filtering unit 280, and a memory 285. ) May be included.
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse quantizers 225 and 265 may transfer the entropy decoded residual to the inverse transformers 230 and 270 without dequantizing the entropy decoded residual according to a predetermined condition or a quantization scheme in the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size. For example, the inverse transform units 230 and 270 may apply only inverse DST to all transform blocks. In addition, the inverse transform units 230 and 270 may apply only inverse DCT to all transform blocks.
  • the inverse transformers 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transformers 230 and 270 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the predictor 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 235 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction.
  • inter-layer intra prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the adders 290 and 295 may generate reconstruction blocks using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering units 240 and 280 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed blocks and / or pictures.
  • deblocking filtering sample adaptive offset (SAO)
  • SAO sample adaptive offset
  • ALF ALF
  • the filtering units 240 and 280 may not apply all of the deblocking filter, ALF, and SAO, and may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO.
  • the filtering unit 240 of the layer 1 performs filtering on the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 1. It can also be done.
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • the predictor 300 of layer 1 includes an inter / intra predictor 340 and an interlayer predictor 350.
  • the prediction unit 300 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 350 may receive interlayer prediction information from the prediction unit 320 and / or the filtering unit 330 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1.
  • the inter / intra prediction unit 340 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1 without using the information of the layer 0.
  • the inter / intra predictor 340 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 350.
  • the filtering unit 310 of the layer 1 may perform the filtering based on the information of the layer 1 or may perform the filtering based on the information of the layer 0.
  • Information of the layer 0 may be transferred from the filtering unit 330 of the layer 0 to the filtering unit 310 of the layer 1, or may be transferred from the interlayer prediction unit 350 of the layer 1 to the filtering unit 310 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 350 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the interlayer predictor 350 may include a texture predictor 360, a motion predictor 370, a unit information predictor 380, and a parameter predictor 390.
  • the texture predictor 360 may use the texture of the reference block in the reference layer as a prediction value for the current block of the enhancement layer. In this case, the texture predictor 360 may scale the texture of the reference block by upsampling.
  • the motion predictor 370 may predict the current block of layer 1 (the current layer or the enhancement layer) by using the motion information of the layer 0 (the reference layer or the base layer). In this case, the motion predictor 370 may scale the motion information of the reference layer.
  • the unit information predictor 380 derives unit (CU, PU, and / or TU) information of the base layer and uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • unit (CU, PU, and / or TU) information of the base layer uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • the parameter predictor 390 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the inter-layer prediction unit may further include a sub-prediction unit for performing inter-layer residual prediction and / or a sub-prediction unit for performing inter-layer differential prediction. Inter-layer difference prediction may be performed.
  • the prediction unit 300 may correspond to the prediction unit 110 of FIG. 1, and the filtering unit 310 may include the filtering unit 120 of FIG. 1. It can correspond to.
  • the predictor 320 may correspond to the predictor 140 of FIG. 1
  • the filter 330 may correspond to the filter 150 of FIG. 1.
  • the prediction unit 300 may correspond to the prediction unit 235 of FIG. 2, and the filtering unit 310 is the filtering unit 240 of FIG. 2.
  • the predictor 320 may correspond to the predictor 275 of FIG. 2
  • the filter 330 may correspond to the filter 280 of FIG. 2.
  • inter-layer prediction for predicting information of a current layer using information of another layer may be performed.
  • Inter layer differential prediction may be referred to as inter layer differential picture coding or inter layer differential mode (IL-Diff mode).
  • IL-Diff mode inter layer differential mode
  • inter-layer difference mode inter-layer difference mode
  • the inter-layer difference mode may be performed by the predictor or the inter-layer predictor of FIGS. 1 to 3 described above. For convenience of explanation, it is described here as performed by the prediction unit.
  • the reconstructed picture 410 of the base layer is referred to as R BL
  • the R BL is upsampled according to the resolution of the enhancement layer.
  • the reconstructed image 430 of the enhancement layer is referred to as R EL .
  • the prediction unit may generate a differential picture 440 having a difference value obtained by subtracting the value of the UR BL 420 from the value of the R EL 430. If the difference image 440 is referred to as D, encoding / decoding may be independently performed in a domain of the D images. This method is referred to herein as an interlayer differential mode.
  • the reconstructed image may be an image before applying the in-loop filter.
  • the reconstructed image may be an image after applying some of an in-loop filter, such as a deblocking filter, a sample adaptive offset (SAO) filter, and an adaptive loop filter (ALF).
  • the reconstructed image may be an image after applying all of the in-loop filters.
  • the inter-layer difference mode described above may be applied in a sequence unit, a picture unit, a slice unit, a largest coding unit (Largest CU) unit, a coding unit (CU) unit, or a prediction unit (PU) unit. Can be.
  • a flag indicating whether to use the interlayer differential mode may be transmitted from the encoding apparatus to the decoding apparatus.
  • a single layer coding method may be used without performing coding (encoding / decoding) using other scalability. In this case, since it is not necessary to signal a syntax for indicating whether to perform coding using other scalability, a bit amount can be saved.
  • FIG. 5 is a diagram schematically illustrating a method of performing intra prediction and inter prediction by applying an inter-layer difference mode according to the present invention.
  • the method of FIG. 5 may be performed by the predictor or the interlayer predictor of FIGS. 1 to 3. For convenience of explanation, it is described here as performed by the prediction unit.
  • the picture R EL 530 of the enhancement layer may include a reconstructed region 532 that is already reconstructed based on the current block 535, and an unrestored region 537 that has not yet been reconstructed.
  • a reconstructed image may be obtained.
  • the reconstructed image R BL 510 of the base layer may be upsampled according to the resolution of the enhancement layer. In this case, the upsampled image is referred to as UR BL 520.
  • the prediction unit may acquire the differential image D 540 based on a difference between the reconstructed image R EL 530 and the upsampled image UR BL 520 of the enhancement layer.
  • the difference image D 540 may be derived as in Equation 1 below.
  • the R EL 530 may use an image in which an in-loop filter such as a deblocking filter, SAO, ALF, or the like is not applied due to the existence of the unrestored region 537. Since the reconstructed image R BL 510 of the base layer is in a state where all regions are reconstructed, the R BL 510 may be an image having a deblocking filter, an in-loop filter such as SAO, ALF, or the like applied thereto, or The image may be a state in which a part of the loop filter is applied or may be an image in which the in-loop filter is not applied.
  • an in-loop filter such as a deblocking filter, SAO, ALF, or the like
  • the predictor may perform intra prediction on the current block 545 by referring to pixel values of the reconstructed region 542 that are already reconstructed in the differential image D 540.
  • the prediction unit When decoding the current block 535 by applying the inter-layer difference mode, the prediction unit includes a block P BL 525 in the upsampled image UR BL 520 existing at the same position as the current block 535 to be decoded.
  • the current block 535 may be reconstructed based on the prediction block P D 545 generated by performing intra prediction from the reconstruction region 542 of the difference image D 540.
  • the current block 535 may be derived as shown in Equation 2 below.
  • R EL current_block
  • RES residual information
  • the residual information may be transmitted from the encoding apparatus and includes a residual value information between the prediction block and the original block generated by performing intra prediction on the current block 545 when encoding the differential image D 540. It may be a dual block.
  • the prediction unit In order to perform inter prediction on the current block 535 in the picture R EL 530 of the enhancement layer, the prediction unit generates a differential picture D R for the reference picture. For example, based on a difference between the reconstructed picture of the enhancement layer and the reconstructed picture of the base layer for the reference picture, using at least one of a previous picture or a subsequent picture of the picture R EL 530 to be currently reconstructed as a reference picture. It is possible to generate a differential image D R for.
  • the prediction unit may generate the prediction block P D 545 with respect to the differential image D 540 of the current block 535 by performing inter prediction based on the differential image D R of the reference picture.
  • the prediction unit P D 545 and the current block 535 generated by performing inter prediction on the basis of the differential picture D R for the reference picture. ) May be used to reconstruct the current block 535 using the block P BL 525 in the upsampled image UR BL 520.
  • the current block 535 may be derived as shown in Equation 3 below.
  • R EL current_block
  • RES residual information
  • the residual information may be transmitted from the encoding apparatus and includes a residual value information between the prediction block and the original block generated by performing inter prediction on the current block 545 when encoding the differential image D 540. It may be a dual block.
  • the differential picture D R for the reference picture may be generated in advance and stored in a decoded picture buffer (DPB).
  • the DPB may correspond to the memory described with reference to FIGS. 1 to 3.
  • the differential image D R for the reference picture may be calculated and used every time for a reference block at a position necessary for reconstruction of the current block based on motion information (eg, a motion vector) of the current block.
  • the reconstructed image of the enhancement layer may be a state in which some or all of the in-loop filter such as the deblocking filter, SAO, ALF, etc. is applied. have.
  • prediction may be performed based on at least one picture (reference picture) of a previous picture or a subsequent picture of the current picture to generate a prediction block for the current block.
  • motion information eg, reference picture index, motion vector, information about a prediction mode, etc.
  • the prediction block may be generated based on the prediction block.
  • the prediction block may be generated in an integer pixel unit or may be generated in an integer or less pixel unit.
  • the motion vector may also be derived in integer pixels or sub-integer pixels. Fractional samples with sub-integer pixel information, such as 1 / 2-pixel samples, 1 / 4-pixel samples, etc. are interpolated based on full samples having pixel information of integer units. Can be generated through For example, the luminance component may have sample information in units of 1/4 pixels, and pixel information may be generated in units of 1/4 pixels using an 8-tap interpolation filter.
  • sample information may be included in units of 1/8 pixels, and pixel information may be generated in units of 1/8 pixels using a 4-tap interpolation filter. Therefore, in inter prediction, by generating a subsample of an integer unit or less through interpolation, a reference block more similar to the current block may be selected to increase prediction performance.
  • interpolation can increase pixel samples to improve pixel precision by generating sub-integer (or sub-pel) samples.
  • upsampling may be performed to adjust different resolutions or image sizes between layers. For example, when upsampling is performed on an image of a base layer having a smaller image size or resolution than an enhancement layer, the image of the base layer may be the same as the image size or resolution of the enhancement layer.
  • Such upsampling may be performed by applying interpolation. That is, upsampling may generate sub-integer pixel samples by applying interpolation, which may increase pixel samples and increase image size or resolution.
  • performing upsampling may be a process of performing interpolation.
  • an interpolation filter (or filter) used for interpolation is referred to herein as an upsampling filter.
  • FIG. 6 is a diagram schematically illustrating a method of performing upsampling to generate a quarter pixel unit sample for a luminance component of a reference picture in inter prediction.
  • pixels located in a shaded block represent integer samples, and are displayed without shadow (in lowercase letters).
  • the pixels located at represent partial samples (sub-integer samples).
  • a partial sample of 1/4 pixel units may be generated by applying an 8-tap filter to an area based on one integer sample.
  • upsampling is performed on the region 610 based on the integer sample A 0,0 to generate partial samples a 0,0 to r 0,0 in units of 1/4 pixels.
  • upsampling is performed on the region 610 based on the integer sample A 0,0 to generate partial samples a 0,0 to r 0,0 in units of 1/4 pixels.
  • the partial samples a 0,0 , b 0,0 , c 0,0 , d 0,0 , h 0,0 , n 0 , 0 may be derived as shown in Equation 4 by applying an 8-tap filter to the nearest integer samples.
  • shift1 represents BitDepth Y (bit depth of Y component)-8, and represents the ">>" right shift operator.
  • x >>y refers to shifting the two's complement representation of x arithmetic right by the binary unit y.
  • shift2 represents 6 and ">>" represents a right shift operator.
  • the prediction block when up-sampling is performed on the reference picture to generate sub-integer pixel samples, the prediction block may be generated not only on the integer pixel but also on the sub-integer pixel from the reference picture when the current block is predicted.
  • a motion vector may be derived based on the prediction block, and the motion vector may also be derived in an integer or less pixel unit. Therefore, when a prediction block is generated by upsampling a reference picture when predicting the current block, a prediction block that is more similar to the current block may be generated.
  • motion estimation (ME) and / or motion compensation (MC) are performed using a difference image of a reference picture. Based on this, a prediction block corresponding to the difference image of the current picture may be generated and motion information may be derived.
  • the differential image since the differential image has many values distributed in the DC portion in the frequency domain, when upsampling is performed to generate pixel information of an integer sub-unit for the differential image, performance may decrease.
  • FIG. 7 illustrates an example of a difference image generated based on a difference between a reconstruction image of an enhancement layer and an image upsampled of a reconstruction image of a base layer when the inter-layer difference mode is applied.
  • the difference image 700 has a value close to zero in a portion (dark portion) such as a smooth background.
  • the edge part (white part) has a characteristic that has a large value. Therefore, the difference image 700 may appear different from the normal image in the frequency domain.
  • the differential image 700 may have a larger number of values in the low frequency and / or high frequency portions than the normal image.
  • the type of filter refers to a characteristic of the filter, and may be, for example, the length of the filter, the coefficient of the filter, or the like.
  • the length of the filter is the tap size of the filter, and the coefficient of the filter is the coefficient value to be applied to each tap.
  • FIG. 8 is a flowchart schematically illustrating a method of determining a tap size of a filter according to whether an inter-layer difference mode is applied according to an embodiment of the present invention.
  • the method of FIG. 8 may be performed by the encoding apparatus of FIG. 1 or the decoding apparatus of FIG. 2. In the embodiment of FIG. 8, for convenience of description, the method of FIG. 8 is described as being performed in the encoding apparatus, but the same may be applied to the decoding apparatus.
  • the encoding apparatus may determine whether to apply an inter-layer difference mode (S810). That is, the encoding apparatus may determine whether to perform prediction by applying the inter-layer difference mode to the current block of the enhancement layer.
  • the flag may be inter_layer_Differential_coding_flag. If the interlayer differential mode is applied, the value of inter_layer_Differential_coding_flag may be 1, and if the interlayer differential mode is not applied, the value of inter_layer_Differential_coding_flag may be 0.
  • the encoding apparatus may determine whether to apply the inter-layer difference mode to the current block of the enhancement layer, and signal the determined information to the decoding apparatus in the form of a flag (eg, inter_layer_Differential_coding_flag).
  • the decoding apparatus may perform prediction on the current block of the enhancement layer by using flag (for example, inter_layer_Differential_coding_flag) information indicating whether to apply the inter-layer difference mode. For example, if the value of the flag (for example, inter_layer_Differential_coding_flag) indicating whether to apply the interlayer difference mode is 1, the prediction is performed by applying the interlayer difference mode to the current block of the enhancement layer. If a value of a flag (eg, inter_layer_Differential_coding_flag) indicating whether to apply is 0, another prediction mode may be applied to the current block of the enhancement layer.
  • flag for example, inter_layer_Differential_coding_flag
  • the encoding apparatus may perform upsampling using a tap filter having a size smaller than 8 taps on the differential image of the reference picture to predict the current block. It may be (S820).
  • the encoding apparatus may apply a tap filter having a size smaller than 8 taps to generate a prediction block for the current block and perform motion compensation using the upsampled differential image (ie, the differential image for the reference picture). .
  • the difference image for the reference picture is an enhancement layer for the reference picture using at least one of a previous picture or a subsequent picture of a current block (current picture) of the enhancement layer to be currently reconstructed as a reference picture.
  • the difference image is generated based on a difference between the reconstructed image of the base layer and the reconstructed image of the base layer with respect to the reference picture.
  • the encoding apparatus when the prediction is performed by applying the inter-layer difference mode to the current block of the enhancement layer, the encoding apparatus performs a prediction block on a 1/4 pixel basis through motion prediction on the luminance component of the differential image with respect to the reference picture.
  • the motion vector may be derived in units of 1/4 pixels through motion compensation.
  • performance when a long tap such as an 8-tap filter used in the existing interpolation is applied to the difference image of the reference picture, performance may be degraded due to the frequency characteristics of the difference image as described above.
  • sub-integer pixel samples are generated using a tap filter having a size smaller than 8 taps, for example, a 6 tap or a 4 tap filter, on the differential picture of the reference picture, and inter prediction using the interlayer differential mode on the current block is performed. can do.
  • a tap filter having a size smaller than 8 taps for example, a 6 tap or a 4 tap filter
  • inter prediction using the interlayer differential mode on the current block is performed.
  • the tap size of the filter such as 6 taps, 4 taps, or 2 taps is one example, and the present invention is not limited thereto.
  • the tap filter having a size smaller than 8 taps for the difference image may be applied. .
  • the encoding apparatus performs upsampling using an 8-tap filter on a reference picture of the current block of the enhancement layer to predict the current block. It may be (S830).
  • the encoding apparatus may generate a prediction block for the current block and perform motion compensation by using a reference picture that generates 8 sub-tap filters to generate sub-integer pixel samples.
  • FIG. 9 is a flowchart schematically illustrating a method of determining a coefficient of a filter according to whether an inter-layer difference mode is applied according to an embodiment of the present invention.
  • the method of FIG. 9 may be performed by the encoding apparatus of FIG. 1 or the decoding apparatus of FIG. 2. In the embodiment of FIG. 9, for convenience of description, the method of FIG. 9 is described as being performed in the encoding apparatus, but the same may be applied to the decoding apparatus.
  • the encoding apparatus may determine whether to apply an inter-layer difference mode (S910). That is, the encoding apparatus may determine whether to perform prediction by applying the inter-layer difference mode to the current block of the enhancement layer.
  • S910 inter-layer difference mode
  • the flag may be inter_layer_Differential_coding_flag. If the interlayer differential mode is applied, the value of inter_layer_Differential_coding_flag may be 1, and if the interlayer differential mode is not applied, the value of inter_layer_Differential_coding_flag may be 0.
  • the encoding apparatus may determine whether to apply the interlayer differential mode to the current block of the enhancement layer, and signal the determined information to the decoding apparatus in the form of a flag (eg, inter_layer_Differential_coding_flag).
  • the decoding apparatus may perform prediction on the current block of the enhancement layer by using flag (for example, inter_layer_Differential_coding_flag) information indicating whether to apply the inter-layer difference mode. For example, if the value of the flag (eg, inter_layer_Differential_coding_flag) indicating whether to apply the interlayer differential mode is 1, the interlayer differential mode is applied to the current block of the enhancement layer to perform prediction, and the interlayer differential mode is applied. If a value of a flag (eg, inter_layer_Differential_coding_flag) indicating whether to apply is 0, another prediction mode may be applied to the current block of the enhancement layer.
  • flag for example, inter_layer_Differential_coding_flag
  • the encoding apparatus When the inter-layer difference mode is applied to the current block of the enhancement layer, the encoding apparatus has a predetermined coefficient value generated according to the frequency characteristic of the difference image in the differential image of the reference picture for prediction of the current block. Upsampling may be performed using a filter (S920). In addition, the encoding apparatus may apply a filter having a predetermined coefficient value to generate a prediction block for the current block and perform motion compensation using the upsampled differential image (ie, the differential image for the reference picture).
  • a coefficient value may be generated according to the frequency characteristics of the difference image. For example, one can generate a coefficient value weighted to values in the low band and / or high band.
  • the coefficient of the upsampling filter to be applied to the differential image may be ⁇ -2, 5, -11, 40, 40, -11, 5, -2 ⁇ .
  • the difference image for the reference picture is an enhancement layer for the reference picture using at least one of a previous picture or a subsequent picture of the current block (current picture) of the enhancement layer to be currently reconstructed as a reference picture.
  • the difference image is generated based on a difference between the reconstructed image of the base layer and the reconstructed image of the base layer with respect to the reference picture.
  • filter coefficients having coefficient values weighted to low and / or high band values is one example, and the present invention is not limited thereto. Applicable if the filter is composed of representable coefficient values.
  • the encoding apparatus may determine values of the low band and / or high band in the reference picture for the current block of the enhancement layer for prediction of the current block. Upsampling may be performed using existing filter coefficients having coefficient values that are not given a weight in step S930. In addition, the encoding apparatus may generate a prediction block for the current block and perform motion compensation by using a reference picture that generates sub-integer pixel samples by applying existing filter coefficients.
  • existing filter coefficients i.e. filter coefficients having coefficient values that are not weighted to the values of the low and / or high bands may be equal to ⁇ -1, 4, -11, 40, 40, -11, 4,- 1 ⁇ .
  • the method of determining the tap size of the filter or the coefficient of the filter according to whether the inter-layer difference mode is applied or not has been described.
  • a method of signaling filter information such as a tap size of a filter or a coefficient of a filter used in the differential image when the interlayer difference mode is applied will be described.
  • filter information such as a tap size of a filter and a coefficient of a filter that may be used in the differential image may be configured in the form of a look-up table.
  • the encoding apparatus may transmit, to the decoding apparatus, an index indicating filter information (tap size of a filter, coefficient of a filter, etc.) used for upsampling a differential image on a lookup table.
  • the decoding apparatus may know filter information (tap size of the filter, coefficient of the filter, etc.) used for the difference image in the encoding apparatus by using an index indicating the filter information.
  • Table 1 shows an example of a lookup table used for signaling filter information according to the present invention, and shows information about a tap size of a filter using an index value of the lookup table.
  • the lookup table shown in Table 1 may indicate a filter having a specific tap size using the value of the filter index. For example, if the value of the filter index is '01', the six-tap filter may be indicated. If the value of the filter index is '10', the four-tap filter may be indicated.
  • the six-tap, four-tap, or two-tap interpolation filters shown in Table 1 can be used, for example, by tapping on an 8-tap filter (for luminance components) or a 4-tap filter (for chrominance components) used in interpolation for an existing reference picture. You can adjust the size.
  • the existing 8-tap filter may be configured by using six tabs except for two tabs located at both ends.
  • the existing 8-tap filter can be configured with 4 tabs except for the 4 tabs located at both ends.
  • an indicator indicating filter information for example, Interpolation_filter_indicator to be described later
  • Information about the tap size of the filter eg, an index value of the lookup table indicating the 6-tap filter
  • the encoding apparatus may determine and signal a coefficient value (filter coefficient) to be applied to the tap along with the tap size of the filter.
  • the lookup table of Table 2 may be used to signal the information about the filter coefficients.
  • Table 2 shows another example of a lookup table used for signaling filter information according to the present invention, and shows information about coefficients of a filter using index values of the lookup table.
  • the lookup table shown in Table 2 may indicate a filter having a specific coefficient value using the value of the filter index.
  • the filter coefficient A may be indicated when the value of the filter index is '00'
  • the filter coefficient D may be indicated when the value of the filter index is '11'.
  • filter coefficients A, B, C, and D are predetermined coefficient values.
  • the filter coefficients A, B, C, and D may be coefficient values weighted to values of a low band and / or a high band according to a frequency characteristic of a differential image used when the inter-layer difference mode is applied.
  • Each filter coefficient A, B, C, D is comprised of the number of filter coefficients corresponding to the number of taps of a filter.
  • filter coefficient A may consist of coefficient values weighted to the value of the low band
  • filter coefficient B may consist of coefficient values weighted to the value of the high band
  • Filter coefficient C weights the values of the low and high bands, but may consist of coefficient values that are weighted more in the high band than in the low band
  • filter coefficient D is the weighted coefficient as opposed to filter coefficient C It may also consist of values.
  • filter coefficients A, B, C, and D may consist of eight coefficient values to be applied to an eight tap filter, or a coefficient to be applied to a tap filter of size smaller than eight taps or to a tap filter of size larger than eight taps. It may also consist of values.
  • look-up table shown in Table 1 and Table 2 according to an embodiment of the present invention as described above is one example, the present invention is not limited thereto.
  • the look-up table according to the present invention may be configured in the form of filter information that combines the information about the tap size of the filter as shown in Table 1 and the information about the filter coefficient as shown in Table 2.
  • the filter information shown in Tables 1 and 2 may be stored at a predetermined level in the encoding process.
  • filter information such as information about a tap size of a filter, information about a coefficient of the filter, and the like may be stored in a sequence parameter set, a picture parameter set, a slice header, and the like.
  • Table 3 below schematically shows an example of storing the filter information using a sequence parameter set.
  • Interpolation_filter_indicator indicates filter information used for upsampling. For example, when using the lookup table shown in Table 1, the Interpolation_filter_indicator may indicate the tap size of the filter. When using the lookup table shown in Table 2, the Interpolation_filter_indicator may indicate filter coefficients.
  • the encoding apparatus when performing prediction by applying inter-layer difference mode to the current block of the enhancement layer (for example, when the value of inter_layer_Differential_coding_flag is 1), the encoding apparatus generates a prediction block for the current block and performs motion information.
  • filter information eg, tap size of a filter and filter coefficient
  • the determined filter information may be stored in an Interpolation_filter_indicator and transmitted to the decoding apparatus.
  • the filter information is preconfigured in the form of a lookup table as shown in Table 1 or Table 2, and the indexing device stores an index value indicating a filter to be used when upsampling the differential image from the lookup table through the Interpolation_filter_indicator. Can be sent to.
  • the decoding apparatus may perform upsampling by applying filter information indicated by the Interpolation_filter_indicator.
  • Table 3 the syntax in the case of storing filter information in the sequence parameter set is shown.
  • the present invention may store filter information in a picture parameter set, a slice header, and the like.
  • Interpolation_filter_indicator is used as an indicator indicating filter information used for upsampling, this is one example and another indicator may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 비디오 인코딩/디코딩 방법 및 장치가 개시된다. 스케일러블 비디오 디코딩 방법은 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용할지 여부를 결정하는 단계 및 상기 인터 레이어 차분 모드를 적용할 경우, 상기 현재 블록의 참조 픽처를 선택하고, 상기 참조 픽처에 대한 차분 영상을 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 포함한다.

Description

스케일러블 비디오 인코딩/디코딩 방법 및 장치
본 발명은 비디오 압축 기술에 관한 것으로, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다. 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 에컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명은 스케일러블 비디오 인코딩/디코딩에서 압축 효율을 높이는 방법 및 장치를 제공한다.
본 발명은 인터 레이어 차분 모드에 사용되는 차분 영상의 인터 예측 성능을 향상시키는 방법 및 장치를 제공한다.
본 발명은 인터 레이어 차분 모드에 사용되는 차분 영상의 보간을 효과적으로 수행하는 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하는 스케일러블 비디오 디코딩 방법이 제공된다. 상기 방법은 상기 현재 블록의 참조 픽처를 선택하고, 상기 참조 픽처에 대한 차분 영상을 생성하는 단계 및 상기 참조 픽처에 대한 차분 영상을 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 포함한다.
상기 참조 픽처에 대한 차분 영상은, 상기 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 상기 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성될 수 있다.
상기 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 참조 픽처에 대한 차분 영상에 적용되는 필터 정보를 기반으로 정수 이하 픽셀 샘플을 생성하여 상기 현재 블록에 대응하는 예측 블록을 생성할 수 있다.
본 발명의 다른 양태에 따르면, 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하는 스케일러블 비디오 인코딩 방법이 제공된다. 상기 방법은 상기 현재 블록의 참조 픽처를 선택하고, 상기 참조 픽처에 대한 차분 영상을 생성하는 단계 및 상기 참조 픽처에 대한 차분 영상을 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 포함한다.
상기 참조 픽처에 대한 차분 영상은, 상기 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 상기 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성될 수 있다.
상기 현재 블록에 대한 예측을 수행하는 단계에서는, 상기 참조 픽처에 대한 차분 영상에 적용되는 필터 정보를 기반으로 정수 이하 픽셀 샘플을 생성하여 상기 현재 블록에 대응하는 예측 블록을 생성할 수 있다.
스케일러블 비디오 코딩에서, 인터 레이어 차분 모드에 사용되는 차분 영상의 특성을 고려하여 보간 필터의 종류(필터의 탭 크기, 필터 계수)를 결정함으로써, 예측 블록 및 움직임 정보의 정확도를 높일 수 있다. 또한, 인코딩 장치 및 디코딩 장치에서 예측 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 4는 본 발명이 적용될 수 있는 인터 레이어 차분 모드를 개략적으로 설명하기 위한 도면이다.
도 5는 본 발명에 따라서 인터 레이어 차분 모드를 적용하여 인트라 예측 및 인터 예측을 수행하는 방법을 개략적으로 설명하기 위한 도면이다.
도 6은 인터 예측에서 참조 픽처의 휘도 성분에 대해 1/4 픽셀 단위 샘플을 생성하기 위해 업샘플링을 수행하는 방법을 개략적으로 설명하기 위한 도면이다.
도 7은 인터 레이어 차분 모드를 적용할 경우, 인핸스먼트 레이어의 복원 영상과 베이스 레이어의 복원 영상을 업샘플링한 영상 간의 차이를 기반으로 생성된 차분 영상의 일예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라서 인터 레이어 차분 모드의 적용 여부에 따라 필터의 탭 크기를 결정하는 방법을 개략적으로 나타낸 순서도이다.
도 9는 본 발명의 실시예에 따라서 인터 레이어 차분 모드의 적용 여부에 따라 필터의 계수를 결정하는 방법을 개략적으로 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, '스케일러블 코딩'이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130) 및 MUX(Multiplexer, 165)를 포함한다.
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2Nx2N 블록, 2NxN 블록, Nx2N 블록, 또는 NxN 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2Nx2N 블록 또는 NxN 블록 (N은 정수) 등일 수 있다. 이때, NxN 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, NxmN 블록, mNxN 블록, 2NxmN 블록 또는 mNx2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
또한, 예측부(110, 140)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.
인터 레이어 예측의 일 예로서, 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 다른 예인 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.
인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 예측부는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.
또한, 예측부는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화할 수 있다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 변환 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
또한, 변환/양자화부(115, 145)는 예측 모드와 변환 블록의 크기에 상관없이 특정 변환을 고정적으로 사용할 수도 있다. 예컨대, 변환/양자화부(115, 145)는 모든 변환 블록에 DST만을 적용할 수 있다. 또한, 변환/양자화부(115, 145)는 모든 변환 블록에 DCT만을 적용할 수도 있다.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 160)로 전달할 수 있다. 이때, 변환/양자화부(115, 145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 160)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다.
한편, 변환/양자화부(115, 145)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 145)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 155)는 필터링부(120, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(165)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리(245)를 포함할 수 있다.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 예측부(275), 필터링부(280), 메모리(285)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(225, 265)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(230, 270)에 전달할 수도 있다.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(230, 270)는 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)는 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(230, 270)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(230, 270)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환부(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(235)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.
필터링부(240, 280)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(240, 280)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 2의 예을 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 1의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장차에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 3을 참조하면, 레이어 1의 예측부(300)는 인터/인트라 예측부(340) 및 인터 레이어 예측부(350)를 포함한다.
레이어 1의 예측부(300)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(350)는 레이어 0의 예측부(320) 및/또는 필터링부(330)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(340)는, 레이어 0의 정보를 이용하지 않고, 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(340)는, 인터 레이어 예측부(350)로부터 전달된 정보를 이용하여, 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
아울러, 레이어 1의 필터링부(310)는 레이어 1의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(330)로부터 레이어 1의 필터링부(310)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(350)로부터 레이어 1의 필터링부(310)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(350)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
설명의 편의를 위해, 인터 레이어 예측부(350) 내에서 각 인터 레이어 정보를 예측하는 서브 예측부를 가정하자.
예컨대, 인터 레이어 예측부(350)는 텍스처 예측부(360), 움직임 예측부(370), 유닛 정보 예측부(380), 파라미터 예측부(390)를 포함할 수 있다.
텍스처 예측부(360)는, 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에, 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 텍스처 예측부(360)는 참조 블록의 텍스처를 업샘플링에 의해 스케일링할 수 있다.
움직임 예측부(370)는 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다. 이때, 움직임 예측부(370)는 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
유닛 정보 예측부(380)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
파라미터 예측부(390)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 인터 레이어 예측부는 인터 레이어 레지듀얼 예측을 수행하는 서브 예측부 및/또는 인터 레이어 차분 예측을 수행하는 서브 예측부를 더 포함할 수도 있고, 상술한 서브 예측부들의 조합으로 인터 레이어 레지듀얼 예측, 인터 레이어 차분 예측 등을 수행할 수도 있다.
도 3의 구성이 인코딩 장치의 구성이라고 할 때, 레이어 1에서, 예측부(300)는 도 1의 예측부(110)에 대응할 수 있고, 필터링부(310)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 1의 예측부(140)에 대응할 수 있고, 필터링부(330)는 도 1의 필터링부(150)에 대응할 수 있다.
또한, 도 3의 구성이 디코딩 장치의 구성이라고 한다면, 레이어 1에서, 예측부(300)는 도 2의 예측부(235)에 대응할 수 있고, 필터링부(310)는 도 2의 필터링부(240)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 2의 예측부(275)에 대응할 수 있고, 필터링부(330)는 도 2의 필터링부(280)에 대응할 수 있다.
이처럼, 스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다.
이하, 도면을 참조하여, 인터 레이어 차분 예측(Inter layer differential prediction)에 대하여 구체적으로 설명한다. 인터 레이어 차분 예측은 인터 레이어 차분 픽처 코딩(Inter layer differential picture coding) 또는 인터 레이어 차분 모드(Inter layer differential mode; IL-Diff mode)라고 불릴 수도 있다. 이하, 본 명세서에서는 인터 레이어 차분 모드라고 한다.
도 4는 본 발명이 적용될 수 있는 인터 레이어 차분 모드를 개략적으로 설명하기 위한 도면이다. 인터 레이어 차분 모드는 상술한 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행되는 것으로 설명한다.
도 4를 참조하면, 베이스 레이어(base layer)의 복원 영상(reconstructed picture)(410)을 RBL이라 하고, RBL을 인핸스먼트 레이어(enhancement layer)의 해상도(resolution)에 맞추어 업샘플링(upsampling)한 영상(420)을 URBL이라 하자. 그리고, 인핸스먼트 레이어의 복원 영상(430)을 REL이라 하자. 이때, 예측부는 REL(430)의 값에서 URBL(420)의 값을 뺀 차분 값을 가지는 차분 영상(differential picture)(440)을 생성할 수 있다. 차분 영상(440)을 D라고 하면, D 영상들의 도메인(domain)에서 독립적으로 부호화/복호화를 수행할 수 있다. 이 방법을 본 명세서에서는 인터 레이어 차분 모드라고 한다.
여기서, 복원 영상은 인루프 필터를 적용하기 전의 영상일 수 있다. 또는, 복원 영상은 인루프 필터, 예컨대 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset) 필터, ALF(Adaptive Loop Filter) 중 일부를 적용한 후의 영상일 수도 있다. 또는, 복원 영상은 인루프 필터 전부를 적용한 후의 영상일 수도 있다.
상술한 인터 레이어 차분 모드는 시퀀스 단위, 픽처 단위, 슬라이스 단위, 가장 큰 코딩 유닛(Largest CU; LCU) 단위, 코딩 유닛(Coding Unit; CU) 단위, 또는 예측 유닛(Prediction Unit; PU) 단위에서 적용될 수 있다. 인터 레이어 차분 모드를 적용하고자 하는 처리 단위에서, 인터 레이어 차분 모드를 사용할지 여부를 알려주는 플래그(flag)가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다. 인터 레이어 차분 모드가 적용된 처리 단위에 대해서는, 다른 스케일러빌러티(scalability)를 이용한 코딩(인코딩/디코딩)을 수행하지 않고, 단일 레이어 코딩(single layer coding) 방법을 이용할 수도 있다. 이 경우, 다른 스케일러빌러티를 이용한 코딩을 수행할지 여부를 지시하기 위한 신택스(syntax)를 시그널링하지 않아도 되므로, 비트량을 절약할 수 있다.
도 5는 본 발명에 따라서 인터 레이어 차분 모드를 적용하여 인트라 예측 및 인터 예측을 수행하는 방법을 개략적으로 설명하기 위한 도면이다. 도 5의 방법은 상술한 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행되는 것으로 설명한다.
인터 레이어 차분 모드를 적용하여 인트라 예측(intra prediction)을 수행하는 방법을 설명한다.
인핸스먼트 레이어의 픽처 REL(530)는 현재 블록(535)을 기준으로 이미 복원된 복원 영역(532)과 아직 복원되지 않은 미복원 영역(537)을 포함할 수 있다. 이때, 인핸스먼트 레이어의 픽처 REL(530)에 대한 복원이 완료되면 복원 영상을 획득할 수 있다. 베이스 레이어의 복원 영상 RBL(510)은 인핸스먼트 레이어의 해상도에 맞추어 업샘플링될 수 있다. 이때, 업샘플링된 영상을 URBL(520)이라 하자.
인터 레이어 차분 모드를 적용하여 부호화할 때, 예측부는 인핸스먼트 레이어의 복원 영상 REL(530)과 업샘플링된 영상 URBL(520) 간의 차이를 기반으로 차분 영상 D(540)을 획득할 수 있다. 차분 영상 D(540)은 아래 수학식 1과 같이 유도될 수 있다.
수학식 1
Figure PCTKR2013002500-appb-M000001
여기서, REL(530)은 미복원 영역(537)의 존재로 인해, 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터가 적용되지 않은 상태의 영상을 사용할 수 있다. 베이스 레이어의 복원 영상 RBL(510)은 모든 영역이 복원된 상태이기 때문에, RBL(510)은 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터가 적용된 상태의 영상일 수 있으며, 또는 상기 인루프 필터의 일부가 적용된 상태의 영상일 수도 있으며, 또는 상기 인루프 필터가 적용되지 않은 상태의 영상일 수도 있다.
예측부는 차분 영상 D(540)에서 이미 복원된 복원 영역(542)의 픽셀 값들을 참조하여, 현재 블록(545)에 대해 인트라 예측을 수행할 수 있다.
인터 레이어 차분 모드를 적용하여 현재 블록(535)을 복호화할 때, 예측부는 복호화 하려는 현재 블록(535)과 동일 위치에 존재하는 업샘플링된 영상 URBL(520) 내의 블록 PBL(525)과, 차분 영상 D(540)의 복원 영역(542)으로부터 인트라 예측을 수행하여 생성된 예측 블록 PD(545)을 기반으로 현재 블록(535)을 복원할 수 있다. 현재 블록(535)은 아래 수학식 2와 같이 유도될 수 있다.
수학식 2
Figure PCTKR2013002500-appb-M000002
여기서, REL(current_block)은 인핸스먼트 레이어에서 복원된 현재 블록이고, RES는 레지듀얼 정보이다. 이때, 레지듀얼 정보는 인코딩 장치로부터 전송될 수 있으며, 차분 영상 D(540)의 부호화 시 현재 블록(545)에 대한 인트라 예측을 수행하여 생성된 예측 블록과 원본 블록 간의 잔차값 정보를 포함하는 레지듀얼 블록일 수 있다.
인터 레이어 차분 모드를 적용하여 인터 예측(inter prediction)을 수행하는 방법을 설명한다.
인핸스먼트 레이어의 픽처 REL(530) 내 현재 블록(535)에 대한 인터 예측을 수행하기 위해, 예측부는 참조 픽처에 대한 차분 영상 DR을 생성한다. 예컨대, 현재 복원하려는 픽처 REL(530)의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하여, 참조 픽처에 대한, 인핸스먼트 레이어의 복원 영상과 베이스 레이어의 복원 영상 간의 차이를 기반으로 참조 픽처에 대한 차분 영상 DR을 생성할 수 있다.
예측부는 참조 픽처에 대한 차분 영상 DR을 기반으로 인터 예측을 수행하여, 현재 블록(535)의 차분 영상 D(540)에 대해 예측 블록 PD(545)을 생성할 수 있다.
인터 레이어 차분 모드를 적용하여 현재 블록(535)을 복호화할 때, 예측부는 참조 픽처에 대한 차분 영상 DR을 기반으로 인터 예측을 수행하여 생성된 예측 블록 PD(545)과, 현재 블록(535)과 동일 위치에 존재하는 업샘플링된 영상 URBL(520) 내의 블록 PBL(525)을 이용하여 현재 블록(535)을 복원할 수 있다. 현재 블록(535)은 아래 수학식 3과 같이 유도될 수 있다.
수학식 3
Figure PCTKR2013002500-appb-M000003
여기서, REL(current_block)은 인핸스먼트 레이어에서 복원된 현재 블록이고, RES는 레지듀얼 정보이다. 이때, 레지듀얼 정보는 인코딩 장치로부터 전송될 수 있으며, 차분 영상 D(540)의 부호화 시 현재 블록(545)에 대한 인터 예측을 수행하여 생성된 예측 블록과 원본 블록 간의 잔차값 정보를 포함하는 레지듀얼 블록일 수 있다.
참조 픽처에 대한 차분 영상 DR은 미리 생성되어 DPB(Decoded Picture Buffer)에 저장될 수 있다. DPB는 도 1 내지 도 3에서 설명한 메모리에 대응할 수 있다. 또는, 참조 픽처에 대한 차분 영상 DR은 현재 블록의 움직임 정보(예컨대, 움직임 벡터)를 기초로 현재 블록의 복원을 위해서 필요한 위치의 참조 블록에 대해서 매번 계산하여 사용할 수도 있다.
인터 레이어 차분 모드에 대한 인터 예측에서 참조 픽처에 대한 차분 영상을 생성할 때, 인핸스먼트 레이어의 복원 영상은 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터의 일부 또는 전부가 적용된 상태의 영상일 수 있다.
한편, 인터 예측의 경우, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처(참조 픽처)를 기반으로 예측이 수행되어 현재 블록에 대한 예측 블록이 생성될 수 있다. 예컨대, 예측 대상인 현재 블록에 대하여 움직임 예측을 통해, 참조 픽처로부터 현재 블록에 대응하는 참조 블록을 선택하여 움직임 정보(예를 들어, 참조 픽처 인덱스, 움직임 벡터, 예측 모드에 대한 정보 등)를 유도할 수 있고, 이를 기반으로 예측 블록을 생성할 수 있다.
이때, 예측의 정확도를 높이기 위해서 예측 블록은 정수 픽셀 단위로 생성될 수 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 이하 픽셀 단위로 도출될 수 있다. 1/2 픽셀 단위 샘플, 1/4 픽셀 단위 샘플 등과 같이 정수 이하 단위의 픽셀 정보를 가지는 부분 샘플(fractional sample)은 정수 단위의 픽셀 정보를 가지는 풀 샘플(full sample)을 기반으로 보간(interpolation)을 통해 생성될 수 있다. 예컨대, 휘도 성분의 경우, 1/4 픽셀 단위의 샘플 정보를 가질 수 있으며, 8탭 보간 필터(Interpolation Filter)를 사용하여 1/4 픽셀 단위로 픽셀 정보를 생성할 수 있다. 색차 성분의 경우, 1/8 픽셀 단위의 샘플 정보를 가질 수 있으며, 4탭 보간 필터를 사용하여 1/8 픽셀 단위로 픽셀 정보를 생성할 수 있다. 따라서, 인터 예측 시, 보간을 통해 정수 이하 단위의 부분 샘플을 생성함으로써 현재 블록에 더 유사한 참조 블록을 선택하여 예측 성능을 높일 수 있다.
상술한 바와 같이, 보간(interpolation)은 정수 이하 픽셀(또는, 서브-펠; sub-pel) 샘플을 생성함으로써 픽셀 샘플이 증가하여 픽셀 정밀도를 향상시킬 수 있다. 한편, 스케일러블 코딩에서는, 레이어 간의 서로 다른 해상도 또는 영상 크기를 조절하기 위해서 업샘플링(up sampling)을 수행할 수 있다. 예컨대, 인핸스먼트 레이어보다 작은 영상 크기 또는 해상도를 가지는 베이스 레이어의 영상에 업샘플링을 수행하게 되면, 베이스 레이어의 영상은 인핸스먼트 레이어의 영상 크기 또는 해상도와 동일해질 수 있다. 이러한 업샘플링은 보간을 적용함으로써 수행될 수 있다. 즉, 업샘플링은 보간을 적용함으로써 정수 이하 픽셀 샘플을 생성할 수 있으며, 이로 인해 픽셀 샘플이 증가하여 영상의 크기 또는 해상도가 증가될 수 있다.
따라서, 본 명세서에서 업샘플링을 수행한다고 함은 보간을 수행하는 과정일 수 있다. 또한, 보간을 위해 사용되는 보간 필터(혹은 필터)를 본 명세서에서는 업샘플링 필터라고 한다.
도 6은 인터 예측에서 참조 픽처의 휘도 성분에 대해 1/4 픽셀 단위 샘플을 생성하기 위해 업샘플링을 수행하는 방법을 개략적으로 설명하기 위한 도면이다.
도 6을 참조하면, 2차원 어레이로 구성된 참조 픽처 내 픽셀들(600) 중에서, 음영으로 표시(대문자로 표기)된 블록에 위치한 픽셀들은 정수 샘플을 나타내고, 음영 없이 표시(소문자로 표기)된 블록에 위치한 픽셀들은 부분 샘플(정수 이하 단위 샘플)을 나타낸다. 이때, 하나의 정수 샘플을 기준으로 하는 영역에 8탭 필터를 적용하여 1/4 픽셀 단위의 부분 샘플을 생성할 수 있다.
이하, 설명의 편의를 위해 정수 샘플 A0,0을 기준으로 하는 영역(610)에 대해서 업샘플링을 수행하여 1/4 픽셀 단위의 부분 샘플들(a0,0 ~ r0,0)을 생성하는 과정에 대해 설명한다.
예를 들어, 정수 샘플(Ai,j)에 대한 픽셀 값을 알고 있을 경우, 부분 샘플 a0,0, b0,0, c0,0, d0,0, h0,0, n0,0은 가장 근접한 정수 샘플들에 8탭 필터를 적용하여 아래 수학식 4와 같이 도출될 수 있다.
수학식 4
Figure PCTKR2013002500-appb-M000004
Figure PCTKR2013002500-appb-I000001
Figure PCTKR2013002500-appb-I000002
Figure PCTKR2013002500-appb-I000003
Figure PCTKR2013002500-appb-I000004
Figure PCTKR2013002500-appb-I000005
여기서, shift1은 BitDepthY(Y 컴포넌트의 비트 깊이) - 8을 나타내고, ">>"우측 시프트 연산자를 나타낸다. 예컨대, "x >> y"는 x의 2의 보수 표현을 이진수 단위 y만큼 산술적으로 우측으로 이동하는 것을 말한다.
또한, 정수 샘플에 위치한 픽셀들에 대한 픽셀 값을 알고 있을 경우, 부분 샘플 e0,0, i0,0, p0,0, f0,0, j0,0, q0,0, g0,0, k0,0, r0,0은 수직 방향에 있는 샘플들 a0,i, b0,i, c0,i(여기서, i = -3, -2, …, 4)에 8탭 필터를 적용하여 아래 수학식 5와 같이 도출될 수 있다.
수학식 5
Figure PCTKR2013002500-appb-M000005
Figure PCTKR2013002500-appb-I000006
Figure PCTKR2013002500-appb-I000007
Figure PCTKR2013002500-appb-I000008
Figure PCTKR2013002500-appb-I000009
Figure PCTKR2013002500-appb-I000010
Figure PCTKR2013002500-appb-I000011
Figure PCTKR2013002500-appb-I000012
Figure PCTKR2013002500-appb-I000013
여기서, shift2는 6을 나타내고, ">>"는 우측 시프트 연산자를 나타낸다.
상술한 수학식 4 및 5와 같은 방법을 통해 정수 샘플 Ai,j의 인근 영역에 있는 1/4 픽셀 단위의 부분 샘플들을 산출하는 경우에도 동일하게 적용할 수 있다.
상술한 바와 같이 참조 픽처에 업샘플링을 수행하여 정수 이하 픽셀 샘플들을 생성하게 되면, 현재 블록에 대한 예측 시 참조 픽처로부터 정수 픽셀 단위뿐만 아니라 정수 이하 픽셀 단위로 예측 블록을 생성할 수 있다. 그리고, 예측 블록을 기반으로 움직임 벡터를 유도할 수 있으며, 움직임 벡터 역시 정수 이하 픽셀 단위로 유도될 수 있다. 따라서, 현재 블록에 대한 예측 시 참조 픽처에 업샘플링을 수행하여 예측 블록을 생성하면 현재 블록에 더 유사한 예측 블록을 생성할 수 있다.
한편, 상술한 바와 같이 인터 레이어 차분 모드를 적용하여 인터 예측을 수행하는 경우, 참조 픽처에 대한 차분 영상을 이용하여 움직임 예측(Motion Estimation; ME) 및/또는 움직임 보상(Motion Compensation; MC)을 수행하고, 이를 기반으로 현재 픽처의 차분 영상에 대응하는 예측 블록을 생성할 수 있고 움직임 정보를 유도할 수 있다. 이때, 차분 영상은 주파수 영역에서 DC 부분에 많은 값들이 분포하기 때문에, 차분 영상에 대해 정수 이하 단위의 픽셀 정보를 생성하기 위해 업샘플링을 수행하게 되면 성능이 저하되는 경우가 발생할 수 있다.
도 7은 인터 레이어 차분 모드를 적용할 경우, 인핸스먼트 레이어의 복원 영상과 베이스 레이어의 복원 영상을 업샘플링한 영상 간의 차이를 기반으로 생성된 차분 영상의 일예를 나타낸 도면이다.
도 7을 참조하면, 차분 영상(700)은 평활한 배경과 같은 부분(어두운 부분)에서는 0에 가까운 값을 갖게 된다. 반면, 에지(edge)가 있는 부분(흰색 부분)에서는 큰 값을 갖는 특징이 있다. 따라서, 차분 영상(700)은 주파수 영역에서의 특징이 보통 영상과는 다르게 나타날 수 있다. 예컨대, 차분 영상(700)은 보통 영상에 비해, 저주파 및/또는 고주파 부분에 많은 값들이 분포하게 될 수 있다.
상술한 바와 같이, 인터 레이어 차분 모드를 적용할 경우 차분 영상을 이용하여 예측이 수행되기 때문에, 보통 영상과 주파수 특징이 다르게 나타나는 차분 영상에 업샘플링을 수행하여 예측 블록을 생성할 경우 예측의 정확도가 감소되는 경우가 발생할 수 있다. 따라서, 인터 레이어 차분 모드를 적용하여 예측할 경우 차분 영상의 특성을 고려할 필요가 있다. 즉, 인터 레이어 차분 모드의 적용 여부에 따라 업샘플링에 사용되는 필터의 종류를 결정하여 업샘플링을 수행할 필요가 있다. 여기서, 필터의 종류는 필터의 특징을 말하는 것으로, 예컨대 필터의 길이, 필터의 계수 등일 수 있다. 필터의 길이는 필터의 탭 크기를 말하며, 필터의 계수는 각 탭에 적용할 계수 값을 말한다.
이하, 인터 레이어 차분 모드의 적용 여부에 따라 업샘플링에 사용되는 필터의 탭 크기, 필터의 계수를 결정하는 방법의 실시예들에 대해 설명한다.
도 8은 본 발명의 실시예에 따라서 인터 레이어 차분 모드의 적용 여부에 따라 필터의 탭 크기를 결정하는 방법을 개략적으로 나타낸 순서도이다.
도 8의 방법은 상술한 도 1의 인코딩 장치 또는 도 2의 디코딩 장치에서 수행될 수 있다. 도 8의 실시예에서는 설명의 편의를 위해 도 8의 방법이 인코딩 장치에서 수행되는 것으로 설명하나, 이는 디코딩 장치에서도 동일하게 적용될 수 있다.
도 8을 참조하면, 인코딩 장치는 인터 레이어 차분 모드를 적용할지 여부를 결정할 수 있다(S810). 즉, 인코딩 장치는 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하여 예측을 수행할지 여부를 결정할 수 있다.
인터 레이어 차분 모드를 적용할지 여부에 대한 정보는 플래그를 이용하여 나타낼 수 있다. 예컨대, 상기 플래그는 inter_layer_Differential_coding_flag일 수 있다. 만일, 인터 레이어 차분 모드를 적용하는 경우 inter_layer_Differential_coding_flag의 값은 1일 수 있고, 인터 레이어 차분 모드를 적용하지 않는 경우 inter_layer_Differential_coding_flag의 값은 0일 수 있다.
예를 들어, 인코딩 장치는 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용할지 여부를 결정하고, 상기 결정된 정보를 플래그(예를 들어, inter_layer_Differential_coding_flag) 형태로 디코딩 장치에 시그널링할 수 있다. 디코딩 장치는 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag) 정보를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다. 예컨대, 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag)의 값이 1이면 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하여 예측을 수행하고, 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag)의 값이 0이면 인핸스먼트 레이어의 현재 블록에 대해 다른 예측 모드를 적용할 수 있다.
인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용할 경우, 인코딩 장치는 현재 블록에 대한 예측을 위해 참조 픽처에 대한 차분 영상에 8탭보다 작은 크기의 탭 필터를 사용하여 업샘플링을 수행할 수 있다(S820). 그리고, 인코딩 장치는 8탭보다 작은 크기의 탭 필터를 적용하여 업샘플링된 차분 영상(즉, 참조 픽처에 대한 차분 영상)을 이용하여 현재 블록에 대한 예측 블록을 생성하고 움직임 보상을 수행할 수 있다.
여기서, 참조 픽처에 대한 차분 영상은, 상술한 바와 같이, 현재 복원하려는 인핸스먼트 레이어의 현재 블록(현재 픽처)의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하여, 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성된 차분 영상을 말한다.
예를 들어, 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를적용하여 예측 수행 시, 인코딩 장치는 참조 픽처에 대한 차분 영상의 휘도 성분에 대하여 움직임 예측을 통해 1/4 픽셀 단위로 예측 블록을 생성할 수 있으며, 움직임 보상을 통해 1/4 픽셀 단위로 움직임 벡터를 유도할 수도 있다. 이때, 참조 픽처에 대한 차분 영상에 기존 보간 수행 시 사용되는 8탭 필터와 같이 긴 탭을 적용할 경우, 상술한 바와 같이 차분 영상의 주파수 특징으로 인해 성능이 저하될 수 있다. 따라서, 참조 픽처에 대한 차분 영상에 8탭보다 작은 크기의 탭 필터, 예컨대 6탭 혹은 4탭 필터를 사용하여 정수 이하 픽셀 샘플들을 생성하여, 현재 블록에 대한 인터 레이어 차분 모드를 적용한 인터 예측을 수행할 수 있다. 물론, 6탭 혹은 4탭보다 더 작은 크기, 예컨대 2탭 필터를 사용할 수도 있다.
본 실시예에서 6탭, 4탭, 또는 2탭 등과 같은 필터의 탭 크기는 하나의 예시로, 본 발명이 이에 한정되는 것은 아니며, 차분 영상에 대해 8탭보다 작은 크기의 탭 필터이면 적용 가능하다.
인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하지 않을 경우, 인코딩 장치는 현재 블록에 대한 예측을 위해, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처에 8탭 필터를 사용하여 업샘플링을 수행할 수 있다(S830). 그리고, 인코딩 장치는 8탭 필터를 적용하여 정수 이하 픽셀 샘플들을 생성한 참조 픽처를 이용하여 현재 블록에 대한 예측 블록을 생성하고 움직임 보상을 수행할 수 있다.
도 9는 본 발명의 실시예에 따라서 인터 레이어 차분 모드의 적용 여부에 따라 필터의 계수를 결정하는 방법을 개략적으로 나타낸 순서도이다.
도 9의 방법은 상술한 도 1의 인코딩 장치 또는 도 2의 디코딩 장치에서 수행될 수 있다. 도 9의 실시예에서는 설명의 편의를 위해 도 9의 방법이 인코딩 장치에서 수행되는 것으로 설명하나, 이는 디코딩 장치에서도 동일하게 적용될 수 있다.
도 9를 참조하면, 인코딩 장치는 인터 레이어 차분 모드를 적용할지 여부를 결정할 수 있다(S910). 즉, 인코딩 장치는 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하여 예측을 수행할지 여부를 결정할 수 있다.
인터 레이어 차분 모드를 적용할지 여부에 대한 정보는 플래그를 이용하여 나타낼 수 있다. 예컨대, 상기 플래그는 inter_layer_Differential_coding_flag일 수 있다. 만일, 인터 레이어 차분 모드를 적용하는 경우 inter_layer_Differential_coding_flag의 값은 1일 수 있고, 인터 레이어 차분 모드를 적용하지 않는 경우 inter_layer_Differential_coding_flag의 값은 0일 수 있다.
예를 들어, 인코딩 장치는 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용할지 여부를 결정하고, 상기 결정된 정보를 플래그(예를 들어, inter_layer_Differential_coding_flag) 형태로 디코딩 장치에 시그널링할 수 있다. 디코딩 장치는 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag) 정보를 이용하여 인핸스먼트 레이어의 현재 블록에 대한 예측을 수행할 수 있다. 예컨대, 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag)의 값이 1이면 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하여 예측을 수행하고, 인터 레이어 차분 모드를 적용할지 여부를 나타내는 플래그(예를 들어, inter_layer_Differential_coding_flag)의 값이 0이면 인핸스먼트 레이어의 현재 블록에 대해 다른 예측 모드를 적용할 수 있다.
인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용할 경우, 인코딩 장치는 현재 블록에 대한 예측을 위해 참조 픽처에 대한 차분 영상에, 차분 영상의 주파수 특성에 맞춰서 생성된 소정의 계수 값을 가지는 필터를 사용하여 업샘플링을 수행할 수 있다(S920). 그리고, 인코딩 장치는 소정의 계수 값을 가지는 필터를 적용하여 업샘플링된 차분 영상(즉, 참조 픽처에 대한 차분 영상)을 이용하여 현재 블록에 대한 예측 블록을 생성하고 움직임 보상을 수행할 수 있다.
차분 영상은 상술한 바와 같이 저주파 및/또는 고주파 부분에 많은 값들이 분포하기 때문에, 이러한 차분 영상의 주파수 특성에 맞춰서 계수 값을 생성할 수 있다. 예컨대, 저역대역 및/또는 고역대역의 값들에 가중치가 주어진 계수 값을 생성할 수 있다. 일예로, 차분 영상에 적용될 업샘플링 필터의 계수는 {-2, 5, -11, 40, 40, -11, 5, -2}일 수 있다.
여기서, 참조 픽처에 대한 차분 영상은, 상술한 바와 같이, 현재 복원하려는 인핸스먼트 레이어의 현재 블록(현재 픽처)의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하여, 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성된 차분 영상을 말한다.
본 실시예에서 저역대역 및/또는 고역대역의 값들에 가중치가 주어진 계수 값을 가지는 필터 계수를 사용하는 것은 하나의 예시로, 본 발명이 이에 한정되는 것은 아니며, 차분 영상에 대해 보다 향상된 예측 성능을 나타낼 수 있는 계수 값으로 이루어진 필터이면 적용 가능하다.
인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하지 않을 경우, 인코딩 장치는 현재 블록에 대한 예측을 위해, 인핸스먼트 레이어의 현재 블록에 대한 참조 픽처에, 저역대역 및/또는 고역대역의 값들에 가중치가 주어지지 않은 계수 값을 가지는 기존의 필터 계수를 사용하여 업샘플링을 수행할 수 있다(S930). 그리고, 인코딩 장치는 기존의 필터 계수를 적용하여 정수 이하 픽셀 샘플들을 생성한 참조 픽처를 이용하여 현재 블록에 대한 예측 블록을 생성하고 움직임 보상을 수행할 수 있다.
일예로, 기존의 필터 계수, 즉 저역대역 및/또는 고역대역의 값들에 가중치가 주어지지 않은 계수 값을 가지는 필터 계수는 {-1, 4, -11, 40, 40, -11, 4, -1}일 수 있다.
상술한 도 8 및 도 9의 실시예에서는 인터 레이어 차분 모드의 적용 여부에 따라 필터의 탭 크기 또는 필터의 계수를 결정하는 방법에 대해 설명하였다. 이하, 인터 레이어 차분 모드를 적용할 경우 차분 영상에 사용되는 필터의 탭 크기 또는 필터의 계수와 같은 필터 정보를 시그널링하는 방법에 대해 설명한다.
상술한 바와 같이, 인터 레이어 차분 모드를 적용할 경우 차분 영상에 사용될 수 있는 필터의 탭 크기, 필터의 계수 등과 같은 필터 정보는 룩업 테이블(Look-up table) 형태로 구성될 수 있다.
예컨대, 인코딩 장치는 룩업 테이블 상에서, 차분 영상의 업샘플링 시 사용되는 필터 정보(필터의 탭 크기, 필터의 계수 등)를 지시하는 인덱스를 디코딩 장치로 전송할 수 있다. 디코딩 장치는 필터 정보를 지시하는 인덱스를 이용하여 인코딩 장치에서 차분 영상에 대해 사용된 필터 정보(필터의 탭 크기, 필터의 계수 등)를 알 수 있다.
표 1은 본 발명에 따라서 필터 정보를 시그널링 하는데 사용되는 룩업 테이블의 일예를 나타내며, 룩업 테이블의 인덱스 값을 이용하여 필터의 탭 크기에 대한 정보를 나타낸다.
표 1
Figure PCTKR2013002500-appb-T000001
표 1에 도시된 룩업 테이블은 필터 인덱스의 값을 이용하여 특정 탭 크기를 가지는 필터를 지시할 수 있다. 예컨대, 필터 인덱스의 값이 '01'이면 6탭 필터를 지시할 수 있고, 필터 인덱스의 값이 '10'이면 4탭 필터를 지시할 수 있다.
표 1에 도시된 6탭, 4탭, 또는 2탭 보간 필터는, 예컨대 기존의 참조 픽처에 대한 보간 시 사용되는 8탭 필터(휘도 성분의 경우) 또는 4탭 필터(색차 성분의 경우)에서 탭 크기를 조정하여 사용할 수 있다. 예를 들어, 표 1에 도시된 6탭 필터의 경우, 기존의 8탭 필터에서 양쪽 끝에 위치한 2개의 탭을 제외한 가운데 6개의 탭으로 구성하여 사용할 수 있다. 4탭 필터의 경우에도 기존의 8탭 필터에서 양쪽 끝 부분에 위치한 4개의 탭을 제외한 가운데 4개의 탭으로 구성하여 사용할 수 있다.
만일, 인코딩 장치에서 인터 레이어 차분 모드 적용 시, 차분 영상에 8탭보다 작은 크기의 필터(예컨대, 6탭 필터)를 사용하여 업샘플링을 할 경우, 필터 정보를 지시하는 지시자(예컨대, 후술할 Interpolation_filter_indicator)에 필터의 탭 크기에 대한 정보(예컨대, 6탭 필터를 지시하는 룩업 테이블의 인덱스 값)를 저장하여 시그널링할 수 있다. 이때, 인코딩 장치에서는 필터의 탭 크기와 함께 탭에 적용될 계수 값(필터 계수)을 결정하여 시그널링할 수도 있다. 예컨대, 표 2의 룩업 테이블을 이용하여 필터 계수에 대한 정보를 함께 시그널링할 수 있다.
표 2는 본 발명에 따라서 필터 정보를 시그널링 하는데 사용되는 룩업 테이블의 다른 예를 나타내며, 룩업 테이블의 인덱스 값을 이용하여 필터의 계수에 대한 정보를 나타낸다.
표 2
Figure PCTKR2013002500-appb-T000002
표 2에 도시된 룩업 테이블은 필터 인덱스의 값을 이용하여 특정 계수 값을 가지는 필터를 지시할 수 있다. 예컨대, 필터 인덱스의 값이 '00'이면 필터 계수 A를 지시할 수 있고, 필터 인덱스의 값이 '11'이면 필터 계수 D를 지시할 수 있다.
여기서, 필터 계수 A, B, C, D는 소정의 계수 값들이다. 예컨대, 필터 계수 A, B, C, D는 인터 레이어 차분 모드를 적용할 경우 사용되는 차분 영상에 대한 주파수 특성에 맞추어 저역대역 및/또는 고역대역의 값들에 가중치가 주어진 계수 값들일 수 있다. 각 필터 계수 A, B, C, D는 필터의 탭수에 대응하는 개수의 필터 계수로 구성된다.
일예로, 필터 계수 A는 저역대역의 값에 가중치가 주어진 계수 값들로 이루어질 수 있고, 필터 계수 B는 고역대역의 값에 가중치가 주어진 계수 값들로 이루어질 수도 있다. 필터 계수 C는 저역대역과 고역대역의 값들에 가중치를 부여하되, 저역대역보다 고역대역에 더 많은 가중치가 부여된 계수 값들로 이루어질 수 있고, 필터 계수 D는 필터 계수 C와 반대로 가중치가 부여된 계수 값들로 이루어질 수도 있다.
또한, 필터 계수 A, B, C, D는 8탭 필터에 적용할 8개의 계수 값들로 구성될 수도 있고, 또는 8탭보다 작은 크기의 탭 필터 혹은 8탭 보다 큰 크기의 탭 필터에 적용할 계수 값들로 구성될 수도 있다.
상술한 바와 같은 본 발명의 실시예에 따른 상기 표 1 및 상기 표 2에 도시된 룩업 테이블은 하나의 예시로, 본 발명이 이에 한정되는 것은 아니다. 또한, 본 발명에 따른 룩업 테이블은 상기 표 1에서와 같은 필터의 탭 크기에 관한 정보와 상기 표 2에서와 같은 필터 계수에 관한 정보를 조합한 필터 정보로 구성된 형태일 수도 있다.
한편, 상기 표 1 및 표 2에 도시된 필터 정보는 부호화 과정에서 소정의 레벨에 저장될 수 있다. 예컨대, 필터의 탭 크기에 대한 정보, 필터의 계수에 대한 정보 등과 같은 필터 정보는 시퀀스 파라미터 세트, 픽처 파라미터 세트, 슬라이스 헤더 등에 저장될 수 있다. 아래 표 3은 시퀀스 파라미터 세트를 이용하여 상기 필터 정보를 저장하는 경우의 일예를 개략적으로 나타낸 것이다.
표 3
Figure PCTKR2013002500-appb-T000003
표 3을 참조하면, Interpolation_filter_indicator는 업샘플링에 사용되는 필터 정보를 지시한다. 예컨대, 상기 표 1과 같은 룩업 테이블을 이용할 경우, Interpolation_filter_indicator는 필터의 탭 크기를 지시할 수 있다. 상기 표 2와 같은 룩업 테이블을 이용할 경우, Interpolation_filter_indicator는 필터 계수를 지시할 수 있다.
일예로, 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하여 예측을 수행할 경우(예컨대, inter_layer_Differential_coding_flag의 값이 1일 경우), 인코딩 장치는 현재 블록에 대한 예측 블록을 생성하고 움직임 정보를 유도하기 위해, 참조 픽처에 대한 차분 영상에 업샘플링 시 사용할 필터 정보(예컨대, 필터의 탭 크기, 필터 계수)를 결정하고, 상기 결정된 필터 정보를 Interpolation_filter_indicator에 저장하여 디코딩 장치로 전송할 수 있다. 예컨대, 필터 정보를 상기 표 1 또는 상기 표 2와 같은 룩업 테이블 형태로 미리 구성하여, 인코딩 장치가 룩업 테이블에서 상기 차분 영상에 업샘플링 시 사용할 필터를 지시하는 인덱스 값을 Interpolation_filter_indicator를 통해 저장하여 디코딩 장치로 전송할 수 있다. 디코딩 장치는 Interpolation_filter_indicator가 지시하는 필터 정보를 적용하여 업샘플링을 수행할 수 있다.
상기 표 3에서는 시퀀스 파라미터 세트에서 필터 정보를 저장하는 경우의 신택스를 나타냈으나, 이는 하나의 예시로서, 본 발명에서는 픽처 파라미터 세트, 슬라이스 헤더 등에 필터 정보를 저장할 수도 있다. 또한, 업샘플링에 사용되는 필터 정보를 지시하는 지시자로 Interpolation_filter_indicator를 사용하였으나, 이는 하나의 예시이며, 다른 지시자를 이용할 수도 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (14)

  1. 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하는 스케일러블 비디오 디코딩 방법으로서,
    상기 현재 블록의 참조 픽처를 선택하고, 상기 참조 픽처에 대한 차분 영상을 생성하는 단계; 및
    상기 참조 픽처에 대한 차분 영상을 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 참조 픽처에 대한 차분 영상은, 상기 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 상기 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성되며,
    상기 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 참조 픽처에 대한 차분 영상에 적용되는 필터 정보를 기반으로 정수 이하 픽셀 샘플을 생성하여 상기 현재 블록에 대응하는 예측 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  2. 제1항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터의 탭 크기에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  3. 제1항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터 계수에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  4. 제1항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터의 탭 크기에 관한 정보 및 필터 계수에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  5. 제2항에 있어서,
    상기 필터의 탭 크기는 8탭보다 작은 크기인 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  6. 제3항에 있어서,
    상기 필터 계수는 주파수 대역에 대해 저역대역 및 고역대역의 값들 중 적어도 하나의 대역 값에 가중치가 주어진 계수 값들으로 이루어진 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  7. 제1항에 있어서,
    상기 필터 정보는 소정의 필터 집합에서 상기 참조 픽처에 대한 차분 영상에 적용되는 필터를 지시하는 인덱스인 것을 특징으로 하는 스케일러블 비디오 디코딩 방법.
  8. 인핸스먼트 레이어의 현재 블록에 대해 인터 레이어 차분 모드를 적용하는 스케일러블 비디오 인코딩 방법으로서,
    상기 현재 블록의 참조 픽처를 선택하고, 상기 참조 픽처에 대한 차분 영상을 생성하는 단계; 및
    상기 참조 픽처에 대한 차분 영상을 기반으로 상기 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 참조 픽처에 대한 차분 영상은, 상기 참조 픽처에 대한 인핸스먼트 레이어의 복원 영상과 상기 참조 픽처에 대한 베이스 레이어의 복원 영상 간의 차이를 기반으로 생성되며,
    상기 현재 블록에 대한 예측을 수행하는 단계에서는,
    상기 참조 픽처에 대한 차분 영상에 적용되는 필터 정보를 기반으로 정수 이하 픽셀 샘플을 생성하여 상기 현재 블록에 대응하는 예측 블록을 생성하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  9. 제8항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터의 탭 크기에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  10. 제8항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터 계수에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  11. 제8항에 있어서,
    상기 필터 정보는 상기 참조 픽처에 대한 차분 영상에 적용되는 필터의 탭 크기에 관한 정보 및 필터 계수에 관한 정보를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  12. 제9항에 있어서,
    상기 필터의 탭 크기는 8탭보다 작은 크기인 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  13. 제10항에 있어서,
    상기 필터 계수는 주파수 대역에 대해 저역대역 및 고역대역의 값들 중 적어도 하나의 대역 값에 가중치가 주어진 계수 값들으로 이루어진 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
  14. 제8항에 있어서,
    상기 필터 정보는 소정의 필터 집합에서 상기 참조 픽처에 대한 차분 영상에 적용되는 필터를 지시하는 인덱스인 것을 특징으로 하는 스케일러블 비디오 인코딩 방법.
PCT/KR2013/002500 2012-03-26 2013-03-26 스케일러블 비디오 인코딩/디코딩 방법 및 장치 WO2013147495A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261615368P 2012-03-26 2012-03-26
US61/615,368 2012-03-26

Publications (1)

Publication Number Publication Date
WO2013147495A1 true WO2013147495A1 (ko) 2013-10-03

Family

ID=49260676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002500 WO2013147495A1 (ko) 2012-03-26 2013-03-26 스케일러블 비디오 인코딩/디코딩 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2013147495A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820008B2 (en) 2015-09-25 2020-10-27 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10834416B2 (en) 2015-09-25 2020-11-10 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10841605B2 (en) 2015-09-25 2020-11-17 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
US10848784B2 (en) 2015-09-25 2020-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10863205B2 (en) 2015-09-25 2020-12-08 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
WO2024174072A1 (en) * 2023-02-20 2024-08-29 Rwth Aachen University Filter design for signal enhancement filtering for reference picture resampling

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062333A (ko) * 2001-09-12 2003-07-23 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
KR20090039689A (ko) * 2005-04-15 2009-04-22 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100904440B1 (ko) * 2005-10-05 2009-06-26 엘지전자 주식회사 레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지블록을 복원하는 방법과 장치
US20090252229A1 (en) * 2006-07-10 2009-10-08 Leszek Cieplinski Image encoding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030062333A (ko) * 2001-09-12 2003-07-23 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US20040032908A1 (en) * 2001-09-12 2004-02-19 Makoto Hagai Image coding method and image decoding method
KR20090039689A (ko) * 2005-04-15 2009-04-22 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100904440B1 (ko) * 2005-10-05 2009-06-26 엘지전자 주식회사 레지듀얼 데이터 스트림을 생성하는 방법과 장치 및 이미지블록을 복원하는 방법과 장치
US20090252229A1 (en) * 2006-07-10 2009-10-08 Leszek Cieplinski Image encoding and decoding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820008B2 (en) 2015-09-25 2020-10-27 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10834416B2 (en) 2015-09-25 2020-11-10 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10841605B2 (en) 2015-09-25 2020-11-17 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
US10848784B2 (en) 2015-09-25 2020-11-24 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
US10863205B2 (en) 2015-09-25 2020-12-08 Huawei Technologies Co., Ltd. Adaptive sharpening filter for predictive coding
WO2024174072A1 (en) * 2023-02-20 2024-08-29 Rwth Aachen University Filter design for signal enhancement filtering for reference picture resampling

Similar Documents

Publication Publication Date Title
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2017179835A1 (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2019117639A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2013002450A1 (ko) 보간 방법 및 이를 이용한 예측 방법
WO2015034215A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2013147495A1 (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2016137166A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2015009021A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2015009009A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2020141831A2 (ko) 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
WO2015099398A1 (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2019013363A1 (ko) 영상 코딩 시스템에서 주파수 도메인 잡음 감소 방법 및 장치
WO2015037922A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083987A1 (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2021091214A1 (ko) 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
WO2014189300A1 (ko) 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2015057032A1 (ko) 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
WO2013169049A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2014007514A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2018128239A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2021118309A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020076049A1 (ko) 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13767359

Country of ref document: EP

Kind code of ref document: A1