WO2013176495A1 - 인터 레이어 예측 방법 및 이를 이용하는 장치 - Google Patents

인터 레이어 예측 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2013176495A1
WO2013176495A1 PCT/KR2013/004515 KR2013004515W WO2013176495A1 WO 2013176495 A1 WO2013176495 A1 WO 2013176495A1 KR 2013004515 W KR2013004515 W KR 2013004515W WO 2013176495 A1 WO2013176495 A1 WO 2013176495A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
samples
layer
sample
Prior art date
Application number
PCT/KR2013/004515
Other languages
English (en)
French (fr)
Inventor
박준영
김철근
헨드리헨드리
전병문
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013176495A1 publication Critical patent/WO2013176495A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding (SVC).
  • SVC scalable video coding
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image, It is necessary to provide scalability in the frame rate of video and the like.
  • the present invention provides a method and apparatus for increasing compression efficiency in scalable video encoding / decoding.
  • the present invention provides a method and apparatus for improving the prediction performance of a difference image used in an inter-layer difference mode.
  • an interlayer prediction method may include obtaining a difference image based on a difference between a current picture of an enhancement layer and a reconstruction picture of a base layer corresponding to the current picture, and a block of the difference picture corresponding to a current block in the current picture. Deriving a prediction block by performing intra prediction on the prediction block, and predicting the current block based on the prediction block and a reconstruction block of the base layer corresponding to the current block.
  • the difference image may be derived based on a difference between the reconstructed samples in the current picture and the reconstructed samples in the reconstructed picture of the base layer corresponding to the reconstructed samples in the current picture.
  • prediction samples for the block of the differential image may be derived based on an intra prediction mode.
  • a scalable video decoding apparatus derives a differential image based on a difference between a current picture of an enhancement layer and a reconstructed picture of a base layer corresponding to the current picture, and blocks the difference image corresponding to the current block in the current picture.
  • a prediction unit for deriving a prediction block by performing intra prediction on the prediction block and predicting the current block based on the reconstruction block of the base layer corresponding to the prediction block and the current block.
  • the difference image may be derived based on a difference between the reconstructed samples in the current picture and the reconstructed samples in the reconstructed picture of the base layer corresponding to the reconstructed samples in the current picture.
  • the prediction block may be prediction samples for the block of the differential image based on an intra prediction mode.
  • intra prediction may be performed by considering characteristics of a difference image used in an inter-layer difference mode, thereby improving prediction performance and prediction accuracy of a current block of a current layer.
  • the intra prediction mode of the differential image is the DC mode
  • prediction performance may be improved during encoding and decoding.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • FIG. 4 is a diagram schematically illustrating an inter-layer difference mode to which the present invention may be applied.
  • FIG. 5 is a diagram schematically illustrating a method of performing intra prediction and inter prediction by applying an inter-layer difference mode according to the present invention.
  • FIG. 6 is a diagram illustrating an example of an intra prediction mode.
  • FIG. 7 is a diagram for describing a method of deriving a prediction block from a difference image when a DC mode is selected in an inter-layer difference mode according to an embodiment of the present invention.
  • FIG. 8 is a flowchart schematically illustrating a method of deriving a prediction block from a differential image when a DC mode is selected in an inter-layer difference mode according to an embodiment of the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed in layers.
  • the input signals may have at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165). ).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predtiction (MVP) method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction unit 160 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer) or the like.
  • the PU of the NxN block size may be configured to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as NxmN blocks, mNxN blocks, 2NxmN blocks, or mNx2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction units 110 and 140 may perform prediction on the layer 1 by using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • unit (CU, PU, and / or TU) information of a base layer is derived and used as unit information of an enhancement layer, or based on unit information of a base layer.
  • Unit information of the treatment layer may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • Interlayer motion prediction another example of interlayer prediction, is also called interlayer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit may use inter-layer residual prediction, which predicts the residual of the current layer using residual information of another layer as inter-layer prediction, and performs prediction on the current block in the current layer based on the residual layer.
  • the prediction unit is an interlayer prediction interlayer that performs prediction on the current block in the current layer by using a difference (difference image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the interlayer prediction. Differential prediction may also be performed.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the transform block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization units 115 and 145 may fixedly use a specific transform regardless of the prediction mode and the size of the transform block. For example, the transform / quantization units 115 and 145 may apply only DST to all transform blocks. In addition, the transform / quantization units 115 and 145 may apply only the DCT to all of the transform blocks.
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 160.
  • the transform / quantization units 115 and 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 160.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 145 may omit the transform on a block having a specific prediction method or a specific size block or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 165 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory 245. ) May be included.
  • the decoding unit 250 of the layer 0 includes an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a prediction unit 275, a filtering unit 280, and a memory 285. ) May be included.
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse quantizers 225 and 265 may transfer the entropy decoded residual to the inverse transformers 230 and 270 without dequantizing the entropy decoded residual according to a predetermined condition or a quantization scheme in the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size. For example, the inverse transform units 230 and 270 may apply only inverse DST to all transform blocks. In addition, the inverse transform units 230 and 270 may apply only inverse DCT to all transform blocks.
  • the inverse transformers 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transformers 230 and 270 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the predictor 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 235 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction.
  • inter-layer intra prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the adders 290 and 295 may generate reconstruction blocks using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering units 240 and 280 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed blocks and / or pictures.
  • deblocking filtering sample adaptive offset (SAO)
  • SAO sample adaptive offset
  • ALF ALF
  • the filtering units 240 and 280 may not apply all of the deblocking filter, ALF, and SAO, and may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO.
  • the filtering unit 240 of the layer 1 performs filtering on the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 1. It can also be done.
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • the predictor 300 of layer 1 includes an inter / intra predictor 340 and an interlayer predictor 350.
  • the prediction unit 300 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 350 may receive interlayer prediction information from the prediction unit 320 and / or the filtering unit 330 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1.
  • the inter / intra prediction unit 340 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1 without using the information of the layer 0.
  • the inter / intra predictor 340 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 350.
  • the filtering unit 310 of the layer 1 may perform the filtering based on the information of the layer 1 or may perform the filtering based on the information of the layer 0.
  • Information of the layer 0 may be transferred from the filtering unit 330 of the layer 0 to the filtering unit 310 of the layer 1, or may be transferred from the interlayer prediction unit 350 of the layer 1 to the filtering unit 310 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 350 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the interlayer predictor 350 may include a texture predictor 360, a motion predictor 370, a unit information predictor 380, and a parameter predictor 390.
  • the texture predictor 360 may use the texture of the reference block in the reference layer as a prediction value for the current block of the enhancement layer. In this case, the texture predictor 360 may scale the texture of the reference block by upsampling.
  • the motion predictor 370 may predict the current block of layer 1 (the current layer or the enhancement layer) by using the motion information of the layer 0 (the reference layer or the base layer). In this case, the motion predictor 370 may scale the motion information of the reference layer.
  • the unit information predictor 380 derives unit (CU, PU, and / or TU) information of the base layer and uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • unit (CU, PU, and / or TU) information of the base layer uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • the parameter predictor 390 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the inter-layer prediction unit may further include a sub-prediction unit for performing inter-layer residual prediction and / or a sub-prediction unit for performing inter-layer differential prediction. Inter-layer difference prediction may be performed.
  • the prediction unit 300 may correspond to the prediction unit 110 of FIG. 1, and the filtering unit 310 may include the filtering unit 120 of FIG. 1. It can correspond to.
  • the predictor 320 may correspond to the predictor 140 of FIG. 1
  • the filter 330 may correspond to the filter 150 of FIG. 1.
  • the prediction unit 300 may correspond to the prediction unit 235 of FIG. 2, and the filtering unit 310 is the filtering unit 240 of FIG. 2.
  • the predictor 320 may correspond to the predictor 275 of FIG. 2
  • the filter 330 may correspond to the filter 280 of FIG. 2.
  • inter-layer prediction for predicting information of a current layer using information of another layer may be performed.
  • Inter layer differential prediction may be referred to as inter layer differential picture coding or inter layer differential mode (IL-Diff mode).
  • IL-Diff mode inter layer differential mode
  • inter-layer difference mode inter-layer difference mode
  • the inter-layer difference mode may be performed by the predictor or the inter-layer predictor of FIGS. 1 to 3 described above. For convenience of explanation, it is described here as performed by the prediction unit.
  • the reconstructed picture 410 of the base layer is referred to as R BL
  • the R BL is upsampled according to the resolution of the enhancement layer.
  • the reconstructed image 430 of the enhancement layer is referred to as R EL .
  • the prediction unit may generate a differential picture 440 having a difference value obtained by subtracting the value of the UR BL 420 from the value of the R EL 430. If the difference image 440 is referred to as D, encoding / decoding may be independently performed in a domain of the D images.
  • the prediction unit may obtain the final reconstructed picture R EL 430 by adding the value of the UR BL 420 to the reconstructed picture obtained through encoding / decoding in the domains of the D pictures. This method is referred to herein as an interlayer differential mode.
  • the reconstructed image may be an image before applying the in-loop filter.
  • the reconstructed image may be an image after applying some of an in-loop filter, such as a deblocking filter, a sample adaptive offset (SAO) filter, and an adaptive loop filter (ALF).
  • the reconstructed image may be an image after applying all of the in-loop filters.
  • the inter-layer difference mode described above may be applied in a sequence unit, a picture unit, a slice unit, a largest coding unit (Largest CU) unit, a coding unit (CU) unit, or a prediction unit (PU) unit. Can be.
  • a flag indicating whether to use the interlayer differential mode may be transmitted from the encoding apparatus to the decoding apparatus.
  • a single layer coding method may be used without performing coding (encoding / decoding) using other scalability. In this case, since it is not necessary to signal a syntax for indicating whether to perform coding using other scalability, a bit amount can be saved.
  • FIG. 5 is a diagram schematically illustrating a method of performing intra prediction and inter prediction by applying an inter-layer difference mode according to the present invention.
  • the method of FIG. 5 may be performed by the predictor or the interlayer predictor of FIGS. 1 to 3. For convenience of explanation, it is described here as performed by the prediction unit.
  • the current picture 530 of the enhancement layer may include a reconstructed region 532 that is already reconstructed based on the current block 535, and an unrestored region 537 that has not yet been reconstructed.
  • the reconstructed image R EL may be obtained from the reconstructed region 532. When reconstruction of the current picture 530 is completed, the reconstructed image R EL is obtained.
  • the reconstructed image R BL 510 of the base layer may be upsampled according to the resolution of the enhancement layer.
  • the upsampled image is referred to as UR BL 520.
  • the prediction unit may derive the differential image D 540 based on the difference between the current picture R EL 530 of the enhancement layer and the upsampled image UR BL 520. .
  • the difference image D 540 may be derived as in Equation 1 below.
  • the R EL 530 may use an image without a in-loop filter such as a deblocking filter, SAO, ALF, etc. due to the presence of the unrestored region 537.
  • a in-loop filter such as a deblocking filter, SAO, ALF, etc.
  • the R BL 510 may be an image having a deblocking filter, an in-loop filter such as SAO, ALF, or the like applied thereto, or The image may be a state in which a part of the loop filter is applied or may be an image in which the in-loop filter is not applied.
  • the prediction unit may perform intra prediction on the current block 545 in the differential image D 540 by referring to the pixel values of the reconstructed region 542 that are already reconstructed in the differential image D 540.
  • a prediction block generated by performing intra prediction of the current block 545 is referred to as P D.
  • the prediction unit When decoding the current block 535 of the enhancement layer by applying the inter-layer difference mode, the prediction unit includes the block P BL in the upsampled image UR BL 520 at the same position as the current block 535 to be decoded.
  • the current block 535 may be reconstructed based on the prediction block P D 545 in the differential image D 540 and 525. Restoration of the current block 535 may be derived as shown in Equation 2 below.
  • R EL is a reconstructed current block in the enhancement layer
  • P D is a prediction block generated by performing intra prediction from a reconstructed region of the differential image
  • RES is residual information.
  • the residual information may be transmitted from the encoding apparatus.
  • it may be a residual block including residual value information between a prediction block generated by performing intra prediction on a current block in the differential image and an original block when encoding the differential image.
  • the prediction unit In order to perform inter prediction on the current block 535 in the current picture 530 of the enhancement layer, the prediction unit generates a differential image D R for the reference picture. For example, using at least one of a previous picture or a subsequent picture of the current picture 530 to be reconstructed as a reference picture, the reference picture is assigned to the reference picture based on a difference between the reconstructed picture of the enhancement layer and the reconstructed picture of the base layer with respect to the reference picture.
  • the difference image D R may be generated.
  • the prediction unit may generate the prediction block P D 545 from the differential image D 540 of the current block 535 by performing inter prediction based on the differential image D R of the reference picture.
  • the prediction unit may block P BL 525 in the upsampled image UR BL 520 at the same position as the current block 535 of the enhancement layer.
  • the current block 535 may be reconstructed based on the prediction block P D 545 in the over-difference image D 540. Restoration of the current block 535 may be derived as shown in Equation 3 below.
  • R EL is a reconstructed current block in the enhancement layer
  • RES is residual information.
  • the residual information may be transmitted from the encoding apparatus.
  • the residual block may include a residual block including residual value information between a prediction block generated by performing inter prediction on a current block in the differential image and an original block when encoding the differential image.
  • the differential picture DR for the reference picture may be generated in advance and stored in a decoded picture buffer (DPB).
  • the DPB may correspond to the memory described with reference to FIGS. 1 to 3.
  • the differential picture DR for the reference picture may be calculated and used every time for a reference block at a position necessary for reconstruction of the current block based on motion information (eg, a motion vector) of the current block.
  • the reconstructed image of the enhancement layer may be a state in which some or all of the in-loop filter such as the deblocking filter, SAO, ALF, etc. is applied. have.
  • FIG. 6 is a diagram illustrating an example of an intra prediction mode.
  • Intra prediction may be performed based on the intra prediction mode of the current block.
  • the intra prediction mode may include a directional mode and a non-directional mode according to the direction in which the reference pixels used to predict pixel values of the current block are located and / or a prediction scheme. 6 shows 33 directional prediction modes and at least two non-directional prediction modes.
  • the non-directional prediction mode may include a DC mode and a planar mode.
  • the DC mode may use a fixed value as a prediction value of pixels in the current block.
  • one fixed value in DC mode may be derived by an average of pixel values located around the current block.
  • the planar mode vertical interpolation and horizontal interpolation may be performed using pixels vertically adjacent to the current block and pixels horizontally adjacent to each other, and an average thereof may be used as a prediction value of pixels in the current block.
  • the directional prediction mode is a mode indicating a direction in which the reference pixel is located and may indicate the corresponding direction by an angle between the prediction target pixel and the reference pixel in the current block.
  • the directional prediction mode may be called an angular mode, and may include a vertical mode, a horizontal mode, and the like.
  • a pixel value vertically adjacent to the current block may be used as a prediction value of pixels in the current block
  • a pixel value horizontally adjacent to the current block may be used as a prediction value of pixels in the current block.
  • the other Angular modes except for the vertical mode and the horizontal mode may derive the prediction value of the pixel in the current block by using reference pixels positioned at predetermined angles and / or directions for each mode.
  • the intra prediction mode may be assigned a predetermined prediction mode number according to a predetermined angle and / or a prediction direction.
  • the mode number assigned to the planar mode may be 0, and the mode number assigned to the DC mode may be 1.
  • the mode number assigned to the vertical mode may be 26, and the mode number assigned to the horizontal mode may be 10.
  • the other Angular modes except for the vertical and horizontal modes may be assigned different mode numbers according to the angle and / or the prediction direction of the intra prediction mode.
  • the intra prediction mode for the current block may be transmitted as a value indicating the mode itself, information for predicting the prediction mode value of the current block may be transmitted to increase transmission efficiency.
  • the prediction value for the prediction mode of the current block may be derived using the intra prediction mode of the neighboring block adjacent to the current block.
  • the prediction value for the prediction mode of the current block may be referred to as Most Probable Mode (MPM).
  • MPM Most Probable Mode
  • the prediction direction of the intra prediction mode and the mode number assigned to the intra prediction mode shown in FIG. 6 are one example, and the present invention is not limited thereto. If necessary, the prediction direction and the prediction mode number of the intra prediction mode can be changed. In addition, the number (type) of intra prediction modes may be changed and applied as necessary.
  • the current block of the current layer may be predicted by adding two prediction blocks as described above.
  • One is a block which upsamples a block of a reference layer (base layer) corresponding to the current block of the enhancement layer to fit the size of the current block, and the other is a block derived through intra prediction from the differential image.
  • the block obtained by upsampling from the base layer is mainly used to restore the low frequency region of the current block
  • the block obtained from the differential image is mainly used to restore the high frequency region of the current block. do.
  • the intra prediction mode is a DC mode
  • the prediction block obtained through the prediction image has almost no high frequency value.
  • intra prediction is applied by applying the DC mode, as described above, since an average value of neighboring samples located around the current block is used as a prediction value, a prediction block having such a prediction value is suitable for high frequency component prediction of the current block. You can't.
  • the present invention provides an intra prediction method that can increase the prediction performance when the DC mode is selected in the inter-layer difference mode.
  • FIG. 7 is a diagram for describing a method of deriving a prediction block from a difference image when a DC mode is selected in an inter-layer difference mode according to an embodiment of the present invention.
  • the enhancement is based on the upsampled block of the base layer corresponding to the current block of the enhancement layer and the prediction block predicted from the differential image.
  • a prediction block for the current block of the layer may be generated.
  • the difference image may be derived based on a difference between the reconstructed samples in the current picture of the enhancement layer and the reconstructed samples in the reconstructed picture of the base layer corresponding to the reconstructed samples in the current picture as described above.
  • the prediction block predicted from the difference image is generated by intra prediction of a block in the difference image at a position corresponding to the current block of the enhancement layer.
  • a DC prediction value of the current block 700 of the differential image is first derived.
  • the DC prediction value may be a value of prediction samples for the current block 700 of the differential image.
  • the DC prediction value may be set to a predetermined value, eg, 0, instead of the average value of the surrounding samples located in the periphery of the current block 700. Since applying the average value of the surrounding samples has no effect on the high frequency region of the prediction block, the present invention sets the DC prediction value to a predetermined value, for example, 0 instead of the average value of the surrounding samples.
  • boundary samples 701, 703, and 705 are the leftmost samples 703, the topmost samples 701, and the leftmost samples 705 in the current block 700. Can be.
  • the leftmost samples 703 in the current block 700 are referred to as the leftmost boundary samples.
  • the position of the leftmost boundary samples in the current block 700 may be represented by (0, y).
  • the samples 701 located at the top of the current block 700 may be referred to as the top boundary samples, and the position of the top boundary samples in the current block 700 may be represented by (x, 0).
  • the sample 705 located at the top left in the current block 700 may be referred to as the top left boundary sample, and the position of the top left boundary sample in the current block 700 may be expressed as (0, 0).
  • x and y may be an integer value from 0 to N-1.
  • Filtering for boundary samples 701, 703, 705 in current block 700 may use peripheral samples 710, 720 located at the periphery of current block 700.
  • the filtering on the boundary samples 701, 703, and 705 may be performed by giving a predetermined weight to the neighboring samples and the boundary samples.
  • the weights for the peripheral samples 710 and 720 and the boundary samples 701 and 703 may be applied as 1: 3, 1: 0, 1: 1, 1: 7, and the like.
  • the boundary sample is the leftmost boundary sample 705, there are two neighboring samples adjacent to the leftmost top boundary sample 705.
  • the weights for the upper peripheral sample 711, the left peripheral sample 721, and the left uppermost boundary sample 705 may be, for example, 1: 1: 2.
  • Equation 4 shows a result of performing filtering on the boundary samples by weighting the neighboring samples and the boundary samples by 1: 3.
  • C ' is a result value of the current sample to which the intra-block filtering is applied
  • N is a value of a neighboring sample
  • C represents a value of the current sample before the intra-block filtering is applied.
  • Equation 4 when performing the existing filtering on the boundary samples, a simple upward rounding operation is applied as shown in Equation 4 because the sample value that the sample used for filtering may always have a value greater than zero. can do.
  • a rounding operation as in Equation 4 since the difference image is used, a case where the value of N or C has a value smaller than 0 may occur. Therefore, when filtering in the difference image, a rounding operation as in Equation 4 may be inappropriate.
  • Equation 5 upward rounding is performed on an absolute value of a corresponding sample to be filtered. A method of performing an upward rounding or a downward rounding operation may be applied.
  • Equation 5 shows a sample value to which filtering is applied to the uppermost boundary samples 701 and the leftmost boundary samples 703.
  • the first equation is a temporary value stored in S to simply express the second and third equations
  • the second equation is an upward rounding operation on the absolute value of the sample.
  • the second equation is the downward rounding operation applied to the absolute value of the sample.
  • C ' is a result value of the current sample to which the intra-block filtering is applied
  • N is a value of a neighboring sample
  • C represents a value of the current sample before the intra-block filtering is applied.
  • the filtering operation on the boundary region of the current block according to the present invention can be very simple, so that the computational complexity can be reduced.
  • the filtering is applied with the weights of the neighboring samples and the boundary samples as 1: 3, but this is merely an example and the present invention is not limited thereto.
  • filtering may be applied by giving various weights such as 1: 0, 1: 1, 1: 7, and the like.
  • the top boundary samples 701 located at (x, 0) in the current block 700 are filtered according to a preset weight using the top peripheral samples 710 located at the top of the current block 700.
  • the predicted sample value obtained by applying filtering to the uppermost boundary samples 701 may be derived as shown in Equation 6.
  • S (x, 0) is the value of the highest boundary samples 701 to which the filtering in the current block 700 is applied
  • S (x, 0) is an upward rounding or downward rounding operation as in Equation 5.
  • C (x, 0) may be the DC prediction value of the top boundary samples 701 having a value of zero, for example, before filtering in the current block 700 is applied.
  • N (x, -1) may be the sample value of the top peripheral samples 710 located at the top of the top boundary samples 701.
  • W N and W C represent weights for the sample value N (x, -1) of the top peripheral samples 710 and the sample value C (x, 0) of the top boundary samples 701.
  • the weight ratio for W N and W C may be 1: 3, 1: 0, 1: 1, 1: 7, or the like.
  • the leftmost boundary samples 703 located at (0, y) in the current block 700 may be according to a preset weight using the left peripheral samples 720 located at the left side of the current block 700. Can be filtered.
  • the prediction sample value to which filtering is applied to the leftmost boundary samples 703 may be derived as shown in Equation 7.
  • S (0, y) is the value of the leftmost boundary samples 703 to which the filtering in the current block 700 is applied
  • S (0, y) is the upward rounding or the downward rounding as in Equation 5.
  • the operation can be applied.
  • C (0, y) may be the DC prediction value of the leftmost boundary samples 703 having a value of zero, for example, before filtering in the current block 700 is applied.
  • N (-1, y) may be the sample value of the left peripheral samples 720 located to the left of the leftmost boundary samples 703.
  • W N and W C represent weights for sample value N ( ⁇ 1, y) of left peripheral samples 720 and sample value C (0, y) of leftmost boundary samples 703. As described above, the weight ratio for W N and W C may be 1: 3, 1: 0, 1: 1, 1: 7, or the like.
  • the filtering process according to the weight between the neighboring samples and the current samples in the current block 700 to which the filtering is applied may be generalized as shown in Equation 8 below.
  • the weight is represented using shift_bits.
  • the weights of the neighboring samples and the current samples to which the filtering is applied are 1: (1 ⁇ shift_bist) -1.
  • Equation 8 since the value of C, i.e., the value of the current sample before the filtering is applied, becomes 0, it is represented by directly using N (the value of the peripheral sample) without obtaining S as shown in Equation 5 above. Can be.
  • an offset may be added as in Equation 8 to compensate for an error in the integer operation.
  • the second equation is for applying an upward rounding operation on the absolute value of the sample
  • the third equation is for applying a downword rounding operation on the absolute value of the sample.
  • the filtering on the leftmost upper boundary sample 705 may use the upper peripheral sample 711 and the left peripheral sample 721.
  • the upper peripheral sample 711 be N1 and the left peripheral sample 721 be N2.
  • the average value of N1 and N2 is inserted instead of the value of N
  • the result of filtering the upper left boundary sample 705 may be obtained.
  • the sum of N1 and N2 may be inserted instead of N, and the value of shift_bist may be increased by 1 to perform filtering on the upper left boundary sample 705. In this case, the number of rounding operations is reduced by one compared with the case where the above-described average value of N1 and N2 is used.
  • Equation 8 the sum of N1 and N2 may be inserted instead of N, and the value of shift_bits may be used as it is to filter the upper left boundary sample 705.
  • the filtering is performed by giving a weight twice as much to the surrounding samples as compared to the other boundary samples 701 and 703.
  • the filtering for the upper left boundary sample 705 located at (0, 0) in the current block 700 is performed by the top peripheral sample located at (0, -1) in the current block 700, as shown in equation (9).
  • 711 and the left neighboring sample 721 located at ( ⁇ 1,0) in the current block 700 may be performed according to a predetermined weight.
  • S (0,0) is the value of the upper left boundary sample 705 to which the filtering in the current block 700 is applied, where S (0,0) is up as the second or third equation in Equation 5 above.
  • Word rounding or downword rounding operations may be applied.
  • C (0,0) may be the DC prediction value of the leftmost boundary sample 705, for example, with a value of zero before filtering in the current block 700 is applied.
  • N1 (0, -1) may be a sample value of the upper peripheral sample 711, and N2 (-1,0) may be a sample value of the left peripheral sample 721.
  • W N1 , W N2, and W C are the sample values N1 (0, -1) of the upper peripheral sample 711, the sample values N2 (-1,0) of the left peripheral sample 721, and the leftmost boundary sample 705. Represents a weight for the sample value of C (0,0). In this case, a weight ratio of W N1 , W N2, and W C may be applied in a ratio of 1: 1: 2.
  • the prediction samples of the region excluding the boundary samples in the prediction block are DC prediction values (eg, 0), and the boundary samples may have prediction sample values to which filtering as described above is applied.
  • the method of deriving a prediction block from the difference image may be equally applied to not only the luma component but also the chroma component.
  • the method of applying the DC mode in the inter-layer difference mode according to the embodiment of the present invention described above is equally applicable to the DC mode of intra prediction other than the framework of the inter-layer difference mode. For example, as described above, it may be applied to replace the DC mode in the inter-layer prediction for predicting the information of the current layer using the information of the other layer, or may be applied to replace the DC mode or the planar mode in the existing intra prediction. have.
  • the present invention does not use the DC mode as the intra prediction mode. You may not.
  • intra prediction in the inter-layer difference mode may be performed using only the prediction modes other than the DC mode among the intra prediction modes shown in FIG. 6.
  • the DC mode since the DC mode is not used for intra prediction, the number of prediction modes is reduced. Therefore, the number of bits for indicating the intra prediction mode can be reduced, and the complexity reduction effect of the encoder can be obtained.
  • intra prediction in inter-layer difference mode the prediction of the low frequency region, which occupies a large portion of the energy of the signal, is performed by the prediction block obtained from the reference layer (base layer).
  • Intra prediction in the differential image which is responsible for the prediction of a small high frequency region, can be simplified. Accordingly, in the present invention, when performing intra prediction on a differential image, an available intra prediction mode may be limited.
  • the available intra prediction mode may use predetermined modes (eg, a vertical mode having a vertical orientation and a horizontal mode having a horizontal orientation) among the intra prediction modes illustrated in FIG. 6.
  • FIG. 8 is a flowchart schematically illustrating a method of deriving a prediction block from a differential image when a DC mode is selected in an inter-layer difference mode according to an embodiment of the present invention.
  • the method of FIG. 8 may be performed by the encoding apparatus of FIG. 1 or the decoding apparatus of FIG. 2. More specifically, it may be performed by the prediction unit or the interlayer prediction unit of FIGS. 1 to 3. In the embodiment of FIG. 8, for convenience of description, the method of FIG. 8 is described as being performed in the decoding apparatus, but the same may be applied to the encoding apparatus.
  • the decoding apparatus may decode the current block, and the base apparatus corresponding to the current picture and the current picture including the current block of the enhancement layer may be decoded.
  • a differential image is derived based on the difference between the reconstructed pictures of the layers (S800).
  • the decoding apparatus performs intra prediction on the block of the differential image corresponding to the current block of the enhancement layer based on the intra prediction mode and derives the prediction block (S810).
  • the difference image is derived based on the difference between the reconstructed samples in the current picture of the enhancement layer and the reconstructed samples in the reconstructed picture of the base layer corresponding to the reconstructed samples in the current picture, and thus, the block of the differential picture.
  • Intra prediction for may be performed using reconstructed samples of the differential image as reference samples.
  • prediction of the differential image may be performed by the method described above with reference to FIG. 7.
  • the decoding apparatus derives a DC prediction value for a block of a differential image.
  • the DC prediction value may be a value of prediction samples for a block of the differential image.
  • the DC prediction value may be set to a predetermined value, for example, may be set to zero.
  • the decoding apparatus derives the prediction block by applying smooth filtering to the boundary samples in the block of the differential image.
  • filtering may be performed on the boundary samples according to a predetermined weight using the surrounding samples located around the block of the difference image.
  • the leftmost boundary samples in the block of the difference image may be filtered using the left peripheral samples adjacent to the leftmost boundary samples
  • the top boundary samples in the block of the differential image may be It can be filtered using the top peripheral samples adjacent to the samples.
  • the filtering operation may be performed by weighting the boundary samples and the boundary samples in the block of the difference image.
  • the weights of the left and left edge samples and the weights of the top and left edge samples are determined. 1: 3, 1: 0, 1: 1, 1: 7 and so on.
  • the prediction sample value of the prediction block derived through the filtering on the leftmost boundary samples and the topmost boundary samples may be expressed as in Equations 5 to 8 above. Since a detailed description thereof has been described above with reference to FIG. 7, it will be omitted here.
  • the leftmost boundary sample in the block of the difference image may be filtered using a top peripheral sample positioned at the top of the top left boundary sample and a left peripheral sample positioned at the left of the top left boundary sample.
  • the filtering operation may be performed by weighting the leftmost top boundary sample in the block of the difference image with the neighboring samples.
  • the weights for the top top sample, the left top sample and the top left sample are 1: 1: 2, etc.
  • the prediction sample value of the prediction block derived through filtering on the upper left boundary sample may be expressed as shown in Equation 9 above. Since a detailed description thereof has been described above with reference to FIG. 7, it will be omitted here.
  • the upper peripheral sample is referred to as N1 and the left peripheral sample is referred to as N2
  • the average value of N1 and N2 is put in place of the value of N in Equation 8
  • filtering is performed on the upper left boundary sample.
  • the sum of N1 and N2 may be inserted instead of N, and the value of shift_bist may be increased by 1 to perform filtering on the uppermost boundary sample.
  • the sum of N1 and N2 may be inserted instead of N, and the value of shift_bits may be used as it is to filter the upper left boundary sample.
  • the prediction samples of the region except the boundary samples have a DC prediction value (eg, 0), and the boundary samples are smooth. Filtering may have a predicted sample value.
  • the DC mode when the prediction block is derived by performing the prediction based on the intra prediction mode from the differential image, the DC mode may not be used.
  • intra prediction may be performed in the inter-layer difference mode using only the prediction modes other than the DC mode among the intra prediction modes shown in FIG. 6.
  • the DC mode since the DC mode is not used for intra prediction, the number of prediction modes is reduced. Therefore, the number of bits for indicating the intra prediction mode can be reduced, and also the complexity of the encoder can be reduced.
  • the available intra prediction mode may be limited.
  • intra prediction on the differential image may be performed using predetermined modes (eg, a vertical mode having a vertical orientation and a horizontal mode having a horizontal orientation) among the intra prediction modes illustrated in FIG. 6.
  • the decoding apparatus predicts the current block of the enhancement layer based on the prediction block derived from the difference image and the reconstruction block of the base layer corresponding to the current block of the enhancement layer (S820).
  • a prediction block for the current block may be generated by adding the reconstruction block of the base layer corresponding to the prediction block derived from the difference image and the current block of the enhancement layer.
  • the reconstruction block of the base layer may be a block that is upsampled according to the resolution of the enhancement layer.

Abstract

인터 레이어 예측 방법 및 이를 이용하는 장치가 개시된다. 인터 레이어 예측 방법은 인핸스먼트 레이어의 현재 픽처와 상기 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출하는 단계, 상기 현재 픽처 내의 현재 블록과 대응하는 상기 차분 영상의 블록에 대하여 인트라 예측을 수행하여 예측 블록을 도출하는 단계 및 상기 예측 블록과, 상기 현재 블록에 대응하는 상기 베이스 레이어의 복원 블록을 기반으로 상기 현재 블록을 예측하는 단계를 포함한다.

Description

인터 레이어 예측 방법 및 이를 이용하는 장치
본 발명은 비디오 압축 기술에 관한 것으로, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다. 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명은 스케일러블 비디오 인코딩/디코딩에서 압축 효율을 높이는 방법 및 장치를 제공한다.
본 발명은 인터 레이어 차분 모드에 사용되는 차분 영상의 예측 성능을 향상시키는 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 인터 레이어 예측 방법이 제공된다. 상기 인터 레이어 예측 방법은 인핸스먼트 레이어의 현재 픽처와 상기 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출하는 단계, 상기 현재 픽처 내의 현재 블록과 대응하는 상기 차분 영상의 블록에 대하여 인트라 예측을 수행하여 예측 블록을 도출하는 단계 및 상기 예측 블록과, 상기 현재 블록에 대응하는 상기 베이스 레이어의 복원 블록을 기반으로 상기 현재 블록을 예측하는 단계를 포함한다.
상기 차분 영상은, 상기 현재 픽처 내 복원 샘플들과, 상기 현재 픽처 내 복원 샘플들과 대응하는 상기 베이스 레이어의 복원 픽처 내 복원 샘플들간의 차이를 기반으로 도출될 수 있다.
상기 예측 블록을 도출하는 단계에서는, 인트라 예측 모드를 기반으로 상기 차분 영상의 블록에 대한 예측 샘플들을 도출할 수 있다.
본 발명의 다른 양태에 따르면, 스케일러블 비디오 디코딩 장치가 제공된다. 상기 스케일러블 비디오 디코딩 장치는 인핸스먼트 레이어의 현재 픽처와 상기 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출하고, 상기 현재 픽처 내의 현재 블록과 대응하는 상기 차분 영상의 블록에 대하여 인트라 예측을 수행하여 예측 블록을 도출하고, 상기 예측 블록과 상기 현재 블록에 대응하는 상기 베이스 레이어의 복원 블록을 기반으로 상기 현재 블록을 예측하는 예측부를 포함한다.
상기 차분 영상은 상기 현재 픽처 내 복원 샘플들과, 상기 현재 픽처 내 복원 샘플들과 대응하는 상기 베이스 레이어의 복원 픽처 내 복원 샘플들간의 차이를 기반으로 도출될 수 있다.
상기 예측 블록은 인트라 예측 모드를 기반으로 상기 차분 영상의 블록에 대한 예측 샘플들일 수 있다.
스케일러블 비디오 코딩에서, 인터 레이어 차분 모드에 사용되는 차분 영상의 특성을 고려하여 인트라 예측을 수행함으로써, 현재 레이어의 현재 블록에 대한 예측 성능 및 예측 정확도를 높일 수 있다. 특히, 차분 영상의 인트라 예측 모드가 DC 모드인 경우 인코딩 및 디코딩 시 예측 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 4는 본 발명이 적용될 수 있는 인터 레이어 차분 모드를 개략적으로 설명하기 위한 도면이다.
도 5는 본 발명에 따라서 인터 레이어 차분 모드를 적용하여 인트라 예측 및 인터 예측을 수행하는 방법을 개략적으로 설명하기 위한 도면이다.
도 6은 인트라 예측 모드의 일예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따라 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 차분 영상으로부터 예측 블록을 도출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따라 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 차분 영상으로부터 예측 블록을 도출하는 방법을 개략적으로 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130) 및 MUX(Multiplexer, 165)를 포함한다.
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2Nx2N 블록, 2NxN 블록, Nx2N 블록, 또는 NxN 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2Nx2N 블록 또는 NxN 블록 (N은 정수) 등일 수 있다. 이때, NxN 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, NxmN 블록, mNxN 블록, 2NxmN 블록 또는 mNx2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
또한, 예측부(110, 140)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.
인터 레이어 예측의 일 예로서, 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 다른 예인 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.
인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 예측부는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.
또한, 예측부는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화할 수 있다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 변환 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
또한, 변환/양자화부(115, 145)는 예측 모드와 변환 블록의 크기에 상관없이 특정 변환을 고정적으로 사용할 수도 있다. 예컨대, 변환/양자화부(115, 145)는 모든 변환 블록에 DST만을 적용할 수 있다. 또한, 변환/양자화부(115, 145)는 모든 변환 블록에 DCT만을 적용할 수도 있다.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 160)로 전달할 수 있다. 이때, 변환/양자화부(115, 145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 160)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다.
한편, 변환/양자화부(115, 145)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 145)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 155)는 필터링부(120, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(165)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리(245)를 포함할 수 있다.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 예측부(275), 필터링부(280), 메모리(285)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(225, 265)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(230, 270)에 전달할 수도 있다.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(230, 270)는 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)는 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(230, 270)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(230, 270)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환부(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(235)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.
필터링부(240, 280)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(240, 280)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 2의 예을 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 1의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장차에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 3을 참조하면, 레이어 1의 예측부(300)는 인터/인트라 예측부(340) 및 인터 레이어 예측부(350)를 포함한다.
레이어 1의 예측부(300)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(350)는 레이어 0의 예측부(320) 및/또는 필터링부(330)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(340)는, 레이어 0의 정보를 이용하지 않고, 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(340)는, 인터 레이어 예측부(350)로부터 전달된 정보를 이용하여, 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
아울러, 레이어 1의 필터링부(310)는 레이어 1의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(330)로부터 레이어 1의 필터링부(310)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(350)로부터 레이어 1의 필터링부(310)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(350)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
설명의 편의를 위해, 인터 레이어 예측부(350) 내에서 각 인터 레이어 정보를 예측하는 서브 예측부를 가정하자.
예컨대, 인터 레이어 예측부(350)는 텍스처 예측부(360), 움직임 예측부(370), 유닛 정보 예측부(380), 파라미터 예측부(390)를 포함할 수 있다.
텍스처 예측부(360)는, 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에, 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 텍스처 예측부(360)는 참조 블록의 텍스처를 업샘플링에 의해 스케일링할 수 있다.
움직임 예측부(370)는 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다. 이때, 움직임 예측부(370)는 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
유닛 정보 예측부(380)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
파라미터 예측부(390)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 인터 레이어 예측부는 인터 레이어 레지듀얼 예측을 수행하는 서브 예측부 및/또는 인터 레이어 차분 예측을 수행하는 서브 예측부를 더 포함할 수도 있고, 상술한 서브 예측부들의 조합으로 인터 레이어 레지듀얼 예측, 인터 레이어 차분 예측 등을 수행할 수도 있다.
도 3의 구성이 인코딩 장치의 구성이라고 할 때, 레이어 1에서, 예측부(300)는 도 1의 예측부(110)에 대응할 수 있고, 필터링부(310)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 1의 예측부(140)에 대응할 수 있고, 필터링부(330)는 도 1의 필터링부(150)에 대응할 수 있다.
또한, 도 3의 구성이 디코딩 장치의 구성이라고 한다면, 레이어 1에서, 예측부(300)는 도 2의 예측부(235)에 대응할 수 있고, 필터링부(310)는 도 2의 필터링부(240)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 2의 예측부(275)에 대응할 수 있고, 필터링부(330)는 도 2의 필터링부(280)에 대응할 수 있다.
이처럼, 스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다.
이하, 도면을 참조하여, 인터 레이어 차분 예측(Inter layer differential prediction)에 대하여 구체적으로 설명한다. 인터 레이어 차분 예측은 인터 레이어 차분 픽처 코딩(Inter layer differential picture coding) 또는 인터 레이어 차분 모드(Inter layer differential mode; IL-Diff mode)라고 불릴 수도 있다. 이하, 본 명세서에서는 인터 레이어 차분 모드라고 한다.
도 4는 본 발명이 적용될 수 있는 인터 레이어 차분 모드를 개략적으로 설명하기 위한 도면이다. 인터 레이어 차분 모드는 상술한 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행되는 것으로 설명한다.
도 4를 참조하면, 베이스 레이어(base layer)의 복원 영상(reconstructed picture)(410)을 RBL이라 하고, RBL을 인핸스먼트 레이어(enhancement layer)의 해상도(resolution)에 맞추어 업샘플링(upsampling)한 영상(420)을 URBL이라 하자. 그리고, 인핸스먼트 레이어의 복원 영상(430)을 REL이라 하자. 이때, 예측부는 REL(430)의 값에서 URBL(420)의 값을 뺀 차분 값을 가지는 차분 영상(differential picture)(440)을 생성할 수 있다. 차분 영상(440)을 D라고 하면, D 영상들의 도메인(domain)에서 독립적으로 부호화/복호화를 수행할 수 있다. 예측부는 D 영상들의 도메인에서 부호화/복호화를 통해 얻어낸 복원 영상에 URBL(420)의 값을 더해줌으로써 최종 복원 영상 REL(430)을 얻어낼 수 있다. 이 방법을 본 명세서에서는 인터 레이어 차분 모드라고 한다.
여기서, 복원 영상은 인루프 필터를 적용하기 전의 영상일 수 있다. 또는, 복원 영상은 인루프 필터, 예컨대 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset) 필터, ALF(Adaptive Loop Filter) 중 일부를 적용한 후의 영상일 수도 있다. 또는, 복원 영상은 인루프 필터 전부를 적용한 후의 영상일 수도 있다.
상술한 인터 레이어 차분 모드는 시퀀스 단위, 픽처 단위, 슬라이스 단위, 가장 큰 코딩 유닛(Largest CU; LCU) 단위, 코딩 유닛(Coding Unit; CU) 단위, 또는 예측 유닛(Prediction Unit; PU) 단위에서 적용될 수 있다. 인터 레이어 차분 모드를 적용하고자 하는 처리 단위에서, 인터 레이어 차분 모드를 사용할지 여부를 알려주는 플래그(flag)가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다. 인터 레이어 차분 모드가 적용된 처리 단위에 대해서는, 다른 스케일러빌러티(scalability)를 이용한 코딩(인코딩/디코딩)을 수행하지 않고, 단일 레이어 코딩(single layer coding) 방법을 이용할 수도 있다. 이 경우, 다른 스케일러빌러티를 이용한 코딩을 수행할지 여부를 지시하기 위한 신택스(syntax)를 시그널링하지 않아도 되므로, 비트량을 절약할 수 있다.
도 5는 본 발명에 따라서 인터 레이어 차분 모드를 적용하여 인트라 예측 및 인터 예측을 수행하는 방법을 개략적으로 설명하기 위한 도면이다. 도 5의 방법은 상술한 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행되는 것으로 설명한다.
인터 레이어 차분 모드를 적용하여 인트라 예측(intra prediction)을 수행하는 방법을 설명한다.
인핸스먼트 레이어의 현재 픽처(530)는 현재 블록(535)을 기준으로 이미 복원된 복원 영역(532)과 아직 복원되지 않은 미복원 영역(537)을 포함할 수 있다. 복원 영역(532)으로부터 복원 영상 REL을 얻을 수 있다. 현재 픽처(530)에 대한 복원이 완료되면 복원 영상 REL이 된다.
베이스 레이어의 복원 영상 RBL(510)은 인핸스먼트 레이어의 해상도에 맞추어 업샘플링될 수 있다. 이때, 업샘플링된 영상을 URBL(520)이라 하자.
인터 레이어 차분 모드를 적용하여 부호화할 때, 예측부는 인핸스먼트 레이어의 현재 픽처 REL(530)과 업샘플링된 영상 URBL(520) 간의 차이를 기반으로 차분 영상 D(540)를 유도할 수 있다. 차분 영상 D(540)은 아래 수학식 1과 같이 유도될 수 있다.
수학식 1
Figure PCTKR2013004515-appb-M000001
여기서, REL(530)은 미복원 영역(537)의 존재로 인해, 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터가 적용되지 않은 상태의 영상을 사용할 수도 있다.
베이스 레이어의 복원 영상 RBL(510)은 모든 영역이 복원된 상태이기 때문에, RBL(510)은 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터가 적용된 상태의 영상일 수 있으며, 또는 상기 인루프 필터의 일부가 적용된 상태의 영상일 수도 있으며, 또는 상기 인루프 필터가 적용되지 않은 상태의 영상일 수도 있다.
예측부는 차분 영상 D(540)에서 이미 복원된 복원 영역(542)의 픽셀 값들을 참조하여, 차분 영상 D(540) 내 현재 블록(545)에 대해 인트라 예측을 수행할 수 있다. 이때, 현재 블록(545)의 인트라 예측을 수행함에 따라 생성된 예측 블록을 PD라 한다.
인터 레이어 차분 모드를 적용하여 인핸스먼트 레이어의 현재 블록(535)을 복호화할 때, 예측부는 복호화 하려는 현재 블록(535)과 동일 위치에 존재하는 업샘플링된 영상 URBL(520) 내의 블록 PBL(525)과 차분 영상 D(540) 내의 예측 블록 PD(545)을 기반으로 현재 블록(535)을 복원할 수 있다. 현재 블록(535)의 복원은 아래 수학식 2와 같이 유도될 수 있다.
수학식 2
Figure PCTKR2013004515-appb-M000002
여기서, REL은 인핸스먼트 레이어에서의 복원된 현재 블록이고, PD는 차분 영상의 복원된 영역으로부터 인트라 예측을 수행하여 생성된 예측 블록이고, RES는 레지듀얼 정보이다. 이때, 레지듀얼 정보는 인코딩 장치로부터 전송될 수 있다. 예컨대, 차분 영상의 인코딩 시 차분 영상 내 현재 블록에 대한 인트라 예측을 수행하여 생성된 예측 블록과 원본 블록 간의 레지듀얼 값 정보를 포함하는 레지듀얼 블록일 수 있다.
인터 레이어 차분 모드를 적용하여 인터 예측(inter prediction)을 수행하는 방법을 설명한다.
인핸스먼트 레이어의 현재 픽처(530) 내 현재 블록(535)에 대한 인터 예측을 수행하기 위해, 예측부는 참조 픽처에 대한 차분 영상 DR을 생성한다. 예컨대, 현재 복원하려는 현재 픽처(530)의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하여, 참조 픽처에 대한, 인핸스먼트 레이어의 복원 영상과 베이스 레이어의 복원 영상 간의 차이를 기반으로 참조 픽처에 대한 차분 영상 DR을 생성할 수 있다.
예측부는 참조 픽처에 대한 차분 영상 DR을 기반으로 인터 예측을 수행하여, 현재 블록(535)의 차분 영상 D(540)에서 예측 블록 PD(545)을 생성할 수 있다.
인터 레이어 차분 모드를 적용하여 현재 블록(535)을 복호화할 때, 예측부는 인핸스먼트 레이어의 현재 블록(535)과 동일 위치에 존재하는 업샘플링된 영상 URBL(520) 내의 블록 PBL(525)과 차분 영상 D(540) 내의 예측 블록 PD(545)를 기반으로 현재 블록(535)을 복원할 수 있다. 현재 블록(535)의 복원은 아래 수학식 3과 같이 유도될 수 있다.
수학식 3
Figure PCTKR2013004515-appb-M000003
여기서, REL은 인핸스먼트 레이어에서의 복원된 현재 블록이고, RES는 레지듀얼 정보이다. 이때, 레지듀얼 정보는 인코딩 장치로부터 전송될 수 있다. 예컨대, 차분 영상의 인코딩 시 차분 영상 내 현재 블록에 대한 인터 예측을 수행하여 생성된 예측 블록과 원본 블록 간의 레지듀얼 값 정보를 포함하는 레지듀얼 블록일 수 있다.
참조 픽처에 대한 차분 영상 DR은 미리 생성되어 DPB(Decoded Picture Buffer)에 저장될 수 있다. DPB는 도 1 내지 도 3에서 설명한 메모리에 대응할 수 있다. 또는, 참조 픽처에 대한 차분 영상 DR은 현재 블록의 움직임 정보(예컨대, 움직임 벡터)를 기초로 현재 블록의 복원을 위해서 필요한 위치의 참조 블록에 대해서 매번 계산하여 사용할 수도 있다.
인터 레이어 차분 모드에 대한 인터 예측에서 참조 픽처에 대한 차분 영상을 생성할 때, 인핸스먼트 레이어의 복원 영상은 디블록킹 필터, SAO, ALF 등과 같은 인루프 필터의 일부 또는 전부가 적용된 상태의 영상일 수 있다.
도 6은 인트라 예측 모드의 일예를 도시한 도면이다.
인트라 예측은 현재 블록의 인트라 예측 모드를 기반으로 수행될 수 있다. 인트라 예측 모드는 현재 블록의 픽셀 값을 예측하는데 사용되는 참조 픽셀들이 위치한 방향 및/또는 예측 방식에 따라 방향성 모드와 비방향성 모드를 포함할 수 있다. 도 6에는 33개의 방향성 예측 모드와 적어도 두 개의 비방향성 예측 모드가 도시되어 있다.
비방향성 예측 모드는 DC 모드와 Planar 모드를 포함할 수 있다. DC 모드는 고정된 하나의 값을 현재 블록 내 픽셀들의 예측 값으로 이용할 수 있다. 일예로, DC 모드에서 고정된 하나의 값은 현재 블록의 주변에 위치한 픽셀 값들의 평균에 의해 유도될 수 있다. Planar 모드는 현재 블록에 수직으로 인접한 픽셀과 수평으로 인접한 픽셀을 이용하여 수직 방향 보간 및 수평 방향 보간을 수행하고, 이들의 평균값을 현재 블록 내 픽셀들의 예측 값으로 이용할 수 있다.
방향성 예측 모드는 참조 픽셀이 위치한 방향을 나타내는 모드로, 현재 블록내 예측 대상 픽셀과 참조 픽셀 간의 각도로 해당 방향을 나타낼 수 있다. 방향성 예측 모드는 Angular 모드로 불릴 수 있으며, 수직 모드, 수평 모드 등을 포함할 수 있다. 수직 모드는 현재 블록에 수직 방향으로 인접한 픽셀 값을 현재 블록 내 픽셀의 예측 값으로 이용할 수 있으며, 수평 모드는 현재 블록에 수평 방향으로 인접한 픽셀 값을 현재 블록 내 픽셀의 예측 값으로 이용할 수 있다. 그리고, 수직 모드와 수평 모드를 제외한 나머지 Angular 모드는 각각의 모드에 대해 미리 정해진 각도 및/또는 방향에 위치하는 참조 픽셀을 이용하여 현재 블록 내 픽셀의 예측 값을 도출할 수 있다.
일예로, 도 6에 도시된 바와 같이 인트라 예측 모드는 소정의 각도 및/또는 예측 방향에 따라 소정의 예측 모드 번호가 할당될 수 있다. Planar 모드에 할당되는 모드 번호는 0이고, DC 모드에 할당되는 모드 번호는 1일 수 있다. 또한, 수직 모드에 할당되는 모드 번호는 26이고, 수평 모드에 할당되는 모드 번호는 10일 수 있다. 그리고, 수직 및 수평 모드를 제외한 나머지 Angular 모드들은 인트라 예측 모드의 각도 및/또는 예측 방향에 따라 서로 다른 모드 번호가 할당될 수 있다.
한편, 현재 블록에 대한 인트라 예측 모드는 그 모드를 나타내는 값 자체로 전송될 수도 있으나, 전송 효율을 높이기 위해서 현재 블록의 예측 모드 값을 예측한 정보를 전송할 수도 있다. 예컨대, 현재 블록에 인접한 주변 블록의 인트라 예측 모드를 이용하여 현재 블록의 예측 모드에 대한 예측 값을 유도할 수 있다. 이러한 현재 블록의 예측 모드에 대한 예측 값은 MPM(Most Probable Mode)이라 칭할 수 있다.
도 6에 도시된 인트라 예측 모드의 예측 방향 및 인트라 예측 모드에 할당된 모드 번호는 하나의 예시이며, 본 발명이 이에 한정되어 적용되는 것은 아니다. 필요에 따라서 인트라 예측 모드의 예측 방향 및 예측 모드 번호는 변경 가능하다. 또한, 인트라 예측 모드의 개수(종류)도 필요에 따라서 변경하여 적용될 수 있다.
한편, 인터 레이어 차분 모드를 적용하지 않고, 인핸스먼트 레이어에서의 복원 샘플들만을 이용하여 인트라 예측을 수행하는 경우, 인트라 예측 모드에 따라 주변 샘플들에 대하여 [1 2 1] 필터링과 같은 스무드 필터링(smooth filtering)을 적용한 후, 필터링된 주변 샘플들을 인트라 예측에 사용한다. 그러나, 인터 레이어 차분 모드를 적용한 인트라 예측 방법은 현재 블록의 고주파 성분을 주로 예측하기 위한 것이기 때문에, 현재 블록의 주변에 위치한 주변 샘플들에 스무드 필터링을 적용하지 않을 수 있다.
인터 레이어 차분 모드에서의 인트라 예측 시, 현재 레이어(인핸스먼트 레이어)의 현재 블록은 상술한 바와 같이 두 개의 예측 블록을 더하여 예측될 수 있다. 하나는 인핸스먼트 레이어의 현재 블록에 대응하는 참조 레이어(베이스 레이어)의 블록을 현재 블록의 크기에 맞도록 업샘플링한 블록이고, 다른 하나는 차분 영상으로부터 인트라 예측을 통해 유도된 블록이다.
이때, 베이스 레이어로부터 업샘플링하여 얻은 블록은 현재 블록의 저주파(low frequency) 영역을 복원하는 데에 주로 사용되고, 차분 영상으로부터 얻은 블록은 현재 블록의 고주파(high frequency) 영역을 복원하는 데에 주로 사용된다.
그러나, 차분 영상에서 인트라 예측을 통해 예측 블록을 유도할 때, 인트라 예측 모드가 DC 모드이면 이를 통해 얻은 예측 블록은 고주파 영역의 값을 거의 가지지 않게 된다. DC 모드를 적용하여 인트라 예측을 할 경우, 상술한 바와 같이 현재 블록의 주변에 위치한 주변 샘플들의 평균 값을 예측 값으로 이용하기 때문에, 이러한 예측 값을 가지는 예측 블록은 현재 블록의 고주파 성분 예측에 적합하지 않을 수 있다.
따라서, 본 발명에서는 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 예측 성능을 높일 수 있는 인트라 예측 방법을 제공한다.
도 7은 본 발명의 일 실시예에 따라 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 차분 영상으로부터 예측 블록을 도출하는 방법을 설명하기 위한 도면이다.
인터 레이어 차분 모드에서 인핸스먼트 레이어의 현재 블록을 예측하기 위해서, 상술한 바와 같이 인핸스먼트 레이어의 현재 블록에 대응하는 베이스 레이어의 업샘플링된 블록과, 차분 영상으로부터 예측된 예측 블록을 기반으로 인핸스먼트 레이어의 현재 블록에 대한 예측 블록을 생성할 수 있다. 도 7의 실시예에서는 차분 영상으로부터 예측 시, DC 모드가 선택된 경우 차분 영상의 인트라 예측 방법을 설명하도록 한다. 여기서, 차분 영상은, 상술한 바와 같이 인핸스먼트 레이어의 현재 픽처 내 복원 샘플들과, 현재 픽처 내 복원 샘플들에 대응하는 베이스 레이어의 복원 픽처 내 복원 샘플들 간의 차이를 기반으로 도출될 수 있다. 또한, 차분 영상으로부터 예측된 예측 블록은, 인핸스먼트 레이어의 현재 블록과 대응하는 위치의 차분 영상 내 블록을 인트라 예측하여 생성된 것이다.
도 7의 (a)를 참조하면, 차분 영상의 현재 블록(700)에 대해 DC 모드로 인트라 예측을 수행할 경우, 먼저 차분 영상의 현재 블록(700)에 대한 DC 예측 값을 도출한다. DC 예측 값은 차분 영상의 현재 블록(700)에 대한 예측 샘플들의 값일 수 있다. DC 예측 값은 현재 블록(700)의 주변에 위치한 주변 샘플들의 평균값 대신 소정의 값, 예컨대 0으로 설정될 수 있다. 주변 샘플들의 평균값을 적용하는 경우 예측 블록의 고주파 영역에는 아무 영향도 주지 못하기 때문에, 본 발명에서는 주변 샘플들의 평균값 대신 소정의 값, 예컨대 0으로 DC 예측 값을 설정한다.
다음으로, 도 7의 (b)를 참조하면, 차분 영상의 현재 블록(700) 내 경계 샘플들(경계 영역)(701, 703, 705)에 대한 스무드 필터링을 적용한 다음 예측 블록을 도출한다. 이때, 경계 샘플들(701, 703, 705)은 현재 블록(700) 내에서 가장 좌측에 위치하는 샘플들(703), 최상단에 위치하는 샘플들(701), 가장 좌상단에 위치하는 샘플(705)일 수 있다.
설명의 편의를 위해서, 현재 블록(700)의 크기를 NxN(N은 정수)이라고 할 때, 현재 블록(700) 내에서 가장 좌측에 위치하는 샘플들(703)은 가장 좌측 경계 샘플들로 지칭하고, 현재 블록(700) 내에서 가장 좌측 경계 샘플들의 위치는 (0, y)로 표현할 수 있다. 현재 블록(700) 내에서 최상단에 위치하는 샘플들(701)은 최상단 경계 샘플들로 지칭하고, 현재 블록(700) 내에서 최상단 경계 샘플들의 위치는 (x, 0)으로 표현할 수 있다. 현재 블록(700) 내에서 가장 좌상단에 위치하는 샘플(705)은 가장 좌상단 경계 샘플로 지칭하고, 현재 블록(700) 내에서 가장 좌상단 경계 샘플의 위치는 (0, 0)으로 표현할 수 있다. 여기서, x 및 y는 0부터 N-1까지의 정수 값일 수 있다.
현재 블록(700) 내 경계 샘플들(701, 703, 705)에 대한 필터링은 현재 블록(700)의 주변에 위치한 주변 샘플들(710, 720)을 이용할 수 있다. 이때, 경계 샘플들(701, 703, 705)에 대한 필터링은 주변 샘플들과 경계 샘플들에 대해 기설정된 가중치를 줌으로써 수행될 수 있다. 예를 들어, 주변 샘플들(710, 720)과 경계 샘플들(701, 703)에 대한 가중치는 1:3, 1:0, 1:1, 1:7 등으로 적용될 수 있다. 이때, 경계 샘플이 가장 좌상단 경계 샘플(705)인 경우, 가장 좌상단 경계 샘플(705)에 인접한 주변 샘플은 2개이다. 즉, 가장 좌상단 경계 샘플(705)의 상단에 위치한 상단 주변 샘플(711)과 가장 좌상단 경계 샘플(705)의 좌측에 위치한 좌측 주변 샘플(721)이다. 이 경우 상단 주변 샘플(711), 좌측 주변 샘플(721), 가장 좌상단 경계 샘플(705)에 대한 가중치는 예컨대, 1:1:2일 수 있다.
이하에서는 최상단 경계 샘플들(701)과 가장 좌측 경계 샘플들(703)에 대한 필터링 과정을 먼저 설명하고, 가장 좌상단 경계 샘플(705)에 대한 필터링 과정을 후술하도록 한다.
아래 수학식 4는 주변 샘플과 경계 샘플에 1:3으로 가중치를 주어 경계 샘플들에 대한 필터링을 수행한 결과를 나타낸다.
수학식 4
Figure PCTKR2013004515-appb-M000004
여기서, C’은 현재 블록 내 필터링이 적용된 현재 샘플의 결과값이고, N은 주변 샘플의 값이고, C는 현재 블록 내 필터링이 적용되기 전의 현재 샘플의 값을 나타낸다.
이때, 경계 샘플들에 대한 기존의 필터링 수행 시에는 필터링에 이용되는 샘플이 가질 수 있는 샘플 값이 항상 0보다 큰 값을 가지기 때문에 수학식 4에서와 같이 단순한 업워드 라운딩(upward rounding) 연산을 적용할 수 있다. 그러나, 본 발명에서는 차분 영상을 이용하기 때문에, N이나 C의 값이 0보다 작은 값을 가지는 경우가 발생할 수 있다. 따라서, 차분 영상 내에서의 필터링 시에는 수학식 4에서와 같은 라운딩(rounding) 연산이 부적절할 수 있으므로, 본 발명에서는 수학식 5에서와 같이 필터링이 수행되는 해당 샘플의 절대값에 대해 업워드 라운딩(upward rounding) 또는 다운워드 라운딩(downward rounding) 연산을 취하는 방식을 적용할 수 있다.
수학식 5는 최상단 경계 샘플들(701) 및 가장 좌측 경계 샘플들(703)에 대해 필터링을 적용한 샘플 값을 나타낸다. 이때, 수학식 5에서 첫 번째 식은 두 번째 및 세 번째 식을 간단히 표현하기 위해, S에 임시로 값을 저장해 놓은 것이고, 두 번째 식은 해당 샘플의 절대값에 대해 업워드 라운딩 연산을 적용한 것이고, 세 번째 식은 해당 샘플의 절대값에 대해 다운워드 라운딩 연산을 적용한 것이다.
수학식 5
Figure PCTKR2013004515-appb-M000005
Figure PCTKR2013004515-appb-I000001
Figure PCTKR2013004515-appb-I000002
여기서, C’은 현재 블록 내 필터링이 적용된 현재 샘플의 결과값이고, N은 주변 샘플의 값이고, C는 현재 블록 내 필터링이 적용되기 전의 현재 샘플의 값을 나타낸다.
이때, 본 발명에 따르면 현재 블록의 DC 예측 값을 0으로 설정할 수 있으므로, 수학식 5에서 C의 값이 0이 된다. 따라서, 본 발명에 따른 현재 블록의 경계 영역에 대한 필터링 연산은 매우 간단해질 수 있으므로 계산 복잡도가 감소될 수 있다. 또한, 수학식 5의 실시예에서는 주변 샘플들과 경계 샘플들에 대한 가중치를 1:3으로 하여 필터링을 적용하였으나, 이는 하나의 예시일 뿐 본 발명이 이에 한정되는 것은 아니다. 예컨대, 본 발명에서는 1:0, 1:1, 1:7 등으로 다양한 가중치를 주어 필터링을 적용할 수도 있다.
일예로, 현재 블록(700) 내 (x, 0)에 위치한 최상단 경계 샘플들(701)은, 현재 블록(700)의 상단에 위치한 상단 주변 샘플들(710)을 이용하여 기설정된 가중치에 따라 필터링될 수 있다. 예컨대, 최상단 경계 샘플들(701)에 대해 필터링을 적용한 예측 샘플 값은 수학식 6과 같이 도출될 수 있다.
수학식 6
Figure PCTKR2013004515-appb-M000006
여기서, S(x,0)은 현재 블록(700) 내 필터링이 적용된 최상단 경계 샘플들(701)의 값이며, S(x,0)은 수학식 5에서와 같이 업워드 라운딩 또는 다운워드 라운딩 연산이 적용될 수 있다. C(x,0)은 현재 블록(700) 내 필터링이 적용되기 전, 예컨대 0의 값을 가지는 최상단 경계 샘플들(701)의 DC 예측 값일 수 있다. N(x,-1)은 최상단 경계 샘플들(701)의 상단에 위치한 상단 주변 샘플들(710)의 샘플 값일 수 있다. WN 및 WC는 상단 주변 샘플들(710)의 샘플 값 N(x,-1)과 최상단 경계 샘플들(701)의 샘플 값 C(x,0)에 대한 가중치를 나타낸다. 상술한 바와 같이, WN 및 WC에 대한 가중치 비율은 1:3, 1:0, 1:1, 1:7 등을 적용할 수 있다.
다른 예로, 현재 블록(700) 내 (0, y)에 위치한 가장 좌측 경계 샘플들(703)은, 현재 블록(700)의 좌측에 위치한 좌측 주변 샘플들(720)을 이용하여 기설정된 가중치에 따라 필터링될 수 있다. 예컨대, 가장 좌측 경계 샘플들(703)에 대해 필터링을 적용한 예측 샘플 값은 수학식 7과 같이 도출될 수 있다.
수학식 7
Figure PCTKR2013004515-appb-M000007
여기서, S(0,y)은 현재 블록(700) 내 필터링이 적용된 가장 좌측 경계 샘플들(703)의 값이며, S(0,y)은 수학식 5에서와 같이 업워드 라운딩 또는 다운워드 라운딩 연산이 적용될 수 있다. C(0,y)은 현재 블록(700) 내 필터링이 적용되기 전, 예컨대 0의 값을 가지는 가장 좌측 경계 샘플들(703)의 DC 예측 값일 수 있다. N(-1,y)은 가장 좌측 경계 샘플들(703)의 좌측에 위치한 좌측 주변 샘플들(720)의 샘플 값일 수 있다. WN 및 WC는 좌측 주변 샘플들(720)의 샘플 값 N(-1,y)과 가장 좌측 경계 샘플들(703)의 샘플 값 C(0,y)에 대한 가중치를 나타낸다. 상술한 바와 같이, WN 및 WC에 대한 가중치 비율은 1:3, 1:0, 1:1, 1:7 등을 적용할 수 있다.
본 발명에 따르면, 현재 블록(700)에 대한 DC 예측 값으로 주변 샘플들의 평균값 대신 0의 값을 적용할 수 있으므로, 상기 수학식 5에서 C를 0으로 가정할 수 있다. 이러한 경우, 주변 샘플과 필터링이 적용되는 현재 블록(700) 내 현재 샘플 간 가중치에 따른 필터링 과정을 아래 수학식 8과 같이 일반화할 수 있다. 이때, 가중치는 shift_bits를 이용하여 나타낸다.
수학식 8
Figure PCTKR2013004515-appb-M000008
Figure PCTKR2013004515-appb-I000003
Figure PCTKR2013004515-appb-I000004
여기서, 주변 샘플과 필터링이 적용되는 현재 샘플에 대한 가중치는 1 : (1<<shift_bist)-1 이 된다.
이때, 수학식 8에서는, C의 값, 즉 필터링이 적용되기 전 현재 샘플의 값이 0이 되므로, 상기 수학식 5에서와 같이 S를 따로 구하지 않고 N(주변 샘플의 값)을 직접 사용하여 나타낼 수 있다. 또한, 현재 블록(700) 내 경계 샘플들(701, 703, 705)에 대한 필터링 연산 시, 정수 연산에 대한 오차를 보상하기 위하여 수학식 8에서와 같이 오프셋(offset)이 더해질 수도 있다. 상기 수학식 8에서 두 번째 식은 해당 샘플의 절대값에 대한 업워드 라운딩 연산을 적용하기 위한 것이고, 세 번째 식은 해당 샘플의 절대값에 대한 다운워드 라운딩 연산을 적용하기 위한 것이다.
한편, 가장 좌상단 경계 샘플(705)에 대한 필터링은 상단 주변 샘플(711) 및 좌측 주변 샘플(721)을 이용할 수 있다. 여기서, 상단 주변 샘플(711)을 N1이라 하고, 좌측 주변 샘플(721)을 N2라고 하자. 상기 수학식 8에서 N의 값 대신 N1과 N2의 평균값을 집어 넣으면 가장 좌상단 경계 샘플(705)에 대한 필터링을 수행한 결과 값을 얻을 수 있다. 혹은, 상기 수학식 8에서 N의 값 대신 N1과 N2의 합을 집어 넣고, shift_bist의 값을 1 증가시켜서 가장 좌상단 경계 샘플(705)에 대한 필터링을 수행할 수도 있다. 이러한 경우, 상술한 N1과 N2의 평균값을 사용하는 경우에 비해 라운딩 연산의 횟수가 1번 줄어드는 효과가 있다. 혹은, 상기 수학식 8에서 N의 값 대신 N1과 N2의 합을 집어 넣고, shift_bits의 값은 그대로 사용하여 가장 좌상단 경계 샘플(705)에 대한 필터링을 수행할 수도 있다. 이러한 경우, 가장 좌상단 경계 샘플(705)에 대한 필터링 시, 다른 경계 샘플들(701, 703)에 비해 주변 샘플들에 2배 더 큰 가중치를 주어 필터링을 수행하게 된다.
예를 들어, 현재 블록(700) 내 (0, 0)에 위치한 가장 좌상단 경계 샘플(705)에 대한 필터링은 수학식 9와 같이 현재 블록(700) 내 (0,-1)에 위치한 상단 주변 샘플(711) 및 현재 블록(700) 내 (-1,0)에 위치한 좌측 주변 샘플(721)을 이용하여 기설정된 가중치에 따라 수행될 수 있다.
수학식 9
Figure PCTKR2013004515-appb-M000009
여기서, S(0,0)은 현재 블록(700) 내 필터링이 적용된 가장 좌상단 경계 샘플(705)의 값이며, 이때 S(0,0)은 상기 수학식 5에서 두 번째 또는 세 번째 식과 같이 업워드 라운딩 또는 다운워드 라운딩 연산이 적용될 수 있다. C(0,0)은 현재 블록(700) 내 필터링이 적용되기 전, 예컨대 0의 값을 가지는 가장 좌상단 경계 샘플(705)의 DC 예측 값일 수 있다. N1(0,-1)은 상단 주변 샘플(711)의 샘플 값이고, N2(-1,0)은 좌측 주변 샘플(721)의 샘플 값일 수 있다. WN1, WN2 및 WC는 상단 주변 샘플(711)의 샘플 값 N1(0,-1), 좌측 주변 샘플(721)의 샘플 값 N2(-1,0) 및 가장 좌상단 경계 샘플(705)의 샘플 값 C(0,0)에 대한 가중치를 나타낸다. 이때, WN1, WN2 및 WC에 대한 가중치 비율은 1:1:2 등을 적용할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 차분 영상의 현재 블록에 대해 DC 모드를 적용하여 도출된 예측 블록의 경우, 예측 블록 내 경계 샘플들을 제외한 영역의 예측 샘플들은 DC 예측 값(예컨대, 0)을 가지며, 경계 샘플들은 상술한 바와 같은 필터링이 적용된 예측 샘플 값을 가질 수 있다.
상술한 본 발명의 실시예에 따른 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 차분 영상으로부터 예측 블록을 도출하는 방법은 휘도(luma) 성분뿐만 아니라 색차(chroma) 성분에도 동일하게 적용될 수 있다. 또한, 상술한 본 발명의 실시예에 따른 인터 레이어 차분 모드에서의 DC 모드를 적용하는 방법은 인터 레이어 차분 모드의 프레임워크(framework)가 아닌 다른 인트라 예측의 DC 모드에 대해서도 동일하게 적용 가능하다. 예컨대, 상술한 바와 같이, 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측에서의 DC 모드를 대체하여 적용될 수 있으며, 기존 인트라 예측에서의 DC 모드나 Planar 모드를 대체하여 적용될 수도 있다.
한편, 인터 레이어 차분 모드에서 인핸스먼트 레이어의 현재 블록을 예측하기 위해, 차분 영상으로부터 인트라 예측 모드를 기반으로 예측을 수행하여 예측 블록을 도출할 때, 본 발명에서는 인트라 예측 모드로 DC 모드를 사용하지 않을 수 있다. 예컨대, 도 6에 도시된 인트라 예측 모드 중에서 DC 모드를 제외한 나머지 예측 모드들만을 이용하여 인터 레이어 차분 모드에서의 인트라 예측을 수행할 수 있다. 이 경우, 인트라 예측 시 DC 모드를 사용하지 않기 때문에 예측 모드의 수가 감소된다. 따라서, 인트라 예측 모드를 나타내기 위한 비트 수가 감소될 수 있으며, 또한 인코더의 복잡도 감소 효과를 얻을 수 있다.
또한, 인터 레이어 차분 모드에서의 인트라 예측 시, 신호(signal)가 가진 에너지의 큰 부분을 차지하는 저주파 영역의 예측은 참조 레이어(베이스 레이어)로부터 얻은 예측 블록에서 담당하기 때문에, 상대적으로 에너지의 양이 적은 고주파 영역의 예측을 담당하는 차분 영상에서의 인트라 예측은 단순화할 수 있다. 따라서, 본 발명에서는 차분 영상에서의 인트라 예측 수행 시, 이용 가능한(available) 인트라 예측 모드를 제한할 수 있다. 예를 들어, 이용 가능한 인트라 예측 모드는 도 6에 도시된 인트라 예측 모드 중에서 소정의 모드들(예컨대, 수직 방향성을 가지는 수직 모드, 수평 방향성을 가지는 수평 모드)을 사용할 수 있다.
도 8은 본 발명의 일 실시예에 따라 인터 레이어 차분 모드에서 DC 모드가 선택된 경우 차분 영상으로부터 예측 블록을 도출하는 방법을 개략적으로 나타내는 순서도이다.
도 8의 방법은 상술한 도 1의 인코딩 장치 또는 도 2의 디코딩 장치에서 수행될 수 있다. 보다 구체적으로는 상술한 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 도 8의 실시예에서는 설명의 편의를 위해 도 8의 방법이 디코딩 장치에서 수행되는 것으로 설명하나, 이는 인코딩 장치에서도 동일하게 적용될 수 있다.
도 8을 참조하면, 인핸스먼트 레이어의 현재 블록이 인터 레이어 차분 모드로 인코딩된 경우, 현재 블록을 디코딩하기 위해서, 디코딩 장치는 인핸스먼트 레이어의 현재 블록을 포함하는 현재 픽처와 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출한다(S800).
디코딩 장치는 인핸스먼트 레이어의 현재 블록에 대응하는 차분 영상의 블록에 대하여 인트라 예측 모드를 기반으로 인트라 예측을 수행하고, 예측 블록을 도출한다(S810).
상술한 바와 같이, 차분 영상은 인핸스먼트 레이어의 현재 픽처 내 복원 샘플들과 상기 현재 픽처 내 복원 샘플들과 대응하는 베이스 레이어의 복원 픽처 내 복원 샘플들간의 차이를 기반으로 도출되므로, 차분 영상의 블록에 대한 인트라 예측은 차분 영상의 복원 샘플들을 참조 샘플로 이용하여 수행될 수 있다.
이때, 차분 영상의 블록에 대한 인트라 예측 모드가 DC 모드일 때, 도 7에서상술한 바와 같은 방법으로 차분 영상에 대한 예측을 수행할 수 있다.
먼저 디코딩 장치는 차분 영상의 블록에 대한 DC 예측 값을 도출한다. DC 예측 값은 차분 영상의 블록에 대한 예측 샘플들의 값일 수 있다. 본 발명의 일 실시예에 따르면, DC 예측 값은 소정의 값으로 설정될 수 있으며, 예를 들어 0으로 설정될 수 있다.
다음으로, 디코딩 장치는 차분 영상의 블록 내 경계 샘플들에 대하여 스무드 필터링을 적용하여 예측 블록을 도출한다. 이때, 차분 영상의 블록 주변에 위치한 주변 샘플들을 이용하여 기설정된 가중치에 따라 경계 샘플들에 대한 필터링을 적용할 수 있다.
예를 들어, 상술한 바와 같이, 차분 영상의 블록 내 가장 좌측 경계 샘플들은, 가장 좌측 경계 샘플들에 인접한 좌측 주변 샘플들을 이용하여 필터링될 수 있으며, 차분 영상의 블록 내 최상단 경계 샘플들은, 최상단 경계 샘플들에 인접한 상단 주변 샘플들을 이용하여 필터링될 수 있다. 여기서, 주변 샘플들과 차분 영상의 블록 내 경계 샘플들에 가중치를 주어 필터링 연산을 수행할 수 있으며, 예컨대 좌측 주변 샘플과 가장 좌측 경계 샘플에 대한 가중치 또는 상단 주변 샘플과 최상단 경계 샘플에 대한 가중치를 1:3, 1:0, 1:1, 1:7 등으로 적용할 수 있다. 가장 좌측 경계 샘플들과 최상단 경계 샘플들에 대한 필터링을 통해 도출된 예측 블록의 예측 샘플 값은 상기 수학식 5 내지 수학식 8과 같이 표현될 수 있다. 이에 대한 구체적인 설명은 도 7을 참조하여 전술하였으므로 여기서는 생략한다.
차분 영상의 블록 내 가장 좌상단 경계 샘플은, 가장 좌상단 경계 샘플의 상단에 위치한 상단 주변 샘플과 가장 좌상단 경계 샘플의 좌측에 위치한 좌측 주변 샘플을 이용하여 필터링될 수 있다. 여기서, 주변 샘플들과 차분 영상의 블록 내 가장 좌상단 경계 샘플에 가중치를 주어 필터링 연산을 수행할 수 있으며, 예컨대 상단 주변 샘플, 좌측 주변 샘플, 가장 좌상단 경계 샘플에 대한 가중치를 1:1:2 등으로 적용할 수 있다. 가장 좌상단 경계 샘플에 대한 필터링을 통해 도출된 예측 블록의 예측 샘플 값은 상기 수학식 9와 같이 표현될 수 있다. 이에 대한 구체적인 설명은 도 7을 참조하여 전술하였으므로 여기서는 생략한다.
또는, 상술한 바와 같이, 상단 주변 샘플을 N1이라 하고, 좌측 주변 샘플을 N2라고 할 때, 상기 수학식 8에서 N의 값 대신 N1과 N2의 평균값을 집어 넣으면 가장 좌상단 경계 샘플에 대한 필터링을 수행한 결과 값을 얻을 수 있다. 혹은, 상기 수학식 8에서 N의 값 대신 N1과 N2의 합을 집어 넣고, shift_bist의 값을 1 증가시켜서 가장 좌상단 경계 샘플에 대한 필터링을 수행할 수도 있다. 혹은, 상기 수학식 8에서 N의 값 대신 N1과 N2의 합을 집어 넣고, shift_bits의 값은 그대로 사용하여 가장 좌상단 경계 샘플에 대한 필터링을 수행할 수도 있다.
상술한 본 발명의 실시예에 따르면, 차분 영상의 블록으로부터 DC 모드를 적용하여 예측된 예측 블록에서, 경계 샘플들을 제외한 영역의 예측 샘플들은 DC 예측 값(예컨대, 0)을 가지며, 경계 샘플들은 스무드 필터링이 적용된 예측 샘플 값을 가질 수 있다.
본 발명의 다른 실시예에 따르면, 차분 영상으로부터 인트라 예측 모드를 기반으로 예측을 수행하여 예측 블록을 도출할 때, DC 모드를 사용하지 않을 수 있다. 예컨대, 도 6에 도시된 인트라 예측 모드 중에서 DC 모드를 제외한 나머지 예측 모드들만을 이용하여 인터 레이어 차분 모드에서 인트라 예측을 수행할 수 있다. 이 경우, 인트라 예측 시 DC 모드를 사용하지 않기 때문에 예측 모드의 수가 감소된다. 따라서, 인트라 예측 모드를 나타내기 위한 비트 수가 감소될 수 있으며, 또한 인코더의 복잡도를 줄일 수 있다.
본 발명의 또 다른 실시예에 따르면, 차분 영상으로부터 인트라 예측 모드를 기반으로 예측을 수행하여 예측 블록을 도출할 때, 이용 가능한 인트라 예측 모드를 제한할 수 있다. 예를 들어, 도 6에 도시된 인트라 예측 모드 중에서 소정의 모드들(예컨대, 수직 방향성을 가지는 수직 모드, 수평 방향성을 가지는 수평 모드)을 이용하여 차분 영상에 대한 인트라 예측을 수행할 수 있다.
디코딩 장치는 차분 영상으로부터 도출된 예측 블록과, 인핸스먼트 레이어의 현재 블록에 대응하는 베이스 레이어의 복원 블록을 기반으로 인핸스먼트 레이어의 현재 블록을 예측한다(S820). 차분 영상으로부터 도출된 예측 블록과 인핸스먼트 레이어의 현재 블록에 대응하는 베이스 레이어의 복원 블록을 더하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 여기서, 베이스 레이어의 복원 블록은, 인핸스먼트 레이어의 해상도에 맞추어 업샘플링된 블록일 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (18)

  1. 인핸스먼트 레이어의 현재 픽처와 상기 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출하는 단계;
    상기 현재 픽처 내의 현재 블록과 대응하는 상기 차분 영상의 블록에 대하여 인트라 예측을 수행하여 예측 블록을 도출하는 단계; 및
    상기 예측 블록과, 상기 현재 블록에 대응하는 상기 베이스 레이어의 복원 블록을 기반으로 상기 현재 블록을 예측하는 단계를 포함하며,
    상기 차분 영상은,
    상기 현재 픽처 내 복원 샘플들과, 상기 현재 픽처 내 복원 샘플들과 대응하는 상기 베이스 레이어의 복원 픽처 내 복원 샘플들간의 차이를 기반으로 도출되며,
    상기 예측 블록을 도출하는 단계에서는,
    인트라 예측 모드를 기반으로 상기 차분 영상의 블록에 대한 예측 샘플들을 도출하는 것을 특징으로 하는 인터 레이어 예측 방법.
  2. 제1항에 있어서,
    상기 예측 블록을 도출하는 단계는,
    상기 인트라 예측 모드가 DC 모드이면, 상기 차분 영상의 블록에 대한 DC 예측 값을 도출하는 단계; 및
    상기 차분 영상의 블록에 인접한 주변 샘플들을 이용하여 상기 차분 영상의 블록 내 경계 샘플들을 필터링하는 단계를 포함하며,
    상기 DC 예측 값은 0인 것을 특징으로 하는 인터 레이어 예측 방법.
  3. 제2항에 있어서,
    상기 차분 영상의 블록 내 경계 샘플들을 필터링하는 단계에서는,
    상기 주변 샘플들과 상기 경계 샘플들에 대한 가중치에 따라 상기 경계 샘플들을 필터링하며,
    상기 주변 샘플들과 상기 경계 샘플들에 대한 가중치는 1:3, 1:0, 1:1 또는 1:7인 것을 특징으로 하는 인터 레이어 예측 방법.
  4. 제3항에 있어서,
    상기 차분 영상의 블록 내 경계 샘플들을 필터링하는 단계에서는,
    상기 경계 샘플이 상기 차분 영상의 블록 내 가장 좌상단 경계 샘플이면, 상기 가장 좌상단 경계 샘플의 좌측에 위치한 좌측 주변 샘플, 상기 가장 좌상단 경계 샘플의 상단에 위치한 상단 주변 샘플 및 상기 가장 좌상단 경계 샘플에 대한 가중치에 따라 상기 가장 좌상단 경계 샘플을 필터링하며,
    상기 좌측 주변 샘플, 상단 주변 샘플 및 상기 가장 좌상단 경계 샘플에 대한 가중치는 1:1:2인 것을 특징으로 하는 인터 레이어 예측 방법.
  5. 제2항에 있어서,
    상기 차분 영상의 블록 내 경계 샘플들을 필터링하는 단계에서는,
    상기 경계 샘플들의 예측 샘플 값들에 업워드 라운딩(upward rounding) 및 다운워드 라운딩(downward rounding) 중 하나를 적용하기 위한 오프셋을 더하는 것을 특징으로 하는 인터 레이어 예측 방법.
  6. 제1항에 있어서,
    상기 예측 블록을 도출하는 단계에서는,
    상기 차분 영상의 블록에 대해 이용 가능한 인트라 예측 모드를 제한하는 것을 특징으로 하는 인터 레이어 예측 방법.
  7. 제6항에 있어서,
    상기 이용 가능한 인트라 예측 모드는 수직 방향 예측 모드 및 수평 방향 예측 모드 중 적어도 하나인 것을 특징으로 하는 인터 레이어 예측 방법.
  8. 제1항에 있어서,
    상기 예측 블록을 도출하는 단계에서는,
    상기 차분 영상의 블록에 대한 인트라 예측 모드로 DC 모드를 사용하지 않는 것을 특징으로 하는 인터 레이어 예측 방법.
  9. 제1항에 있어서,
    상기 베이스 레이어의 복원 블록은, 상기 인핸스먼트 레이어의 해상도에 맞추어 업샘플링된 블록인 것을 특징으로 하는 인터 레이어 예측 방법.
  10. 인핸스먼트 레이어의 현재 픽처와 상기 현재 픽처에 대응하는 베이스 레이어의 복원 픽처 간의 차이를 기반으로 차분 영상을 도출하고, 상기 현재 픽처 내의 현재 블록과 대응하는 상기 차분 영상의 블록에 대하여 인트라 예측을 수행하여 예측 블록을 도출하고, 상기 예측 블록과 상기 현재 블록에 대응하는 상기 베이스 레이어의 복원 블록을 기반으로 상기 현재 블록을 예측하는 예측부를 포함하며,
    상기 차분 영상은 상기 현재 픽처 내 복원 샘플들과, 상기 현재 픽처 내 복원 샘플들과 대응하는 상기 베이스 레이어의 복원 픽처 내 복원 샘플들간의 차이를 기반으로 도출되며,
    상기 예측 블록은 인트라 예측 모드를 기반으로 상기 차분 영상의 블록에 대한 예측 샘플들인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  11. 제10항에 있어서,
    상기 예측부는, 상기 인트라 예측 모드가 DC 모드이면, 상기 차분 영상의 블록에 대한 DC 예측 값을 도출하고, 상기 차분 영상의 블록에 인접한 주변 샘플들을 이용하여 상기 차분 영상의 블록 내 경계 샘플들을 필터링하며,
    상기 DC 예측 값은 0인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  12. 제11항에 있어서,
    상기 예측부는, 상기 주변 샘플들과 상기 경계 샘플들에 대한 가중치에 따라 상기 경계 샘플들을 필터링하며,
    상기 주변 샘플들과 상기 경계 샘플들에 대한 가중치는 1:3, 1:0, 1:1 또는 1:7인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  13. 제12항에 있어서,
    상기 예측부는, 상기 경계 샘플이 상기 차분 영상의 블록 내 가장 좌상단 경계 샘플이면, 상기 가장 좌상단 경계 샘플의 좌측에 위치한 좌측 주변 샘플, 상기 가장 좌상단 경계 샘플의 상단에 위치한 상단 주변 샘플 및 상기 가장 좌상단 경계 샘플에 대한 가중치에 따라 상기 가장 좌상단 경계 샘플을 필터링하며,
    상기 좌측 주변 샘플, 상단 주변 샘플 및 상기 가장 좌상단 경계 샘플에 대한 가중치는 1:1:2인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  14. 제11항에 있어서,
    상기 예측부는, 상기 경계 샘플들의 예측 샘플 값들에 업워드 라운딩(upward rounding) 및 다운워드 라운딩(downward rounding) 중 하나를 적용하기 위한 오프셋을 더하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  15. 제10항에 있어서,
    상기 예측부는,
    상기 차분 영상의 블록에 대해 이용 가능한 인트라 예측 모드를 제한하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  16. 제15항에 있어서,
    상기 이용 가능한 인트라 예측 모드는 수직 방향 예측 모드 및 수평 방향 예측 모드 중 적어도 하나인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  17. 제10항에 있어서,
    상기 예측부는,
    상기 차분 영상의 블록에 대한 인트라 예측 모드로 DC 모드를 사용하지 않는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  18. 제10항에 있어서,
    상기 베이스 레이어의 복원 블록은, 상기 인핸스먼트 레이어의 해상도에 맞추어 업샘플링된 블록인 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
PCT/KR2013/004515 2012-05-25 2013-05-23 인터 레이어 예측 방법 및 이를 이용하는 장치 WO2013176495A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261651610P 2012-05-25 2012-05-25
US61/651,610 2012-05-25
US201261733390P 2012-12-04 2012-12-04
US61/733,390 2012-12-04

Publications (1)

Publication Number Publication Date
WO2013176495A1 true WO2013176495A1 (ko) 2013-11-28

Family

ID=49624107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004515 WO2013176495A1 (ko) 2012-05-25 2013-05-23 인터 레이어 예측 방법 및 이를 이용하는 장치

Country Status (1)

Country Link
WO (1) WO2013176495A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009500981A (ja) * 2005-07-11 2009-01-08 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR20090018019A (ko) * 2005-01-21 2009-02-19 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20110060102A (ko) * 2009-11-30 2011-06-08 엘지전자 주식회사 인트라 예측을 이용한 비디오 신호 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100878809B1 (ko) * 2004-09-23 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR20090018019A (ko) * 2005-01-21 2009-02-19 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여 영상신호를 엔코딩/디코딩하는 방법 및 장치
JP2009500981A (ja) * 2005-07-11 2009-01-08 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20110060102A (ko) * 2009-11-30 2011-06-08 엘지전자 주식회사 인트라 예측을 이용한 비디오 신호 처리 방법 및 장치

Similar Documents

Publication Publication Date Title
WO2017209328A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2020218793A1 (ko) Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2014171713A1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2019117639A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019117634A1 (ko) 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2017057877A1 (ko) 영상 코딩 시스템에서 영상 필터링 방법 및 장치
WO2017065509A2 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2019125035A1 (ko) 선택적 변환에 기반한 영상 코딩 방법 및 그 장치
WO2018212569A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2016048092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2016137166A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2020116961A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2015009021A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2019143103A1 (ko) 다양한 변환 기술을 사용하는 비디오 코딩 방법 및 장치
WO2013147495A1 (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2015037922A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083988A1 (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2014189300A1 (ko) 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2014098374A1 (ko) Mpm을 이용한 계층적 영상 복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13793288

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13793288

Country of ref document: EP

Kind code of ref document: A1