WO2013129878A1 - 인터 레이어 예측 방법 및 이를 이용하는 장치 - Google Patents

인터 레이어 예측 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2013129878A1
WO2013129878A1 PCT/KR2013/001659 KR2013001659W WO2013129878A1 WO 2013129878 A1 WO2013129878 A1 WO 2013129878A1 KR 2013001659 W KR2013001659 W KR 2013001659W WO 2013129878 A1 WO2013129878 A1 WO 2013129878A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
prediction
inter
current block
information
Prior art date
Application number
PCT/KR2013/001659
Other languages
English (en)
French (fr)
Inventor
김철근
박승욱
임재현
전용준
박준영
박내리
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to DK13754230.4T priority Critical patent/DK2822276T3/en
Priority to US14/381,802 priority patent/US9554149B2/en
Priority to KR1020147021404A priority patent/KR102083011B1/ko
Priority to CN201380021904.6A priority patent/CN104255031B/zh
Priority to PL13754230T priority patent/PL2822276T3/pl
Priority to JP2014559832A priority patent/JP6166287B2/ja
Priority to EP18196154.1A priority patent/EP3442227B1/en
Priority to EP13754230.4A priority patent/EP2822276B1/en
Priority to ES13754230T priority patent/ES2703628T3/es
Publication of WO2013129878A1 publication Critical patent/WO2013129878A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image, It is necessary to provide scalability in the frame rate of video and the like.
  • One technical object of the present invention is to provide a method and apparatus for increasing the effect of scalable video coding and reducing redundantly transmitted information for each layer.
  • Another technical object of the present invention is to provide a method and apparatus for enhancing the encoding / decoding effect of an enhancement layer using information of a base layer.
  • Another technical object of the present invention is to provide a method and apparatus for utilizing information of a base layer in response to various scalability.
  • Another technical object of the present invention is to provide a method and apparatus for improving coding efficiency through various inter-layer prediction methods.
  • Another technical object of the present invention is to provide a method and apparatus for improving coding efficiency of an enhancement layer using at least one of texture information, motion information, syntax information, unit information, parameter information, residual information, and difference information of a base layer. To provide.
  • An embodiment of the present invention is an interlayer prediction method, comprising: deriving interlayer motion information from a reference layer and performing prediction on a current block in a current layer by using the interlayer motion information.
  • the interlayer motion information includes an interlayer motion vector derived from the reference layer.
  • the interlayer motion vector may induce the interlayer motion vector by scaling the motion vector of the reference layer according to a resolution ratio between the reference layer and the current layer.
  • An embodiment of the present invention is an apparatus using an interlayer prediction method, comprising: a first prediction unit that performs prediction on a reference layer and interlayer motion information based on prediction by the first prediction unit in the current layer; It includes a second prediction unit for performing the prediction for the current block.
  • the interlayer motion information may include an interlayer motion vector derived from the reference layer, and the second predictor may scale the motion vector of the reference layer according to a resolution ratio between the reference layer and the current layer.
  • the encoding / decoding effect of the enhancement layer can be enhanced by using the information of the base layer.
  • information of the base layer may be utilized in correspondence with various scalability.
  • coding efficiency can be improved through various interlayer prediction methods.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus that performs scalable coding according to the present invention.
  • FIG. 3 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating an example of inter-layer prediction in a decoding apparatus that performs scalable coding according to the present invention.
  • FIG. 5 is a diagram schematically illustrating an example in which inter-layer intra prediction is performed according to the present invention.
  • FIG. 6 schematically illustrates an example of rescaling (downsampling / upsampling) applied in an inter-layer intra prediction process according to the present invention.
  • FIG. 7 is a diagram schematically illustrating an example of performing phase shifted up-samplimng according to the present invention.
  • FIG. 8 is a diagram for briefly describing a sampling method when the value of Interpolation_filter_indicator is 10 as an example of a method of using the Interpolation_filter_indicator according to the present invention.
  • FIG. 9 illustrates an example of candidates of motion information used when inter prediction is performed in a layer without referring to another layer.
  • FIG. 10 is a flowchart schematically illustrating an example of a method of performing interlayer motion prediction according to the present invention.
  • FIG. 11 is a diagram schematically illustrating a method of deriving motion information of a reference layer according to the present invention.
  • FIG. 12 is a diagram schematically illustrating a method of scaling mvIL in accordance with the present invention.
  • FIG. 13 is a view for briefly explaining an example of a method for performing inter-layer syntax prediction according to the present invention.
  • FIG. 14 is a diagram schematically illustrating a method of applying inter-layer residual prediction according to the present invention.
  • 15 is a diagram schematically illustrating an example of interlayer unit information prediction according to the present invention.
  • 16 is a diagram schematically illustrating an example of applying inter-layer unit prediction according to the present invention.
  • 17 is a diagram schematically illustrating another example of applying inter-layer unit prediction according to the present invention.
  • FIG. 18 is a diagram schematically illustrating another example of applying inter-layer unit prediction according to the present invention.
  • 19 is a diagram schematically illustrating an example of a method of performing adaptive interlayer texture prediction according to the present invention.
  • 20 is a diagram schematically illustrating interlayer filter parameter prediction according to the present invention.
  • 21 is a diagram schematically illustrating a method of performing intra prediction in case of applying an inter-layer difference mode according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed in layers.
  • the input signals may have at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 155 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoder 105 of the layer 1 includes an inter / intra predictor 110, a transform / quantizer 115, a filter 120, a decoded picture buffer 125, an entropy coding unit 130, and a unit parameter.
  • the prediction unit 135 includes a motion predictor / rescaler 140, a texture predictor / rescaler 145, a parameter predictor 150, and a multiplexer 185.
  • the encoding unit 155 of the layer 0 includes an inter / intra prediction unit 160, a transform / quantization unit 165, a filtering unit 170, a DPB 175, and an entropy coding unit 180.
  • the inter / intra predictors 110 and 160 may perform inter prediction and intra prediction on the input image.
  • the inter / intra predictor 110 or 160 may perform prediction in a predetermined processing unit.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the inter / intra prediction units 110 and 160 determine whether to apply inter prediction or intra prediction on a CU basis, determine a prediction mode on a PU basis, and perform prediction on a PU basis or a TU basis. It can also be done. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predtiction (MVP) method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the inter / intra predictor 160 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the transform / quantization units 115 and 165 perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 165 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the transform block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization units 115 and 165 may fixedly use a specific transform regardless of the prediction mode and the size of the transform block.
  • the transform / quantization units 115 and 165 may apply only DST to all transform blocks.
  • the transform / quantization units 115 and 165 may apply only DCT to all transform blocks.
  • the transform / quantization unit 115 and 165 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 165 may transfer the quantized transform coefficients to the entropy coding units 130 and 180.
  • the transform / quantization unit 165 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 180.
  • the transform / quantizers 115 and 165 may transmit the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 170 for inter prediction.
  • the transform / quantization units 115 and 165 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 180 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 170 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 170 may apply only the deblocking filter, only the deblocking filter and the ALF, or only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 175 may receive the reconstructed block or the reconstructed picture from the filtering units 125 and 170 and store the received reconstruction block.
  • the DPBs 125 and 175 may provide the reconstructed block or picture to the inter / intra predictor 110 or 160 that performs inter prediction.
  • Information output from the entropy coding unit 180 of the layer 0 and information output from the entropy coding unit 130 of the layer 1 may be multiplexed by the MUX 185 and output as a bitstream.
  • the encoding unit 105 of the layer 1 may use the unit parameter predictor 135 and the motion predictor / rescaler 140 for inter-layer prediction for performing prediction on the image of the layer 1 using the layer 0 information. , Texture predictor / rescaler 145, parameter predictor 150, and the like.
  • the unit parameter predictor 135 derives unit (CU, PU and / or TU) information of the base layer to use as unit information of the enhancement layer, or unit information of the enhancement layer based on the unit information of the base layer. To be determined.
  • unit (CU, PU and / or TU) information of the base layer to use as unit information of the enhancement layer, or unit information of the enhancement layer based on the unit information of the base layer. To be determined.
  • the motion predictor 140 performs interlayer motion prediction. Inter-layer motion prediction is also called inter-layer inter prediction.
  • the motion predictor 140 may perform prediction on the current block of the current layer (enhanced layer) using the motion information of the reference layer (base layer).
  • the motion predictor 140 may scale motion information of the reference layer.
  • the texture predictor 145 may perform interlayer texture prediction based on the information of the layer 0. Inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction. Texture prediction may be used when the reference block of the reference layer is reconstructed. In inter-layer texture prediction, the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the parameter predictor 150 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
  • the encoding unit 105 of the layer 1 includes the MUX 185, but the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 155 of the layer 0. It may be a device or a module of.
  • FIG. 2 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus that performs scalable coding according to the present invention.
  • the predictor 210 of the layer 1 includes an inter / intra predictor 220 and an interlayer predictor 230.
  • the prediction unit 210 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 230 may receive the layer 0 information from the inter / intra predictor 250 and / or the filter 260 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1. have.
  • the inter / intra predictor 220 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1.
  • the inter / intra predictor 220 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 230.
  • the filtering unit 240 of the layer 1 may perform the filtering based on the information of the layer 0, or may perform the filtering based on the information of the layer 0.
  • Information of the layer 0 may be transferred from the filtering unit 260 of the layer 0 to the filtering unit 240 of the layer 1, or may be transferred from the interlayer prediction unit 230 of the layer 1 to the filtering unit 240 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 230 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the interlayer prediction unit 230 may include a part of the unit parameter predictor 135, the motion predictor 140, the texture predictor 145, and the parameter predictor 150 that perform interlayer prediction in FIG. 1 or It can contain everything.
  • the inter / intra predictor 220 may correspond to the inter / intra predictor 110 of FIG. 1, and the filter 240 may correspond to the filter 120 of FIG. 1.
  • the inter / intra predictor 250 may correspond to the inter / intra predictor 160 of FIG. 1
  • the filter 260 may correspond to the filter 170 of FIG. 1.
  • FIG. 3 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • the decoding apparatus 300 includes a decoder 310 of layer 1 and a decoder 350 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 310 of the layer 1 includes an entropy decoding unit 315, a reordering unit 320, an inverse quantization unit 325, an inverse transform unit 330, a prediction unit 335, a filtering unit 340, and a memory. can do.
  • the decoding unit 350 of the layer 0 may include an entropy decoding unit 355, a reordering unit 360, an inverse quantization unit 365, an inverse transform unit 370, a filtering unit 380, and a memory 385. .
  • the DEMUX 305 may demultiplex the information for each layer and deliver the information to the decoding apparatus for each layer.
  • the entropy decoding units 315 and 355 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 315 and 355 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among information decoded by the entropy decoding units 315 and 355 is provided to the prediction units 335 and 375, and a residual value of which entropy decoding is performed by the entropy decoding units 315 and 355. That is, the quantized transform coefficients may be input to the reordering units 320 and 360.
  • the reordering units 320 and 360 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 315 and 355, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 320 and 360 may rearrange the quantized transform coefficients of the one-dimensional array back to the coefficients of the two-dimensional array.
  • the reordering units 320 and 360 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 325 and 365 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse quantizers 325 and 365 may transfer the entropy decoded residual to the inverse transformers 330 and 370 according to a predetermined condition or a quantization scheme in the encoding apparatus without inverse quantization.
  • the inverse transformers 330 and 370 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 330 and 370 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 330 and 370 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transformers 330 and 370 may apply an inverse DCT and an inverse DST according to a prediction mode / block size.
  • the inverse transformers 330 and 370 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 330 and 370 may fixedly use a specific inverse transform method regardless of the prediction mode / block size. For example, the inverse transform units 330 and 370 may apply only inverse DST to all transform blocks. In addition, the inverse transform units 330 and 370 may apply only inverse DCT to all transform blocks.
  • the inverse transformers 330 and 370 may inverse transform the transform coefficients or the block of the transform coefficients to generate the residual or the residual block.
  • the inverse transformers 330 and 370 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transforms 330 and 370 may omit the transform for a block having a specific prediction method or a specific size or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 335 and 375 may perform prediction on the current block based on the prediction block generation related information transmitted from the entropy decoding units 315 and 355 and previously decoded blocks and / or picture information provided by the memories 345 and 385.
  • a prediction block can be generated.
  • the prediction units 335 and 375 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 335 and 375 may perform the prediction on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 335 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the prediction unit 335 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 335 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 335 of the layer 1 may receive motion information of the layer 1 from the predictor 375 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 335 may scale and use motion information of the reference layer when necessary.
  • the predictor 335 of the layer 1 may receive inter-layer texture prediction from the texture information of the layer 1 from the predictor 375 of the layer 0.
  • Inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter-layer texture prediction may be used when the reference block of the reference layer is reconstructed.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 335 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 375 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 335 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 375 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the adders 390 and 395 may generate reconstruction blocks using the prediction blocks generated by the predictors 335 and 375 and the residual blocks generated by the inverse transformers 330 and 370.
  • the adders 390 and 395 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 390 and 395 may be provided to the filtering units 340 and 380.
  • the filtering units 340 and 380 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed blocks and / or pictures.
  • deblocking filtering sample adaptive offset (SAO)
  • SAO sample adaptive offset
  • ALF ALF
  • the filtering units 340 and 380 may not apply all of the deblocking filter, ALF, and SAO, and may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO.
  • the filtering unit 340 of the layer 1 performs filtering on the reconstructed picture by using parameter information transmitted from the prediction unit 335 of the layer 1 and / or the filtering unit 380 of the layer 1. It can also be done.
  • the filtering unit 340 may apply filtering to or between layers using a parameter predicted from the parameters of the filtering applied in layer 0.
  • the memories 345 and 385 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 345 and 385 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the prediction unit of the layer 1 includes the interlayer prediction unit that performs prediction using information of another layer (layer 0) and the other layer (layer 0). It may also include an inter / intra predictor that performs prediction without using information.
  • FIG. 4 is a block diagram illustrating an example of inter-layer prediction in a decoding apparatus that performs scalable coding according to the present invention.
  • the predictor 410 of the layer 1 includes an inter / intra predictor 420 and an interlayer predictor 430.
  • the prediction unit 410 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 430 may receive the layer 0 information from the inter / intra prediction unit 450 and / or the filtering unit 460 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1. have.
  • the inter / intra predictor 420 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1.
  • the inter / intra predictor 420 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 430.
  • the filtering unit 440 of the layer 1 may perform the filtering based on the information of the layer 0 or may perform the filtering based on the information of the layer 0.
  • Information of the layer 0 may be transferred from the filtering unit 460 of the layer 0 to the filtering unit 440 of the layer 1, or may be transferred from the interlayer prediction unit 430 of the layer 1 to the filtering unit 240 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 430 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the predictor 410 may correspond to the predictor 335 of FIG. 3, and the filter 440 may correspond to the filter 340 of FIG. 3.
  • the predictor 450 may correspond to the predictor 375 of FIG. 3
  • the filter 460 may correspond to the filter 380 of FIG. 3.
  • the inter-layer prediction unit 430 may include a motion prediction unit, a texture prediction unit, and a unit parameter according to the type of inter-layer prediction (eg, motion prediction, texture prediction, unit parameter prediction, and parameter prediction).
  • the prediction unit and the parameter prediction unit may be included.
  • interlayer prediction may be performed to predict information of a current layer by using information of another layer.
  • motion prediction, texture prediction, unit prediction, parameter prediction, and the like may be considered as examples of inter-layer prediction.
  • Inter layer intra prediction is also called inter layer texture prediction or intra base layer (BL) prediction.
  • interlayer intra prediction, texture prediction, and names of intra BL may be used interchangeably.
  • upsampling may be performed on the reconstructed image of the base layer to equally match the reconstructed image of the base layer and the image size or resolution of the enhancement layer.
  • upsampling may be performed by applying a DCTF (DCT based Interpolation Filter).
  • DCTF DCT based Interpolation Filter
  • upsampling may be performed by applying a DCTIF of 8 taps to a luma sample, and upsampling by applying a DCTIF of 4 taps to a chroma sample.
  • Upsampling may be performed by applying interpolation.
  • the inter-layer intra prediction according to the present invention exhibits different characteristics from the prior art for each processing unit of coding / decoding.
  • the coding block eg, CU
  • it is not dependent on the block size of the base layer, but may be applied according to its own CU partition.
  • the cost of inter-layer intra prediction may be compared with the cost for intra prediction in the current layer (enhanced layer).
  • the inter-layer intra prediction does not use an intra prediction mode, but compares intra prediction and rate-distortion optimization (RDO) by using a reconstructed image of the base layer (reference layer) as a reference image.
  • RDO rate-distortion optimization
  • inter-layer intra prediction it may be signaled whether or not inter-layer intra prediction is applied in a flag form at a higher level without generating a new mode for the PU. For example, before parsing is performed on a block mode or partitioning, an indication about whether to use inter-layer intra prediction in a flag form may be transmitted at a position next to a split flag.
  • the transform may be performed by applying inter-layer intra prediction while maintaining the quad tree structure of the HEVC.
  • FIG. 5 is a diagram schematically illustrating an example in which inter-layer intra prediction is performed according to the present invention.
  • the image 510 of the base layer and the image 530 of the enhancement layer have the same size of 64x64, but the image 530 of the enhancement layer is 4 than the image 510 of the base layer. It has twice the resolution.
  • the reference image 520 is configured by upsampling the image 510 of the base layer reconstructed in the intra prediction mode. It is then used for prediction of the enhancement layer.
  • the shadowed portion of the enhancement layer image 530 represents a block to which interlayer intra prediction is not applied.
  • the encoding apparatus may perform a process of downsampling the input image so that the input image may be divided into a plurality of layers having different resolutions and may be encoded / decoded.
  • the encoding device / decoding device may upsample the reconstructed picture of the lower layer in order to use the picture of the lower layer as a reference picture during the encoding / decoding process.
  • FIG. 6 schematically illustrates an example of rescaling (downsampling / upsampling) applied in an inter-layer intra prediction process according to the present invention.
  • FIG. 6 (a) illustrates a case where a col-located integer sample is used as a sampled sample.
  • FIG. 6 (b) an example in which a half phase shifted sample is generated and used without using the same position constant sample is described.
  • a half-pel upsampling filter when a half-pel upsampling filter is applied to a sample downsampled from an original sample, the position is shifted by 1/2 phase from the sampled downsampled position. Samples may be generated at.
  • phase shift upsampling to match the phase with the original samples (the original image) in the upsampling process.
  • FIG. 7 is a diagram schematically illustrating an example of performing phase shifted up-samplimng according to the present invention.
  • the lower samples move together one half phase from the original sample to show the downsampled samples and the upsampled samples from the downsampled samples.
  • upsampling is performed at 1/4 phase and 3/4 phase positions with respect to downsampled samples in the upsampling process to compensate for the phase shift during the downsampling process.
  • the mismatch of the phase can be eliminated by interpolating a 1/4 phase, 3/4 phase sample with respect to the downsampled samples. Referring to FIG. 7, it can be seen that the upsampled samples at the 1/4 phase and 3/4 phase positions for the downsampled samples have no phase difference with the original samples.
  • information about a downsampling filter applied by the encoding apparatus or information about an upsampling filter to be used in the decoding apparatus may be used. It needs to be sent from the encoding device to the decoding device.
  • Table 1 below shows an example of downsampling / upsampling filter information transmitted to match a phase according to the present invention.
  • a lookup table may be used instead of the information of the filter being transmitted explicitly from the encoding device to the decoding device.
  • the encoding apparatus may transmit an index indicating the filter information on the lookup table to the decoding apparatus.
  • the transmitted index may be an index indicating information of a downsampling filter applied in the encoding apparatus or an index indicating information of an upsampling filter to be applied in the decoding apparatus.
  • Table 2 briefly illustrates an example of a lookup table used to convey filter information according to the present invention.
  • the upsampling / downsampling filter information may be stored / transmitted at a predetermined level of an encoding / decoding process.
  • filter information may be transmitted in a sequence parameter set. In this case, the same filters may be applied unless there is separate signaling in the same sequence.
  • the filter information may be transmitted in the picture parameter set so that the same filters are applied in the same picture unless there is separate signaling.
  • the same filters may be applied in the same slice unless there is separate signaling.
  • Table 3 briefly illustrates an example of transmitting filter information stored in a sequence parameter set.
  • Interpolation_filter_indicator indicates the type of interpolation (interpolation) filter to use.
  • Table 3 shows a syntax structure for storing filter information in a sequence parameter set.
  • the Interpolation_filter_indicator may be transmitted in a picture parameter set or a slice header as described above.
  • the type of filter indicated by the Interpolation_filter_indicator is information indicating the characteristics of the filter and includes a phase, the number of taps, the coefficient of taps, and the like as shown in Table 1.
  • the Interpolation_filter_indicator may indicate the index value of the lookup table as shown in Table 4.
  • Table 4 shows an example of a table used to indicate filter information applied to rescaling through the Interpolation_filter_indicator.
  • FIG. 8 is a diagram for briefly describing a sampling method when the value of Interpolation_filter_indicator is 10 as an example of a method of using the Interpolation_filter_indicator according to the present invention.
  • FIG. 8 (a) shows a case of downsampling to which a 1/2 phase shift is applied
  • FIG. 8 (b) shows a case of performing upsampling from the downsampled sample in FIG. 8 (a).
  • up-sampling is performed by applying an 8-tap / 1/4, 3/4 phase interpolation filter as indicated by the Interpolation_filter_indicator to match the phase between the original samples and the upsampled samples. .
  • the Interpolation_filter_indicator indicates the upsampling filter to be applied by the decoding apparatus.
  • the value of Interpolation_filter_indicator is 10
  • '8-tap / 1/4, 3/4 phase interpolation filter' is applied to match the phase. Indicate that it should be.
  • the 8-tap / 1/4, 3/4 phase interpolation filter is applied to match the phases, meaning that downsampling with 1/2 phase shift is performed in the encoding apparatus.
  • the inter layer intra prediction described so far may be performed by the inter layer predictor (eg, the texture predictor) described with reference to FIGS. 1 to 4.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • Whether to apply inter-layer intra prediction may be indicated in a flag form following a flag indicating whether to divide a CU.
  • information of a filter may be encoded and transmitted. In this case, the transmitted information is as described above.
  • Inter-layer motion prediction is also referred to as inter-layer inter prediction, and in the present specification, interlayer motion prediction and expression of inter-layer inter prediction may be mixed as necessary for better understanding of the present invention.
  • prediction of a current block of a current layer may be performed using motion information of a reference layer (base layer).
  • Interlayer motion prediction may be performed by the predictor or the interlayer predictor of FIGS. 1 to 4.
  • the prediction unit will be described as performing inter-layer motion prediction.
  • a 0 , A 1 , B 0 , B 1 , B 2 , and COL may indicate a corresponding block or may indicate motion information of the corresponding block.
  • the motion information of the corresponding block may be a motion vector or a motion vector and a reference picture index.
  • Inter prediction in the base layer may be performed by the prediction unit or the inter / intra prediction unit of FIGS. 1 to 4.
  • the prediction unit performs inter prediction.
  • the modes of inter prediction include a merge mode, a skip mode, and a mode using a motion vector predicot (MVP).
  • the mode using the MVP may be referred to as an advanced MVP (AMVP) mode for convenience of description.
  • motion information selected from motion information (hereinafter, referred to as motion information candidates) of neighboring blocks illustrated in FIG. 9 may be used as motion information of the current block. It can be transmitted from the encoding device indicating the selected motion information candidate to the decoding device.
  • the motion information of the motion information candidate selected as in the merge mode is used as the motion information of the current block, but the residual is not generated / transmitted.
  • the prediction unit may determine the availability for the spatial candidates A 0 , A 1 , B 0 , B 1 , and B 2 that are around the current block. Availability determination may proceed in a predetermined order. For example, the procedure may be performed in the order of A 1 ⁇ B 1 ⁇ B 0 ⁇ A 1 ⁇ B 2 .
  • the availability determination of each candidate may include determining the sameness as the previous candidate. For example, with regard to B 1 , availability determination may be made by considering whether A 1 and motion information are the same. Specifically, if A 1 is available and the motion information of A 1 and B 1 is the same, it may be determined that B 1 is not available.
  • B 0 may determine availability by considering whether motion information is the same as B 1
  • a 0 may determine availability by considering whether motion information is identical to A 1 .
  • B 2 can determine availability considering both A 1 and motion information are the same, and B 1 and motion information are the same. In this case, all four previous candidates (A 0 , A 1 , B 0 , B 1 ) If available, it may be determined that it is not available.
  • a COL picture including a COL candidate may be specified using a reference picture list.
  • the motion information of the prediction block including the predetermined position with respect to the COL block in the same LCU as the current block may be used as a COL candidate.
  • the motion vector of the COL candidate may be scaled in consideration of the COL picture and the reference pictures of the current picture, and the reference index of the COL candidate may be set to a predetermined value (eg, 0).
  • a merge candidate list may be constructed according to the availability determination order.
  • the slice type of the current block is B (ie, a slice to which bidirectional prediction is applied) and the number of candidates included in the current merge candidate list is less than the maximum number, candidates (combined amount prediction candidates, combined bi) are included in the merge candidate list. Prediction candidates may be added.
  • a predetermined candidate eg, zero merge candidate
  • the prediction unit may perform inter prediction by using motion information of a candidate indicated by information transmitted from the encoding apparatus (eg, merge index merge_idx) on the merge candidate list as motion information for the current block. For example, the prediction unit may use the samples indicated by the motion information of the candidate selected by the merge index as the prediction block of the current block.
  • motion information of a candidate indicated by information transmitted from the encoding apparatus eg, merge index merge_idx
  • the prediction unit may construct an AMVP list composed of MVP candidates.
  • the prediction unit determines the availability of the candidate by A 0 ⁇ A 1 , and determines the availability of the candidate by B 0 ⁇ B 1 ⁇ B 2 .
  • the prediction unit may include the candidates in the AMVP list when there are candidates having the same reference picture as the current block as available candidates. If no candidate satisfies 1, the prediction unit is first searched as available based on the difference in POC (Picture Order Count) between the current picture and the reference picture of the current picture and the POC difference between the current picture and the reference picture of the candidate.
  • the motion vector of the candidate may be scaled.
  • the prediction unit may include the scaled motion vector in the AMVP list.
  • the prediction unit includes the candidate in the AMVP list when there are candidates having the same reference picture as the current block as available candidates.
  • the prediction unit includes: 2 a difference in Picture Order Count (POC) between the current picture and the reference picture of the current picture and between the current picture and the reference picture of the candidate. Based on the POC difference, it is possible to scale the motion vector of the candidate found first as available.
  • the prediction unit may include the scaled motion vector in the AMVP list.
  • a COL picture including a COL candidate may be specified using a reference picture list.
  • the motion information of the prediction block including the predetermined position with respect to the COL block in the same LCU as the current block may be used as a COL candidate.
  • the motion vector of the COL candidate may be scaled in consideration of the COL picture and reference pictures of the current picture.
  • the MVP candidate determined by judging the availability of the candidates in the order of A 0 ⁇ A 1 is called A
  • the MVP candidate determined by judging the availability of the candidate in the order of B 0 ⁇ B 1 ⁇ B 2 is called B.
  • the AMVP list may be configured in the order of [AB COL].
  • the prediction unit may delete one of them from the AMVP list.
  • the prediction unit may adjust the number of MVP candidates in the AMVP list to 2 when all of A, B, and COL are valid. For example, the prediction unit may configure the AMVP list with A and B, and remove the COL from the AMVP list.
  • the predictor may add zero motion vectors as candidates when the number of candidates in the AMVP list is less than two.
  • the encoding apparatus decodes an MVP index indicating an MVP to use for inter prediction on a current block on an AMVP list, a motion vector difference (mvd) of a motion vector, and a reference index indicating a reference picture for a current picture on a reference picture list. Can be sent to.
  • the reference picture list is a list of reference pictures that can be used for inter prediction, and there are L0 for forward prediction and L1 for backward prediction.
  • the prediction unit may generate a prediction block for the current block based on the motion vector derived from the MVP and the mvd indicated by the MVP index and the reference picture indicated by the reference index.
  • the prediction unit may generate a reconstruction block for the current block based on the prediction block and the residual. Since the residual is not transmitted when the skip mode is applied, the prediction unit may use the prediction block as the reconstruction block.
  • the base layer has been described as an example of the inter prediction method.
  • the inter prediction may be performed in the same manner as described above.
  • the enhancement layer may perform inter-layer motion prediction using motion information of the base layer.
  • Inter-layer motion prediction may be performed by the prediction units of the encoding apparatus and the decoding apparatus.
  • FIG. 10 is a flowchart schematically illustrating an example of a method of performing interlayer motion prediction according to the present invention.
  • the prediction unit of the enhancement layer may induce motion information of the reference layer (S1010).
  • the inter-layer prediction unit of the enhancement layer may derive the motion information of the reference layer based on the information transmitted from the prediction unit of the reference layer.
  • the prediction unit of the enhancement layer may induce motion information of the reference layer based on information transmitted from the encoding apparatus.
  • the prediction unit of the enhancement layer may scale the motion information of the derived reference layer, for example, the motion vector of the derived reference layer.
  • the prediction unit of the enhancement layer may perform interlayer inter prediction on the current block by using motion information of the reference layer (S1020).
  • the inter / intra predictor of the enhancement layer may perform prediction on the current block by using motion information of the reference layer derived by the interlayer predictor as a candidate of a merge mode / skip mode or an AMVP mode.
  • FIG. 11 is a diagram schematically illustrating a method of deriving motion information of a reference layer according to the present invention.
  • the current layer is an upper layer of the reference layer and the resolution of the current layer is higher than the resolution of the reference layer will be described as an example.
  • a current PU may be specified based on a PU 1100 (reference PU) of a reference layer corresponding to the PU 1110 of the current layer.
  • the position specifying the current PU be (xCurr, yCurr), and the position of the reference ray corresponding to the current PU, for example, the position specifying the reference PU, be (xRef, yRef).
  • the inter-layer motion vector to be derived from the motion vector of the reference layer be mvIL, and the motion vector (eg, the motion vector of the reference PU) specified by (xRef, yRef) be mvRL.
  • nPSW is the width of the current PU 1110
  • nPSH is the height of the current PU 1110.
  • the prediction unit may specify a current PU and specify a reference PU based on the location of the current PU to derive motion information (eg, a motion vector) of the reference PU.
  • motion information eg, a motion vector
  • the position (xCurr, yCurr) that specifies the current PU may be determined by any one of the following candidates, such as?
  • the position (xCurr, yCurr) that specifies the current PU may be determined and used either 1 or 12 and may be fixed.
  • the encoding apparatus may signal which position (xCurr, yCurr) to use as determined through RDO. .
  • the same position may be determined as the position specifying the PU of the current layer (enhanced layer) corresponding to the position specifying the PU in the reference layer (base layer).
  • the upper left LT (xP, yP) in the PU may be determined and used as (xCurr, yCurr) in the current layer.
  • a position to obtain a motion vector in the reference layer (the position of the reference PU) may be determined according to the ratio between the current layer and the reference layer from the position of the current PU.
  • Equation 1 shows a method of determining a position to obtain a motion vector in a reference layer according to the present invention.
  • the scale representing the ratio of the current layer to the reference layer may be determined according to two layer resolutions. For example, if the resolution of the current layer is twice the resolution of the reference layer, the value of scale applied is 2. If the resolution of the current layer is the same as that of the reference layer, the scale applied is 1.
  • scale is determined as the resolution ratio between the current layer and the reference layer, the present invention is not limited thereto.
  • the scale may be determined according to the type of scalability applied between the current layer and the reference layer.
  • scale may be a picture size ratio and a frame rate ratio between the current layer and the reference layer.
  • the prediction unit may derive the motion vector of the position (xRef, yRef), that is, the motion vector of the PU (reference PU) covering (xRef, yRef) as mvRL.
  • the prediction unit may derive the reference index of the PU (reference PU) covering (xRef, yRef) as the reference index refIdxIL to be used for inter-layer motion prediction.
  • the prediction unit may induce a motion vector mvIL to be used for inter-layer motion prediction (inter-layer inter prediction) by scaling mvRL.
  • Equation 2 shows a method of inducing mvIL by scaling mvRL according to the present invention.
  • the coefficient scale represents the ratio of the current layer to the reference layer as in Equation 1. For example, if the resolution of the current layer is twice the resolution of the reference layer, the value of scale applied is 2.
  • the prediction unit may use mvRL as mvIL.
  • the prediction unit may perform interlayer inter prediction on the current block of the current layer (enhanced layer) using motion information derived from the reference layer.
  • the motion information derived from the reference layer includes a motion vector mvIL and a reference index refIdxIL.
  • the prediction unit may add mvIL and refIdxIL as merge candidates to the merge candidate list for the current block.
  • the prediction unit may add mvIL as an MVP candidate to the AMVP list for the current block.
  • Table 5 shows an example of a merge candidate list configured when merge mode is applied in a layer without referring to another layer as inter prediction.
  • a 1 , B 1 , B 0 , A 0 , B 2 , and COL are the same as A 1 , B 1 , B 0 , A 0 , B 2 , and COL of FIG. 9.
  • the method of constructing the merge candidate list of inter prediction in Table 5 is the same as in the merge mode of inter prediction described above with reference to FIG. 9.
  • the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
  • the prediction unit may configure a merge candidate list including motion information derived from a reference layer.
  • the motion information derived from the reference layer is referred to as a reference layer candidate REF.
  • REF includes mvIL and refIdxIL.
  • Table 6 shows an example of a merge candidate list configured by the prediction unit when the merge mode of inter-layer motion prediction is applied according to the present invention.
  • Table 6 describes the order in which reference layer candidates are added to the merge candidate list according to the present invention.
  • a 1 , B 1 , B 0 , A 0 , B 2 , and COL are the same as A 1 , B 1 , B 0 , A 0 , B 2 , and COL of FIG. 9.
  • the method of constructing the merge candidate list using A 1 , B 1 , B 0 , A 0 , B 2 , and COL is the same as described above with reference to FIG. 9.
  • the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
  • the prediction unit may consider the sameness as the previous candidate.
  • the prediction unit A One , B One , B 0 , A 0 , B 2 Construct a list, excluding equality between One , B One , B 0 , A 0 , B 2,
  • the identity between COLs can be determined at once. In this case, the task of leaving one of the same candidates may be performed after determining the validity of the COL.
  • the prediction unit may include the REF in any order of a to f in the merge candidate list of Table 6.
  • the prediction unit may allocate the smallest index (eg, 0) to REF and include it in the order of merge candidate list. That is, the prediction unit may first add REF to the merge candidate list.
  • the prediction unit may allocate the largest index (eg, the maximum number of candidates that can be included in the merge candidate list minus 1) to the REF and include it in the order of the merge candidate list. That is, the prediction unit may add the REF to the merge candidate list at the latest.
  • the largest index eg, the maximum number of candidates that can be included in the merge candidate list minus 1
  • the prediction unit may add REF to c which is the order after the spatial candidates. That is, the prediction unit may add the REF to the merge candidate list after determining the validity of the spatial candidates.
  • the prediction unit may add REF to d after the candidates for unidirectional prediction among the candidates in the current layer and before the combined bidirectional candidate. That is, the prediction unit may determine the validity of the candidates of the unidirectional prediction among the candidates in the current layer, and add the REF to the merge candidate list before adding the combined bidirectional candidate.
  • the prediction unit may add REF to e, which is an order after considering all candidates in the current layer. That is, the prediction unit may add the REF to the merge candidate list after reviewing all validities of the candidates in the current layer.
  • the prediction unit may add REF to b, which is an order after considering the candidate on the left side of the current block and the candidate on the upper side one by one. That is, the prediction unit may include the REFs in the merge candidate list after examining the validity of the candidate on the left side of the current block and the candidate on the upper side one by one.
  • the number of candidates included in the merge candidate list of the interlayer motion prediction of Table 6, that is, the maximum number of candidates may be the same as in Table 5.
  • the candidates of the current layer that are lower than the REF may be excluded from the merge candidate list according to the position where the REF is included to match the maximum number of candidates.
  • the REF may be excluded from the merge candidate list.
  • the number of candidates included in the merge candidate list of the interlayer motion prediction of Table 6, that is, the maximum number of candidates may be different from that of Table 5.
  • the maximum number of candidates in Table 6 may be one more than in the case of Table 5 in consideration of REF.
  • the merge candidate list may be completed by including REF in a predetermined position or a predetermined order.
  • the position of the REF in the merge candidate list or the order in which the REFs are added may be predetermined, may be indicated by the encoding apparatus, or may be derived by the decoding apparatus.
  • Which candidate from among the candidates in the merge candidate list is used to perform the merge mode may be indicated from the encoding apparatus.
  • the prediction unit selects a candidate indicated by the information received from the encoding apparatus (eg, merge index merge_idx) on the merge candidate list as shown in Table 6, and selects a prediction block for the current block based on the block indicated by the selected motion information. Can be generated.
  • Table 7 shows an example of a candidate list configured when the MVP mode is applied in the current layer without referring to another layer as inter prediction.
  • a mode of inter prediction using MVP is called an AMVP mode
  • a list composed of candidate MVPs used at this time is called an AMVP list.
  • a 1 , B 1 , B 0 , A 0 , B 2 , COL and A and B are described using A 1 , B 1 , B 0 , A 0 , B 2 , COL and FIG. 9 of FIG. 9. Same as A and B in MVP mode.
  • the method of constructing the MVP candidate list of inter prediction in Table 7 is the same as in the MVP mode of inter prediction described above with reference to FIG. 9.
  • the highest candidate is assigned an index of the smallest value, and the lowest candidate is assigned an index of the largest value.
  • the prediction unit may construct an MVP candidate list including motion information derived from a reference layer.
  • the motion vector derived from the reference layer is referred to as a reference layer candidate REF.
  • REF includes mvIL.
  • Table 8 shows an example of an AMVP list constructed by the prediction unit when the MVP mode of inter-layer motion prediction is applied according to the present invention.
  • Table 8 describes the order in which reference layer candidates are added to the AMVP list according to the present invention.
  • a 1 , B 1 , B 0 , A 0 , B 2 , COL and A and B are described using A 1 , B 1 , B 0 , A 0 , B 2 , COL and FIG. 9 of FIG. 9. Same as A and B in MVP mode.
  • the method of constructing the AMVP list with A, B, and COL in Table 8 is the same as described with reference to FIG. 9.
  • the topmost candidate may be assigned the smallest index, and the bottommost candidate may be assigned the largest index.
  • the prediction unit may determine the sameness between A and B, and when A and B are the same, may exclude one of A and B from the AMVP list. This process may be performed when determining the validity of B, may be performed after determining A and B, or may be performed after determining the validity of COL or after determining the validity of COL.
  • the prediction unit may include the REF in any one of a to e in the AMVP list of Table 8.
  • the prediction unit may allocate the smallest index (eg, 0) to REF and include it in the order of a. That is, the prediction unit may add REF to the AMVP list first.
  • the prediction unit may allocate the largest index (eg, the maximum number of candidates that can be included in the AMVP list minus 1) to the REF and add it to the order of e. That is, the prediction unit may add REF to the end of the AMVP list.
  • the largest index eg, the maximum number of candidates that can be included in the AMVP list minus 1
  • the prediction unit may include REF in d which is an order after considering all candidates in the current layer.
  • the prediction unit may add REF to c, which is the order after the spatial candidates.
  • the prediction unit may include the REF in the position b after considering the candidate on the left side of the current block and before considering the candidate on the upper side.
  • the number of candidates included in the AMVP list of interlayer motion prediction of Table 8, that is, the maximum number of candidates may be the same as in Table 7.
  • the candidates of the current layer that is lower than the REF may be excluded from the AMVP list, depending on the position where the REF is included to match the maximum number of candidates.
  • the REF may be excluded from the AMVP list.
  • the REF at position ⁇ may be excluded from the AMVP list.
  • the number of candidates included in the AMVP list of interlayer motion prediction of Table 8, that is, the maximum number of candidates may be different from that of Table 7.
  • the maximum number of candidates in Table 8 may be one more than in the case of Table 7 (eg, 2) in consideration of REF.
  • the AMVP list may be configured as candidates of the current layer, and then the AMVP list may be completed by including REF in a predetermined position.
  • the position of the REF in the AMVP list may be predetermined, may be indicated by the encoding apparatus, or may be derived by the decoding apparatus.
  • the prediction unit may select a candidate whose information received from the encoding device indicates on the AMVP list as shown in Table 6, and may derive the motion vector for the current block by using the selected motion vector and the mvd received from the encoding device.
  • the prediction unit may generate a prediction block for the current block based on the derived motion vector and the reference picture indicated by the reference index received from the encoding apparatus.
  • the prediction unit may scale mvIL before adding REF to the AMVP list.
  • mvIL may be scaled.
  • the POC of the picture indicated by the reference index of the current PU (the reference picture of the current PU) and the POC of the picture indicated by the reference index of the reference PU (the reference picture of the reference PU) are different, mvIL can be scaled. have.
  • FIG. 12 is a diagram schematically illustrating a method of scaling mvIL in accordance with the present invention.
  • a difference between the POC of the current picture and the POC of the reference picture 1220 of the current PU 1200 in the current layer is referred to as tb, and the POC of the current picture and the reference picture of the reference PU 1210 in the reference layer.
  • the difference between the POCs of 1230 is called td.
  • the prediction unit scales REF, that is, mvIL and includes it in the AMVP. You can.
  • mvIL may be scaled in the same manner as in Equation 3.
  • the scaled mvIL is called mvIL '.
  • DistScaleFactor Clip3 ( ⁇ 4096, 4095, (tb * tx + 32) >> 6)
  • mvIL ’ Clip3 ( ⁇ 8192, 8191.75, Sign (DistScaleFactor * mvIL) * ((Abs (DistScaleFactor * mvIL) + 127) >> 8))
  • pocCurr represents the POC of the current picture
  • pocRef is the POC of the picture indicated by the reference index of the current PU
  • pocRefLayer is indicated by the reference index of the reference PU, that is, the reference index of (xRef, yRef). POC of the picture.
  • Abs (x) becomes -x when x is smaller than 0, and x when x is greater than or equal to 0.
  • Clip3 (x, y.c) becomes x when z is smaller than x, y when z is larger than y, and z otherwise.
  • the prediction unit scales the interlayer motion vector based on the distance from each layer to the reference picture, as shown in Equation 3, and scales the scaled motion vector candidate (ie, scaled mvIL or scaled REF). Can be added to AMVP list.
  • the prediction unit may include the scaled REF (ie, scaled mvIL) in the AMVP list instead of the REF (ie, mvIL), and perform interlayer motion prediction using the AMVP mode in the same manner as described above.
  • the encoding apparatus may apply an optimal prediction mode by performing RDO for inter prediction and inter-layer motion prediction.
  • the texture of the current block is predicted or generated using syntax information of the reference layer.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which an intra prediction mode is applied.
  • interlayer prediction for generating / predicting a texture of the current layer may be performed using an intra mode among syntax information of the reference layer.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice is a block to which the intra prediction mode is applied
  • intra prediction mode of the reference block is applied to the current block.
  • intra prediction may be performed using reference pixels around the current block.
  • the motion layer of the syntax information of the reference layer is scaled in the same manner as the inter layer motion prediction, as described above.
  • Inter-layer prediction may be performed to generate / predict a texture for.
  • inter-layer syntax prediction may be viewed in a manner of using inter-layer motion prediction and inter-layer texture prediction.
  • inter-layer motion prediction is a prediction method of generating a prediction signal (prediction block) in an enhancement layer using motion information of a reference layer.
  • the motion information of the reference layer may be scaled according to a change in resolution between layers.
  • the intra prediction mode of the reference layer may be taken to predict the current block from neighboring pixels of the enhancement layer to generate a prediction signal. Can be.
  • motion information about a luma component may be obtained in units of 4 ⁇ 4 blocks from a reference layer.
  • the motion information on the luma component may be used as the motion information on the chroma component.
  • Applying inter-layer syntax prediction does not create a new PU mode when viewed at the PU level, and signals which prediction mode to apply at a higher level, thereby interlayer intra according to the prediction mode applied to the reference block in the reference layer.
  • Prediction and inter-layer motion prediction can be adaptively applied.
  • a flag indicating whether to apply inter-layer syntax prediction may be transmitted in the form of a flag after a flag indicating a division of a CU (eg, CU_split_flag).
  • FIG. 13 is a view for briefly explaining an example of a method for performing inter-layer syntax prediction according to the present invention.
  • an intra block and an inter block exist in a reference block 1310 of the reference layer 1300.
  • a reconstructed block may be generated by applying the inter-layer syntax prediction by constructing a picture 1320 that upsamples the reference block 1310 according to the current layer (1330). .
  • inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block to which the intra prediction mode is applied in the reference layer and referring to motion information from the block MV to which the inter prediction mode is applied.
  • Inter-layer syntax prediction may be mixed with other prediction modes with respect to a target picture of the current layer, and a hatched area in the current picture 1340 of FIG. 13 indicates an area to which another prediction mode may be applied.
  • Inter-layer residual prediction is a method of generating a residual prediction image of an enhancement layer by using a residual signal of a reference layer, and encoding / decoding a residual image by referring to the residual prediction image in the enhancement layer.
  • Interlayer residual prediction may be performed by the predictor or the interlayer predictor of FIGS. 1 to 4.
  • the prediction unit performs inter-layer residual prediction.
  • the prediction unit may generate the residual prediction image for the enhancement layer by scaling the residual signal of the reference layer according to the difference or ratio of the resolution between layers.
  • the encoding apparatus may perform RDO on interlayer residual prediction separately from interlayer syntax prediction and interlayer intra prediction. If it is determined to apply inter-layer residual prediction through RDO competition, a flag for predicting the residual signal, that is, a flag indicating to apply inter-layer residual prediction is a CU unit in front of the residual (transform coefficient). Can be encoded and transmitted.
  • FIG. 14 is a diagram schematically illustrating a method of applying inter-layer residual prediction according to the present invention.
  • the residual prediction image 1420 may be generated by scaling the reference block portion 1410 referenced in the residual signal 1400 of the reference layer according to the inter-layer resolution ratio for inter-layer prediction. .
  • the residual image 1430 for the current block may be reconstructed based on the residual prediction image 1420.
  • the hatched region represents an area to which inter-layer residual prediction is not applied.
  • the encoding apparatus may determine whether to apply inter-layer residual prediction to the residual signals of all prediction modes based on the RDO.
  • Information indicating whether to apply inter-layer residual prediction may be transmitted in advance in the form of a flag before information about a coefficient (eg, a quantized transform coefficient of the residual).
  • the encoding apparatus may signal information necessary for inter-layer prediction described so far.
  • the decoding apparatus may receive the signaled information and perform interlayer prediction.
  • Table 9 shows an example of the NAL unit syntax according to the present invention.
  • Table 10 shows an example of the NAL unit header SVC extension syntax according to the present invention.
  • Table 11 shows an example of a sequence parameter set RBSP syntax according to the present invention.
  • Table 12 shows an example of a subset sequence parameter RBSP syntax according to the present invention.
  • Table 13 shows an example of a sequence parameter set SVC extension syntax according to the present invention.
  • Table 14 shows an example of a picture parameter set RBSP syntax according to the present invention.
  • Table 15 shows an example of scaling list data syntax according to the present invention.
  • Table 16 shows an example of a scaling list syntax according to the present invention.
  • Table 17 shows an example of an adaptation parameter set RBSP syntax according to the present invention.
  • Table 18 shows an example of supplemental enhancement information RBSP syntax according to the present invention.
  • Table 19 shows Supplemental enhancement information message syntax according to the present invention.
  • Table 20 shows an example of an access unit delimiter RBSP syntax according to the present invention.
  • Table 21 shows an example of filler data RBSP syntax according to the present invention.
  • Table 22 shows an example of a slice layer RBSP syntax according to the present invention.
  • Table 23 shows an example of a slice layer extension RBSP syntax according to the present invention.
  • Table 24 shows an example of RBSP slice trailing bits syntax according to the present invention.
  • Table 25 shows an example of the RBSP trailing bit syntax according to the present invention.
  • Table 26 shows an example of an RBSP byte alignment syntax according to the present invention.
  • Table 27 shows an example of a slice header according to the present invention.
  • Table 28 shows an example of a slice header in scalable extension syntax according to the present invention.
  • Table 29 shows an example of a short-term reference picture set syntax according to the present invention.
  • Table 30 shows an example of a reference picture list modification syntax according to the present invention.
  • Table 31 shows an example of a reference picture lists combination syntax according to the present invention.
  • Table 32 shows an example of sample adaptive offset parameter syntax according to the present invention.
  • Table 33 shows an example of the adaptive loop filter parameter syntax according to the present invention.
  • Table 34 shows an example of an adaptive loop filter coding unit control parameter syntax according to the present invention.
  • Table 35 shows an example of prediction weight table syntax according to the present invention.
  • Table 36 shows an example of the slice data syntax according to the present invention.
  • Table 37 shows an example of slice data in scalable extension syntax in scalable extension according to the present invention.
  • Table 38 shows an example of coding tree syntax according to the present invention.
  • Table 39 shows an example of coding tree in scalable extension syntax according to the present invention.
  • Table 40 shows an example of coding unit syntax according to the present invention.
  • Table 41 shows an example of coding unit in_scalable extension syntax in scalable extension according to the present invention.
  • Table 42 shows an example of prediction unit syntax according to the present invention.
  • Table 43 shows an example of motion vector differential coding syntax according to the present invention.
  • Table 44 shows an example of transform tree syntax according to the present invention.
  • Table 45 shows an example of transform coefficient syntax according to the present invention.
  • Table 46 shows an example of the residual coding syntax according to the present invention.
  • nal_unit_type may be defined as shown in Table 47.
  • dependency_id is an identification number transmitted to indicate a dependency relationship of each NAL unit.
  • quality_id is an identification number transmitted to indicate a quality level of each NAL unit.
  • slice_type specifies the coding type of the slice according to Table 48.
  • inter_layer_intra_prediction_flag 1
  • ILIntraPredFlag may be derived as follows.
  • the inter_layer_intra_prediction_flag slice_type is EI, and sets the value of ILIntraPredFlag 1. Otherwise, the value of ILIntraPredFlag is set to 0.
  • ILIntraPredFlag is set equal to inter_layer_intra_prediction_flag.
  • inter_layer_syntax_prediction_flag 1
  • inter_layer_syntax_prediction_flag 1
  • ILSyntaxPredFlag may be derived as follows.
  • inter_layer_syntax_prediction_flag If the value of inter_layer_syntax_prediction_flag is 1 and slice_type is not EI, ILSyntaxPredFlag is set to 1. Otherwise, ILSyntaxPredFlag is set to zero.
  • inter_layer_residual_prediction_flag 1
  • inter_layer_residual_prediction_flag 1
  • inter_layer_residual_prediction_flag If the value of inter_layer_residual_prediction_flag is 1 and slice_type is not EI, ILResPredFlag is set to 1. Otherwise, ILResPredFlag is set to zero.
  • cabac_init_idc specifies an index to determine the initialization table used in the initialization process for the context variable.
  • cabac_init_idc may have a value between 0 and 2, inclusive.
  • il_mode is a syntax indicating whether to use the information of the base layer. il_mode plays the following roles depending on the value of singleloop_decoding_flag
  • the reconstructed base layer may be scaled based on the resolution difference with the current layer and then used as prediction information of the current CU. If the value of il_mode is 0, the reconstruction information of the base layer is not used.
  • reconstructed pixel information of the base layer may be used as prediction information after scaling in consideration of resolution.
  • il_res_mode 1
  • the reconstructed residual data of the corresponding base layer may be scaled in consideration of the resolution and used as a predictor for the residual of the current CU. If the value of il_res_mode is 0, the restored residual data of the corresponding base layer is not used.
  • inter_layer_differential_coding_flag 1
  • inter_layer_differential_coding_flag 1
  • the value of ILDiffCodingFlag is set to 1. Otherwise, the value of ILDiffCodingFlag is set to zero. is set to equal to 0.
  • ILDiffCodingFlag is set equal to inter_layer_differential_coding _flag.
  • the input signal used for scalable coding may have different resolutions, frame rates, bit depths, color formats, aspect ratios, and the like between layers.
  • inter-layer prediction may be performed to reduce redundancy and to increase coding efficiency compared to simulcast.
  • one method of reducing the amount of duplication of information may be a method of reducing information on a processing unit transmitted in the enhancement layer, that is, information on a CU, PU, or TU, using the base layer information.
  • a method of reducing unit information transmitted in an enhancement layer using unit (CU, PU and / or TU) information of a base layer is called interlayer unit prediction.
  • Interlayer unit prediction may be performed by the predictor or the interlayer predictor described with reference to FIGS. 1 to 4. For convenience of explanation, it is described here that the prediction unit performs interlayer unit prediction.
  • partitioning of the enhancement layer may be performed based on this.
  • 15 is a diagram schematically illustrating an example of interlayer unit information prediction according to the present invention.
  • the resolution of the enhancement layer is twice as high as the resolution of the base layer.
  • layer 0 may be a base layer or a reference layer
  • layer 1 may be an enhancement layer or a current layer.
  • the LCU block 1510 of layer 0 is divided into various CUs, PUs, or TUs.
  • partitioning information of a CU, PU, and / or TU is referred to as CU information or unit information for convenience of description.
  • the prediction unit may generate reference CU information 1520, which is upscaled CU information of the base layer.
  • the prediction unit may derive CU information of the layer 0 using the reference CU information 1520.
  • a unit structure such as the LCU0 1530 may be used as the LCU structure of the layer 1.
  • a unit structure such as the LCU1 1540 may be used as the LCU structure of the layer 1.
  • the encoding apparatus may adaptively signal whether to use the CU information of the layer 0.
  • the unit information is described as partition information of CU, PU, and TU.
  • the unit information may include information about a CU, PU, and TU.
  • the CU information of the base layer may be information about a tree structure or partitioning, PU information (whether in skip mode or non-skip mode, prediction direction, motion vector, reference index, etc.), or both. It may be.
  • inter-layer unit prediction relates to prediction of tree / partitioning information
  • the following syntaxes may be used.
  • Table 49 shows an example of slice data syntax for a scalable extension layer according to the present invention.
  • Table 50 shows an example of coding tree syntax for a scalable extension layer according to the present invention.
  • a value of bl_tree_info_skip_flag of 1 indicates that tree information of a base layer (reference layer or layer 0) is used as it is.
  • a value of bl_tree_info_skip_flag equal to 0 indicates that tree information of the base layer is not used.
  • bl_tree_info_skip_flag If the value of bl_tree_info_skip_flag is 1, the tree information of the base layer is upscaled to match the resolution of the enhancement layer (current layer or layer 1) by CU information upscaling. Therefore, split_coding_unit_flag values of the current Large Coding Unit (LCU) may be derived to the same value as the split information of the upscaled base layer.
  • LCU Large Coding Unit
  • BLSplitInfo [x0] [y0] has a value of 1 when split information exists in upscaled CU information and 0 when split information does not exist in upscaled CU information.
  • the segmentation information of the upsampled base layer is greater than that of the enhancement layer. Depth is one step lower.
  • BLSplitInfo is set to 0 and additional information (for example, split_coding_unit_flag) for only the enhancement layer is transmitted to provide more detailed split information than the split information when predicted from the upscaled base layer. I can tell you.
  • the TU partitioning information for the current layer may be processed using a predetermined flag degree.
  • Table 51 shows an example of coding unit syntax in scalable extension according to the present invention.
  • TU partition information transmission for the current layer may be omitted by using a flag called bl_tu_info_skip_flag.
  • Table 52 shows an example of transform tree syntax in scalable expansion according to the present invention.
  • bl_tu_info_skip_flag 1
  • the upscaled TU partition information of the base layer may be used as it is in the current layer. If the value of bl_tu_info_skip_flag is 0, TU partition information for the current layer may be independently transmitted from the encoding apparatus.
  • information of CU / PU / TU may be used in combination.
  • the spatial ratio between the base layer and the enhancement layer is 2, that is, the case where the resolutions of the two layers differ by two will be described as an example.
  • 16 is a diagram schematically illustrating an example of applying inter-layer unit prediction according to the present invention.
  • FIG. 16 a method of resampling a base layer structure when applying inter-layer unit prediction will be described.
  • a base layer block 1600 is an intra coded block
  • a partition 1620 is an NxN partition
  • the remaining areas are 2Nx2N partitions.
  • the partition structure of the base layer may be divided into a certain level (eg, a CU level or PU level), a partition structure such as block 1630 of FIG. 16B or a partition structure of block 1640 of FIG. 16C can be obtained.
  • a certain level eg, a CU level or PU level
  • the CU partition structure of the enhancement layer may be configured like the partition structure of the block 1630.
  • the case in which the image of the enhancement layer has a segmentation structure that is more subdivided than the block 1630 may not be covered.
  • the image of the enhancement layer may have a more detailed segmentation structure.
  • the case where the base layer is an intra coded block has been described as an example, but the same method may be applied to the case where the base layer is an inter coded block.
  • 17 is a diagram schematically illustrating another example of applying inter-layer unit prediction according to the present invention.
  • a block 1700 of the base layer is an inter coded block
  • an area 1720 is an Nx2N partition
  • an area 1730 is a 2NxN partition.
  • partition types such as 2NxN partitions, Nx2N partitions, 2NxnU partitions, 2NxnD partitions, nLx2N partitions, and nRx2N partitions may be used.
  • a division structure such as block 1740 of FIG. 17B or a division structure such as block 1750 of FIG. 17C can be obtained.
  • the base layer corresponds to a portion having a partition (for example, the region 1720 and the region 1730) that is not a 2Nx2N partition.
  • a partition for example, the region 1720 and the region 1730
  • additional CU partitioning is possible as shown in FIG.
  • the CU partitioning may be performed in the area of the enhancement layer corresponding to the area having the PU partitioning in the base layer. Can be.
  • a method of selectively using a division structure of the base layer in the enhancement layer may also be applied.
  • FIG. 18 is a diagram schematically illustrating another example of applying inter-layer unit prediction according to the present invention.
  • FIG. 18 illustrates a method of reusing a partition structure of a base layer in an enhancement layer.
  • the block 1800 of the base layer has a square partition like 2Nx2N or NxN as shown in FIG. 18 (a), and has a rectangular partition like 2NxnU, 2NxnD, nLx2N or nRx2N.
  • the CU split is made only in the form of a square (2Nx2N or NxN), a method of selectively using the split structure of the base layer in the enhancement layer may be considered.
  • the partition structure of the reference block 1810 may be reflected as the partition structure for the block 1840 of the enhancement layer.
  • the square partition 1820 of the PU partition structure of the reference block is reflected in the CU partition structure of the enhancement layer, and the rectangular partition 1830 of the PU partition structure of the reference block is enhanced. It may not be reflected in the CU partition structure of the layer.
  • the method of combining CU / PU / TU information may be selectively used for any unit. That is, a combination of CU / PU / TU information of a base layer based on an arbitrary unit such as a sequence, a group of pictures, a single picture, a plurality of slices, a single slice, a plurality of LCUs, a single LCU, and the like is used for an enhancement layer. You can decide whether to choose the method.
  • a filter may be applied to improve the quality of a reference picture.
  • a filter may be applied to the reference picture to improve the quality of the reference picture.
  • the texture information of the adjusted lower layer was used as the reference image.
  • the filtering may be additionally applied to the texture information of the lower layer to which the upsampling filter is applied and then used as a reference image for prediction of the upper layer.
  • this prediction method is referred to as adaptive inter-layer texture prediction.
  • 19 is a diagram schematically illustrating an example of a method of performing adaptive interlayer texture prediction according to the present invention.
  • the texture predictor 1910 corresponds to the texture predictor of FIG. 1. Accordingly, the texture predictor may perform rescaling if necessary along with texture prediction.
  • the filtering applied by the filtering unit 1950 in the base layer is to reduce the difference from the down-converted input sequence in the down converter 1940.
  • the textures upsampled by the upsampling unit 1930 are filtered by the filtering unit 1920 to reduce an error between the input sample and the textures of the upsampled base layer.
  • the filter applied may be a filter for achieving the above object.
  • the filter applied by the filtering unit 1920 may be a filter previously specified by a predetermined number of taps and coefficients in the encoding device / decoding device, and a filter in which filter parameters (number of taps, coefficients, etc.) are adaptively signaled. It may be.
  • coding efficiency may be improved due to the improvement of the quality of a reference picture.
  • the quality of the reference picture is improved, but the complexity is increased and additional encoding / decoding of filter parameters is required.
  • it may be determined whether to use adaptive interlayer texture prediction depending on the situation (eg, performance of the encoding device and the decoding device, an error between the input sequence and the upsampled base layer texture, etc.).
  • the filter applied by the filtering unit 1920 may be referred to as a filter applied adaptively in the encoding / decoding loop.
  • a filter applied by the filtering unit 1920 is referred to as an interlayer ALF.
  • an adaptive loop filter (ALF) as an in-loop filter may be used as the inter-layer ALF.
  • inter_layer_adaptive_loop_filter_enabled_flag A flag indicating whether to apply interlayer ALF is called inter_layer_adaptive_loop_filter_enabled_flag.
  • inter_layer_adaptive_loop_filter_enabled_flag If the value of the inter_layer_adaptive_loop_filter_enabled_flag is 0, it indicates not to apply the interlayer ALF. If the value of the inter_layer_adaptive_loop_filter_enabled_flag is 1, it indicates to apply the interlayer ALF.
  • the inter_layer_adaptive_loop_filter_enabled_flag may be defined in a sequence parameter set.
  • Table 53 shows an example of a sequence parameter set for applying adaptive interlayer texture prediction according to the present invention.
  • the inter_layer_adaptive_loop_filter_enabled_flag may be defined in a slice header that is not a sequence parameter set.
  • Table 54 shows an example of a slice header for applying adaptive interlayer texture prediction according to the present invention.
  • the syntax used for the use of ALF in the picture parameter set may be equally applied to the inter-layer ALF.
  • Table 55 shows an example of picture parameter set syntax for applying adaptive interlayer texture prediction according to the present invention.
  • Table 55 shows an example of slice data syntax when applying shared_pps_info_enabled_flag to interlayer ALF according to the present invention.
  • deblocking filter deblocking filter
  • sample adaptive offset (SAO) sample adaptive offset
  • ALF adaptive loop filter
  • all three filters may be applied or only some of them. For example, only the deblocking filter may be applied, or only the deblocking filter and the SAO may be applied.
  • the encoding apparatus may determine a filter parameter so that the reconstructed image is closest to the input image, and transmit the determined filter parameter to the decoding apparatus. Therefore, since the images used in the base layer and the enhancement layer are very similar due to the characteristics of scalable coding, the filter parameters are likely to be similar between the two layers.
  • interlayer filter parameter prediction a method of reusing the parameter used in the base layer in the enhancement layer. This is called interlayer filter parameter prediction.
  • the interlayer filter parameter prediction may be performed by the prediction unit or the interlayer prediction unit of FIGS. 1 to 4, or may be performed by the filter unit of the enhancement layer.
  • 20 is a diagram schematically illustrating interlayer filter parameter prediction according to the present invention.
  • the filter parameter used by the in-loop filtering unit 2020 of the base layer may be reused by the in-loop filtering unit 2010 of the current layer.
  • SAO parameters may be transmitted in an adaptive parameter set. Parameters of ALF may also be transmitted in the adaptation parameter set.
  • Table 57 shows an example of an adaptation parameter set in scalable extension according to the present invention.
  • aps_id identifies an adaptation parameter set referenced in the slice header.
  • the value of aps_id has a value of 0 or more and TBD or less, and depends on the level / profiling.
  • aps_sample_adaptive_offset_flag 1
  • aps_adaptive_loop_filter_flag 1
  • no adaptive parameter set is active, the value of aps_adaptive_loop_filter_flag is assumed to be zero.
  • CABAC decoding is used for sao_param () and alf_param (). If the value of aps_cabac_use_flag is 0, CAVLC decoding is used for sao_param () and alf_param ().
  • aps_cabac_init_idc specifies the index that determines the initialization table used in the initialization process for the context variables of SAO and ALF.
  • the value of aps_cabac_init_idc is in the range of 0 to 2, inclusive.
  • aps_cabac_init_qp_minus26 specifies the quantization parameter-26 value.
  • the quantization parameter is used in the initialization process for the context variables of SAO and ALF.
  • alf_data_byte_count and sao_data_byte_point specify the number of bytes.
  • base_pred_alf_param_flag 1
  • base_pred_alf_param_flag 0
  • base_pred_sao_param_flag 1
  • base_pred_sao_param_flag 0
  • it specifies that the SAO parameter for the current layer is not used for the current layer.
  • R BL As the reconstructed image of the base layer (reconstucted picture) R BL, and Let the up-sampled image in which the R BL according to the resolution (resolution) of the enhancement layer BL UR.
  • the reconstructed image of the enhancement layer is called R EL .
  • the reconstructed image may be an image before applying the in-loop filtering. Also, the reconstructed image may be an image after applying some of a deblocking filter, a sample adaptive offset filter, and / or an adaptive loop filter. Furthermore, the reconstructed image may be an image after applying all of the in-loop filters.
  • independent encoding / decoding may be performed in a domain of the D images.
  • This method is referred to herein as inter-layer differential picture coding or inter-layer differential mode (IL-Diff mode).
  • the inter-layer difference mode may be applied in a sequence unit, picture unit, slice unit, LCU (Largest CU) unit, coding unit (CU) unit, or prediction unit (PU) unit.
  • a flag indicating whether to use the interlayer differential mode may be transmitted from the encoding apparatus to the decoding apparatus.
  • coding (encoding / decoding) using other scalability may not be performed, but only a single layer coding (encoding / decoding) method may be used. In this case, bits for indicating whether to perform coding using other scalability can be saved.
  • the interlayer difference mode may be performed by the predictor or the interlayer predictor of FIGS. 1 to 4. For convenience of explanation, it is described here as performed by the prediction unit.
  • 21 is a diagram schematically illustrating a method of performing intra prediction in case of applying an inter-layer difference mode according to the present invention.
  • the picture 2100 of the enhancement layer includes a reconstruction area 2105 and an unrestored area 2110 before and after the current block 2115.
  • the restored image R EL can be obtained from the restored region 2105.
  • the picture 2100 may be a reconstructed image R EL .
  • the image UR BL 2125 upsampling the reconstructed image R BL 2120 of the base layer includes a block P BL 2130 corresponding to the current block 2115.
  • the prediction unit (the prediction unit of the encoding apparatus) may derive the difference D between the reconstructed image of the base layer and the reconstructed image of the enhancement layer as shown in Equation 4.
  • R EL may use an image in which an in-loop filter such as a deblocking filter, SAO, or ALF is not applied due to the existence of the region 2110 that is not yet restored.
  • an in-loop filter such as a deblocking filter, SAO, or ALF
  • the R BL may be a reconstructed image in which the in-loop filter is applied, a reconstructed image in which a part of the in-loop filter is applied, or in-loop. It may be a reconstructed image in a state where no filter is applied.
  • the predictor may perform intra prediction on the current block 2155 in the differential image D 2140 by referring to pixel values of the reconstructed region 2145 except for the unrestored region 2150.
  • the prediction unit (the prediction unit of the decoding apparatus) may reconstruct the current block by using the block value P BL in the UR BL existing at the same position as the current block.
  • Equation 5 P D is a prediction block generated by performing intra prediction from the reconstructed region of the differential image D , and RES is a residual block.
  • the prediction unit When applying the inter-layer difference mode, the prediction unit generates a differential image D R for a reference picture of the current picture to perform inter prediction on the current block. For example, the prediction unit generates a differential image D R of the reference picture of the current picture by using the reconstruction picture of the enhancement layer picture of the reference picture and the reconstruction picture of the base layer picture of the reference picture.
  • the prediction unit may generate the prediction block P D in the differential image domain of the current block based on the differential image D R of the reference picture.
  • the prediction unit may reconstruct the current block as shown in Equation 6 by using the prediction block.
  • R EL is the current block reconstructed in the enhancement layer.
  • P BL is a block existing at the same position as the current block in the UR BL , and RES is a residual block.
  • the difference picture D R of the reference picture may be generated in advance and stored in a decoded picture buffer (DPB).
  • DPB decoded picture buffer
  • the differential image D R of the reference image may be calculated for a block specified as a position necessary for reconstruction of the current block by the motion information of the current block every time the R EL is generated.
  • the inter prediction for the inter-layer difference mode when the differential picture for the reference picture is generated, an in-loop filter is not applied as a reference picture reconstructed in the enhancement layer.
  • a reconstructed picture in which a part or all of the in-loop filter is applied may be used.
  • a 'picture an array of samples reconstructed at a specific time point (for example, a picture order count (POC) or an access unit (AU)) for each layer in a multi-layer structure in which scalable video coding is supported is referred to as a 'picture.
  • POC picture order count
  • AU access unit
  • the entire sample array reconstructed or reconstructed at a specific time in the decoded and output layer may be called a picture and may be distinguished from the reconstructed or reconstructed sample array of the referenced layer.
  • the sample array reconstructed or reconstructed at a specific time point in the referenced layer may be referred to as a representation, a reference layer picture, a reference layer sample array, a reference layer texture, or the like.
  • one decoded picture reconstructed in the current layer may be output for one AU.

Abstract

본 발명은 인터 레이어 예측 방법 및 이를 이용한 장치에 관한 것으로서, 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계 및 상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함할 수 있다.

Description

인터 레이어 예측 방법 및 이를 이용하는 장치
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다.
다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명의 일 기술적 목적은 스케일러블 비디오 코딩의 효과를 높이고 레이어별 중복 전송되는 정보를 줄이는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 기술적 목적은 베이스 레이어의 정보를 이용하여 인핸스먼트 레이어의 인코딩/디코딩 효과를 높이는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 기술적 목적은 다양한 스케일러빌러티에 대응하여 베이스 레이어의 정보를 활용하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 기술적 목적은 다양한 인터 레이어 예측 방법을 통해, 코딩 효유을 향상시키는 방법 및 장치를 제공하는 것이다.
본발명의 또 다른 기술적 목적은 베이스 레이어의 텍스처 정보, 움직임 정보, 신택스 정보, 유닛 정보, 파라미터 정보, 레지듀얼 정보, 차분 정보 중 적어도 하나를이용하여 인핸스먼트 레이어의 코딩 효율을 높이는 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시 형태는 인터 레이어 예측 방법으로서, 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계 및 상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함한다. 이때, 상기 인터 레이어 움직임 벡터는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 상기 인터 레이어 움직임 벡터를 유도할 수 있다
본 발명의 일 실시 형태는 인터 레이어 예측 방법을 이용하는 장치로서, 참조 레이어에 대한 예측을 수행하는 제1 예측부 및 상기 제1 예측부에 의한 예측에 기반한 인터 레이어 움직임 정보를 이용하여 상기 현재 레이어 내 현재 블록에 대한 예측을 수행하는 제2 예측부를 포함한다. 이때, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고, 상기 제2 예측부는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링할 수 있다.
본 발명에 의하면, 스케일러블 비디오 코딩의 효과를 높이고 레이어별 중복 전송되는 정보를 줄일 수 있다.
본 발명에 의하면, 베이스 레이어의 정보를 이용하여 인핸스먼트 레이어의 인코딩/디코딩 효과를 높일 수 있다.
본 발명에 의하면 다양한 스케일러빌러티에 대응하여 베이스 레이어의 정보를 활용할 수 있다.
본 발명에 의하면, 다양한 인터 레이어 예측 방법을 통해, 코딩 효유을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 5는 본 발명에 따라서 인터 레이어 인트라 예측이 수행되는 예를 개략적으로 설명하는 도면이다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 7은 본 발명에 따라서 페이즈 쉬프트 업샘플링(phase shifted up-samplimng)을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 Interpolation_filter_indicator를 이용하는 방법의 일 예로서, Interpolation_filter_indicator의 값이 10인 경우의 샘플링 방법을 간단히 설명하는 도면이다.
도 9는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 10은 본 발명에 따라서 인터 레이어 움직임 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 11은 본 발명에 따라서 참조 레이어의 움직임 정보를 유도하는 방법을 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따라서 mvIL을 스케일링하는 방법을 개략적으로 설명하는 도면이다.
도 13은 본 발명에 따라서 인터 레이어 신택스 예측을 수행하는 방법의 일 예를 간단히 설명하는 도면이다.
도 14는 본 발명에 따라서 인터 레이어 레지듀얼 예측을 적용하는 방법을 개략적으로 설명한 도면이다.
도 15는 본 발명에 따른 인터 레이어 유닛 정보 예측의 일 예를 개략적으로 설명하는 도면이다.
도 16은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 17은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 18은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 또 다른 예를 개략적을 설명하는 도면이다.
도 19는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 20은 본 발명에 따른 인터 레이어 필터 파라미터 예측에 관하여 개략적으로 설명하는 도면이다.
도 21은 본 발명에 따라서 인터 레이어 차분 모드를 적용하는 경우에, 인트라 예측을 수행하는 방법을 개략적으로 설명하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(155)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 인터/인트라 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 유닛 파라미터 예측부(135), 움직임 예측/리스케일링(rescaling)부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 및 MUX(Multiplexer, 185)를 포함한다.
레이어 0의 인코딩부(155)는 인터/인트라 예측부(160), 변환/양자화부(165), 필터링부(170), DPB(175) 및 엔트로피 코딩부(180)를 포함한다.
인터/인트라 예측부(110, 160)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 인터/인트라 예측부(110, 160)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 인터/인트라 예측부(110, 160)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 인터/인트라 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
변환/양자화부(115, 165)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화한다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 165)는 레지듀얼 블록에 적용된 예측 모드와 변환 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
또한, 변환/양자화부(115, 165)는 예측 모드와 변환 블록의 크기에 상관없이 특정 변환을 고정적으로 사용할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 모든 변환 블록에 DST만을 적용할 수 있다. 또한, 변환/양자화부(115, 165)는 모든 변환 블록에 DCT만을 적용할 수도 있다.
변환/양자화부(115, 165)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 165)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(165)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 165)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 170)에 전달할 수 있다.
한편, 변환/양자화부(115, 165)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 180)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 170)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 170)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 175)는 필터링부(125, 170)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 175)는 복원 블록 또는 픽처를 인터 예측을 수행하는 인터/인트라 예측부(110, 160)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(180)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 레이어 1의 인코딩부(105)는 레이어 0의 정보를 이용하여 레이어 1의 영상에 대한 예측을 수행하는 인터 레이어 예측을 위해 유닛 파라미터 예측부(135), 움직임 예측/리스케일링부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 등을 포함할 수 있다.
유닛 파라미터 예측부(135)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하도록 하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있도록 한다.
움직임 예측부(140)는 인터 레이어 움직임 예측을 수행한다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 움직임 예측부(140)는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
움직임 예측부(140)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 할 수 있다.
텍스쳐 예측부(145)는 레이어 0의 정보를 기반으로 인터 레이어 텍스처 예측을 수행할 수 있다. 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 복원되어 있는 경우에 이용될 수 있다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
파라미터 예측부(150)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(185)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(155)와는 별도의 장치 혹은 모듈일 수 있다.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 2를 참조하면, 레이어 1의 예측부(210)는 인터/인트라 예측부(220) 및 인터 레이어 예측부(230)를 포함한다.
레이어 1의 예측부(210)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(230)는 레이어 0의 인터/인트라 예측부(250) 및/또는 필터링부(260)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(220)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(220)는 인터 레이어 예측부(230)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
아울러, 레이어 1의 필터링부(240)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(260)으로부터 레이어 1의 필터링부(240)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(230)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(230)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
따라서, 인터 레이어 예측부(230)는 도 1에서 인터 레이어 예측을 수행하는 유닛 파라미터 예측부(135), 움직임 예측부(140), 텍스처 예측부(145), 파라미터 예측부(150) 중 일부 또는 전부를 포함할 수 있다.
또한, 레이어 1에서, 인터/인트라 예측부(220)는 도 1의 인터/인트라 예측부(110)에 대응할 수 있고, 필터링부(240)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 인터/인트라 예측부(250)는 도 1의 인터/인트라 예측부(160)에 대응할 수 있고, 필터링부(260)는 도 1의 필터링부(170)에 대응할 수 있다.
도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3을 참조하면, 디코딩 장치(300)는 레이어 1의 디코딩부(310)와 레이어 0의 디코딩부(350)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(310)는 엔트로피 디코딩부(315), 재정렬부(320), 역양자화부(325), 역변환부(330), 예측부(335), 필터링부(340), 메모리를 포함할 수 있다.
레이어 0의 디코딩부(350)는 엔트로피 디코딩부(355), 재정렬부(360), 역양자화부(365), 역변환부(370), 필터링부(380), 메모리(385)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(305)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(315, 355)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(315, 355)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(315, 355)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(335, 375)로 제공되고, 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(320, 360)로 입력될 수 있다.
재정렬부(320, 360)는 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(320, 360)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(320, 360)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(325, 365)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(325, 365)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(330, 370)에 전달할 수도 있다.
역변환부(330, 370)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(330, 370)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(330, 370)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(330, 370)은 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(330, 370)은 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(330, 370)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(330, 370)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(330, 370)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(330, 370)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(330, 370)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환(330, 370)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(335, 375)는 엔트로피 디코딩부(315, 355)로부터 전달된 예측 블록 생성 관련 정보와 메모리(345, 385)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(335)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 텍스처 정보를 전달받아서 인터 레이어 텍스처 예측을 수행할 수 있다. 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어의 참조 블록이 복원되어 있는 경우에 이용할 수 있다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
가산기(390, 395)는 예측부(335, 375)에서 생성된 예측 블록과 역변환부(330, 370)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(390, 395)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(390, 395)에서 복원된 블록 및/또는 픽처는 필터링부(340, 380)로 제공될 수 있다.
필터링부(340, 380)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(340, 380)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 3의 예을 참조하면, 레이어 1의 필터링부(340)는 레이어 1의 예측부(335) 및/또는 레이어 1의 필터링부(380)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(340)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(345, 385)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(345, 385)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 3의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장차에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
반대로, 도 3의 예에서는 예측부로 설명하였으나, 도 1의 예와 같이 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함할 수도 있다.
도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 4를 참조하면, 레이어 1의 예측부(410)는 인터/인트라 예측부(420) 및 인터 레이어 예측부(430)를 포함한다.
레이어 1의 예측부(410)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(430)는 레이어 0의 인터/인트라 예측부(450) 및/또는 필터링부(460)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(420)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(420)는 인터 레이어 예측부(430)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
레이어 1의 필터링부(440)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(460)으로부터 레이어 1의 필터링부(440)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(430)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(430)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
레이어 1에서 예측부(410) 는 도 3의 예측부(335)에 대응할 수 있고, 필터링부(440)는 도 3의 필터링부(340)에 대응할 수 있다. 레이어 0에서, 예측부(450)는 도 3의 예측부(375)에 대응할 수 있고, 필터링부(460)는 도 3의 필터링부(380)에 대응할 수 있다.
또한, 도시하지는 않았지만, 인터 레이어 예측부(430)는 수행하는 인터 레이어 예측의 종류(예컨대, 움직임 예측, 텍스처 예측, 유닛 파라미터 예측, 파라미터 예측)에 따라서, 움직임 예측부, 텍스처 예측부, 유닛 파라미터 예측부, 파라미터 예측부를 포함할 수도 있다.
스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다. 도 1 내지 도 4의 예에서 설명한 바와 같이, 인터 레이어 예측의 예로서 움직임 예측, 텍스처 예측, 유닛 예측, 파라미터 예측 등을 고려할 수 있다.
이하, 도면을 참조하여, 각 인터 레이어 예측에 대하여 구체적으로 설명한다.

인터 레이어 인트라 예측
인터 레이어 인트라 예측은 인터 레이어 텍스처 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 본 명세서에서는 설명의 편의를 위해, 인터 레이어 인트라 예측과 텍스처 예측 그리고 인트라 BL의 명칭들을 혼용하여 사용할 수도 있다.
이때, 베이스 레이어의 복원된 영상과 인핸스먼트 레이어의 영상 크기 또는 해상도를 동일하게 맞추기 위해, 베이스 레이어의 복원된 영상에 대한 업샘플링이 수행될 수 있다.
예컨대, DCTIF(DCT based Interpolation Filter)를 적용하여 업샘플링이 수행될 수 있다. 가령, 루마 샘플에 대해서는 8 탭의 DCTIF 를 적용하여 업샘플링을 수행하고, 크로마 샘플에 대해서는 4 탭의 DCTIF를 적용하여 업샘플링을 수행할 수 있다.
업샘플링은 인터폴레이션(interpolation)을 적용함으로써 수행될 수 있다.
한편, 본 발명에 따른 인터 레이어 인트라 예측은 코딩/디코딩의 처리 단위별로 종래와는 다른 특징을 나타낸다. 예컨대, 코딩 블록(예컨대, CU) 레벨에서 보면, 베이스 레이어의 블록 크기에 종속되지 않고, 독자적인 CU 파티션에 따라서 적용될 수 있다.
또한, 예측 블록(예컨대, PU) 레벨에서 보면, 인터 레이어 인트라 예측의 코스트는 현재 레이어(인핸스먼트 레이어) 내에서의 인트라 예측에 대한 코스트와 비교될 수 있다. 이때, 인터 레이어 인트라 예측은 인트라 예측 모드를 사용하는 것이 아니라, 베이스 레이어(참조 레이어)의 복원 영상을 참조 영상으로 사용하여 인트라 예측과 RDO(Rate–Distortion Optimization)를 비교하게 된다.
인터 레이어 인트라 예측을 적용하기 위해, PU에 대한 새로운 모드를 생성하지 않고, 상위 레벨에서 플래그 형태도 인터 레이어 인트라 예측이 적용되는지가 시그널링될 수 있다. 예컨대, 블록 모드 혹은 파티셔닝에 대해 파싱이 수행되기 전에 분할 플래그(split_flag) 다음 위치에서 플래그 형태로 인터 레이어 인트라 예측의 사용 여부에 관한 지시가 전송될 수 있다.
변환 블록(예컨대, TU) 레벨에서 보면, HEVC의 쿼드 트리 구조를 그대로 유지한 채로, 인터 레이어 인트라 예측을 적용하여 변환을 수행할 수 있다.
도 5는 본 발명에 따라서 인터 레이어 인트라 예측이 수행되는 예를 개략적으로 설명하는 도면이다.
도 5의 예에서는, 베이스 레이어의 영상(510)과 인핸스먼트 레이어의 영상(530)은 동일하게 64x64의 크기를 가지지만, 인핸스먼트 레이어의 영상(530)이 베이스 레이어의 영상(510)보다 4 배의 해상도를 가지고 있다.
따라서, 인핸스먼트 레이어의 영상(530)의 예측시에 베이스 레이어의 영상(510)을 참조하기 위해, 인트라 예측 모드로 복원된 베이스 레이어의 영상(510)을 업샘플링하여 참조 영상(520)을 구성한 후, 인핸스먼트 레이어의 예측에 이용한다.
인핸스먼트 레이어의 영상(530)에서 그림자 처리된 부분은, 인터 레이어 인트라 예측이 적용되지 않는 블록을 나타낸다.
이처럼 인터 레이어 인트라 예측을 적용하는 경우에는 베이스 레이어의 영상에 대한 리스케일링이 수행될 수 있다.
구체적으로, 인코딩 장치에서는 입력 영상이 서로 다른 해상도를 가지는 복수의 레이어로 나누어 인코딩/디코딩될 수 있도록 입력 영상을 다운샘플링하는 과정을 수행할 수 있다. 또한, 인코딩 장치/디코딩 장치는 인코딩/디코딩 과정에서 하위 레이어의 영상을 참조 영상으로 사용하기 위해 하위 레이어의 복원 영상을 업샘플링할 수도 있다.
다운샘플링과 업샘플링을 수행하는 경우에, 페이즈(phase) 특성이 맞지 않으면 인코딩/디코딩 과정에서 손실이 발생하게 되며 코딩 성능에 직접적인 영향을 미친다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 6(a)에서는 동일 위치(col-located) 정수 샘플을 다움샘플링된 샘플로 사용하는 경우를 설명하고 있다. 도 6(b)에서는 동일 위치 정수 샘플을 사용하지 않고 1/2 페이즈 어긋난 샘플을 생성하여 사용하는 예를 설명하고 있다.
도 6(a)와 도 6(b)에 도시된 바와 같이, 오리지널 샘플을 다운샘플링한 샘플에 하프펠(half-pel) 업샘플링 필터를 적용하면 다운샘플링된 샘플 위치로부터 1/2 페이즈 어긋난 위치에 샘플이 생성될 수 있다.
다운샘플링을 할 때 페이즈 이동이 없었던 도 6(a)의 경우에는 오리지널 샘플과 동일한 위치에 업샘플링에 의해 샘플들이 생성된다. 반면에, 다운샘플링을 할 때 페이즈 이동이 있었던 도 6(b)의 경우에는 오리지널 샘플과는 다른 위치(1/2 페이즈 어긋난 위치)에 샘플들이 생성된다. 따라서, 도 6(b)의 경우에는 페이즈의 불일치에 의해 오리지널 샘플과 업샘플링된 샘플 사이에 손실이 발생할 수 있다.
이 문제를 해결하기 위해, 업샘플링 과정에서 오리지널 샘플(오리지널 영상)들과의 페이즈를 일치시키는 페이즈 쉬프트 업샘플링을 수행하는 것을 고려할 수 있다.
도 7은 본 발명에 따라서 페이즈 쉬프트 업샘플링(phase shifted up-samplimng)을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 7에서 아래쪽 샘플들은 오리지널 샘플로부터 1/2 페이즈 이동하여 다운샘플링된 샘플들과 다운샘플링된 샘플들로부터 업샘플링된 샘플들을 함께 나타낸 것이다.
도 7의 예에서는 다운샘플링 과정에서의 페이즈 이동을 보상하기 위해, 업샘플링 과정에서 다운샘플링된 샘플들에 대하여 1/4 페이즈, 3/4 페이즈 위치에서 업샘플링을 수행한다.
다운샘플링된 샘플들에 대하여 1/4 페이즈, 3/4 페이즈의 샘플을 보간함으로써 페이즈의 미스매치를 제거할 수 있다. 도 7을 참조하면, 다운샘플링된 샘플들에 대한 1/4 페이즈, 3/4 페이즈 위치에서 업샘플링된 샘플들은 오리지널 샘플들과 페이즈 차이가 없는 것을 확인할 수 있다.
이처럼 업샘플링 필터링을 적용할 때, 페이즈 이동을 얼마나 하여 오리지널 샘플과 페이즈를 일치시킬 것인지는 다운샘플링시에 적용된 페이즈 이동에 따라서 결정될 수 있다.
예컨대, 디코딩 장치에서 오리지널 샘플과 업샘플링된 샘플 간에 페이즈의 불일치가 발생하지 않도록 업샘플링 필터링을 적용하기 위해서는, 인코딩 장치에서 적용한 다운샘플링 필터에 대한 정보 또는 디코딩 장치에서 사용할 업샘플링 필터에 대한 정보가 인코딩 장치로부터 디코딩 장치로 전송될 필요가 있다.
아래 표 1은 본 발명에 따라서 페이즈를 일치시키기 위해 전송되는 다운샘플링/업샘플링 필터 정보의 일 예를 나타낸 것이다.
<표 1>
Figure PCTKR2013001659-appb-I000001
필터의 정보가 인코딩 장치로부터 디코딩 장치로 직접(explicitly) 전송되는 대신 룩업 테이블을 이용할 수도 있다.
이때, 인코딩 장치는 룩업 테이블상에서 필터 정보를 지시하는 인덱스를 디코딩 장치로 전송할 수 있다. 전송되는 인덱스는 인코딩 장치에서 적용된 다운샘플링 필터의 정보를 지시하는 인덱스일 수도 있고, 디코딩 장치에서 적용할 업샘플링 필터의 정보를 지시하는 인덱스일 수도 있다.
표 2는 본 발명에 따라서 필터 정보를 전달하는데 이용되는 룩업 테이블의 일 예를 간단히 나타낸 것이다.
<표 2>
Figure PCTKR2013001659-appb-I000002
업샘플링/다운샘플링 필터 정보는 부호화/복호화 과정의 소정 레벨에서 저장/전송될 수 있다. 예컨대, 필터 정보는 시퀀스 파라미터 셋에서 전송될 수 있다. 이 경우, 동일 시퀀스 내에서는 별도의 시그널링이 없는 한 동일한 필터들이 적용될 수 있다. 또한, 필터 정보를 픽처 파라미터 셋에서 전송하여 별도의 시그널링이 없는 한 동일 픽처 내에서는 동일한 필터들이 적용되도록 할 수도 있다. 혹은 필터 정보를 슬라이스 헤더에 저장하여 전송함으로써 별도의 시그널링이 없는 한 동일한 슬라이스 내에서는 동일한 필터들이 적용되도록 할 수도 있다.
표 3은 필터 정보를 시퀀스 파라미터 셋에 저장하여 전송하는 경우의 예를 간단히 나타낸 것이다.
<표 3>
Figure PCTKR2013001659-appb-I000003
표 3에서 Interpolation_filter_indicator는 사용할 인터폴레이션(보간) 필터의 종류를 지시한다.
표 3에서는 시퀀스 파라미터 셋에서 필터 정보를 저장하는 경우의 신택스 구조를 나타냈으나, 이는 본 발명에 따른 일 예일뿐이며, Interpolation_filter_indicator는 상술한 바와 같이, 픽처 파라미터 셋 또는 슬라이스 헤더에서 전송될 수도 있다.
Interpolation_filter_indicator가 지시하는 필터의 종류는 필터의 특징을 나타내는 정보로서, 표 1에서와 같이 페이즈, 탭 수, 탭의 계수 등을 포함한다.
즉, Interpolation_filter_indicator는 표 4와 같이, 룩업 테이블의 인덱스 값을 지시할 수 있다. 표 4는 리스케일링에 적용되는 필터 정보를 Interpolation_filter_indicator를 통해 지시하는데 이용되는 테이블의 일 예를 나타낸 것이다.
<표 4>
Figure PCTKR2013001659-appb-I000004
도 8은 본 발명에 따라서 Interpolation_filter_indicator를 이용하는 방법의 일 예로서, Interpolation_filter_indicator의 값이 10인 경우의 샘플링 방법을 간단히 설명하는 도면이다.
도 8(a)는 1/2 페이즈 이동이 적용된 다운샘플링의 경우를 나타내며, 도 8(b)는 도 8(a)에서 다운샘플링된 샘플로부터 업샘플링을 수행하는 경우를 나타낸다.
도 8(b)에서는 오리지널 샘플들과 업샘플링된 샘플들 사이의 페이즈를 일치시키기 위해, Interpolation_filter_indicator가 지시하는 대로 8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터를 적용하여 업샘플링을 수행한다.
다시 말하면, Interpolation_filter_indicator는 디코딩 장치가 적용할 업샘플링 필터를 지시하며, 예컨대, Interpolation_filter_indicator의 값이 10인 경우에는 페이즈를 일치시키기 위해 ‘8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터’가 적용되어야 함을 지시한다. 동시에, 8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터가 적용되어 페이즈를 일치시킨다는 것은 인코딩 장치에서 1/2 페이즈 이동이 적용된 다운샘플링이 수행되었음을 의미한다.
지금까지 설명한 인터 레이어 인트라 예측은 도 1내지 도 4에서 설명한 인터 레이어 예측부(예컨대, 텍스처 예측부)에서 수행될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 인트라 예측을 적용할 것인지는 CU의 분할 여부를 지시하는 플래그에 이어서 플래그 형태로 지시될 수 있다. 인터 레이어 인트라 예측에서 스케일링이 적용되는 경우에, 필터의 정보는 부호화되어 전달될 수 있다. 이때, 전달되는 정보는 상술한 바와 같다.

인터 레이어 움직임 예측
인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 불리며, 본 명세서에서는 발명의 이해를 돕기 위해, 필요에 따라서 인터 레이어 움직임 예측과 인터 레이어 인터 예측의 표현을 혼용할 수 있다.
인터 레이어 움직임 예측에서는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 움직임 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 레이어 움직임 예측을 수행하는 것으로 설명한다.
도 9는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우(이하, ‘인터 예측’이라 함)에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 9에서 A0, A1, B0, B1, B2, COL은 해당 블록을 지시할 수도 있고, 해당 블록의 움직임 정보를 지시할 수도 있다. 이때, 해당 블록의 움직임 정보는 움직임 벡터일 수도 있고, 움직임 벡터와 참조 픽처 인덱스일 수도 있다.
여기서는 인터 예측의 방법에 관해 베이스 레이어의 경우를 일 예로서 설명하도록 한다.
베이스 레이어에서의 인터 예측은 도 1 내지 도 4의 예측부 혹은 인터/인트라 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 예측을 수행하는 것으로 설명한다.
인터 예측의 모드로는 머지(merge) 모드, 스킵 모드 그리고 MVP(Motion Vector Predicot)를 이용하는 모드가 있다. MVP를 이용하는 모드를 설명의 편의를 위해 AMVP(advanced MVP) 모드라고 할 수 있다.
머지 모드에서는 도 9에 도시된 주변 블록(neighboring block)들의 움직임 정보(이하, 움직임 정보 후보라 함)들 중에서 선택된 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 선택되는 움직임 정보 후보를 지시하는 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
스킵 모드에서는 머지 모드와 동일하게 선택된 움직임 정보 후보의 움직임 정보를 현재 블록의 움직임 정보로 사용하지만, 레지듀얼이 생성/전송되지 않는다.
머지 모드 또는 스킵 모드가 적용되는 경우에, 예측부는 현재 블록 주변의 공간적 후보들인 A0, A1, B0, B1, B2에 대한 가용성을 판단할 수 있다. 가용성 판단은 소정의 순서로 진행될 수 있다. 예컨대, A1→B1→B0→A1→B2의 순서로 진행될 수 있다.
이때, 각 후보들의 가용성 판단에는 이전 후보와의 동일성 판단이 포함될 수 있다. 예컨대, B1에 대하여, A1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있다. 구체적으로, A1이 가용하고 A1과 B1의 움직임 정보가 동일하면 B1은 가용하지 않은 것으로 판단할 수 있다.
같은 방법으로, B0는 B1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있으며, A0은 A1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있다.
B2는 A1과 움직임 정보가 동일한지, B1과 움직임 정보가 동일한지를 모두 고려하여 가용성 판단을 할 수 있으며, 이때, 앞선 네 후보(A0, A1, B0, B1)가 모두 가용한 경우에는 가용하지 않은 것으로 판단할 수도 있다.
COL 후보를 사용하는 경우에는, 참조 픽처 리스트를 이용하여 COL 후보가 포함된 COL 픽처를 특정할 수 있다. 현재 블록과 동일 LCU 내에 있는 COL 블록에 대하여 소정 위치를 포함하는 예측 블록의 움직임 정보를 COL후보로 할 수 있다. 이때, COL 후보의 움직임 벡터는 COL 픽처와 현재 픽처의 참조 픽처들을 고려하여 스케일링될 수 있으며, COL 후보의 참조 인덱스는 소정의 값(예컨대, 0)으로 설정될 수 있다.
COL 후보를 포함하여 가용한 것(available)으로 판단된 후보들로, 가용성 판단 순서에 따라 머지 후보 리스트가 구성될 수 있다. 이때, 현재 블록의 슬라이스 타입이 B(즉, 양방향 예측이 적용되는 슬라이스)이고 현재 머지 후보 리스트에 포함된 후보의 개수가 최대 개수보다 적은 경우에는 머지 후보 리스트에 후보들(조합 양 예측 후보, combined bi-prediction candidates)이 추가될 수 있다.
상술한 바와 같이, 머지 후보 리스트가 구성된 후에도 머지 후보 리스트에 포함된 후보의 개수가 최대 개수보다 적은 경우에는 소정의 후보(예컨대, 제로 머지 후보)가 머지 후보 리스트에 추가될 수 있다.
예측부는 인코딩 장치로부터 전송된 정보(예컨대, 머지 인덱스 merge_idx)가 머지 후보 리스트 상에서 지시하는 후보의 움직임 정보를 현재 블록에 대한 움직임 정보로 이용하여 인터 예측을 수행할 수 있다. 예컨대, 예측부는 머지 인덱스에 의해 선택된 후보의 움직임 정보가 지시하는 샘플들을 현재 블록의 예측 블록으로 할 수 있다.
한편, AMVP 모드가 적용되는 경우에도, 예측부는 MVP 후보로 구성되는 AMVP 리스트를 구성할 수 있다.
AMVP 모드에서, 예측부는 A0→A1으로 후보의 가용성을 판단하고, B0→B1→B2으로 후보의 가용성을 판단한다.
A0→A1의 순서로 후보의 가용성을 판단할 때, 예측부는 ① 가용한 후보로서 현재 블록과 동일한 참조 픽처를 가지는 후보가 있는 경우 해당 후보를 AMVP 리스트에 포함시킬 수 있다. ①을 만족하는 후보가 없는 경우에, 예측부는 ② 현재 픽처와 현재 픽처의 참조 픽처 사이의 POC(Picture Order Count) 차이 및 현재 픽처와 후보의 참조 픽처 사이 POC 차이에 기반하여, 가용한 것으로 먼저 검색된 후보의 움직임 벡터를 스케일링할 수 있다. 예측부는 스케일링된 움직임 벡터를 AMVP 리스트에 포함시킬 수 있다.
B0→B1→B2의 순서로 후보의 가용성을 판단할 때, 예측부는 ① 가용한 후보로서 현재 블록과 동일한 참조 픽처를 가지는 후보가 있는 경우 해당 후보를 AMVP 리스트에 포함시킨다. ①을 만족하는 후보가 없고 A0과 A1 중에 가용한 후보가 없는 경우에, 예측부는 ② 현재 픽처와 현재 픽처의 참조 픽처 사이의 POC(Picture Order Count) 차이 및 현재 픽처와 후보의 참조 픽처 사이 POC 차이에 기반하여, 가용한 것으로 먼저 검색된 후보의 움직임 벡터를 스케일링할 수 있다. 예측부는 스케일링된 움직임 벡터를 AMVP 리스트에 포함시킬 수 있다.
COL 후보(시간적 후보)를 사용하는 경우에는, 참조 픽처 리스트를 이용하여 COL 후보가 포함된 COL 픽처를 특정할 수 있다. 현재 블록과 동일 LCU 내에 있는 COL 블록에 대하여 소정 위치를 포함하는 예측 블록의 움직임 정보를 COL후보로 할 수 있다. 이때, COL 후보의 움직임 벡터는 COL 픽처와 현재 픽처의 참조 픽처들을 고려하여 스케일링될 수 있다.
A0→A1의 순서로 후보의 가용성을 판단하여 결정된 MVP 후보를 A라고 하고, B0→B1→B2의 순서로 후보의 가용성을 판단하여 결정된 MVP 후보를 B라고 하며, 시간적 후보에 대한 가용성 판단에 의해 결정된 MVP 후보를 COL이라고 할 때, AMVP 리스트는 [A B COL]의 순서로 구성될 수 있다.
이때, 예측부는 A와 B가 동일한 경우에는 둘 중 하나를 AMVP 리스트로부터 삭제할 수 있다.
또한, 예측부는 A, B 및 COL이 모두 유효한 경우에는 AMVP 리스트 내 MVP 후보들의 개수를 2로 조정할 수 있다. 예컨대, 예측부는 A와 B로 AMVP 리스트를 구성하고, COL을 AMVP 리스트에서 제거할 수 있다.
예측부는 AMVP 리스트 내 후보들의 개수가 2보다 적은 경우에는 제로(0) 움직임 벡터를 후보로 추가할 수도 있다.
인코딩 장치는 AMVP 리스트 상에서 현재 블록에 대한 인터 예측에 사용할 MVP를 지시하는 MVP 인덱스, 움직임 벡터의 차분 mvd(motion vector difference)와 참조 픽처 리스트 상에서 현재 블록에 대한 참조 픽처를 지시하는 참조 인덱스를 디코딩 장치로 전송할 수 있다. 참조 픽처 리스트는 인터 예측에 사용될 수 있는 참조 픽처들의 리스트로서, 순방향 예측에 대한 L0과 역방향 예측에 대한 L1이 있다.
예측부는 MVP 인덱스가 지시하는 MVP와 mvd로부터 유도한 움직임 벡터와 참조 인덱스가 지시하는 참조 픽처를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
머지 모드/스킵 모드 또는 AMVP 모드를 적용하여 예측 블록이 생성되면, 예측부는 예측 블록과 레지듀얼을 기반으로 현재 블록에 대한 복원 블록을 생성할 수 있다. 스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으므로, 예측부는 예측 블록을 복원 블록으로 이용할 수 있다.
지금까지는 인터 예측의 방법으로서 베이스 레이어의 경우를 예로 설명하였으나, 인핸스먼트 레이어에서도 다른 레이어의 정보를 이용하지 않고 인터 예측을 수행하는 경우에는 위에서 설명한 것과 동일한 방법으로 인터 예측을 수행할 수 있다.
베이스 레이어에 대하여 상술한 바와 같이 인터 예측이 수행되면, 인핸스먼트 레이어에서는 베이스 레이어의 움직임 정보를 이용하여 인터 레이어 움직임 예측(inter-layer motion prediction)을 수행할 수 있다.
인터 레이어 움직임 예측은 인코딩 장치와 디코딩 장치의 예측부에서 수행할 수 있다.
도 10은 본 발명에 따라서 인터 레이어 움직임 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 10을 참조하면, 인핸스먼트 레이어의 예측부는 참조 레이어의 움직임 정보를 유도할 수 있다(S1010). 예컨대, 인핸스먼트 레이어의 인터 레이어 예측부는 참조 레이어의 예측부로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수 있다. 혹은 인핸스먼트 레이어의 예측부는 인코딩 장치로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수도 있다.
이때, 인핸스먼트 레이어의 예측부는 유도된 참조 레이어의 움직임 정보, 예컨대 유도된 참조 레이어의 움직임 벡터를 스케일링할 수도 있다.
인핸스먼트 레이어의 예측부는 참조 레이어의 움직임 정보를 이용하여 현재 블록에 대한 인터 레이어 인터 예측을 수행할 수 있다(S1020). 예컨대, 인핸스먼트 레이어의 인터/인트라 예측부는 인터 레이어 예측부가 유도한 참조 레이어의 움직임 정보를 머지 모드/스킵 모드 혹은 AMVP 모드의 한 후보로서 이용하여 현재 블록에 대한 예측을 수행할 수 있다.
이하, 도면을 참조하여, 본 발명에 따른 인터 레이어 인트라 예측을 구체적으로 설명한다.
1. 참조 레이어의 움직임 정보 유도
도 11은 본 발명에 따라서 참조 레이어의 움직임 정보를 유도하는 방법을 개략적으로 설명하는 도면이다. 도 11에서는 현재 레이어는 참조 레이어의 상위 레이어로서, 현재 레이어의 해상도가 참조 레이어의 해상도보다 높은 경우를 예로서 설명한다.
도 11을 참조하면, 현재 레이어의 PU(1110, 현재 PU)에 대응하는 참조 레이어의 PU(1100, 참조 PU)를 기반으로 현재 PU가 특정될 수 있다.
현재 PU를 특정하는 위치를 (xCurr, yCurr)이라고 하고, 현재 PU에 대응하는 참조 레이의 위치, 예컨대 참조 PU를 특정하는 위치를 (xRef, yRef)라고 하자.
참조 레이어의 움직임 벡터로부터 유도할 인터 레이어 움직임 벡터를 mvIL이라고 하고, (xRef, yRef)에 의해 특정되는 참조 레이어의 움직임 벡터(예컨대, 참조 PU의 움직임 벡터)를 mvRL이라고 하자.
도 11에서 nPSW는 현재 PU(1110)의 너비(width)이고, nPSH는 현재 PU(1110의 높이(height)이다.
예측부는 현재 PU를 특정하고, 현재 PU의 위치를 기반으로 참조 PU를 특정하여, 참조 PU의 움직임 정보(예컨대 움직임 벡터)를 유도할 수 있다.
(1) 현재 PU를 특정하는 위치 (xCurr, yCurr) 결정
현재 PU를 특정하는 위치 (xCurr, yCurr)는 아래 ① ~ ⑫와 같은 후보들 중에 어느 하나로 결정될 수 있다.
① LT = ( xP, yP )
② RT = ( xP + nPSW - 1, yP )
③ LB = ( xP, yP + nPSH - 1 )
④ RB = ( xP + nPSW - 1, yP + nPSH - 1 )
⑤ LT’ = ( xP - 1, yP - 1 )
⑥ RT’ = ( xP + nPSW, yP - 1 )
⑦ LB’ = ( xP - 1, yP + nPSH )
⑧ RB’ = ( xP + nPSW, yP + nPSH )
⑨ C0 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) -1 )
⑩ C1 = ( xP + (nPSW>>1), yP + (nPSH>>1) -1 )
⑪ C2 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) )
⑫ C3 = ( xP + (nPSW>>1), yP + (nPSH>>1) )
현재 PU를 특정하는 위치 (xCurr, yCurr)는 ① ~ ⑫ 중 어느 하나로 결정되어 고정적으로 사용될 수도 있고, 인코딩 장치에서 RDO를 통해 결정한 뒤 어느 위치를 (xCurr, yCurr)로 사용할 것인지를 시그널링할 수도 있다.
혹은 참조 레이어(베이스 레이어)에서 PU를 특정하는 위치에 대응하여, 동일한 위치를 현재 레이어(인핸스먼트 레이어)의 PU를 특정하는 위치로 결정할 수도 있다. 예컨대, 참조 레이어에서 PU 내 좌상단을 PU를 특정하는 위치로 이용하는 경우에는, 현재 레이어에서도 PU 내 좌상단 LT = ( xP, yP )를 (xCurr, yCurr)로 결정하여 이용할 수도 있다.
(2) 참조 레이어의 대상 위치 (xRef, yRef)
참조 레이어에서 움직임 벡터를 가져올 위치(참조 PU의 위치)는 현재 PU의 위치로부터 현재 레이어와 참조 레이어 간의 비에 따라서 결정될 수 있다.
수식 1은 본 발명에 따라서 참조 레이어에서 움직임 벡터를 가져올 위치를 결정하는 방법을 나타낸 것이다.
<수식 1>
xRef = xCurr/scale
yRef = yCurr/scale
이때, 참조 레이어에 대한 현재 레이어의 비를 나타내는 scale은 두 레이어 해상도에 따라서 결정될 수 있다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 된다. 현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 된다.
여기서는 현재 레이어와 참조 레이어 사이의 해상도 비로서 scale의 값을 결정하였으나, 본 발명은 이에 한정되지 않는다. scale은 현재 레이어와 참조 레이어 사이에 적용되는 스케일러빌러티의 종류에 따라서 결정될 수도 있다. 예컨대, scale은 현재 레이어와 참조 레이어 사이의 픽처 크기 비, 프레임 레이트 비일 수도 있다.
예측부는 (xRef, yRef) 위치의 움직임 벡터, 즉 (xRef, yRef)를 커버하는 PU(참조 PU)의 움직임 벡터를 mvRL로서 유도할 수 있다.
또한, 예측부는 (xRef, yRef)를 커버하는 PU(참조 PU)의 참조 인덱스를 인터 레이어 움직임 예측에 사용할 참조 인덱스 refIdxIL로서 유도할 수 있다.
예측부는 mvRL을 스케일링하여 인터 레이어 움직임 예측(인터 레이어 인터 예측)에 사용할 움직임 벡터 mvIL를 유도할 수 있다.
수식 2는 본 발명에 따라서 mvRL을 스케일링하여 mvIL을 유도하는 방법을 나타낸 것이다.
<수식 2>
mvIL = scale * mvRL
수식 2에서 계수 scale은 수식 1에서와 마찬가지로 참조 레이어에 대한 현재 레이어의 비를 나타낸다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 된다.
현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 되며, 예측부는 mvRL을 mvIL로 이용할 수 있다.
2. 참조 레이어로부터 유도한 움직임 정보를 이용한 인터 레이어 인터 예측
예측부는 참조 레이어로부터 유도한 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 인터 레이어 인터 예측을 수행할 수 있다. 참조 레이어로부터 유도한 움직임 정보는 움직임 벡터 mvIL과 참조 인덱스 refIdxIL을 포함한다.
예컨대, 머지 모드/스킵 모드가 적용되는 경우에, 예측부는 mvIL과 refIdxIL을 머지 후보로서 현재 블록에 대한 머지 후보 리스트에 추가할 수 있다.
또한, AMVP 모드가 적용되는 경우에, 예측부는 mvIL을 MVP 후보로서 현재 블록에 대한 AMVP 리스트에 추가할 수 있다.
(1) 머지 모드가 적용되는 경우
표 5는, 앞서 설명한 바와 같이, 인터 예측으로서 다른 레이어를 참조하지 않고 레이어 내에서 머지 모드가 적용되는 경우에, 구성되는 머지 후보 리스트의 일 예를 나타낸 것이다.
<표 5>
Figure PCTKR2013001659-appb-I000005
표 5에서 A1, B1, B0, A0, B2, COL은 도 9의 A1, B1, B0, A0, B2, COL와 동일하다. 또한, 표 5에서 인터 예측의 머지 후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 인터 예측의 머지 모드에서와 동일하다.
표 5에서 제일 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
반면, 인터 레이어 움직임 예측이 적용되는 경우에, 예측부는 표 5와 달리 참조 레이어로부터 유도한 움직임 정보을 포함하는 머지 후보 리스트를 구성할 수 있다. 여기서는 설명의 편의를 위해, 참조 레이어로부터 유도한 움직임 정보를 참조 레이어 후보(reference layer candidate) REF라고 한다.
REF는 mvIL과 refIdxIL을 포함한다.
표 6은 본 발명에 따라서 인터 레이어 움직임 예측의 머지 모드가 적용되는 경우에 예측부에 의해 구성되는 머지 후보 리스트의 일 예를 나타낸 것이다. 표 6은 본 발명에 따라서 참조 레이어 후보가 머지 후보 리스트에 추가되는 순서를 설명한다.
<표 6>
Figure PCTKR2013001659-appb-I000006
표 6에서 A1, B1, B0, A0, B2, COL은 도 9의 A1, B1, B0, A0, B2, COL와 동일하다. 또한, 표 6에서 A1, B1, B0, A0, B2, COL로 머지 후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 바와 동일하다.
표 6에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
다만, 예측부는 도 9에서 설명한 바와 같이, A1, B1, B0, A0, B2의 유효성을 판단할 때마다, 앞선 후보와의 동일성을 고려할 수 있다.
또한, 예측부는 A1, B1, B0, A0, B2 간의 동일성을 배제하고 리스트를 구성한 뒤, A1, B1, B0, A0, B2, COL 간의 동일성을 한번에 판단할 수 있다. 이 경우, 동일한 후보 중 하나를 남기는 작업은 COL의 유효성을 판단한 후에 수행될 수 있다.
인터 레이어 움직임 예측의 머지 모드가 적용되는 경우에, 예측부는 표 6의 머지 후보 리스트에서 ⓐ ~ ⓕ 중의 어느 한 순서에 REF를 포함시킬 수 있다.
예컨대, 예측부는 REF에 가장 작은 인덱스(예컨대, 0)을 할당하여 머지 후보 리스트의 ⓐ 순서에 포함시킬 수 있다. 즉, 예측부는 머지 후보 리스트에 REF를 가장 먼저 추가할 수 있다.
또한, 예측부는 REF에 가장 큰 인덱스(예컨대, 머지 후보 리스트에 포함될 수 있는 최대 후보 개수 - 1)를 할당하여 머지 후보 리스트의 ⓕ 순서에 포함시킬 수도 있다. 즉, 예측부는 머지 후보 리스트에 REF를 가장 늦게 추가할 수도 있다.
예측부는 공간적 후보들 다음의 순서인 ⓒ에 REF를 추가할 수도 있다. 즉, 예측부는 공간적 후보들의 유효성을 판단한 후에 REF를 머지 후보 리스트에 추가할 수도 있다.
또한, 예측부는 현재 레이어 내의 후보들 중 단방향 예측에 대한 후보들 다음 그리고 조합 양방향 후보 전의 순서인 ⓓ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 레이어 내의 후보들 중 단방향 예측의 후보들에 대한 유효성을 판단하고, 조합 양방향 후보를 추가하기 전에 REF를 머지 후보 리스트에 추가할 수도 있다.
예측부는 현재 레이어 내의 후보들을 모두 고려한 뒤의 순서인 ⓔ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 레이어 내의 후보들에 대한 유효성을 모두 검토한 후에 REF를 머지 후보 리스트에 추가할 수도 있다.
아울러, 예측부는 현재 블록 좌측의 후보와 상측의 후보를 하나씩 고려한 후의 순서인 ⓑ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 블록 좌측의 후보와 상측의 후보의 유효성을 하나씩 검토한 후에 REF를 머지 후보 리스트에 포함시킬 수도 있다.
표 6의 인터 레이어 움직임 예측의 머지 후보 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 5와 동일할 수 있다. 이 경우, 최대 후보 개수를 맞추기 위해 REF가 포함되는 위치에 따라서, REF보다 후순위에 있는 현재 레이어의 후보들이 머지 후보 리스트에서 제외될 수도 있다. 또한, REF보다 선순위에 있는 현재 레이어의 후보들로 최대 후보 개수가 충족되는 경우에는 REF가 머지 후보 리스트에서 제외될 수도 있다.
표 6의 인터 레이어 움직임 예측의 머지 후보 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 5와 상이할 수도 있다. 예컨대, 표 6에서 최대 후보 개수는 REF를 고려하여 표 5의 경우보다 하나 더 많을 수 있다. 이 경우에는 현재 레이어의 후보들로 머지 후보 리스트가 구성된 뒤, REF를 소정의 위치 혹은 소정의 순서에 포함시킴으로써 머지 후보 리스트를 완성한다고 볼 수도 있다. 이때, 머지 후보 리스트 내에서 REF의 위치 혹은 추가되는 순서는 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시되거나 디코딩 장치에 의해 유도될 수 있다.
머지 후보 리스트 내의 후보들 중에서 어떤 후보를 이용하여 머지 모드를 수행할 것인지는 인코딩 장치로부터 지시될 수 있다. 예컨대, 예측부는 인코딩 장치로부터 수신한 정보(예컨대, 머지 인덱스 merge_idx)가 표 6과 같은 머지 후보 리스트 상에서 지시하는 후보를 선택하고, 선택된 움직임 정보가 지시하는 블록을 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
(2) MVP (AMVP) 모드가 적용되는 경우
표 7은, 앞서 설명한 바와 같이, 인터 예측으로서 다른 레이어를 참조하지 않고 현재 레이어 내에서 MVP 모드가 적용되는 경우에, 구성되는 후보 리스트의 일 예를 나타낸 것이다. 본 명세서에서는 MVP를 이용하는 인터 예측의 모드를 AMVP 모드라고 하며, 이때 이용되는 후보 MVP들로 구성되는 리스트를 AMVP 리스트라고 한다.
<표 7>
Figure PCTKR2013001659-appb-I000007
표 7에서 A1, B1, B0, A0, B2, COL그리고 A와 B는 도 9의 A1, B1, B0, A0, B2, COL 및 도 9를 이용하여 설명한 MVP 모드에서의 A 및 B와 동일하다. 또한, 표 7에서 인터 예측의 MVP후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 인터 예측의 MVP 모드에서와 동일하다.
표 7에서 제일 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
반면, 인터 레이어 움직임 예측이 적용되는 경우에, 예측부는 표 7과 달리 참조 레이어로부터 유도한 움직임 정보을 포함하는 MVP후보 리스트를 구성할 수 있다. 여기서는 참조 레이어로부터 유도한 움직임 벡터를 참조 레이어 후보(reference layer candidate) REF라고 한다.
REF는 mvIL을 포함한다.
표 8은 본 발명에 따라서 인터 레이어 움직임 예측의 MVP 모드가 적용되는 경우에 예측부에 의해 구성되는 AMVP 리스트의 일 예를 나타낸 것이다. 표 8은 본 발명에 따라서 참조 레이어 후보가 AMVP 리스트에 추가되는 순서를 설명한다.
<표 8>
Figure PCTKR2013001659-appb-I000008
표 8에서 A1, B1, B0, A0, B2, COL그리고 A와 B는 도 9의 A1, B1, B0, A0, B2, COL 및 도 9를 이용하여 설명한 MVP 모드에서의 A 및 B와 동일하다. 또한, 표 8에서 A, B, COL로 AMVP 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 바와 동일하다.
표 8에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
예측부는 도 9에서 설명한 바와 같이, A, B 사이의 동일성을 판단하여 A와 B가 동일한 경우에는 A와 B 중 하나를 AMVP 리스트에서 제외할 수 있다. 이 과정은 B의 유효성을 판단할 때 수행될 수도 있고, A와 B를 판단한 후에 수행될 수도 있으며, COL의 유효성을 판단하는 경우 혹은 COL의 유효성을 판단한 후에 수행될 수도 있다.
인터 레이어 움직임 예측의 MVP 모드가 적용되는 경우에, 예측부는 표 8의 AMVP 리스트에서 ⓐ ~ ⓔ 중의 어느 한 순서에 REF를 포함시킬 수 있다.
예컨대, 예측부는 REF에 가장 작은 인덱스(예컨대, 0)을 할당하여 ⓐ의 순서에 포함시킬 수 있다. 즉, 예측부는 AMVP 리스트에 REF를 가장 먼저 추가할 수 있다.
또한, 예측부는 REF에 가장 큰 인덱스(예컨대, AMVP 리스트에 포함될 수 있는 최대 후보 개수 - 1)를 할당하여 ⓔ의 순서에 추가시킬 수도 있다. 즉, 예측부는 AMVP 리스트의 마지막에 REF를 추가할 수도 있다.
또한, 예측부는 현재 레이어 내의 후보들을 모두 고려한 뒤의 순서인 ⓓ에 REF를 포함시킬 수도 있다.
예측부는 공간적 후보들 다음의 순서인 ⓒ에 REF를 추가시킬 수도 있다. 또한, 예측부는 현재 블록 좌측의 후보를 고려한 후, 상측의 후보를 고려하기 전의 위치인 ⓑ에 REF를 포함시킬 수도 있다.
표 8의 인터 레이어 움직임 예측의 AMVP 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 7과 동일할 수 있다. 이 경우, 최대 후보 개수를 맞추기 위해 REF가 포함되는 위치에 따라서, REF보다 후순위에 있는 현재 레이어의 후보들이 AMVP 리스트에서 제외될 수도 있다. 또한, REF보다 선순위에 있는 현재 레이어의 후보들로 최대 후보 개수가 충족되는 경우에는 REF가 AMVP 리스트에서 제외될 수도 있다.
예컨대, 최대 후보 개수가 2인 경우, ⓒ 위치의 REF는 AMVP 리스트에서 제외될 수도 있다.
표 8의 인터 레이어 움직임 예측의 AMVP 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 7과 상이할 수도 있다. 예컨대, 표 8에서 최대 후보 개수는 REF를 고려하여 표 7의 경우(예컨대, 2)보다 하나 더 많을 수 있다. 이 경우에는 현재 레이어의 후보들로 AMVP 리스트가 구성된 뒤, REF를 소정의 위치에 포함시킴으로써 AMVP 리스트를 완성한다고 볼 수도 있다. 이때, AMVP 리스트 내에서 REF의 위치는 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시되거나 디코딩 장치에 의해 유도될 수 있다.
AMVP 리스트 내의 후보들 중에서 어떤 후보를 이용하여 MVP 모드를 수행할 것인지는 인코딩 장치로부터 지시될 수 있다. 예컨대, 예측부는 인코딩 장치로부터 수신한 정보가 표 6과 같은 AMVP리스트 상에서 지시하는 후보를 선택하고, 선택된 움직임 벡터와 인코딩 장치로부터 수신한 mvd를 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 예측부는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 인덱스가 지시하는 참조 픽처를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
한편, 소정의 조건을 만족하면, 예측부는 AMVP 리스트에 REF를 추가하기 전에 mvIL을 스케일링할 수 있다.
예컨대, 현재 PU의 참조 인덱스와 참조 PU의 참조 인덱스(refIdxIL)가 상이한 경우에는 mvIL을 스케일링할 수 있다. 다시 말하면, 현재 PU의 참조 인덱스가 지시하는 픽처(현재 PU의 참조 픽처)의 POC와 참조 PU의 참조 인덱스가 지시하는 픽처(참조 PU의 참조 픽처)의 POC가 상이한 경우에는, mvIL을 스케일링할 수 있다.
도 12는 본 발명에 따라서 mvIL을 스케일링하는 방법을 개략적으로 설명하는 도면이다.
도 12를 참조하면, 현재 레이어에서 현재 픽처의 POC와 현재 PU(1200)의 참조 픽처(1220)의 POC 간 차이를 tb라고 하고, 참조 레이어에서 현재 픽처의 POC와 참조 PU(1210)의 참조 픽처(1230)의 POC 간 차이를 td라고 한다.
현재 PU(1200)의 참조 픽처(1220)에 대한 POC인 pocRef와 참조 PU(1210)의 참조 픽처(1230)에 대한 POC인 pocRefLayer가 상이한 경우에, 예측부는 REF 즉, mvIL을 스케일링하여 AMVP에 포함시킬 수 있다.
mvIL은 수식 3과 같은 방법으로 스케일링될 수 있다. 스케일링된 mvIL을 mvIL’이라고 한다.
<수식 3>
tx = ( 16384 + ( Abs( td ) >> 1 ) ) / td
DistScaleFactor = Clip3( −4096, 4095, ( tb * tx + 32 ) >> 6 )
mvIL’ = Clip3( −8192, 8191.75, Sign( DistScaleFactor * mvIL ) *  ( (Abs( DistScaleFactor * mvIL ) + 127 ) >> 8 ) )
td = Clip3( −128, 127, pocCurr – pocRefLayer )
tb = Clip3( −128, 127, pocCurr – pocRef )
수식 3에서, pocCurr은 현재 픽처의 POC를 나타내며, pocRef는 현재 PU의 참조 인덱스에 의해 지시되는 픽처의 POC이고, pocRefLayer는 참조 PU의 참조 인덱스 즉, (xRef, yRef)의 참조 인덱스에 의해 지시되는 픽처의 POC이다.
또한, Abs(x)는 x가 0보다 작은 경우에는 –x가 되고, x가 0보다 크거나 같은 경우에는 x가 된다. Clip3(x,y.c)는 z가 x보다 작은 경우엔 x가 되고, z가 y보다 큰 경우엔 y가 되며, 그 외의 경우에는 z가 된다.
예측부는 pocRef와 pocRefLayer가 상이한 경우에, 수식 3과 같이 각 레이어에서 참조 픽처까지의 거리를 기반으로 인터 레이어 움직임 벡터를 스케일링하고, 스케일링된 움직임 벡터 후보(즉, 스케일링된 mvIL 혹은 스케일링된 REF)를 AMVP 리스트에 추가할 수 있다.
이때, 예측부는 REF (즉 mvIL) 대신 스케일링된 REF(즉, 스케일링된 mvIL)을 AMVP 리스트에 포함시켜서, 앞서 설명한 바와 동일한 방식으로 AMVP 모드를 적용한 인터 레이어 움직임 예측을 수행할 수 있다.
인터 레이어 움직임 예측을 적용하는 경우에, CU 레벨의 관점에서 보면, 베이스 레이어의 블록 크기와 무관하게 모든 CU 파티션을 그대로 사용할 수 있다. 또한, PU 레벨에서 보면, 인코딩 장치가 인터 예측과 인터 레이어 움직임 예측에 대한 RDO를 수행함으로써 최적의 예측 모드를 적용할 수 있다.

인터 레이어 신택스 예측
인터 레이어 신택스 예측에서는 참조 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성한다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
예컨대, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이 경우에는 참조 레이어의 신택스 정보 중 인트라 모드를 이용하여 현재 레이어의 텍스처를 생성/예측하는 인터 레이어 예측을 수행할 수 있다. 구체적으로, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록인 경우에, 인터 레이어 신택스 예측을 적용하면, 현재 블록에 대하여 (1) 참조 블록의 인트라 예측 모드로 (2) 현재 레이어에서 현재 블록 주변의 참조 픽셀을 이용하여, 인트라 예측을 수행할 수 있다.
참조 레이어가 P 슬라이스나 B 슬라이스이고 슬라이스 내의 참조 블록이 인터 예측 모드가 적용된 블록인 경우에는, 앞서 설명한 바와 같이 인터 레이어 움직임 예측과 동일한 방식으로, 참조 레이어의 신택스 정보 중 움직임 정보를 스케일링하여 현재 레이어에 대한 텍스처를 생성/예측하는 인터 레이어 예측을 수행할 수 있다.
이처럼, 인터 레이어 신택스 예측은 인터 레이어 움직임 예측과 인터 레이어 텍스처 예측을 혼용하는 방식으로 볼 수 있다.
인터 레이어 움직임 예측은 앞서 설명한 바와 같이, 참조 레이어의 움직임 정보를 이용하여 인핸스먼트 레이어에서 예측 신호(예측 블록)를 생성하는 예측 방법이다.
이때, 참조 레이어의 움직임 정보는 레이어 간 해상도의 변화에 따라서 스케일링될 수 있다.
참조 레이어에서 인트라 예측 모드가 적용되어서 움직임 정보가 없는 블록이 참조 블록인 경우에는, 상술한 바와 같이 참조 레이어의 인트라 예측 모드를 가져와 인핸스먼트 레이어의 주변 화소로부터 현재 블록을 예측하여 예측 신호를 생성할 수 있다.
인터 레이어 신택스 예측 혹은 인터 레이어 움직임 예측의 경우에, 루마 성분에 대한 움직임 정보는 참조 레이어로부터 4x4 블록 단위로 가져올 수 있다. 이 경우, 크로마 성분에 대한 움직임 정보로서 루마 성분에 대한 움직임 정보를 사용할 수도 있다.
인터 레이어 신택스 예측을 적용하면, PU 레벨에서 봤을 때, 새로운 PU 모드를 생성하지 않고, 상위 레벨에서 어떤 예측 모드를 적용할 것인지를 시그널링함으로써, 참조 레이어 내 참조 블록에 적용된 예측 모드에 따라서 인터 레이어 인트라 예측과 인터 레이어 움직임 예측을 적응적으로 적용할 수 있다.
인터 레이어 신택스 예측을 적용할 것인지를 지시하는 플래그는 CU의 분할을 지시하는 플래그(예컨대 CU_split_flag) 다음에 플래그 형태로 전송될 수도 있다.
도 13은 본 발명에 따라서 인터 레이어 신택스 예측을 수행하는 방법의 일 예를 간단히 설명하는 도면이다.
도 13을 참조하면, 참조 레이어(1300)의 참조 블록(1310)에 인트라 블록과 인터 블록이 존재한다.
도 13의 경우에 인터 레이어 신택스 예측을 적용하면, 참조 블록(1310)을 현재 레이어에 맞춰 업샘플링한 픽처(1320)를 구성하여 인터 레이어 신택스 예측을 적용해 복원 블록을 생성할 수 있다(1330).
이때, 참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다.
현재 레이어의 대상 픽처에 대하여 인터 레이어 신택스 예측은 다른 예측 모드들과 혼용될 수도 있으며, 도 13의 현재 픽처(1340)에서 빗금 영역은 다른 예측 모드가 적용될 수 있는 영역을 나타낸다.

인터 레이어 레지듀얼 예측
인터 레이어 레지듀얼 예측은 참조 레이어의 레지듀얼 신호를 이용하여 인핸스먼트 레이어의 레지듀얼 예측 영상을 생성하고 인핸스먼트 레이어에서는 레지듀얼 예측 영상을 참조하여 레지듀얼 영상을 부호화/복호화하는 방법이다.
인터 레이어 레지듀얼 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 레이어 레지듀얼 예측을 수행하는 것으로 설명한다.
예측부는 참조 레이어의 레지듀얼 신호를 레이어 간 해상도의 차이 혹은 비(ratio)에 따라서 스케일링하여 인핸스먼트 레이어에 대한 레지듀얼 예측 영상을 생성할 수 있다.
인코딩 장치에서는 인터 레이어 신택스 예측 및 인터 레이어 인트라 예측과는 별도로 인터 레이어 레지듀얼 예측에 대한 RDO를 수행할 수도 있다. 만약 RDO 경쟁을 통해 인터 레이어 레지듀얼 예측을 적용하는 것으로 결정되면, 레지듀얼 신호를 예측 하기 위한 플래그, 즉 인터 레이어 레지듀얼 예측을 적용하는 것을 지시하는 플래그는 레지듀얼(변환 계수) 앞쪽에 CU 단위로 부호화되어 전송될 수 있다.
도 14는 본 발명에 따라서 인터 레이어 레지듀얼 예측을 적용하는 방법을 개략적으로 설명한 도면이다.
도 14를 참조하면, 인터 레이어 예측을 위해 참조 레이어의 레지듀얼 신호(1400)에서 참조되는 참조 블록 부분(1410)을 레이어 간 해상도 비에 따라서 스케일링하여 레지듀얼 예측 영상(1420)이 생성될 수 있다.
레지듀얼 예측 영상(1420)을 기반으로 현재 블록에 대한 레지듀얼 영상(1430)이 복원될 수 있다. 이때, 빗금 처리된 영역은 인터 레이어 레지듀얼 예측이 적용되지 않는 영역을 나타낸다.
인코딩 장치는 모든 예측 모드의 레지듀얼 신호에 대하여 인터 레이어 레지듀얼 예측을 적용할 것인지를 RDO를 기반으로 판단할 수 있다. 인터 레이어 레지듀얼 예측을 적용할 것인지를 지시하는 정보는 플래그 형태로 계수(예컨대, 레지듀얼의 양자화된 변환 계수)에 대한 정보보다 앞서 전송될 수 있다.

인터 레이어 예측을 위한 신택스 구조
인코딩 장치는 지금까지 설명한 인터 레이어 예측을 위해 필요한 정보를 시그널링할 수 있다. 또한, 디코딩 장치는 시그널링된 정보를 수신하여 인터 레이어 예측을 수행할 수 있다.
여기서는, 지금까지 설명한 혹은 이후에 추가적으로 설명할 인터 레이어 예측의 수행 방법과 필요한 정보들의 일 예를 나타낸 신택스들에 대하여 설명한다.
표 9는 본 발명에 따른 NAL 유닛 신택스의 일 예를 나타낸 것이다.
<표 9>
Figure PCTKR2013001659-appb-I000009
표 10은 본 발명에 따른 NAL 유닛 헤더 SVC 확장 신택스(NAL unit header SVC extension syntax)의 일 예를 나타낸 것이다.
<표 10>
Figure PCTKR2013001659-appb-I000010
표 11은 본 발명에 따른 시퀀스 파라미터 셋 RBSP 신택스의 일 예를 나타낸 것이다.
<표 11>
Figure PCTKR2013001659-appb-I000011
Figure PCTKR2013001659-appb-I000012
표 12는 본 발명에 따른 서브셋 시퀀스 파라미터 RBSP 신택스의 일 예를 나타낸 것이다.
<표 12>
Figure PCTKR2013001659-appb-I000013
표 13은 본 발명에 따른 시퀀스 파라미터 셋 SVC 확장 신택스(Sequence parameter set SVC extension syntax)의 일 예를 나타낸 것이다.
<표 13>
Figure PCTKR2013001659-appb-I000014
표 14는 본 발명에 따른 픽처 파라미터 셋 RBSP 신택스의 일 예를 나타낸 것이다.
<표 14>
Figure PCTKR2013001659-appb-I000015
Figure PCTKR2013001659-appb-I000016
표 15는 본 발명에 따른 스케일링 리스트 데이터 신택스의 일 예를 나타낸 것이다.
<표 15>
Figure PCTKR2013001659-appb-I000017
표 16은 본 발명에 따른 스케일링 리스트 신택스의 일 예를 나타낸 것이다.
<표 16>
Figure PCTKR2013001659-appb-I000018
표 17은 본 발명에 따른 적응적 파라미터 셋 RBSP 신택스(Adaptation parameter set RBSP syntax)의 일 예를 나타낸 것이다.
<표 17>
Figure PCTKR2013001659-appb-I000019
표 18은 본 발명에 따른 추가적 인핸스먼트 정보 RBSP 신택스(Supplemental enhancement information RBSP syntax)의 일 예를 나타낸 것이다.
<표 18>
Figure PCTKR2013001659-appb-I000020
표 19는 본 발명에 따른 추가적 인핸스먼트 정보 메시지 신택스(Supplemental enhancement information message syntax)를 나타낸 것이다.
<표 19>
Figure PCTKR2013001659-appb-I000021
표 20은 본 발명에 따른 액세스 유닛 디리미터 RBSP 신택스(Access unit delimiter RBSP syntax)의 일 예를 나타낸 것이다.
<표 20>
Figure PCTKR2013001659-appb-I000022
표 21은 본 발명에 따른 필러(filler) 데이터 RBSP 신택스의 일 예를 나타낸 것이다.
<표 21>
Figure PCTKR2013001659-appb-I000023
표 22는 본 발명에 따른 슬라이스 레이어 RBSP 신택스의 일 예를 나타낸 것이다.
<표 22>
Figure PCTKR2013001659-appb-I000024
표 23은 본 발명에 따른 슬라이스 레이어 확장 RBSP 신택스의 일 예를 나타낸 것이다.
<표 23>
Figure PCTKR2013001659-appb-I000025
표 24는 본 발명에 따른 RBSP 슬라이스 트레일링 비트 신택스(RBSP slice trailing bits syntax)의 일 예를 나타낸 것이다.
<표 24>
Figure PCTKR2013001659-appb-I000026
표 25는 본 발명에 따른 RBSP 트레일링 비트 신택스의 일 예를 나타낸 것이다.
<표 25>
Figure PCTKR2013001659-appb-I000027
표 26은 본 발명에 따른 RBSP 바이트 정렬 신택스(RBSP byte alignment syntax)의 일 예를 나타낸 것이다.
<표 26>
Figure PCTKR2013001659-appb-I000028
표 27은 본 발명에 따른 슬라이스 헤더의 일 예를 나타낸 것이다.
<표 27>
Figure PCTKR2013001659-appb-I000029
Figure PCTKR2013001659-appb-I000030
표 28은 본 발명에 따른, 스케일러블 확장에서의 슬라이스 헤더 신택스(Slice header in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 28>
Figure PCTKR2013001659-appb-I000031
Figure PCTKR2013001659-appb-I000032
Figure PCTKR2013001659-appb-I000033
표 29는 본 발명에 따른 단기 참조 픽처 세트 신택스(Short-term reference picture set syntax)의 일 예를 나타낸 것이다.
<표 29>
Figure PCTKR2013001659-appb-I000034
표 30은 본 발명에 따른 참조 픽처 리스트 수정 신택스(Reference picture list modification syntax)의 일 예를 나타낸 것이다.
<표 30>
Figure PCTKR2013001659-appb-I000035
표 31은 본 발명에 따른 참조 픽처 리스트 조합 신택스(Reference picture lists combination syntax)의 일 예를 나타낸 것이다.
<표 31>
Figure PCTKR2013001659-appb-I000036
표 32는 본 발명에 따른 샘플 적응적 오프셋 파라미터 신택스(Sample adaptive offset parameter syntax)의 일 예를 나타낸 것이다.
<표 32>
Figure PCTKR2013001659-appb-I000037
표 33은 본 발명에 따른 적응적 루프 필터 파라미터 신택스의 일 예를 나타낸 것이다.
<표 33>
Figure PCTKR2013001659-appb-I000038
표 34는 본 발명에 따른 적응적 루프 필터 코딩 유닛 제어 파라미터 신택스(Adaptive loop filter coding unit control parameter syntax)의 일 예를 나타낸 것이다,
<표 34>
Figure PCTKR2013001659-appb-I000039
표 35는 본 발명에 따른 예측 가중치 테이블 신택스(Prediction weight table syntax)의 일 예를 나타낸 것이다.
<표 35>
Figure PCTKR2013001659-appb-I000040
Figure PCTKR2013001659-appb-I000041
표 36은 본 발명에 따른 슬라이스 데이터 신택스의 일 예를 나타낸 것이다.
<표 36>
Figure PCTKR2013001659-appb-I000042
표 37은 본 발명에 따른, 스케일러블 확장에서 슬라이스 데이터 신택스(Slice data in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 37>
Figure PCTKR2013001659-appb-I000043
표 38은 본 발명에 따른 코딩 트리 신택스의 일 예를 나타낸 것이다.
<표 38>
Figure PCTKR2013001659-appb-I000044
Figure PCTKR2013001659-appb-I000045
표 39는 본 발명에 따른, 스케일러블 확장에서 코딩 트리 신택스(Coding tree in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 39>
Figure PCTKR2013001659-appb-I000046
Figure PCTKR2013001659-appb-I000047
표 40은 본 발명에 따른 코딩 유닛 신택스의 일 예를 나타낸 것이다.
<표 40>
Figure PCTKR2013001659-appb-I000048
Figure PCTKR2013001659-appb-I000049
표 41은 본 발명에 따른, 스케일러블 확장에서 코딩 유닛 신택스(Coding unit in_scalable extension syntax)의 일 예를 나타낸 것이다.
<표 41>
Figure PCTKR2013001659-appb-I000050
Figure PCTKR2013001659-appb-I000051
표 42는 본 발명에 따른 예측 유닛 신택스의 일 예를 나타낸 것이다.
<표 42>
Figure PCTKR2013001659-appb-I000052
Figure PCTKR2013001659-appb-I000053
표 43은 본 발명에 따른 움직임 벡터 차분 코딩 신택스의 일 예를 나타낸 것이다.
<표 43>
Figure PCTKR2013001659-appb-I000054
표 44는 본 발명에 따른 변환 트리 신택스의 일 예를 나타낸 것이다.
<표 44>
Figure PCTKR2013001659-appb-I000055
Figure PCTKR2013001659-appb-I000056
Figure PCTKR2013001659-appb-I000057
표 45는 본 발명에 따른 변환 계수 신택스의 일 예를 나타낸 것이다.
<표 45>
Figure PCTKR2013001659-appb-I000058
Figure PCTKR2013001659-appb-I000059
표 46은 본 발명에 따른 레지듀얼 코딩 신택스의 일 예를 나타낸 것이다.
<표 46>
Figure PCTKR2013001659-appb-I000060
Figure PCTKR2013001659-appb-I000061
상술한 신택스들 중에서 nal_unit_type은 표 47과 같이 정의될 수 있다.
<표 47>
Figure PCTKR2013001659-appb-I000062
dependency_id 는 각 NAL 유닛의 종속성(dependency) 관계를 나타내기 위해 전송되는 ID(identification) 번호이다.
quality_id 는 각 NAL 유닛의 퀄리티 레벨(quality level)을 나타내기 위해 전송되는 ID(identification) 번호이다.
singleloop_decoding_flag의 값이 1이면 스케일러블 비트스트림의 최상위 레이어에서만 움직임 보상(motion compensation)이 수행된다. singleloop_decoding_flag의 값이 0이면 모든 레이어에서 움직임 보상이 허용된다.
slice_type은 표 48에 따른 슬라이스의 코딩 타입을 특정한다.
<표 48>
Figure PCTKR2013001659-appb-I000063
inter_layer_intra_prediction_flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 인트라 예측의 동작(operation)이 적응적으로 사용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 인트라 예측이 사용되지 않는다. inter_layer_intra_prediction_flag가 없는 경우에는, inter_layer_intra_prediction_flag의 값을 0으로 추정할 수 있다. 또한, ILIntraPredFlag 는 다음과 같이 유도될 수 있다.
- singleloop_decoding_flag 의 값이 1일 때, inter_layer_intra_prediction_flag의 값이 1이고slice_type 이 EI이면, ILIntraPredFlag 의 값을 1로 설정한다. 그렇지 않은 경우에는 ILIntraPredFlag의 값을 0으로 설정한다.
- singleloop_decoding_flag 의 값이 0일 때, ILIntraPredFlag의 값은 inter_layer_intra_prediction_flag와 동일하게 설정된다.
inter_layer_syntax_prediction_flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 신택스 예측의 동작이 적응적으로 이용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 신택스 예측이 이용되지 않는다. inter_layer_syntax_prediction_flag이 없는 경우에는, inter_layer_syntax_prediction_flag의 값을 0으로 추정할 수 있다. 또한, ILSyntaxPredFlag은 다음과 같이 유도될 수 있다.
- inter_layer_syntax_prediction_flag의 값이 1이고 slice_type이EI가 아니면, ILSyntaxPredFlag는 1로 설정된다. 그렇지 않은 경우에, ILSyntaxPredFlag는 0으로 설정된다.
inter_layer_residual_prediction_flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 레지듀얼 예측의 동작이 적응적으로 이용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 레지듀얼 예측이 이용되지 않는다. inter_layer_residual_prediction_flag 가 없으면, is not present, inter_layer_residual_prediction_flag 의 값은 0으로 추정될 수 있다. 또한, ILResPredFlag 는 다음과 같이 유도될 수 있다.
- inter_layer_residual_prediction_flag의 값이 1이고 slice_type이 EI가 아니면, ILResPredFlag는 1로 설정된다. 그렇지 않으면, ILResPredFlag 는 0으로 설정된다.
cabac_init_idc는 콘텍스트 변수(context variable)에 대한 초기화 프로세스에 사용되는 초기화 표(initialisation table)를 결정하기 위한 인덱스를 특정한다. cabac_init_idc는 0 이상 2 이하의 값을 가질 수 있다.
il_mode는 베이스 레이어의 정보를 사용할지 여부를 지시는 신택스이다. il_mode는 singleloop_decoding_flag 값에 따라 다음과 같은 역할을 한다
singleloop_decoding_flag=1이고 slice_type=EI인 경우, il_mode의 값이 1이면 복원된 베이스 레이어를 현재 레이어와의 해상도 차이를 기반으로 스케일링한 후, 현재 CU의 예측 정보로 사용할 수 있다. il_mode의 값이 0이면 베이스 레이어의 복원 정보를 사용하지 않는다.
singleloop_decoding_flag=1이고 slice_type !=EI인 경우, il_mode의 값이 1이면 베이스 레이어의 움직임 정보, 인트라 예측 정보를 대응하는 현재 레이어와의 해상도 차이를 고려하여 스케일링한 후 복사하여 예측 신호를 만들고 그 값을 예측자(predictor)로 사용할 수 있다. il_mode의 값이 0이면 베이스 레이어의 복원 정보를 사용하지 않는다.
singleloop_decoding_flag=0이고 il_mode의 값이 1이면 베이스 레이어의 복원된 픽셀 정보를 해상도를 고려한 스케일링 후 예측 정보로 사용할 수 있다.
il_res_mode가 1이면 대응하는 베이스 레이어의 복원된 레지듀얼 데이터를 해상도를 고려하여 스케일링 한 후 현재 CU의 레지듀얼에 대한 예측자로 사용할 수 있다. il_res_mode의 값이 0이면 대응하는 베이스 레이어의 복원된 레지듀얼 데이터를 사용하지 않는다.
inter_layer_differential_coding_flag의 값이 1이면, 코딩 유닛에서 인터 레이어 차분(differential) 코딩의 동작이 적응적으로 이용되는 것을 특정한다. 그렇지 않으면, 인터 레이어 차분 코딩이 이용되지 않는다. inter_layer_differential_coding_flag이 없으면, inter_layer_differential_coding_flag 의 값을 0으로 추정한다. 또한, ILDiffCodingFlag 는 다음과 같이 유도될 수 있다.
- singleloop_decoding_flag 의 값이 1이고 inter_layer_differential_coding_flag 의 값이 1이며, slice_type이 EI이면, ILDiffCodingFlag 의 값은 1로 설정된다. 그렇지 않으면, ILDiffCodingFlag 의 값은 0으로 설정된다. is set to equal to 0.
- singleloop_decoding_flag 의 값이 1이 아니면, ILDiffCodingFlag 의 값은 inter_layer_differential_coding _flag과 동일하게 설정된다.

인터 레이어 유닛 예측(inter-layer unit prediction)
스케일러블 코딩에 사용되는 입력 신호(signal)는 레이어 간에 해상도, 프레임 레이트(frame rate), 비트 뎁스, 컬러 포맷, 애스팩트 율(aspect ratio) 등이 상이할 수 있다.
이 점을 고려하여 레이어 간 예측(인터 레이어 예측)을 수행함으로써 중복(redundancy)를 줄이고 시뮬캐스트(simulcast) 대비 코딩 효율을 높일 수 있다.
예컨대, 정보의 중복량을 줄이는 한 방법으로 인핸스먼트 레이어에서 전송되는 처리 단위, 즉 CU, PU 및 또는 TU에 관한 정보를 베이스 레이어의 정보를 이용하여 줄이는 방법을 사용할 수 있다.
베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 이용하여 인핸스먼트 레이어에서 전송되는 유닛 정보를 줄이는 방법을 인터 레이어 유닛 예측이라고 한다.
인터 레이어 유닛 예측은 도 1 내지 도 4에서 설명한 예측부 또는 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부가 인터 레이어 유닛 예측을 수행하는 것으로 설명한다.
예컨대, 인터 레이어 유닛 예측이 적용되는 경우에, 예측부가 베이스 레이어의 유닛 정보를 획득하면 이를 기반으로 인핸스먼트 레이어의 파티셔닝이 수행될 수 있다.
도 15는 본 발명에 따른 인터 레이어 유닛 정보 예측의 일 예를 개략적으로 설명하는 도면이다.
도 15의 예에서는 인핸스먼트 레이어의 해상도가 베이스 레이어의 해상도보다 2 배 높다고 가정한다.
도 15에서 레이어 0은 베이스 레이어 혹은 참조 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어 혹은 현재 레이어일 수 있다.
도 15를 참조하면, 레이어 0의 LCU 블록(1510)은 다양한 CU, PU 또는 TU로 분할되어 있다. 여기서는, 이런 CU, PU 및/또는 TU의 분할 정보를 설명의 편의를 위해 CU 정보 혹은 유닛 정보라고 한다.
예측부는 베이스 레이어의 CU 정보를 업스케일링한 정보인 참조 CU 정보(1520)를 생성할 수 있다. 예측부는 참조 CU 정보(1520)를 이용하여 레이어 0의 CU 정보를 유도할 수 있다.
예컨대, 참조 CU 정보(1520)로부터 베이스 레이어의 CU 정보를 유도하여 레이어 1에 적용하는 경우에는, 레이어 1의 LCU 구조로서 LCU0(1530)과 같은 유닛 구조가 이용될 수 있다. 참조 CU 정보(1520)를 이용하지 않는 경우 즉, 베이스 레이어의 CU 정보를 이용하지 않는 경우에는, 레이어 1의 LCU 구조로서 LCU1(1540)과 같은 유닛 구조가 이용될 수 있다.
레이어 0의 CU 정보(유닛 정보)를 이용하는 것이 코딩 효율을 높이는데 도움이 될 수도 있고 도움이 되지 않을 수도 있으므로, 인코딩 장치는 레이어 0의 CU 정보를 사용할 것인지를 적응적으로 시그널링할 수 있다.
여기서는 설명의 편의를 위해, 유닛 정보가 CU, PU, TU의 분할 정보인 것으로 설명하였으나, CU, PU, TU의 분할 구조 이외에 CU, PU, TU에 관한 정보를 포함할 수 있다. 다시 말하면, 베이스 레이어의 CU 정보는 트리 구조 또는 파티셔닝에 관한 정보일 수도 있고, PU 정보(스킵 모드인지 논-스킵 모드인지 여부, 예측 방향, 움직임 벡터, 참조 인덱스 등)일 수도 있으며, 둘 모두일 수도 있다.
예컨대, 인터 레이어 유닛 예측이 트리/파티셔닝 정보의 예측에 관한 것이라면, 다음과 같은 신택스들을 이용할 수 있다.
표 49는 본 발명에 따른, 스케일러블 확장 레이어에 대한 슬라이스 데이터 신택스의 일 예를 나타낸 것이다.
<표 49>
Figure PCTKR2013001659-appb-I000064
표 50은 본 발명에 따른, 스케일러블 확장 레이어에 대한 코딩 트리 신택스의 일 예를 나타낸 것이다.
<표 50>
Figure PCTKR2013001659-appb-I000065
bl_tree_info_skip_flag 의 값이 1이면 베이스 레이어(참조 레이어 혹은 레이어 0) 의 트리 정보를 그대로 사용한다는 것을 지시한다. bl_tree_info_skip_flag 의 값이 0이면 베이스 레이어의 트리 정보를 사용하지 않는다는 것을 지시한다.
bl_tree_info_skip_flag에 관한 이해를 돕기 위해 도 5를 참조할 수 있다. 만일 bl_tree_info_skip_flag 의 값이 1이면 베이스 레이어의 트리 정보가 CU 정보 업스케일링에 의해 인핸스먼트 레이어(현재 레이어 혹은 레이어 1)의 해상도에 맞게 업스케일링된다. 따라서, 현재LCU(Largest Coding Unit)의 split_coding_unit_flag 값들은 업스케일링된 베이스 레이어의 분할 정보와 동일한 값으로 유도될 수 있다.
BLSplitInfo[x0][y0] 는 업스케일링된 CU 정보에 분할 정보가 존재하는 경우에는 1의 값을 가지고, 업스케일링된 CU 정보에 분할 정보가 존재하지 않을 경우에는 0의 값을 가진다.
예를 들어, 인핸스먼트 레이어의 해상도가 베이스 레이어의 해상도의 2 배이고 인핸스먼트 레이어와 베이스 레이어의 CU 깊이(depth)가 동일할 경우, 업샘플링된 베이스 레이어의 분할 정보는 인핸스먼트 레이어의 분할 정보보다 깊이가 한 단계 더 낮게 된다.
만약 베이스 레이어에 분할 정보가 존재하지 않는다면, BLSplitInfo를 0으로 설정하고 인핸스먼트 레이어만을 위한 추가 정보(예컨대, split_coding_unit_flag)를 전송하여 업스케일링된 베이스 레이어로부터 예측되는 경우의 분할 정보보다 더 자세한 분할 정보를 알려줄 수 있다.
유사한 방법을 TU에도 적용할 수 있다. 예컨대, 소정의 플래그 정도를 사용하여 현재 레이어에 대한 TU 분할 정보를 처리하도록 할 수 있다.
표 51은 본 발명에 따른, 스케일러블 확장에 있어서 코딩 유닛 신택스의 일 예를 나타낸 것이다. 표 51의 예에서는 bl_tu_info_skip_flag라는 플랙그를 사용하여 현재 레이어를 위한 TU 분할 정보 전송을 생략할 수 있다.
<표 51>
Figure PCTKR2013001659-appb-I000066
표 52는 본 발명에 따른, 스케일러블 확장에 있어서, 변환 트리 신택스의 일 예를 나타낸 것이다.
<표 52>
Figure PCTKR2013001659-appb-I000067
앞서 설명한 바와 같이, 표 51 및 표 52에서, bl_tu_info_skip_flag의 값이 1이면 베이스 레이어의 업스케일된 TU 분할 정보를 현재 레이어에서 그대로 사용할 수 있다. bl_tu_info_skip_flag의 값이 0이면 현재 레이어를 위한 TU 분할 정보가 인코딩 장치로부터 독립적으로 전송될 수 있다.
한편, 인터 레이어 유닛 예측을 적용하는데 있어서, CU/PU/TU의 정보들을 조합하여 사용할 수도 있다. 발명의 이해를 돕기 위해, 여기서는 베이스 레이어와 인핸스먼트 레이어 사이의 공간 비(spatial ratio)가 2인 경우, 즉 두 레이어의 해상도가 2 배 차이 나는 경우를 예로서 설명한다.
도 16은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 16에서는 인터 레이어 유닛 예측을 적용할 때 베이스 레이어 구조를 리샘플링 하는 방법에 관해서 설명한다.
도 16(a)는 베이스 레이어의 CU 및 PU 구조를 나타낸다.
도 16(a)에서 베이스 레이어 블록(1600)은 인트라 코딩된 블록이고, 분할 영역(1620)은 NxN 파티션이며, 나머지 영역은 2Nx2N 파티션이라고 가정한다.
도 16(a)에서 참조 블록(1610)의 CU/PU 정보를 인핸스먼트 레이어에서 사용하기 위해, 두 배의 업샘플링을 수행하면, 베이스 레이어의 분할 구조를 어느 레벨(예를 들어, CU 레벨 혹은 PU 레벨)까지 이용할지에 따라서, 도 16(b)의 블록(1630)과 같은 분할(partition) 구조 혹은 도 16(c) 블록(1640)과 같은 분할 구조를 얻을 수 있다.
이 때, 베이스 레이어의 CU 정보만을 인핸스먼트 레이어에서 사용하고자 한다면 인핸스먼트 레이어의 CU 분할 구조를 블록(1630)의 분할 구조와 같이 구성할 수 있다. 이 경우에는 인핸스먼트 레이어의 영상이 블록 (1630)보다 더 세분화된 분할 구조를 가지는 경우는 커버할 수 없다.
반면, 베이스 레이어의 CU 정보뿐만 아니라, PU 정보까지 함께 인핸스먼트 레이어 의 CU 분할 구조에 반영하는 경우 도 16(c)의 블록(1640)과 같이 베이스 레이어에서 2Nx2N 파티션이 아닌 더 세분화된 파티션(예를 들면 NxN 파티션)을 가지는 부분에 대응되는 인핸스먼트 레이어의 영역에서도 추가적인 CU분할이 가능하다. 따라서, 이 경우에 인핸스먼트 레이어의 영상은 보다 세분화된 분할 구조를 가질 수 있게 된다.
한편, 도 16에서는 베이스 레이어가 인트라 코딩된 블록(intra coded block)인 경우를 예로서 설명하였으나, 동일한 방법을 베이스 레이어가 인터 코딩된 블록(inter coded block)인 경우에도 적용할 수 있다.
도 17은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 17에서는 베이스 레이어의 블록(1700)이 인터 코딩된 블록이고, 영역(1720)는 Nx2N 파티션이고, 영역(1730)은 2NxN 파티션이라고 가정하자.
인터 코딩된 블록의 경우에는 2Nx2N 파티션, NxN 파티션 이외에도, 2NxN 파티션, Nx2N 파티션, 2NxnU 파티션, 2NxnD 파티션, nLx2N 파티션, nRx2N 파티션과 같이 다양한 형태 파티션 타입을 사용할 수 있다.
베이스 레이어의 참조 블록(1710)의 CU/PU 정보를 인핸스먼트 레이어에서 사용하기 위해, 두 배의 업샘플링을 수행하면, 베이스 레이어의 분할 구조를 어느 레벨(예를 들어 CU 레벨 혹은 PU 레벨)까지 이용할지에 따라서, 도 17(b)의 블록(1740)과 같은 분할 구조 혹은 도 17(C)의 블록(1750)과 같은 분할 구조를 얻을 수 있다.
베이스 레이어의 CU 정보만을 인핸스먼트 레이어에서 사용하고자 하면, 참조 블록(1710)에서 영역(1720) 및 영역(1730)의 구조를 제외하고, CU의 분할 구조만을 업샘플링하여 인핸스먼트 레이어의 CU 분할 구조를 도 17(b)의 블록(1740)과 같이 구성할 수 있다.
또한, 베이스 레이어의 PU 정보까지 인핸스먼트 레이어의 CU 분할 구조에 반영하고자 하는 경우에는, 베이스 레이어에서 2Nx2N 파티션이 아닌 파티션 (예컨대, 영역(1720), 영역(1730)의 파티션)을 가지는 부분에 대응하는 인핸스먼트 레이어의 영역에 대해서, 도 17(c)와 같이 추가적인 CU 분할이 가능하다.
다시 말하면, 도 16 및 도 17에서 베이스 레이어의 PU 정보까지 인핸스먼트 레이어의 CU 분할 구조에 반영하고자 하는 경우에는, 베이스 레이어에서 PU 파티셔닝이 있는 영역에 대응하는 인핸스먼트 레이어의 영역에서 CU 분할이 이루어질 수 있다.
한편, 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 선택적으로 사용하는 방법을 적용할 수도 있다.
도 18은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 또 다른 예를 개략적을 설명하는 도면이다.
도 18에서는 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 재사용하는 방법에 관하여 설명한다.
도 18(a)와 같이 베이스 레이어의 블록(1800)이 2Nx2N 혹은 NxN과 같이 정사각형 모양의 파티션을 가지는 경우와, 2NxnU, 2NxnD, nLx2N 혹은nRx2N과 같이 직사각형 형태의 파티션을 가지는 있다고 가정하자.
이 경우, CU 분할(split)은 정사각형의 형태(2Nx2N 혹은 NxN)로만 이루어지므로, 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 선택적으로 이용하는 방법을 고려할 수 있다.
예를 들어, 도 18(b)와 같이 파티션 형태에 상관없이, 참조 블록(1810)의 분할 구조를 인핸스먼트 레이어의 블록(1840)에 대한 분할 구조로서 모두 반영할 수 있다.
또한, 도 18(c)와 같이, 참조 블록의 PU 분할 구조 중 정사각형의 파티션(1820)은 인핸스먼트 레이어의 CU 분할 구조에 반영하고, 참조 블록의 PU 분할 구조 중 직사각형의 파티션(1830)은 인핸스먼트 레이어의 CU 분할 구조에 반영하지 않을 수 있다.
이와 같이, CU/PU/TU 정보들을 조합하여 사용하는 방법은, 임의의 단위별로 선택적인 사용이 가능하다. 즉, 시퀀스, 픽처들의 그룹, 단일 픽처, 복수의 슬라이스, 단일 슬라이스, 복수의 LCU, 단일 LCU 등과 같이 임의의 단위를 기준으로 베이스 레이어의 CU/PU/TU 정보들을 조합하여 인핸스먼트 레이어에 사용하는 방법을 선택할 것인지를 결정할 수 있다.

적응적 인터 레이어 텍스처 예측
인터 레이어 예측에 있어서 필터를 적용하여 참조 영상의 품질을 향상시킬 수 있다. 예컨대, 인터 레이어 인트라 예측을 수행하는 경우에, 참조 영상의 품질을 향상시키기 위해, 참조 영상에 필터를 적용할 수 있다.
공간적 스케일러빌러티(spatial scalabilty)의 경우를 예로 들면, 하위 레이어의 텍스처 정보에 업샘플링 필터를 적용하여 레이어 간 해상도를 동일하게 조정한 후에, 조정된 하위 레이어의 텍스처 정보를 참조 영상으로 이용하였다.
이때, 업샘플링 필터가 적용된 하위 레이어의 텍스처 정보에 추가로 필터링을 적용한 후 상위 레이어의 예측을 위한 참조 영상으로 사용할 수 있다. 본 명세서에서는 이 예측 방법을 적응적 인터 레이어 텍스처 예측이라고 표시한다.
도 19는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 19를 참조하면, 텍스처 예측부(1910)는 도 1의 텍스처 예측부에 대응한다. 따라서, 텍스처 예측부는 텍스처 예측과 함께 필요한 경우 리스케일링을 수행할 수 있다.
베이스 레이어에서 필터링부(1950)에 의해 적용되는 필터링은 다운 컨버터(1940)에서 다운 컨버팅된 입력 시퀀스와의 차이를 줄이기 위한 것이다.
인핸스먼트 레이어에서, 업샘플링부(1930)에 의해 업샘플링된 텍스처가 필터링부(1920)에서 필터링되는 것은 업샘플링된 베이스 레이어의 텍스처와 입력 시퀀스 사이의 오류를 줄이기 위한 것이다.
이때, 적용되는 필터는 상술한 바와 같은 목적을 달성하기 위한 필터면 된다. 예컨대, 필터링부(1920)에서 적용되는 필터는 인코딩 장치/디코딩 장치에서 소정의 탭 수와 계수로 미리 특정되어 있는 필터일 수도 있으며, 필터 파라미터(탭 수, 계수 등)가 적응적으로 시그널링 되는 필터일 수도 있다.
적응적 인터 레이어 텍스처 예측을 사용할 경우, 참조 영상의 품질 향상으로 인해서 코딩 효율이 향상될 수 있다
적응적 인터 레이어 텍스처 예측을 적용하는 경우에, 참조 영상의 품질은 향상되지만 복잡도가 증가하고 추가적인 필터 파라미터의 인코딩/디코딩이 필요하다. 따라서, 상황(예컨대, 인코딩 장치와 디코딩 장치의 성능, 입력 시퀀스와 업샘플링된 베이스 레이어 텍스처 간의 오차 등)에 따라서 적응적 인터 레이어 텍스처 예측을 사용할 것인지를 결정할 수 있다.
따라서, 필터링부(1920)에서 적용되는 필터를 적응적으로 인코딩/디코딩 루프에서 적용되는 필터라고 할 수 있다. 설명의 편의를 위해, 본 명세서에서는 필터링부(1920)에서 적용하는 필터를 인터 레이어 ALF라고 한다. 인코딩 장치/디코딩 장치가 인루프 필터로서의 ALF를 이용하는 경우라면, 인루프 필터로서의 ALF(Adaptive Loop Filter)를 인터 레이어 ALF로 사용할 수도 있다.
적응적 인터 레이어 텍스처 예측을 사용하기 위해서는 인터 레이어ALF의 적용 여부를 지시하는 플래그가 필요하다. 인터 레이어 ALF의 적용 여부를 지시하는 플래그를 inter_layer_adaptive_loop_filter_enabled_flag라고 하자.
inter_layer_adaptive_loop_filter_enabled_flag의 값이 0 이면, 인터 레이어 ALF를 적용하지 않는 것을 지시하고, inter_layer_adaptive_loop_filter_enabled_flag의 값이 1이면, 인터 레이어 ALF를 적용하는 것을 지시한다.
inter_layer_adaptive_loop_filter_enabled_flag는 시컨스 파라미터 세트(Sequence parameter set)에 정의될 수 있다.
표 53은 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 시퀀스 파라미터 세트의 일 예를 나타낸 것이다.
<표 53>
Figure PCTKR2013001659-appb-I000068
inter_layer_adaptive_loop_filter_enabled_flag는 시컨스 파라미터 세트(Sequence parameter set)가 아닌 슬라이스 헤더에 정의될 수도 있다.
표 54는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 슬라이스 헤더의 일 예를 나타낸 것이다.
<표 54>
Figure PCTKR2013001659-appb-I000069
인코딩 장치와 디코딩 장치가 인루프 필터로서의 ALF를 사용하는 경우에, 픽처 파라미터 세트에서 ALF의 사용을 위해 사용하는 신택스를 인터 레이어 ALF에도 동일하게 적용해 볼 수 있다.
표 55는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 픽처 파라미터 세트 신택스의 일 예를 나타낸 것이다.
<표 55>
Figure PCTKR2013001659-appb-I000070
표 55에서 shared_pps_info_enabled_flag의 값이 1이면 인터 레이어 ALF의 파라미터 세트를 사용할 수 있다. 표 55와 달리, 인루프 필터로서의 ALF와 별도로 인터 레이어 ALF의 적용을 위한 플래그를 사용하는 방법도 적용할 수 있음은 물론이다.
표 55는 본 발명에 따라서shared_pps_info_enabled_flag를 인터 레이어 ALF에 적용하는 경우, 슬라이스 데이터 신택스의 예를 나타낸 것이다.
<표 56>
Figure PCTKR2013001659-appb-I000071

인터 레이어 필터 파라미터 예측
루피 필터링 과정에서 적용 가능한 필터로서, 디블록킹 필터, SAO(Sample Adaptive Offset) 그리고 Adaptive Loop Filter(ALF)의 세 가지가 있다.
루프 필터로서, 세 가지 필터가 모두 적용될 수도 있고, 일부만 적용될 수도 있다. 예컨대, 디블록킹 필터만 적용될 수도 있고, 디블록킹 필터와 SAO만 적용될 수도 있다.
인코징 장치는 복원 영상이 입력 영상에 가장 가까울 수 있도록 필터 파라미터를 결정하고, 결정된 필터 파라미터를 디코딩 장치로 전송할 수 있다. 따라서, 스케일러블 코딩의 특성상 베이스 레이어와 인핸스먼트 레이어에 사용되는 영상이 상당히 유사하므로, 필터 파라미터가 두 레이어 사이에서 유사할 가능성이 높다.
따라서, 베이스 레이어에서 사용한 파라미터를 인핸스먼트 레이어에서 재사용하는 방법을 고려할 수 있다. 이를 인터 레이어 필터 파라미터 예측이라고 한다.
인터 레이어 필터 파라미터 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행할 수도 있고, 인핸스먼트 레이어의 필터부에서 수행할 수도 있다.
도 20은 본 발명에 따른 인터 레이어 필터 파라미터 예측에 관하여 개략적으로 설명하는 도면이다.
도 20을 참조하면, 베이스 레이어의 인루프 필터링부(2020)에서 사용한 필터 파라미터를 현재 레이어의 인루프 필터링부(2010)에서 재사용할 수 있다.
SAO 파라미터는 적응 파라미터 세트(adaptive parameter set)에서 전송될 수 있다. ALF의 파라미터의 경우도 적응 파라미터 세트에서 전송될 수 있다.
표 57은 본 발명에 따른, 스케일러블 확장에 있어서 적응 파라미터 세트의 예를 나타낸 것이다.
<표 57>
Figure PCTKR2013001659-appb-I000072
aps_id 는 슬라이스 헤더에서 참조되는 적응 파라미터 세트(adaptation parameter set)를 식별한다. aps_id의 값은 0이상 TBD 이하의 값을 가지며, 레벨/프로파링에 의존한다.
aps_sample_adaptive_offset_flag의 값이 1이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 SAO가 온(ON)인 것을 특정한다. aps_sample_adaptive_offset_flag 의 값이 0이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 SAO가 오프(OFF)인 것을 특정한다. 활성화된 적응 파라미터 세트가 없다면, aps_sample_adaptive_offset_flag 값은 0으로 추정된다.
aps_adaptive_loop_filter_flag의 값이 1이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 ALF가 온(ON)인 것을 특정한다. aps_adaptive_loop_filter_flag 의 값이 0이면 현재 적응 파라미터 세트가 참조하는 슬라이스에 대하여 ALF가 오프(OFF)인 것을 특정한다. 활성화된 적응 파라미터 세트가 없다면, aps_adaptive_loop_filter_flag 의 값은 0으로 추정된다.
aps_cabac_use_flag의 값이 1이면 sao_param( )과 alf_param( )에 대하여 CABAC 디코딩 과정이 이용되며, aps_cabac_use_flag의 값이 0이면 sao_param( )와 alf_param( )에 대하여 CAVLC 디코딩 과정이 이용된다.
aps_cabac_init_idc는 SAO와 ALF의 콘텍스트 변수들에 대한 초기화 프로세스에서 이용되는 초기화 테이블을 결정하는 인덱스를 특정한다. aps_cabac_init_idc 의 값은 0 이상 2 이하의 범위에 있다.
aps_cabac_init_qp_minus26 는 양자화 파라미터-26값을 특정한다. 이때, 양자화 파라미터는 SAO와 ALF의 콘텍스트 변수들에 대한 초기화 프로세스에 이용된다.
alf_data_byte_count와sao_data_byte_point 는 바이트 수(number of bytes)를 특정한다.
base_pred_alf_param_flag의 값이 1이면, 베이스 레이어에서 사용된 ALF 파라미터가 현재 레이어에 사용된다는 것을 특정한다. base_pred_alf_param_flag의 값이 0이면 현재 레이어에 대한 ALF 파라미터가 현재 레이어에 사용된다는 것을 특정한다.
base_pred_sao_param_flag 의 값이 1이면, 베이스 레이어에서 사용된 SAO 파라미터가 현재 레이어에 사용된다는 것을 특정한다. base_pred_sao_param_flag 의 값이 0이면, 현재 레이어에 대한 SAO 파라미터가 현재 레이어레 사용되지 않는다는 것을 특정한다.

인터 레이어 차분 픽처 코딩
베이스 레이어의 복원 영상(reconstucted picture)을 R BL이라 하고, R BL을 인핸스먼트 레이어의 해상도(resolution)에 맞추어 업샘플링 시킨 영상을 UR BL이라 하자. 그리고, 인핸스먼트 레이어의 복원 영상을 R EL이라 하자.
복원 영상은 인루프 필터링을 적용하기 전의 영상일 수 있다. 또한, 복원 영상은 인루프 필터(deblocking filter, sample adaptive offset filter 및/또는 adaptive loop filter) 중 일부를 적용한 후의 영상일 수도 있다. 더 나아가, 복원 영상은 인루프 필터 전부를 적용한 후의 영상일 수도 있다.
여기서, R EL로부터 UR BL의 값을 뺀 차분 영상을 D라고 하면, D영상들의 도메인(domain)에서 독립적인 부호화/복호화를 수행할 수 있다. 이 방법을 본 명세서에서는 인터 레이어 차분 픽처 코딩(Inter-layer differential picture coding) 혹은 인터 레이어 차분 모드(inter-layer differential mode: IL-Diff mode)라고 한다.
인터 레이어 차분 모드는 시퀀스 단위, 픽쳐 단위, 슬라이스 단위, LCU(Largest CU) 단위, 코딩 유닛(CU) 단위 혹은 예측 유닛(PU) 단위에서 적용될 수 있다. 인터 레이어 차분 모드를 적용하고자 하는 처리 단위에서, 인터 레이어 차분 모드를 사용할지를 알려주는 플래그가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
인터 레이어 차분 모드가 적용된 처리 단위에 대해서는, 다른 스케일러빌러티(scalability)를 이용한 코딩(인코딩/디코딩)은 수행하지 않고, 단일 레이어 코딩(인코딩/디코딩) 방법만을 이용할 수도 있다. 이 경우, 다른 스케일러빌러티를 이용한 코딩을 수행할지 여부를 지시하기 위한 비트를 절약할 수 있다.
인터 레이어 차분 모드는 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행할 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행하는 것으로 설명한다.
(1) 인터 레이어 차분 모드에 대한 인트라 예측 (intra prediction for IL-Diff mode)
도 21은 본 발명에 따라서 인터 레이어 차분 모드를 적용하는 경우에, 인트라 예측을 수행하는 방법을 개략적으로 설명하는 도면이다.
도 21을 참조하면, 인핸스먼트 레이어의 픽처(2100)는 현재 블록(2115) 전후의 복원 영역(2105)과 미복원 영역(2110)을 포함한다. 복원 영역(2105)으로부터 복원 영상 R EL을 얻을 수 있다. 인핸스먼트 레이어의 픽처(2100)에 대한 복원이 완료되면, 픽처(2100)가 복원 영상 R EL 이 될 수 있다.
한편, 베이스 레이어의 복원 영상 R BL(2120)을 업샘플링한 영상 UR BL(2125)는 현재 블록(2115)에 대응하는 블록 P BL(2130)을 포함한다.
인코딩 과정에서 예측부(인코딩 장치의 예측부)는 수식 4와 같이 베이스 레이어의 복원 영상과 인핸스먼트 레이어의 복원 영상 사이의 차분 D를 유도할 수 있다.
<수식 4>
D = R EL - UR BL
수식 4에선 R EL은 아직 복원되지 않은 영역(2110)의 존재로 인해서, 디블록킹 필터, SAO 혹은 ALF 등과 같은 인루프 필터가 적용되지 않은 상태의 영상을 사용할 수도 있다.
베이스 레이어의 픽처(1220)는 모든 영역이 복원된 상태이기 때문에, R BL은 인루프 필터가 적용된 상태의 복원 영상일 수도 있고, 인루프 필터의 일부가 적용된 상태의 복원 영상일 수도 있으며, 인루프 필터가 적용되지 않은 상태의 복원 영상일 수도 있다.
예측부는 차분 영상 D(2140)에서, 미복원 영역(2150)을 제외하고, 복원 영역(2145)의 픽셀값들을 참조하여, 현재 블록(2155)에 대하여 인트라 예측을 수행할 수 있다.
디코딩 과정에서 예측부(디코딩 장치의 예측부)는 현재 블록과 동일 위치에 존재하는 UR BL 내의 블록값 P BL을 이용하여 수식 5와 같이 현재 블록을 복원할 수 있다.
<수식 5>
R EL = P D + P BL + RES
수식 5에서 P D는 차분 영상 D의 복원된 영역으로부터 인트라 예측을 수행함에 따라서 생성된 예측 블록이며, RES는 레지듀얼 블록이다.
(2) 인터 에이어 차분 모드에 대한 인터 예측 (inter prediction for IL-Diff mode)
인터 레이어 차분 모드를 적용할 때, 현재 블록에 대한 인터 예측을 수행하기 위해 예측부는 현재 픽처의 참조 픽처에 대한 차분 영상 D R을 생성한다. 예컨대, 예측부는 참조 픽처의 인핸스먼트 레이어 픽처에 대한 복원 영상과 참조 픽처의 베이스 레이어 픽처에 대한 복원 영상을 이용하여, 현재 픽처의 참조 픽처에 대한 차분 영상 D R을 생성한다.
예측부는 참조 픽처의 차분 영상 D R을 기반으로 현재 블록의 차분 영상 도메인에서 예측 블록 P D를 생성할 수 있다.
예측부는 예측 블록을 이용하여 수식 6과 같이 현재 블록을 복원할 수 있다.
<수식 6>
R EL = P D + P BL + RES
수식 6에서 R EL은 인핸스먼트 레이어에서 복원된 현재 블록이다. P BL은 UR BL내에서 현재 블록과 동일 위치에 존재하는 블록이며, RES는 레지듀얼 블록이다.
참조 영상의 차분 영상 D R은 미리 생성되어 DPB(Decoded Picture Buffer)에 저장될 수 있다. DPB는 도 1 및 도 3에서 설명한 메모리에 대응할 수 있다.
또한, 참조 영상의 차분 영상 D R은 R EL을 생성할 때마다, 현재 블록의 움직임 정보에 의해 현재 블록의 복원을 위해 필요한 위치로 특정된 블록에 대해서 산출될 수도 있다.
인터 레이어 차분 모드에 대한 인트라 예측의 경우와 달리 인터 레이어 차분 모드에 대한 인터 예측에서는, 참조 픽처에 대한 차분 영상을 생성할 때 인핸스먼트 레이어에서 복원된 참조 픽처로서 인루프 필터가 적용되지 않은 상태의 복원 픽처뿐만 아니라, 인루프 필터의 일부 또는 전부가 적용된 상태의 복원 픽처를 이용할 수도 있다.
본 명세서에서는 설명의 편의를 위해, 스케일러블 비디오 코딩이 지원되는 멀티 레이어 구조에서 각 레이어별로 특정 시점(예컨대, POC(Picture Order Count) 혹은 AU(Access Unit))에 복원되는 샘플들의 어레이를 ‘픽처’라고 표현하였다.
이와 관련하여, 디코딩 되어 출력되는 레이어(현재 레이어)에서 특정 시점에 복원된 혹은 복원되는 전체 샘플 어레이를 픽처라고 하여, 참조되는 레이어의 복원된 혹은 복원되는 샘플 어레이와 구분할 수도 있다. 참조되는 레이어에서 특정 시점에 복원된 혹은 복원되는 샘플 어레이는 리프리젠테이션(representation), 참조 레이어 픽처, 참조 레이어 샘플 어레이, 참조 레이어 텍스처 등으로 칭할 수도 있다. 이 경우, 하나의 AU에 대해서는 현재 레이어에서 복원된 하나의 디코딩(인코딩)된 픽처가 출력될 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계; 및
    상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고,
    상기 인터 레이어 움직임 벡터는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 상기 인터 레이어 움직임 벡터를 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.
  2. 제1항에 있어서, 상기 참조 레이어의 움직임 벡터는,
    상기 참조 레이어 내에서 상기 현재 블록을 특정하는 위치에 대응하는 참조 위치의 움직임 벡터인 것을 특징으로 하는 인터 레이어 예측 방법.
  3. 제2항에 있어서, 상기 현재 블록을 특정하는 위치는 상기 현재 블록의 좌상단 위치인 것을 특징으로 하는 인터 레이어 예측 방법.
  4. 제2항에 있어서, 상기 참조 위치는,
    상기 현재 블록을 특정하는 위치를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 유도되는 것을 특징으로 하는 인터 레이어 예측 방법.
  5. 제2항에 있어서, 상기 참조 위치의 움직임 벡터는,
    상기 참조 위치를 포함하는 예측 블록의 움직임 벡터인 것을 특징으로 하는 인터 레이어 예측 방법.
  6. 제1항에 있어서, 상기 예측을 수행하는 단계에서는,
    상기 현재 블록에 대한 예측 모드에 따라서, 상기 인터 레이어 움직임 정보를 포함하는 후보 리스트를 구성하고,
    상기 후보 리스트 내 후보들 중에서 선택된 움직임 정보를 이용하여 상기 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 인터 레이어 예측 방법.
  7. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 후보 리스트의 제일 앞에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  8. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 후보 리스트의 마지막에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  9. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 현재 레이어의 시간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  10. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 현재 레이어의 공간적 후보들보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  11. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 후보 리스트의 제일 앞에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  12. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 후보 리스트의 마지막에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  13. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 블록의 좌측에 위치하는 공간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  14. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 블록의 상측에 위치하는 공간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  15. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 레이어의 공간적 후보들보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  16. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 스케일링된 후에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  17. 제16항에 있어서, 상기 참조 레이어의 움직임 벡터는,
    상기 참조 레이어 내에서 상기 현재 블록을 특정하는 위치에 대응하는 참조 위치를 포함하는 참조 블록의 움직임 벡터이며,
    상기 예측을 수행하는 단계에서는,
    상기 현재 블록의 참조 픽처와 상기 참조 블록의 참조 픽처가 상이한 경우에, 상기 인터 레이어 움직임 벡터를 스케일링하여 상기 후보 리스트에 추가하는 것을 특징으로 하는 인터 레이어 예측 방법.
  18. 제16항에 있어서, 상기 인터 레이어 움직임 벡터는,
    현재 픽처와 상기 현태 픽처의 참조 픽처 간 POC(Picture Order Count) 차이; 및
    상기 픽처와 상기 참조 레이어 내에서 상기 인터 레이어 움직임 정보가 유도되는 픽처의 참조 픽처 간 POC 차이에 기반하여 스케일링 되는 것을 특징으로 하는 인터 레이어 예측 방법.
  19. 참조 레이어에 대한 예측을 수행하는 제1 예측부; 및
    상기 제1 예측부에 의한 예측에 기반한 인터 레이어 움직임 정보를 이용하여 상기 현재 레이어 내 현재 블록에 대한 예측을 수행하는 제2 예측부를 포함하며,
    상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고,
    상기 제2 예측부는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  20. 제19항에 있어서, 상기 제2 예측부는,
    상기 현재 블록에 대한 예측 모드에 따라서, 상기 인터 레이어 움직임 정보를 포함하는 후보 리스트를 구성하고,
    상기 후보 리스트 내 후보들 중에서 선택된 움직임 정보를 이용하여 상기 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
PCT/KR2013/001659 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치 WO2013129878A1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
DK13754230.4T DK2822276T3 (en) 2012-02-29 2013-02-28 Method for interlayer prediction and device using it
US14/381,802 US9554149B2 (en) 2012-02-29 2013-02-28 Inter-layer prediction method and apparatus using same
KR1020147021404A KR102083011B1 (ko) 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치
CN201380021904.6A CN104255031B (zh) 2012-02-29 2013-02-28 层间预测方法和使用层间预测方法的装置
PL13754230T PL2822276T3 (pl) 2012-02-29 2013-02-28 Sposób predykcji międzywarstwowej i stosujące go urządzenie
JP2014559832A JP6166287B2 (ja) 2012-02-29 2013-02-28 インタレイヤ予測方法及びそれを利用する装置
EP18196154.1A EP3442227B1 (en) 2012-02-29 2013-02-28 Inter-layer prediction method and apparatus
EP13754230.4A EP2822276B1 (en) 2012-02-29 2013-02-28 Inter-layer prediction method and apparatus using same
ES13754230T ES2703628T3 (es) 2012-02-29 2013-02-28 Método de predicción intercapa y aparato que hace uso del mismo

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261604538P 2012-02-29 2012-02-29
US61/604,538 2012-02-29

Publications (1)

Publication Number Publication Date
WO2013129878A1 true WO2013129878A1 (ko) 2013-09-06

Family

ID=49082997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001659 WO2013129878A1 (ko) 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치

Country Status (12)

Country Link
US (1) US9554149B2 (ko)
EP (2) EP2822276B1 (ko)
JP (1) JP6166287B2 (ko)
KR (1) KR102083011B1 (ko)
CN (1) CN104255031B (ko)
DK (1) DK2822276T3 (ko)
ES (1) ES2703628T3 (ko)
HU (1) HUE042534T2 (ko)
PL (1) PL2822276T3 (ko)
PT (1) PT2822276T (ko)
TR (1) TR201900494T4 (ko)
WO (1) WO2013129878A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133567A1 (en) * 2012-04-16 2014-05-15 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
CN105723713A (zh) * 2013-12-19 2016-06-29 夏普株式会社 合并候选导出装置、图像解码装置以及图像编码装置
CN105830446A (zh) * 2014-01-03 2016-08-03 高通股份有限公司 在多层译码中用于对层间参考图片集(rps)进行译码及对位流末端(eob)网络接入层(nal)单元进行译码的方法
CN105850126A (zh) * 2013-12-24 2016-08-10 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
JP2017507548A (ja) * 2014-01-02 2017-03-16 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
EP3241352A4 (en) * 2014-12-31 2018-05-30 Nokia Technologies OY Inter-layer prediction for scalable video coding and decoding
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US10602161B2 (en) 2014-03-24 2020-03-24 Kt Corporation Multilayer video signal encoding/decoding method and device
US10863171B2 (en) 2014-03-21 2020-12-08 Qualcomm Incorporated Using a current picture as a reference for video coding
RU2767323C1 (ru) * 2019-06-25 2022-03-17 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ преобразования, кодировщик, декодер и компьютерный носитель данных

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104594B1 (ko) * 2011-06-24 2020-04-24 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
CN110830797B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
SG10201505817YA (en) * 2012-01-30 2015-09-29 Samsung Electronics Co Ltd Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
SG10201610882XA (en) 2012-06-29 2017-02-27 Sony Corp Encoding device and encoding method
TWI649999B (zh) * 2012-07-09 2019-02-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼方法及視訊編碼系統
US9900593B2 (en) 2012-08-29 2018-02-20 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US20140140406A1 (en) * 2012-11-16 2014-05-22 General Instrument Corporation Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
TWI632807B (zh) * 2013-07-10 2018-08-11 夏普股份有限公司 Moving image decoding device
CA2883580A1 (en) * 2013-07-12 2015-01-15 Sony Corporation Image coding apparatus and method
EP3022921A4 (en) * 2013-07-14 2017-03-15 Sharp Kabushiki Kaisha Signaling indications and constraints
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
CN105684442B (zh) * 2013-07-23 2020-02-21 英迪股份有限公司 用于编码/解码图像的方法
KR20150029592A (ko) * 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
EP3054683A4 (en) * 2013-09-30 2017-06-07 Nippon Hoso Kyokai Image coding device, image decoding device, and programs therefor
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
KR20150046741A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046743A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9967575B2 (en) * 2013-10-29 2018-05-08 Kt Corporation Multilayer video signal encoding/decoding method and device
WO2015082763A1 (en) 2013-12-02 2015-06-11 Nokia Technologies Oy Video encoding and decoding
US10178397B2 (en) * 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
KR20240000649A (ko) 2015-08-24 2024-01-02 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
US10694187B2 (en) * 2016-03-18 2020-06-23 Lg Electronics Inc. Method and device for deriving block structure in video coding system
CN109076213A (zh) * 2016-04-28 2018-12-21 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
CN116016921A (zh) * 2017-07-07 2023-04-25 三星电子株式会社 用于对运动矢量进行编码和解码的设备和方法
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
CN110677668B (zh) * 2018-07-01 2022-06-21 北京字节跳动网络技术有限公司 空间运动压缩
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
KR102022375B1 (ko) 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
EP3866468A4 (en) 2018-10-12 2022-07-27 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING MULTI-ASSUMPTION PREDICTION
CN113597764B (zh) * 2019-03-11 2022-11-01 阿里巴巴集团控股有限公司 视频解码方法、系统和存储介质
CN113711606A (zh) * 2019-04-15 2021-11-26 Lg 电子株式会社 基于缩放列表数据的信令的视频或图像编译
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
WO2021015586A1 (ko) * 2019-07-25 2021-01-28 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
US11438611B2 (en) 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US11445176B2 (en) * 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
CN116325724A (zh) * 2020-06-10 2023-06-23 Lg电子株式会社 基于最大时间标识符执行子比特流提取过程的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
WO2024041658A1 (en) * 2022-08-26 2024-02-29 Douyin Vision Co., Ltd. On sao and ccsao

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190979A1 (en) * 2004-02-27 2005-09-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
EP1694074A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
KR20090012986A (ko) * 2007-07-30 2009-02-04 한국정보통신대학교 산학협력단 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법
US20110038421A1 (en) * 2004-10-15 2011-02-17 Heiko Schwarz Apparatus and Method for Generating a Coded Video Sequence by Using an Intermediate Layer Motion Data Prediction

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR101233854B1 (ko) * 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR100885443B1 (ko) * 2005-04-06 2009-02-24 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
WO2007018688A1 (en) * 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
CN101356820B (zh) 2006-01-05 2011-01-26 汤姆森许可贸易公司 层间运动预测方法
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
TWI362888B (en) * 2008-12-24 2012-04-21 Acer Inc Encoding and decoding method for video screen layout, encoding device, decoding device, and data structure
CN102362340B (zh) 2009-05-13 2013-12-25 未来儿株式会社 半导体晶片收纳容器
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
CA2839274A1 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Motion prediction in scalable video coding
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US20130188718A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc without including a temporally neighboring block motion vector in a candidate list

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050190979A1 (en) * 2004-02-27 2005-09-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
US20110038421A1 (en) * 2004-10-15 2011-02-17 Heiko Schwarz Apparatus and Method for Generating a Coded Video Sequence by Using an Intermediate Layer Motion Data Prediction
EP1694074A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
KR20090012986A (ko) * 2007-07-30 2009-02-04 한국정보통신대학교 산학협력단 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WOLF, KOEN DE ET AL.: "Adaptive Residual Interpolation: a Tool for Efficient Spatial Scalability in Digital Video Coding.", PROCEEDINGS OF THE 2006 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, COMPUTER VISION, & PATTERN RECOGNITION., vol. 1, 26 June 2006 (2006-06-26), LAS VEGAS, NEVADA, USA, XP055039491, Retrieved from the Internet <URL:http://www.researchgate.net/publication/220808864_Adaptive_Residual_Interpolation_a_Tool_for_Efficient_Spatial_Scalabilityin_Digital_Video_Coding?ev=sim_pub> *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140133567A1 (en) * 2012-04-16 2014-05-15 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
CN104396244A (zh) * 2012-04-16 2015-03-04 诺基亚公司 用于视频编码和解码的装置、方法和计算机程序
US10863170B2 (en) 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
CN105723713A (zh) * 2013-12-19 2016-06-29 夏普株式会社 合并候选导出装置、图像解码装置以及图像编码装置
CN105850126A (zh) * 2013-12-24 2016-08-10 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
US10178392B2 (en) 2013-12-24 2019-01-08 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
US10187641B2 (en) 2013-12-24 2019-01-22 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
CN105850126B (zh) * 2013-12-24 2019-03-26 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
JP2017507548A (ja) * 2014-01-02 2017-03-16 ヴィド スケール インコーポレイテッド インターレースおよびプログレッシブ混合のコンテンツを用いるスケーラブルビデオコーディングのための方法およびシステム
CN105830446B (zh) * 2014-01-03 2019-03-29 高通股份有限公司 用于对多层位流的视频信息进行解码的方法和装置
CN105830446A (zh) * 2014-01-03 2016-08-03 高通股份有限公司 在多层译码中用于对层间参考图片集(rps)进行译码及对位流末端(eob)网络接入层(nal)单元进行译码的方法
US10863171B2 (en) 2014-03-21 2020-12-08 Qualcomm Incorporated Using a current picture as a reference for video coding
US10602161B2 (en) 2014-03-24 2020-03-24 Kt Corporation Multilayer video signal encoding/decoding method and device
US10708606B2 (en) 2014-03-24 2020-07-07 Kt Corporation Multilayer video signal encoding/decoding method and device
EP3241352A4 (en) * 2014-12-31 2018-05-30 Nokia Technologies OY Inter-layer prediction for scalable video coding and decoding
US10499068B2 (en) 2014-12-31 2019-12-03 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
RU2746934C2 (ru) * 2014-12-31 2021-04-22 Нокиа Текнолоджиз Ой Межуровневое предсказание для масштабируемого кодирования и декодирования видеоинформации
RU2746934C9 (ru) * 2014-12-31 2021-06-29 Нокиа Текнолоджиз Ой Межуровневое предсказание для масштабируемого кодирования и декодирования видеоинформации
US11330279B2 (en) 2014-12-31 2022-05-10 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US11962793B2 (en) 2014-12-31 2024-04-16 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
RU2767323C1 (ru) * 2019-06-25 2022-03-17 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ преобразования, кодировщик, декодер и компьютерный носитель данных
US11546608B2 (en) 2019-06-25 2023-01-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Mapping method, encoder, decoder and computer storage medium
US11902538B2 (en) 2019-06-25 2024-02-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Mapping method, encoder, decoder and computer storage medium

Also Published As

Publication number Publication date
JP2015512216A (ja) 2015-04-23
KR102083011B1 (ko) 2020-02-28
CN104255031A (zh) 2014-12-31
PL2822276T3 (pl) 2019-04-30
EP2822276B1 (en) 2018-11-07
US20150071356A1 (en) 2015-03-12
EP2822276A1 (en) 2015-01-07
HUE042534T2 (hu) 2019-07-29
EP3442227A1 (en) 2019-02-13
KR20140136428A (ko) 2014-11-28
CN104255031B (zh) 2017-12-22
EP2822276A4 (en) 2015-11-04
US9554149B2 (en) 2017-01-24
EP3442227B1 (en) 2020-04-22
JP6166287B2 (ja) 2017-07-19
TR201900494T4 (tr) 2019-02-21
ES2703628T3 (es) 2019-03-11
PT2822276T (pt) 2018-12-18
DK2822276T3 (en) 2019-02-04

Similar Documents

Publication Publication Date Title
KR102083011B1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
US20210297697A1 (en) Method, an apparatus and a computer program product for coding a 360-degree panoramic video
US10440372B2 (en) Image encoding/decoding method and device
EP3005702B1 (en) Resampling using scaling factor
US10616607B2 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
EP2961166B1 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
KR102025413B1 (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR102506469B1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013133639A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
US20230403401A1 (en) Image encoding/decoding method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13754230

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147021404

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14381802

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014559832

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013754230

Country of ref document: EP