WO2013147557A1 - 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치 - Google Patents

인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치 Download PDF

Info

Publication number
WO2013147557A1
WO2013147557A1 PCT/KR2013/002653 KR2013002653W WO2013147557A1 WO 2013147557 A1 WO2013147557 A1 WO 2013147557A1 KR 2013002653 W KR2013002653 W KR 2013002653W WO 2013147557 A1 WO2013147557 A1 WO 2013147557A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
prediction
current
block
information
Prior art date
Application number
PCT/KR2013/002653
Other languages
English (en)
French (fr)
Inventor
김철근
전병문
박승욱
임재현
전용준
박준영
박내리
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/386,273 priority Critical patent/US9860549B2/en
Priority to CN201380017896.8A priority patent/CN104255032B/zh
Priority to EP13769250.5A priority patent/EP2833633A4/en
Publication of WO2013147557A1 publication Critical patent/WO2013147557A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Definitions

  • the present invention relates to video compression techniques, and more particularly, to an inter-layer prediction method in scalable video coding.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image, It is necessary to provide scalability in the frame rate of video and the like.
  • An object of the present invention is to provide a method and apparatus for effectively performing inter-layer prediction in scalable video coding.
  • An object of the present invention is to provide a method and apparatus capable of accurately specifying a correspondence relationship between different layers in inter-layer prediction.
  • An object of the present invention is to provide a method and apparatus for specifying a reference block in a reference layer corresponding to a current block in the current layer.
  • An embodiment of the present invention is an interlayer prediction method, comprising: specifying a reference block in a reference layer and performing prediction on a current block in a current layer using information of the reference block, wherein the reference block In the specifying of the reference block, the reference block may be specified based on a reference position where the current position on the current layer specifying the current block is a corresponding position on the reference layer.
  • Another embodiment of the present invention is a decoding apparatus, comprising: a receiver for receiving a bitstream including multi-layer image information, a predictor for predicting an image of a current layer using image information of a reference layer, and a prediction unit. And a memory for storing necessary information, wherein the prediction unit performs prediction on the current block by using information of the reference block in the reference layer, wherein the reference block has a current position on the current layer specifying the current block. It may be specified based on a reference position which is a corresponding position on the reference layer.
  • Another embodiment of the present invention is an encoding apparatus, comprising: a predictor for predicting an image of a current layer using image information of a reference layer, a memory for storing information necessary for the prediction, and the predicted information; And a transmitter for transmitting a multi-layer bitstream, wherein the predictor performs prediction on a current block by using information of a reference block in a reference layer, wherein the reference block is located on a current layer specifying the current block.
  • a current position may be specified based on a reference position that is a corresponding position on the reference layer.
  • interlayer prediction can be effectively performed in scalable video coding.
  • the correspondence between different layers can be accurately specified.
  • effective interlayer prediction may be performed by accurately specifying the correspondence between layers.
  • a reference block in a reference layer corresponding to the current block in the current layer can be specified.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • FIG. 4 is a diagram schematically illustrating a method of specifying a current block of a current layer and a reference block of a reference layer according to the present invention.
  • 5 briefly illustrates an example of candidates for motion information used when inter prediction is performed in a layer without referring to another layer.
  • FIG. 6 schematically illustrates an example of rescaling (downsampling / upsampling) applied in an inter-layer intra prediction process according to the present invention.
  • FIG. 7 is a diagram schematically illustrating another example of performing down sampling and phase shifted up-samplimng according to the present invention.
  • FIG. 8 is a diagram schematically illustrating an example of a method of adjusting a position of a lower layer corresponding to an upper layer.
  • FIG. 9 is a diagram schematically illustrating an example of a method of adjusting a position of an upper layer corresponding to a lower layer or a position of a lower layer scaled according to a resolution of an upper layer.
  • FIG. 10 is a diagram schematically illustrating an example of a method of adjusting corresponding positions of an upper layer and a lower layer by an offset.
  • FIG. 11 is a flowchart schematically illustrating a method of performing inter-layer prediction as described herein.
  • FIG. 12 is a diagram schematically illustrating a decoding apparatus for decoding a current layer according to the present invention.
  • FIG. 13 is a diagram schematically illustrating a configuration of an encoding apparatus for encoding a current layer according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed in layers.
  • the input signals may have at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165). ).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predtiction (MVP) method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction unit 160 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction units 110 and 140 may perform prediction on the layer 1 by using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • unit (CU, PU, and / or TU) information of a base layer is derived and used as unit information of an enhancement layer, or based on unit information of a base layer.
  • Unit information of the treatment layer may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • Interlayer motion prediction another example of interlayer prediction, is also called interlayer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • inter-layer texture prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit may use inter-layer residual prediction, which predicts the residual of the current layer using residual information of another layer as inter-layer prediction, and performs prediction on the current block in the current layer based on the residual layer.
  • the prediction unit is an interlayer prediction interlayer that performs prediction on the current block in the current layer by using a difference (difference image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the interlayer prediction. Differential prediction may also be performed.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the transform block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization units 115 and 165 may fixedly use a specific transform regardless of the prediction mode and the size of the transform block.
  • the transform / quantization units 115 and 165 may apply only DST to all transform blocks.
  • the transform / quantization units 115 and 165 may apply only DCT to all transform blocks.
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 160.
  • the transform / quantization unit 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 160.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 165 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 125 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 165 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory. can do.
  • the decoding unit 250 of the layer 0 may include an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a filtering unit 280, and a memory 285. .
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse quantizers 225 and 265 may transfer the entropy decoded residual to the inverse transformers 230 and 270 without dequantizing the entropy decoded residual according to a predetermined condition or a quantization scheme in the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size.
  • the inverse transform units 330 and 370 may apply only inverse DST to all transform blocks.
  • the inverse transform units 330 and 370 may apply only inverse DCT to all transform blocks.
  • the inverse transformers 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transforms 230 and 270 may omit the transform for a block having a specific prediction method or a specific size or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the predictor 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 335 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction.
  • inter-layer texture prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the adders 290 and 295 may generate reconstruction blocks using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering units 240 and 280 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed blocks and / or pictures.
  • deblocking filtering sample adaptive offset (SAO)
  • SAO sample adaptive offset
  • ALF ALF
  • the filtering units 240 and 280 may not apply all of the deblocking filter, ALF, and SAO, and may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO.
  • the filtering unit 240 of the layer 1 performs filtering on the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 1. It can also be done.
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • FIG. 3 is a block diagram illustrating an example of inter-layer prediction in an encoding apparatus and a decoding apparatus that perform scalable coding according to the present invention.
  • the predictor 300 of layer 1 includes an inter / intra predictor 340 and an interlayer predictor 350.
  • the prediction unit 300 of the layer 1 may perform interlayer prediction necessary for the prediction of the layer 1 from the information of the layer 0.
  • the interlayer prediction unit 350 may receive interlayer prediction information from the prediction unit 320 and / or the filtering unit 330 of the layer 0 to perform interlayer prediction necessary for the prediction of the layer 1.
  • the inter / intra prediction unit 340 of the layer 1 may perform inter prediction or intra prediction using the information of the layer 1 without using the information of the layer 0.
  • the inter / intra predictor 340 of the layer 1 may perform prediction based on the information of the layer 0 using the information transmitted from the interlayer predictor 350.
  • the filtering unit 310 of the layer 1 may perform the filtering based on the information of the layer 0, or may perform the filtering based on the information of the layer 0.
  • Information of the layer 0 may be transferred from the filtering unit 330 of the layer 0 to the filtering unit 310 of the layer 1, or may be transferred from the interlayer prediction unit 350 of the layer 1 to the filtering unit 310 of the layer 1. It may be.
  • the information transmitted from the layer 0 to the interlayer prediction unit 330 may be at least one of information about a unit parameter of the layer 0, motion information of the layer 0, texture information of the layer 0, and filter parameter information of the layer 0. have.
  • the interlayer predictor 350 may include a texture predictor 360, a motion predictor 370, a unit information predictor 380, and a parameter predictor 390.
  • the texture predictor 360 may use the texture of the reference block in the reference layer as a prediction value for the current block of the enhancement layer. In this case, the texture predictor 360 may be scaled by upsampling the texture of the reference block.
  • the motion predictor 370 may predict the current block of layer 1 (the current layer or the enhancement layer) by using the motion information of the layer 0 (the reference layer or the base layer). In this case, the motion predictor 370 may scale the motion information of the reference layer.
  • the unit information predictor 380 derives unit (CU, PU, and / or TU) information of the base layer and uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • unit (CU, PU, and / or TU) information of the base layer uses the unit information of the enhancement layer based on the unit information of the base layer or uses the unit information of the enhancement layer based on the unit information of the base layer. You can decide.
  • the parameter predictor 390 may derive the parameters used in the base layer to reuse them in the enhancement layer or predict the parameters for the enhancement layer based on the parameters used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the inter-layer prediction unit may further include a sub-prediction unit for performing inter-layer residual prediction and / or a sub-prediction unit for performing inter-layer differential prediction. Inter-layer difference prediction may be performed.
  • the prediction unit 300 may correspond to the prediction unit 110 of FIG. 1, and the filtering unit 310 may include the filtering unit 120 of FIG. 1. It can correspond to.
  • the predictor 320 may correspond to the predictor 140 of FIG. 1
  • the filter 330 may correspond to the filter 150 of FIG. 1.
  • the prediction unit 300 may correspond to the prediction unit 235 of FIG. 2, and the filtering unit 310 is the filtering unit 240 of FIG. 2.
  • the predictor 320 may correspond to the predictor 275 of FIG. 2
  • the filter 330 may correspond to the filter 280 of FIG. 2.
  • interlayer prediction may be performed to predict information of a current layer by using information of another layer.
  • examples of inter-layer prediction may include motion prediction, texture prediction, unit prediction, parameter prediction, and the like.
  • FIG. 4 is a diagram schematically illustrating a method of specifying a current block of a current layer and a reference block of a reference layer according to the present invention.
  • the current layer is an upper layer of the reference layer and the resolution of the current layer is higher than the resolution of the reference layer will be described as an example.
  • the current block 410 of the current layer may be specified as a predetermined position of the current layer, and the reference block 400 may be specified in the reference layer.
  • the current block may be a CU or a PU.
  • a position specifying the current block 410 is called (xCurr, yCurr), and a position specifying the reference block of the reference layer corresponding to the current block is called (xRef, yRef).
  • (xCurr, yCurr) may be a relative position from the upper left sample of the current picture.
  • (xRef, yRef) may be a relative position from the upper left end of the representation of the reference picture or the reference layer.
  • a prediction block for the current block may be generated by using information of the specified reference block as described below.
  • nPSW is the width of the current block 410
  • nPSH is the height of the current block 410.
  • Specifying the positions of the current block and the reference block may be performed by a specific module (eg, a prediction unit) in the encoding apparatus and the decoding apparatus or the encoding apparatus and the decoding apparatus.
  • a specific module eg, a prediction unit
  • the prediction unit of the encoding apparatus and the prediction unit of the decoding apparatus are described as specifying the positions of the current block and the reference block.
  • the prediction unit may specify (xCurr, yCurr) and (xRef, yRef).
  • the prediction unit may specify a current block and specify a reference block based on the position of the current block to obtain information (eg, texture information or a motion vector) of the reference block.
  • information eg, texture information or a motion vector
  • the prediction unit of the encoding device specifies (xCurr, yCurr) and (xRef, yRef) and transmits information specifying the location to the decoding device, and the prediction unit of the decoding device receives the information specifying the location (xCurr, yCurr). ) And (xRef, yRef) can be derived.
  • the decoding unit may perform interlayer prediction using the information of the reference block specified by (xRef, yRef) with respect to the current block specified by the derived (xCurr, yCurr).
  • the position (xCurr, yCurr) that specifies the current block of the current layer may be determined as one of the candidates such as 1 to 9 below with reference to FIG. 4.
  • the position (xCurr, yCurr) that specifies the current block may be determined and used either 1 or 12 and may be fixed.
  • the encoding apparatus may signal which position (xCurr, yCurr) to use after determining through RDO. .
  • the current position of the current layer is the same position corresponding to the position of specifying the reference block (for example, PU or CU) in the reference layer (base layer) to the position (xCurr, yCurr) that specifies the current block.
  • a location may be determined that specifies a block (eg, PU or CU).
  • the position LT (xP, yP) of the upper left sample in the current block also identifies the current block in the current layer. It can also be determined and used as (xCurr, yCurr).
  • the target position of the reference layer (xRef, yRef)
  • a position (a position of a reference block) to obtain information (eg, texture information or motion information) necessary for prediction of the current layer in the reference layer may be determined according to a ratio between the current layer and the reference layer from the position of the current block.
  • Equation 1 shows a method of determining a position of a reference block to obtain information required for prediction in a reference layer according to the present invention.
  • the scale representing the ratio of the current layer to the reference layer may be determined according to two layer resolutions. For example, if the resolution of the current layer is twice the resolution of the reference layer, the value of scale applied is 2, and if the resolution of the current layer is 1.5 times the reference layer, the value of scale applied is 1.5. If the resolution of the current layer is the same as that of the reference layer, the scale applied is 1.
  • scale is determined as the resolution ratio between the current layer and the reference layer, the present invention is not limited thereto.
  • the scale may be determined according to the type of scalability applied between the current layer and the reference layer.
  • scale may be a picture size ratio and a frame rate ratio between the current layer and the reference layer.
  • Inter-layer motion prediction is also referred to as inter-layer inter prediction, and in the present specification, inter layer motion prediction and expression of inter-layer inter prediction may be mixed as necessary for better understanding of the present invention.
  • prediction of a current block of a current layer may be performed using motion information of a reference layer (base layer).
  • Interlayer motion prediction may be performed by the predictor or the interlayer predictor of FIGS. 1 to 3.
  • the prediction unit will be described as performing inter-layer motion prediction.
  • FIG. 5 briefly illustrates an example of candidates for motion information used when inter prediction is performed in a layer without referring to another layer (hereinafter, referred to as 'inter prediction').
  • a 0 , A 1 , B 0 , B 1 , B 2 , and COL may indicate a corresponding block or may indicate motion information of the corresponding block.
  • the motion information of the corresponding block may be a motion vector or a motion vector and a reference picture index.
  • Inter prediction in the base layer may be performed by the prediction unit or the inter / intra prediction unit of FIGS. 1 to 3.
  • the prediction unit performs inter prediction.
  • the modes of inter prediction include a merge mode, a skip mode, and a mode using a motion vector predicot (MVP).
  • the mode using the MVP may be referred to as an advanced MVP (AMVP) mode for convenience of description.
  • motion information selected from motion information (hereinafter, referred to as motion information candidates) of neighboring blocks illustrated in FIG. 5 may be used as motion information of the current block. It can be transmitted from the encoding device indicating the selected motion information candidate to the decoding device.
  • the motion information of the motion information candidate selected as in the merge mode is used as the motion information of the current block, but the residual is not generated / transmitted.
  • the prediction unit may determine the availability for the spatial candidates A 0 , A 1 , B 0 , B 1 , and B 2 that are around the current block.
  • a merge candidate list may be constructed according to the availability determination order.
  • the prediction unit may perform inter prediction by using motion information of a candidate indicated by information transmitted from the encoding apparatus (eg, merge index merge_idx) on the merge candidate list as motion information for the current block. For example, the prediction unit may use the samples indicated by the motion information of the candidate selected by the merge index as the prediction block of the current block.
  • motion information of a candidate indicated by information transmitted from the encoding apparatus eg, merge index merge_idx
  • the prediction unit may construct an AMVP list composed of MVP candidates.
  • the prediction unit determines the availability of the motion vectors of the blocks in the order of A 0 ⁇ A 1 , selects the MVP candidate A, and determines the availability of the motion vectors of the blocks in the order of B 0 ⁇ B 1 ⁇ B 2 .
  • MVP candidate B can be selected.
  • the predictor constructs a candidate list with [AB]. If both A, B and COL, which are motion vectors of the COL block, are available, the candidate is [A COL]. Lists can be constructed.
  • the prediction unit may adjust the total number of candidates to 2 by adding 0 vectors when the number of candidates in the candidate list is less than 2 according to the availability determination.
  • the encoding apparatus decodes an MVP index indicating an MVP to use for inter prediction on a current block on an AMVP list, a motion vector difference (mvd) of a motion vector, and a reference index indicating a reference picture for a current picture on a reference picture list. Can be sent to.
  • the reference picture list is a list of reference pictures that can be used for inter prediction, and there are L0 for forward prediction and L1 for backward prediction.
  • the prediction unit may generate a prediction block for the current block based on the motion vector derived from the MVP and the mvd indicated by the MVP index and the reference picture indicated by the reference index.
  • the prediction unit may generate a reconstruction block for the current block based on the prediction block and the residual. Since the residual is not transmitted when the skip mode is applied, the prediction unit may use the prediction block as the reconstruction block.
  • the base layer has been described as an example of the inter prediction method.
  • the inter prediction may be performed in the same manner as described above.
  • the enhancement layer may perform inter-layer motion prediction using motion information of the base layer.
  • the inter-layer prediction unit of the enhancement layer may derive the motion information of the reference layer based on the information transmitted from the prediction unit of the reference layer.
  • the prediction unit of the enhancement layer may induce motion information of the reference layer based on information transmitted from the encoding apparatus.
  • the prediction unit may specify the position (xCurr, yCurr) of the current block and obtain motion information of the reference layer from the reference block specified by the position (xRef, yRef) corresponding to the reference layer.
  • the prediction unit may perform prediction on the current block by using the motion information of the reference block as one candidate of the merge mode / skip mode or the AMVP mode.
  • the prediction unit may scale the motion information of the reference block in the reference layer, that is, the motion vector of the reference layer and use it for prediction of the current block. That is, the predictor may use the scaled motion vector as the motion vector of the current block or may use the motion vector predictor of the current block.
  • the prediction unit may derive the motion vector of the position (xRef, yRef), that is, the motion vector of the block (reference block) covering (xRef, yRef) as mvRL.
  • the reference block may be a PU.
  • the prediction unit may derive the reference index of the block (reference block) covering (xRef, yRef) as the reference index refIdxIL to be used for inter-layer motion prediction.
  • the prediction unit may induce a motion vector mvIL to be used for inter-layer motion prediction (inter-layer inter prediction) by scaling mvRL.
  • Equation 2 shows a method of inducing mvIL by scaling mvRL according to the present invention.
  • the coefficient scale represents the ratio of the current layer to the reference layer as in Equation 1. For example, if the resolution of the current layer is twice the resolution of the reference layer, the value of scale applied is 2, and if the resolution of the current layer is 1.5 times the resolution of the reference layer, the value of scale applied is 1.5.
  • the prediction unit may use mvRL as mvIL.
  • Inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • interlayer intra prediction, texture prediction, and names of intra BL may be used interchangeably.
  • upsampling may be performed on the reconstructed image of the base layer to equally match the reconstructed image of the base layer and the image size or resolution of the enhancement layer.
  • Upsampling may be performed by applying interpolation.
  • the texture of the reconstructed reference block of the reference layer may be used as the prediction block for the current block of the current layer.
  • the prediction unit of the decoding apparatus may use the texture of the reference block as the reconstructed texture of the current block.
  • the prediction unit may use the texture of the reference block specified by (xRef, yRef) of the reference layer corresponding to the position (xCurr, yCurr) specifying the current block as a prediction value for the current block. That is, the texture of the reference block covering (xRef, yRef) in the reference layer may be used as a prediction value for the current block.
  • the prediction unit may perform upsampling on the texture of the reference block, for example, the reconstructed samples.
  • the texture of the current block is predicted or generated using syntax information of the reference layer.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which an intra prediction mode is applied.
  • interlayer prediction for generating / predicting a texture of the current layer may be performed using an intra mode among syntax information of the reference layer.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice is a block to which the intra prediction mode is applied
  • intra prediction mode of the reference block is applied to the current block.
  • intra prediction may be performed using reference pixels around the current block.
  • the prediction unit may use the intra prediction mode of the reference block specified by the position (xRef, yRef) of the reference layer corresponding to the position (xCurr, yCurr) specifying the current block as the intra prediction mode of the current block. That is, the intra prediction mode of the reference block covering (xRef, yRef) in the reference layer may be an intra prediction mode value for the current block.
  • the encoding apparatus may perform a process of downsampling the input image so that the input image may be divided into a plurality of layers having different resolutions and may be encoded / decoded.
  • the encoding device / decoding device may upsample the reconstructed picture of the lower layer in order to use the picture of the lower layer as a reference picture during the encoding / decoding process.
  • FIG. 6 schematically illustrates an example of rescaling (downsampling / upsampling) applied in an inter-layer intra prediction process according to the present invention.
  • FIG. 6 (a) illustrates a case where a col-located integer sample is used as a sampled sample.
  • FIG. 7 is a diagram schematically illustrating another example of performing down sampling and phase shifted up-samplimng according to the present invention.
  • the lower samples move together one half phase from the original sample to show the downsampled samples and the upsampled samples from the downsampled samples.
  • downsampled samples may be viewed as samples of the base layer (reference layer), and original samples may be viewed as enhancement layer (current layer).
  • the encoding apparatus and the decoding apparatus may generate samples to be used for prediction or reconstruction of the current layer by performing upsampling from the samples of the reference layer according to the resolution of the current layer or the resolution ratio of the current layer and the reference layer.
  • the horizontal size and the vertical size of the input image should be a multiple of the smallest CU (Smallest Coding Unit). For example, if the size of the SCU is 8x8, the horizontal size and the vertical size of the input image should be a multiple of eight.
  • the size of the input image is adjusted through padding. That is, the sample is padded so that the horizontal size and the vertical size of the input image are multiples of the SCU size.
  • the images of each layer must have a horizontal size and a vertical size corresponding to multiples of the SCU size.
  • the lower layer and the upper layer have different resolutions (image sizes).
  • At this time, at least one of the lower layer and the upper layer may have a size that is not a multiple of the SCU size.
  • the SCU when the SCU is 8x8, the horizontal and / or vertical size of the lower layer may not be a multiple of eight.
  • the key of the SCU is 8x8, the horizontal and / or vertical size of the upper layer may not be a multiple of eight.
  • the two layers have spatial scalability with a resolution ratio of 1.5.
  • the horizontal size of the upper layer is adjusted to a multiple of 8 through padding of the sample.
  • the adjusted upper layer has a size of 912x600 which is a multiple of eight.
  • the encoding apparatus and the decoding apparatus encode / decode an image of 912x600 size, and the decoding apparatus may output an image of 900x600 size according to the input image size when outputting an image of a higher layer.
  • the size of the lower layer may not be a multiple of the SCU.
  • the upper layer has a size of 960x540 and the resolution ratio is 2
  • the lower layer has a size of 480x270.
  • the SCU is 8x8 in size
  • the size of the lower layer is not a multiple of the SCU size.
  • encoding / decoding may be performed after the size of the lower layer is a multiple of the SCU through padding, and the decoder side may output a size of 480x270 in accordance with the input image when outputting the image of the lower layer. Can be.
  • a position (or region) corresponding to a specific position (or a specific region) of the upper layer may not exist in the lower layer.
  • a position (or region) corresponding to a specific position (or a specific region) of the lower layer may not exist in the upper layer.
  • the position pRef of the lower layer corresponding to the specific position pCurr of the upper layer may be specified using the scaling factor scale as described above.
  • the relationship between pCurr and pRef can be expressed as Equation 3.
  • scaleX may be the X-axis resolution ratio (ratio of widths) of the upper layer and the lower layer
  • scaleY may be the Y-axis resolution ratio (ratio of heights) of the upper layer and the lower layer.
  • a position corresponding to (xCurr / scale, yCurr / scale) may not exist in the lower layer (reference layer).
  • clipping may be performed to adjust (xCurr / scale, yCurr / scale) outside the size of the lower layer to a value in the lower layer.
  • FIG. 8 is a diagram schematically illustrating an example of a method of adjusting a position of a lower layer corresponding to an upper layer.
  • layer 0 means a lower layer
  • layer 1 means an upper layer
  • the lower layer may be a base layer or a reference layer
  • the upper layer may be an enhancement layer or a current layer.
  • the pRef when the position pRef of the lower layer 810 corresponding to the position pCurr specifying the sample or the block in the upper layer 820 is out of the range of the lower layer, the pRef may be lower or lower in the lower layer 810. The size of the layer 810 may be adjusted.
  • pCurr0, pCurr1, pCurr2, and pCurr3 respectively specify predetermined sample positions in the upper layer 820 as shown in Equation 4.
  • pCurr0 is near the left boundary of the upper layer 820
  • pCurr1 is near the upper boundary of the upper layer 820
  • pCurr2 is near the right boundary of the upper layer 820
  • pCurr3 is near the lower boundary of the upper layer 820.
  • a position (region) corresponding to the sample position (region) in the upper layer may not exist in the lower layer.
  • pRef0 corresponding to pCurr0 may not exist in the lower layer 810, or pRef1 corresponding to pCurr1 may not exist in the lower layer 810.
  • pRef2 corresponding to pCurr2 may not exist in the lower layer 810 or pRef3 corresponding to pCurr3 may not exist in the lower layer 810.
  • the encoding apparatus and the decoding apparatus may perform clipping to adjust the pRef of the position outside the size of the lower layer to a predetermined position in the lower layer.
  • clipping as in Equation 6, may be performed on the x-axis component xRef and the y-axis component yRef of pRef.
  • xRef ' is an x coordinate value in the lower layer 910.
  • xRef ' may be Width_L-1.
  • Equation 6 yRef 'is a y coordinate value in the lower layer 910. For example, when the height of the lower layer is Height_L, yRef 'may be Height_L-1.
  • positions of the clipped lower layer pRef0 ', pRef1', pRef2 ', and pRef3' may be as follows.
  • the case where the lower layer is not a multiple of the SCU and thus a position (region) corresponding to a specific position (region) of the lower layer may be considered in the upper layer.
  • the case where a specific position (specific area) of the upsampled lower layer is out of the size of the upper layer may be considered.
  • FIG. 9 is a diagram schematically illustrating an example of a method of adjusting a position of an upper layer corresponding to a lower layer or a position of a lower layer scaled according to a resolution of an upper layer.
  • layer 0 refers to a lower layer
  • layer 1 refers to an upper layer or a lower layer scaled according to the resolution of the upper layer.
  • the lower layer may be a base layer or a reference layer
  • the upper layer may be an enhancement layer or a current layer.
  • the pCurr when the position pCurr on the upsampled lower layer corresponding to the position pRef specifying the sample or block in the lower layer 910 is out of the size of the upper layer, the pCurr may be included in the upper layer 920 or the size of the upper layer 920. The size of the upper layer 920 may be adjusted.
  • pRef0, pRef1, pRef2, and pRef3 respectively specify predetermined sample positions in the lower layer 910 as shown in Equation 7.
  • pRef0 is near the left boundary of the lower layer 910
  • pRef1 is near the upper boundary of the lower layer 910
  • pRef2 is near the right boundary of the lower layer 910.
  • pRef3 is near the lower boundary of the lower layer 910.
  • a position (region) on the scaled lower layer corresponding to the sample position (region) in the lower layer may not exist in the upper layer.
  • pCurr0 corresponding to pRef0 may not exist in the upper layer 920, or pCurr1 corresponding to pRef1 may not exist in the upper layer 920.
  • pCurr2 corresponding to pRef2 may not exist in the upper layer 920 or pCurr3 corresponding to pRef3 may not exist in the upper layer 920.
  • pCurr0 is the position corresponding to pRef0 on the scaled lower layer
  • pCurr1 is the position corresponding to pRef1 on the scaled lower layer
  • pCurr2 is the position corresponding to pRef2 on the scaled lower layer
  • pCurr3 is pRef3 on the scaled lower layer Is the location corresponding to.
  • the encoding apparatus and the decoding apparatus may perform clipping to adjust the pCurrs at positions outside the size of the upper layer to a predetermined position in the upper layer.
  • clipping as in Equation 9, may be performed on the y-axis component yCurr of the x-axis component xCurr of the pCurr.
  • xCurr Clip3 (0, xCurr ’, xCurr)
  • xCurr ' is an x coordinate value in the upper layer 920.
  • xCurr ' may be Width_U-1.
  • yCurr ' is a y coordinate value in the upper layer 920.
  • yCurr ' may be Height_U-1.
  • positions pCurr0 ', pCurr1', pCurr2 ', and pCurr3' of the clipped upper layer may be as follows.
  • pCurr0, pCurr1, pCurr2, and pCurr3 are positions occupied on lower layers scaled to the resolution of upper layers by pCurr0, pCurr1, pCurr2, and pCurr3.
  • pCurr2 'and pCurr3' were described as pCurr0, pCurr1, pCurr2, and pCurr3 in the adjusted layer (clipped) position.
  • pCurr0, pCurr1, pCurr2, and pCurr3 are positions on higher layers corresponding to positions pRef0, pRef1, pRef2, and pRef3 of the lower layer
  • pCurr0 ', pCurr1', pCurr2 ', pCurr3' are pCurr0 in the upper layer.
  • pCurr1, pCurr2, pCurr3 may be in the adjusted (clipped) position.
  • a method of adding a constant offset for each layer may be considered instead of clipping a position out of the range of the layer to a predetermined position in the layer.
  • FIG. 10 is a diagram schematically illustrating an example of a method of adjusting corresponding positions of an upper layer and a lower layer by an offset.
  • layer 0 refers to a lower layer
  • layer 1 refers to an upper layer or an upsampled lower layer.
  • the lower layer may be a base layer or a reference layer
  • the upper layer may be an enhancement layer or a current layer.
  • the pRef of the lower layer 1010 corresponding to the position pCurr that specifies a sample or block in the upper layer 1020 is out of the range of the lower layer
  • the pRef is in the lower layer 1010 or lower.
  • the size of the layer 1010 may be adjusted.
  • the pCurr corresponding to the position pRef specifying the sample or block of the lower layer 1010 is out of the size of the upper layer
  • the pCurr is included in the upper layer 1020 or the upper layer 1020. You can also adjust the size of.
  • pCurr0, pCurr1, pCurr2, and pCurr3 respectively specify predetermined sample positions in the upper layer 1020 as shown in Equation 10.
  • pCurr0 is at the left boundary of the upper layer 1020
  • pCurr1 is at the upper boundary of the upper layer 1020
  • pCurr2 is at the right boundary of the upper layer 1020
  • pCurr3 is at the lower boundary of the upper layer 1120.
  • pRef0, pRef1, pRef2, and pRef3 specify predetermined sample positions in the lower layer 1010, respectively, as shown in Equation 11.
  • pRef0 is near the left boundary of the lower layer 1010
  • pRef1 is near the upper boundary of the lower layer 1010
  • pRef2 is near the right boundary of the lower layer 1010. Is assumed to be near the lower boundary of the lower layer 1010.
  • a position (region) corresponding to the sample position (region) in the upper layer may not exist in the lower layer.
  • a specific position (specific area) of the scaled lower layer may be beyond the size of the upper layer.
  • a predetermined offset may be applied to each boundary of the layer so that a corresponding position or area exists within a range of another layer.
  • an offset may be applied to the scaled layer such that the scaled layer is within the size of the corresponding layer.
  • an offset applied to the upper layer 1020 to correspond to the lower layer 1010 will be described with reference to FIG. 10.
  • An offset applied to the left side of the upper layer is offset_U0
  • an offset applied to the upper side of the upper layer is offset_U1
  • an offset applied to the right side of the upper layer is offset_U2
  • an offset applied to the lower side of the upper layer is called offset_U3.
  • the samples (positions) in the region reduced by the offset from each boundary of the upper layer correspond to the samples (positions) in the lower layer.
  • samples (positions) of the lower layer do not correspond to positions between pCurr0 located at the boundary and pCurr0 'to which offset offset_U0 is applied.
  • the samples may be padded between pRef0' and pRef0.
  • pCurr1 ' may be specified by applying offset offset_U1 to pCurr1
  • pCurr2' may be specified by applying offset offset_U2 to pCurr2
  • pCurr3 ' may be specified by applying offset offset_U3 to pCurr3.
  • Width_U width of the upper layer
  • Height_U height of the upper layer
  • the upper layer is (offset_U0, y), (x, offset_U1), (Width_U-1-offset_U2, y), It can be said that it is windowed to an area within (x, Height_U-1-offset_U3).
  • samples may be padded in the region between the boundaries.
  • the offsets offset_U0, offset_U1, offset_U2, and offset_U3 may be set such that the boundary of the scaled upper layer region has a predetermined distance from the boundary of the lower layer.
  • the present invention is not limited thereto, and the offset may be applied after the upper layer is scaled to correspond to the lower layer. have.
  • an offset may be applied to the lower layer 1010 to correspond to the upper layer 1020.
  • the offset applied to the left side of the lower layer is offset_L0
  • the offset applied to the upper side of the lower layer is offset_L1
  • the offset applied to the right side of the lower layer is offset_L2
  • the offset applied to the lower side of the lower layer is called offset_L3.
  • the samples (positions) in the region reduced by the offset from each boundary of the lower layer correspond to the samples (positions) in the upper layer.
  • samples (positions) of the upper layer do not correspond to positions between pRef0 located at the boundary and pRef0 'to which offset offset_U0 is applied.
  • the samples may be padded between pCurr0' and pCurr0.
  • pRef1 ' may be specified by applying offset offset_L1 to pRef1
  • pRef2' may be specified by applying offset offset_L2 to pRef2
  • pRef3 ' may be specified by applying offset offset_L3 to pRef3.
  • the lower layer is (offset_L0, y), (x, offset_L1), (Width_L-1-offset_L2, y), It can be said that it is windowed to an area within (x, Height_L-1-offset_L3).
  • the samples may be padded in the region between the boundaries.
  • the offsets offset_L0, offset_L1, offset_L2, and offset_L3 may be set such that the boundary of the scaled lower upper layer region has a predetermined distance from the boundary of the upper layer.
  • the present invention is not limited thereto, and the offset may be applied after the lower layer is scaled to correspond to the upper layer. have.
  • FIG. 11 is a flowchart schematically illustrating a method of performing inter-layer prediction as described herein. For convenience of description, the operation of FIG. 11 will be described as being performed by the prediction unit of the encoding apparatus and / or the prediction unit of the decoding apparatus.
  • the prediction unit may specify a reference block of a lower layer (S1110).
  • the lower layer may also be referred to as a reference layer and a base layer, and the reference block may be specified corresponding to the current block of the upper layer.
  • the upper layer is also called the current layer and the enhancement layer.
  • the prediction unit may specify a current block of the upper layer and then specify a reference block of the corresponding lower layer.
  • the prediction unit may specify a reference block by specifying a location on a current layer specifying a current block and deriving a location on a reference layer corresponding to the specified location on the current layer.
  • the position on the current layer which specifies the current block is called a current position
  • the position on the reference layer corresponding to the current position is called a reference position
  • the current position may correspond to pCurr or pCurr 'and the reference position may correspond to pRef or pRef'.
  • the prediction unit may adjust the reference position within the size range of the reference layer.
  • the prediction unit may adjust the reference position to the boundary of the reference layer when the reference position is outside the size of the reference layer.
  • the prediction unit may adjust the position corresponding to the reference position within the size range of the current layer.
  • FIGS. 8 and 9 a method of performing the adjustment of the position by clipping has been described.
  • the present invention is not limited thereto.
  • the adjustment of the position can also be performed.
  • the predictor may also adjust the position by applying an offset from the boundary of the layer.
  • the prediction unit may specify a reference position in an area on a reference layer corresponding to an area defined by applying an offset to boundaries of the current layer.
  • the region on the reference layer may be specified by scaling an area defined by applying an offset to the boundaries of the current layer.
  • the prediction unit may scale an area defined by applying an offset to boundaries of the reference layer according to the resolution of the current layer, and specify a reference position in the scaled area.
  • the reference position may have a relationship of Equation 5 or Equation 8 according to a scaling ratio between two layers.
  • the prediction unit may perform interlayer prediction using information of the reference block (S1120).
  • the prediction unit may scale or upsample the reconstructed texture of the specific reference block according to the resolution of the current layer in operation S1110.
  • the prediction unit may use the texture of the upsampled or scaled reference block as the prediction block of the current block.
  • the prediction unit may use motion information (motion vector and / or reference index) of a specific reference block as a motion information or motion information candidate of the current block in step S1110.
  • the prediction unit may use the reference index and the motion vector of the reference block as the reference index and the motion vector for the current block. Also, the prediction unit may use the motion vector of the reference block as the motion vector predictor for the current block. In this case, the prediction unit may derive the motion vector of the current block by adding the motion vector difference value and the motion vector predictor for the current block, and specify the reference picture for the current block by using the signaled reference index to perform prediction on the current block. It may be.
  • FIG. 12 is a diagram schematically illustrating a decoding apparatus for decoding a current layer according to the present invention.
  • the decoding apparatus 1210 includes a receiver 1220, a predictor 1230, and a memory 1240.
  • the receiver 1220 receives a bitstream including image information of a multi-layer or a higher layer.
  • the memory 1230 may store information necessary for prediction and reconstruction of the current block, for example, information of a picture reconstructed before the current block and / or related parameters.
  • the prediction unit 1240 may perform prediction on the current layer (prediction on the current block) by using image information of the reference layer.
  • the reference block may be specified based on a reference position where the current position on the current layer specifying the current block corresponds to a position on the reference layer.
  • the prediction unit 1230 may specify a reference block by corresponding the upper layer and the lower layer. For example, when the reference position is outside the size of the reference layer, the prediction unit 1230 may adjust the reference position within the size range of the reference layer.
  • the prediction unit 1230 may adjust the position corresponding to the reference position within the size range of the current layer when the position corresponding to the reference position is outside the size range of the current layer on the reference layer scaled according to the resolution of the current layer. It may be.
  • the prediction unit 1230 may specify a reference position in the region on the reference layer corresponding to the region defined by applying an offset to the boundaries of the current layer.
  • the prediction unit 1230 may scale an area defined by applying an offset to boundaries of the reference layer according to the resolution of the current layer, and specify a reference position in the scaled area.
  • FIG. 12 a decoding apparatus including a receiver, a predictor, and a memory is described for convenience of description, but the decoding apparatus of FIG. 12 may correspond to the decoding apparatus of FIG. 2.
  • the decoding apparatus of FIG. 12 may further include some or all of the modules shown in FIG. 2.
  • the memory 1240 of FIG. 12 corresponds to the two memories of FIG. 2
  • the predictor 1230 of FIG. 12 corresponds to the two predictors of FIG. 2
  • the receiver 1220 of FIG. 12 corresponds to the DEMUX of FIG. 2. Or the like. In this case, it may be understood that the predictor 1230 of FIG. 12 performs the functions of the remaining modules except for the DEMUX and the memory of FIG. 2.
  • the decoding apparatus of FIG. 12 may be understood to correspond to the decoding unit 210 for layer 1 of FIG. 2 in the same manner as the corresponding scheme described with respect to the decoding apparatus of FIG. 2.
  • FIG. 13 is a diagram schematically illustrating a configuration of an encoding apparatus for encoding a current layer according to the present invention.
  • the encoding apparatus 1310 includes a predictor 1320, a transmitter 1330, and a memory 1340.
  • the prediction unit 1320 may perform prediction on the current layer (current block) by using image information of the reference layer.
  • the memory 1340 may store information necessary for prediction and reconstruction of the current block, for example, information of a picture reconstructed before the current block and / or related parameters.
  • the transmitter 1330 may transmit information of a multi-layer or higher layer including the predicted information in a bitstream.
  • the prediction unit 1320 may perform prediction on the current layer (prediction on the current block) by using image information of the reference layer.
  • the reference block may be specified based on a reference position where the current position on the current layer specifying the current block corresponds to a position on the reference layer.
  • the prediction unit 1320 may specify a reference block by corresponding the upper layer and the lower layer. For example, when the reference position is outside the size of the reference layer, the prediction unit 1320 may adjust the reference position within the size range of the reference layer.
  • the prediction unit 1320 may adjust the position corresponding to the reference position within the size range of the current layer when the position corresponding to the reference position on the reference layer scaled to the resolution of the current layer is outside the size range of the current layer. It may be.
  • the prediction unit 1320 may specify the reference position in the region on the reference layer corresponding to the region defined by applying an offset to the boundaries of the current layer.
  • the prediction unit 1320 may scale an area defined by applying an offset to boundaries of the reference layer according to the resolution of the current layer, and specify a reference position in the scaled area.
  • FIG. 13 for convenience of description, an encoding apparatus including a transmitter, a predictor, and a memory is described.
  • the encoding apparatus of FIG. 14 may correspond to the encoding apparatus of FIG. 1.
  • the encoding apparatus of FIG. 13 may further include some or all of the modules shown in FIG. 1.
  • the memory 1340 of FIG. 13 corresponds to the two memories of FIG. 1
  • the predictor 1320 of FIG. 13 corresponds to the two predictors of FIG. 1
  • the transmitter 1430 of FIG. 13 corresponds to the MUX of FIG. 1. Or the like. In this case, it may be understood that the predictor 1320 of FIG. 13 performs the functions of the remaining modules except for the MUX and the memory of FIG. 1.
  • the encoding apparatus of FIG. 13 may be understood to correspond to the encoding unit 110 for layer 1 of FIG. 1 in the same manner as the corresponding scheme described with respect to the encoding apparatus of FIG. 1.
  • the size of a block or an image is simply expressed as NxM using integers N and M, but for convenience of description, the size of the block or image NxM may be NxM samples or NxM pixels.
  • a 'picture an array of samples reconstructed at a specific time point (for example, a picture order count (POC) or an access unit (AU)) for each layer in a multi-layer structure in which scalable video coding is supported is referred to as a 'picture.
  • POC picture order count
  • AU access unit
  • the entire sample array reconstructed or reconstructed at a specific time in the decoded and output layer may be called a picture and may be distinguished from the reconstructed or reconstructed sample array of the referenced layer.
  • the sample array reconstructed or reconstructed at a specific time point in the referenced layer may be referred to as a representation, a reference layer picture, a reference layer sample array, a reference layer texture, or the like.
  • one decoded picture reconstructed in the current layer may be output for one AU.

Abstract

본 발명은 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치에 관한 것으로서, 인터 레이어 예측 방법은 참조 레이어에서 참조 블록을 특정하는 단계 및 상기 참조 블록의 정보를 이용하여 현재 레이어에서 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 참조 블록을 특정하는 단계에서는, 상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 상기 참조 블록을 특정할 수 있다.

Description

인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
본 발명은 비디오 압축 기술에 관한 것으로서, 더 구체적으로는 스케일러블 비디오 코딩에 있어서 인터 레이어 예측 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다.
다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명은 스케일러블 비디오 코딩에 있어서, 인터 레이어 예측을 효과적으로 수행할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 인터 레이어 예측에 있어서, 다른 레이어 간의 대응 관계를 정확하게 특정할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 최소 크기 CU의 배수가 아닌 레이어가 존재하는 경우에도 레이어 간의 대응 관계를 정확하게 특정하여 효과적인 인터 레이어 예측이 수행될 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 현재 레이어 내 현재 블록에 대응하는 참조 레이어 내 참조 블록을 특정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 인터 레이어 예측 방법으로서, 참조 레이어에서 참조 블록을 특정하는 단계 및 상기 참조 블록의 정보를 이용하여 현재 레이어에서 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 참조 블록을 특정하는 단계에서는, 상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 상기 참조 블록을 특정할 수 있다.
본 발명의 다른 실시형태는 디코딩 장치로서, 멀티 레이어의 영상 정보를 포함하는 비트스트림을 수신하는 수신부, 참조 레이어의 영상 정보를 이용하여 현재 레이어의 영상에 대한 예측을 수행하는 예측부 및 상기 예측에 필요한 정보를 저장하는 메모리를 포함하며, 상기 예측부는, 참조 레이어 내 참조 블록의 정보를 이용하여 현재 블록에 대한 예측을 수행하며, 상기 참조 블록은, 상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 특정될 수 있다.
본 발명의 또 다른 실시형태는 인코딩 장치로서, 참조 레이어의 영상 정보를 이용하여 현재 레이어의 영상에 대한 예측을 수행하는 예측부, 상기 예측에 필요한 정보를 저장하는 메모리 및 상기 예측된 정보를 포함하는 멀티 레이어의 비트스트림을 전송하는 전송부를 포함하며, 상기 예측부는, 참조 레이어 내 참조 블록의 정보를 이용하여 현재 블록에 대한 예측을 수행하며, 상기 참조 블록은, 상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 특정될 수 있다.
본 발명에 의하면, 스케일러블 비디오 코딩에 있어서, 인터 레이어 예측을 효과적으로 수행할 수 있다.
본 발명에 의하면, 인터 레이어 예측에 있어서, 다른 레이어 간의 대응 관계를 정확하게 특정할 수 있다.
본 발명에 의하면, 최소 크기 CU의 배수가 아닌 레이어가 존재하는 경우에도 레이어 간의 대응 관계를 정확하게 특정하여 효과적인 인터 레이어 예측이 수행될 수 있다.
본 발명에 의하면, 현재 레이어 내 현재 블록에 대응하는 참조 레이어 내 참조 블록을 특정할 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 4는 본 발명에 따라서 현재 레이어의 현재 블록과 참조 레이어의 참조 블록을 특정하는 방법을 개략적으로 설명하는 도면이다.
도 5는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 7은 본 발명에 따라서 다운 샘플링 및 업샘플링(phase shifted up-samplimng)을 수행하는 다른 예를 개략적으로 설명하는 도면이다.
도 8은 상위 레이어에 대응하는 하위 레이어의 위치를 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 9는 하위 레이어에 대응하는 상위 레이어의 위치 혹은 상위 레이어의 해상도에 맞춰 스케일링된 하위 레이어의 위치를 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 10은 상위 레이어와 하위 레이어의 대응하는 위치들을 오프셋에 의해 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 11은 본 명세서에서 설명한 바에 따라서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 12는 본 발명에 따라서 현재 레이어에 대한 디코딩을 수행하는 디코딩 장치를 개략적으로 설명하는 도면이다.
도 13은 본 발명에 따라서 현재 레이어의 인코딩을 수행하는 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130) 및 MUX(Multiplexer, 165)를 포함한다.
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
또한, 예측부(110, 140)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.
인터 레이어 예측의 일 예로서, 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 다른 예인 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 예측부는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.
또한, 예측부는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화할 수 있다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 변환 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
또한, 변환/양자화부(115, 165)는 예측 모드와 변환 블록의 크기에 상관없이 특정 변환을 고정적으로 사용할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 모든 변환 블록에 DST만을 적용할 수 있다. 또한, 변환/양자화부(115, 165)는 모든 변환 블록에 DCT만을 적용할 수도 있다.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 160)로 전달할 수 있다. 이때, 변환/양자화부(145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 160)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다.
한편, 변환/양자화부(115, 165)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 155)는 필터링부(125, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(165)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리를 포함할 수 있다.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 필터링부(280), 메모리(285)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(225, 265)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(230, 270)에 전달할 수도 있다.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(230, 270)은 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)은 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(330, 370)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(330, 370)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.
필터링부(240, 280)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(240, 280)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 2의 예을 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 1의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장차에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.
도 3은 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치와 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 3을 참조하면, 레이어 1의 예측부(300)는 인터/인트라 예측부(340) 및 인터 레이어 예측부(350)를 포함한다.
레이어 1의 예측부(300)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(350)는 레이어 0의 예측부(320) 및/또는 필터링부(330)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(340)는, 레이어 0의 정보를 이용하지 않고, 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(340)는, 인터 레이어 예측부(350)로부터 전달된 정보를 이용하여, 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
아울러, 레이어 1의 필터링부(310)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(330)로부터 레이어 1의 필터링부(310)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(350)로부터 레이어 1의 필터링부(310)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(330)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
설명의 편의를 위해, 인터 레이어 예측부(350) 내에서 각 인터 레이어 정보를 예측하는 서브 예측부를 가정하자.
예컨대, 인터 레이어 예측부(350)는 텍스처 예측부(360), 움직임 예측부(370), 유닛 정보 예측부(380), 파라미터 예측부(390)를 포함할 수 있다.
텍스처 예측부(360)는, 참조 레이어의 참조 블록이 복원된 경우에, 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 텍스처 예측부(360)는 참조 블록의 텍스처를 업샘플링에 의해 스케일링될 수 있다.
움직임 예측부(370)는 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다. 이때, 움직임 예측부(370)는 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
유닛 정보 예측부(380)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
파라미터 예측부(390)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 인터 레이어 예측부는 인터 레이어 레지듀얼 예측을 수행하는 서브 예측부 및/또는 인터 레이어 차분 예측을 수행하는 서브 예측부를 더 포함할 수도 있고, 상술한 서브 예측부들의 조합으로 인터 레이어 레지듀얼 예측, 인터 레이어 차분 예측 등을 수행할 수도 있다.
도 3의 구성이 인코딩 장치의 구성이라고 할 때, 레이어 1에서, 예측부(300)는 도 1의 예측부(110)에 대응할 수 있고, 필터링부(310)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 1의 예측부(140)에 대응할 수 있고, 필터링부(330)는 도 1의 필터링부(150)에 대응할 수 있다.
또한, 도 3의 구성이 디코딩 장치의 구성이라고 한다면, 레이어 1에서, 예측부(300)는 도 2의 예측부(235)에 대응할 수 있고, 필터링부(310)는 도 2의 필터링부(240)에 대응할 수 있다. 레이어 0에서, 예측부(320)는 도 2의 예측부(275)에 대응할 수 있고, 필터링부(330)는 도 2의 필터링부(280)에 대응할 수 있다.
스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다. 도 1 내지 도 3의 예에서 설명한 바와 같이, 인터 레이어 예측의 예로서 움직임 예측, 텍스처 예측, 유닛 예측, 파라미터 예측 등을 고려할 수 있다.
참조 레이어의 정보(예컨대, 텍스처 정보 또는 움직임 정보)를 현재 레이어의 예측에 이용하기 위해서는 참조 레이어의 현재 블록을 특정하고 현재 블록에 대응하는 참조 블록을 특정할 필요가 있다.
도 4는 본 발명에 따라서 현재 레이어의 현재 블록과 참조 레이어의 참조 블록을 특정하는 방법을 개략적으로 설명하는 도면이다. 도 4에서는 현재 레이어가 참조 레이어의 상위 레이어로서, 현재 레이어의 해상도가 참조 레이어의 해상도보다 높은 경우를 예로서 설명한다.
도 4를 참조하면, 현재 레이어의 현재 블록(410)을 현재 레이어의 소정 위치로 특정할 수 있고, 이에 대응하여 참조 레이어에서 참조 블록(400)을 특정할 수 있다. 도 4의 예에서 현재 블록은 CU일 수도 있고, PU일 수도 있다.
현재 블록(410)을 특정하는 위치를 (xCurr, yCurr)이라고 하고, 현재 블록에 대응하는 참조 레이어의 참조 블록을 특정하는 위치를 (xRef, yRef)라고 하자. 이때, (xCurr, yCurr)는 현재 픽처의 좌상단 샘플로부터의 상대적인 위치일 수 있다. 또한, (xRef, yRef)는 참조 픽처 혹은 참조 레이어의 리프리젠테이션(representation)의 좌상단으로부터의 상대적인 위치일 수 있다.

현재 블록에 대하여 인터 레이어 예측을 수행하는 경우에는, 후술하는 바와 같이 특정된 참조 블록의 정보를 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
도 4에서 nPSW는 현재 블록(410)의 너비(width)이고, nPSH는 현재 블록(410의 높이(height)이다.
현재 블록과 참조 블록의 위치를 특정하는 것은 인코딩 장치와 디코딩 장치 또는 인코딩 장치와 디코딩 장치 내 특정 모듈(예컨대, 예측부)에서 수행할 수 있다. 여기서는 설명의 편의를 위해, 인코딩 장치의 예측부와 디코딩 장치의 예측부가 현재 블록 및 참조 블록의 위치를 특정하는 것으로 설명한다.
즉, 예측부는 (xCurr, yCurr)와 (xRef, yRef)를 특정할 수 있다.
예측부는 현재 블록을 특정하고, 현재 블록의 위치를 기반으로 참조 블록을 특정하여, 참조 블록의 정보(예컨대, 텍스처 정보 또는 움직임 벡터)를 획득할 수 있다.
이때, 인코딩 장치의 예측부가 (xCurr, yCurr)와 (xRef, yRef)를 특정하고 위치를 특정하는 정보를 디코딩 장치에 전송하며, 디코딩 장치의 예측부는 위치를 특정하는 정보를 수신하여 (xCurr, yCurr)와 (xRef, yRef)를 유도할 수도 있다.
이 경우, 디코딩 장치는의 예측부는 유도한 (xCurr, yCurr)에 의해 특정되는 현재 블록에 대하여, (xRef, yRef)에 의해 특정되는 참조 블록의 정보를 이용한 인터 레이어 예측을 수행할 수 있다.
현재 블록을 특정하는 위치 (xCurr, yCurr) 결정
현재 레이어의 현재 블록을 특정하는 위치 (xCurr, yCurr)는 도 4를 참조하여, 아래 ① ~ ⑫와 같은 후보들 중에 어느 하나로 결정될 수 있다.
① LT = ( xP, yP )
② RT = ( xP + nPSW - 1, yP )
③ LB = ( xP, yP + nPSH - 1 )
④ RB = ( xP + nPSW - 1, yP + nPSH - 1 )
⑤ LT’ = ( xP - 1, yP - 1 )
⑥ RT’ = ( xP + nPSW, yP - 1 )
⑦ LB’ = ( xP - 1, yP + nPSH )
⑧ RB’ = ( xP + nPSW, yP + nPSH )
⑨ C0 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) -1 )
⑩ C1 = ( xP + (nPSW>>1), yP + (nPSH>>1) -1 )
⑪ C2 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) )
⑫ C3 = ( xP + (nPSW>>1), yP + (nPSH>>1) )
현재 블록을 특정하는 위치 (xCurr, yCurr)는 ① ~ ⑫ 중 어느 하나로 결정되어 고정적으로 사용될 수도 있고, 인코딩 장치에서 RDO를 통해 결정한 뒤 어느 위치를 (xCurr, yCurr)로 사용할 것인지를 시그널링할 수도 있다.
또한, 현재 블록을 특정하는 위치 (xCurr, yCurr)로 참조 레이어(베이스 레이어)에서 참조 블록(예컨대, PU 혹은 CU)을 특정하는 위치에 대응하여, 동일한 위치를 현재 레이어(인핸스먼트 레이어)의 현재 블록(예컨대, PU 또는 CU)을 특정하는 위치로 결정할 수도 있다.
예를 들어, 참조 레이어에서 참조 블록내 좌상단의 샘플 위치를 참조 블록을 특정하는 위치로 이용하는 경우에는, 현재 레이어에서도 현재 블록 내 좌상단 샘플의 위치 LT = ( xP, yP )를 현재 블록을 특정하는 위치 (xCurr, yCurr)로 결정하여 이용할 수도 있다.
참조 레이어의 대상 위치 (xRef, yRef)
참조 레이어에서 현재 레이어의 예측에 필요한 정보(예컨대, 텍스처 정보 혹은 움직임 정보)를 가져올 위치(참조 블록의 위치)는 현재 블록의 위치로부터 현재 레이어와 참조 레이어 간의 비에 따라서 결정될 수 있다.
수식 1은 본 발명에 따라서 참조 레이어에서 예측에 필요한 정보를 가져올 참조 블록의 위치를 결정하는 방법을 나타낸 것이다.
<수식 1>
xRef = xCurr/scale
yRef = yCurr/scale
이때, 참조 레이어에 대한 현재 레이어의 비를 나타내는 scale은 두 레이어 해상도에 따라서 결정될 수 있다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 되고, 현재 레이어의 해상도가 참조 레이어의 1.5배라면, 적용되는 scale의 값은 1.5가 된다. 현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 된다.
여기서는 현재 레이어와 참조 레이어 사이의 해상도 비로서 scale의 값을 결정하였으나, 본 발명은 이에 한정되지 않는다. scale은 현재 레이어와 참조 레이어 사이에 적용되는 스케일러빌러티의 종류에 따라서 결정될 수도 있다. 예컨대, scale은 현재 레이어와 참조 레이어 사이의 픽처 크기 비, 프레임 레이트 비일 수도 있다.
인터 레이어 움직임 예측
인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 하며, 본 명세서에서는 발명의 이해를 돕기 위해, 필요에 따라서 인터 레이어 움직임 예측과 인터 레이어 인터 예측의 표현을 혼용할 수 있다.
인터 레이어 움직임 예측에서는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 움직임 예측은 도 1 내지 도 3의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 레이어 움직임 예측을 수행하는 것으로 설명한다.
도 5는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우(이하, ‘인터 예측’이라 함)에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 5에서 A0, A1, B0, B1, B2, COL은 해당 블록을 지시할 수도 있고, 해당 블록의 움직임 정보를 지시할 수도 있다. 이때, 해당 블록의 움직임 정보는 움직임 벡터일 수도 있고, 움직임 벡터와 참조 픽처 인덱스일 수도 있다.
여기서는 인터 예측의 방법에 관해 베이스 레이어의 경우를 일 예로서 설명하도록 한다.
베이스 레이어에서의 인터 예측은 도 1 내지 도 3의 예측부 혹은 인터/인트라 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 예측을 수행하는 것으로 설명한다.
인터 예측의 모드로는 머지(merge) 모드, 스킵 모드 그리고 MVP(Motion Vector Predicot)를 이용하는 모드가 있다. MVP를 이용하는 모드를 설명의 편의를 위해 AMVP(advanced MVP) 모드라고 할 수 있다.
머지 모드에서는 도 5에 도시된 주변 블록(neighboring block)들의 움직임 정보(이하, 움직임 정보 후보라 함)들 중에서 선택된 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 선택되는 움직임 정보 후보를 지시하는 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
스킵 모드에서는 머지 모드와 동일하게 선택된 움직임 정보 후보의 움직임 정보를 현재 블록의 움직임 정보로 사용하지만, 레지듀얼이 생성/전송되지 않는다.
머지 모드 또는 스킵 모드가 적용되는 경우에, 예측부는 현재 블록 주변의 공간적 후보들인 A0, A1, B0, B1, B2에 대한 가용성을 판단할 수 있다.
COL 후보를 포함하여 가용한 것(available)으로 판단된 후보들로, 가용성 판단 순서에 따라 머지 후보 리스트가 구성될 수 있다.
예측부는 인코딩 장치로부터 전송된 정보(예컨대, 머지 인덱스 merge_idx)가 머지 후보 리스트 상에서 지시하는 후보의 움직임 정보를 현재 블록에 대한 움직임 정보로 이용하여 인터 예측을 수행할 수 있다. 예컨대, 예측부는 머지 인덱스에 의해 선택된 후보의 움직임 정보가 지시하는 샘플들을 현재 블록의 예측 블록으로 할 수 있다.
한편, AMVP 모드가 적용되는 경우에도, 예측부는 MVP 후보로 구성되는 AMVP 리스트를 구성할 수 있다.
예컨대, 예측부는 A0→A1의 순서로 블록들의 움직임 벡터에 대한 가용성을 판단하여 MVP 후보 A를 선택하고, B0→B1→B2의 순서로 블록들의 움직임 벡터에 대한 가용성을 판단하여 MVP 후보 B를 선택할 수 있다.
예측부는 A와 B가 모두 가용하고 서로 상이한 경우에는 [A B]로 후보 리스트를 구성하고, A와 B 그리고 COL 블록의 움직임 벡터인 COL이 모두 가용하되 A와 B가 동일하면 [A COL]로 후보 리스트를 구성할 수 있다.
예측부는 가용성 판단에 따라서 후보 리스트 내 후보의 개수가 2보다 작은 경우에는 0 벡터를 추가하여 전체 후보 개수를 2로 조정할 수도 있다.
인코딩 장치는 AMVP 리스트 상에서 현재 블록에 대한 인터 예측에 사용할 MVP를 지시하는 MVP 인덱스, 움직임 벡터의 차분 mvd(motion vector difference)와 참조 픽처 리스트 상에서 현재 블록에 대한 참조 픽처를 지시하는 참조 인덱스를 디코딩 장치로 전송할 수 있다. 참조 픽처 리스트는 인터 예측에 사용될 수 있는 참조 픽처들의 리스트로서, 순방향 예측에 대한 L0과 역방향 예측에 대한 L1이 있다.
예측부는 MVP 인덱스가 지시하는 MVP와 mvd로부터 유도한 움직임 벡터와 참조 인덱스가 지시하는 참조 픽처를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
머지 모드/스킵 모드 또는 AMVP 모드를 적용하여 예측 블록이 생성되면, 예측부는 예측 블록과 레지듀얼을 기반으로 현재 블록에 대한 복원 블록을 생성할 수 있다. 스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으므로, 예측부는 예측 블록을 복원 블록으로 이용할 수 있다.
지금까지는 인터 예측의 방법으로서 베이스 레이어의 경우를 예로 설명하였으나, 인핸스먼트 레이어에서도 다른 레이어의 정보를 이용하지 않고 인터 예측을 수행하는 경우에는 위에서 설명한 것과 동일한 방법으로 인터 예측을 수행할 수 있다.
베이스 레이어에 대하여 상술한 바와 같이 인터 예측이 수행되면, 인핸스먼트 레이어에서는 베이스 레이어의 움직임 정보를 이용하여 인터 레이어 움직임 예측(inter-layer motion prediction)을 수행할 수 있다.
예컨대, 인핸스먼트 레이어의 인터 레이어 예측부는 참조 레이어의 예측부로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수 있다. 혹은 인핸스먼트 레이어의 예측부는 인코딩 장치로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수도 있다.
이때, 예측부는 현재 블록의 위치 (xCurr, yCurr)를 특정하고 참조 레이어에서 대응하는 위치 (xRef, yRef)에 의해 특정되는 참조 블록으로부터 참조 레이어의 움직임 정보를 획득할 수 있다.
예측부는 참조 블록의 움직임 정보를 머지 모드/스킵 모드 혹은 AMVP 모드의 한 후보로서 이용하여 현재 블록에 대한 예측을 수행할 수 있다.
이때, 예측부는 참조 레이어 내 참조 블록의 움직임 정보, 즉, 참조 레이어의 움직임 벡터를 스케일링하여, 현재 블록의 예측에 이용할 수도 있다. 즉, 예측부는 스케일링된 움직임 벡터를 현재 블록의 움직임 벡터로 이용할 수도 있고, 현재 블록의 움직임 벡터 예측자로 이용할 수도 있다.
구체적으로, 예측부는 (xRef, yRef) 위치의 움직임 벡터, 즉 (xRef, yRef)를 커버하는 블록(참조 블록)의 움직임 벡터를 mvRL로서 유도할 수 있다. 이때, 참조 블록은 PU일 수 있다.
또한, 예측부는 (xRef, yRef)를 커버하는 블록(참조 블록)의 참조 인덱스를 인터 레이어 움직임 예측에 사용할 참조 인덱스 refIdxIL로서 유도할 수 있다.
예측부는 mvRL을 스케일링하여 인터 레이어 움직임 예측(인터 레이어 인터 예측)에 사용할 움직임 벡터 mvIL를 유도할 수 있다.
수식 2는 본 발명에 따라서 mvRL을 스케일링하여 mvIL을 유도하는 방법을 나타낸 것이다.
<수식 2>
mvIL = scale * mvRL
수식 2에서 계수 scale은 수식 1에서와 마찬가지로 참조 레이어에 대한 현재 레이어의 비를 나타낸다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 되고, 현재 레이어의 해상도가 참조 레이어의 해상도의 1.5배라면, 적용되는 scale의 값은 1.5가 된다.
현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 되며, 예측부는 mvRL을 mvIL로 이용할 수 있다.
인터 레이어 텍스처 예측
인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 본 명세서에서는 설명의 편의를 위해, 인터 레이어 인트라 예측과 텍스처 예측 그리고 인트라 BL의 명칭들을 혼용하여 사용할 수도 있다.
인터 레이어 텍스처 예측에서는, 베이스 레이어의 복원된 영상과 인핸스먼트 레이어의 영상 크기 또는 해상도를 동일하게 맞추기 위해, 베이스 레이어의 복원된 영상에 대한 업샘플링이 수행될 수도 있다.
업샘플링은 인터폴레이션(interpolation)을 적용함으로써 수행될 수 있다.
인터 레이어 텍스처 예측이 적용되는 경우에는 참조 레이어의 복원된 참조 블록의 텍스처를 현재 레이어의 현재 블록에 대한 예측 블록으로 할 수 있다. 이때, 레지듀얼이 전송되지 않는다면, 디코딩 장치의 예측부는 참조 블록의 텍스처를 현재 블록의 복원된 텍스처로 할 수 있다.
구체적으로, 예측부는 현재 블록을 특정하는 위치 (xCurr, yCurr)에 대응하는 참조 레이어의 (xRef, yRef)에 의해 특정되는 참조 블록의 텍스처를 현재 블록에 대한 예측값으로 이용할 수 있다. 즉, 참조 레이어에서 (xRef, yRef)를 커버하는 참조 블록의 텍스처를 현재 블록에 대한 예측값으로 할 수 있다.
이 경우에, 상술한 바와 같이 예측부는 참조 블록의 텍스처, 예컨대 복원된 샘플들에 대하여 업샘플링을 수행할 수 있다.
인터 레이어 신택스 예측
인터 레이어 신택스 예측에서는 참조 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성한다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
예컨대, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이 경우에는 참조 레이어의 신택스 정보 중 인트라 모드를 이용하여 현재 레이어의 텍스처를 생성/예측하는 인터 레이어 예측을 수행할 수 있다. 구체적으로, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록인 경우에, 인터 레이어 신택스 예측을 적용하면, 현재 블록에 대하여 (1) 참조 블록의 인트라 예측 모드로 (2) 현재 레이어에서 현재 블록 주변의 참조 픽셀을 이용하여, 인트라 예측을 수행할 수 있다.
이때, 예측부는 현재 블록을 특정하는 위치 (xCurr, yCurr)에 대응하는 참조 레이어의 위치 (xRef, yRef)에 의해 특정되는 참조 블록의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 이용할 수 있다. 즉, 참조 레이어에서 (xRef, yRef)를 커버하는 참조 블록의 인트라 예측 모드를 현재 블록에 대한 인트라 예측 모드 값으로 할 수 있다.
베이스 레이어에 대한 업샘플링
구체적으로, 인코딩 장치에서는 입력 영상이 서로 다른 해상도를 가지는 복수의 레이어로 나누어 인코딩/디코딩될 수 있도록 입력 영상을 다운샘플링하는 과정을 수행할 수 있다.
또한, 인코딩 장치/디코딩 장치는 인코딩/디코딩 과정에서 하위 레이어의 영상을 참조 영상으로 사용하기 위해 하위 레이어의 복원 영상을 업샘플링할 수도 있다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 6(a)에서는 동일 위치(col-located) 정수 샘플을 다움샘플링된 샘플로 사용하는 경우를 설명하고 있다.
도 6(b)에서는 동일 위치 정수 샘플을 사용하지 않고 1/2 페이즈 어긋난 샘플을 생성하여 사용하는 경우를 설명하고 있다.
도 7은 본 발명에 따라서 다운 샘플링 및 업샘플링(phase shifted up-samplimng)을 수행하는 다른 예를 개략적으로 설명하는 도면이다.
도 7을 참조하면, 아래쪽 샘플들은 오리지널 샘플로부터 1/2 페이즈 이동하여 다운샘플링된 샘플들과 다운샘플링된 샘플들로부터 업샘플링된 샘플들을 함께 나타낸 것이다.
현재 레이어에 대한 인터 레이어 예측을 수행하는 경우를 고려하면, 다운 샘플링된 샘플들을 베이스 레이어(참조 레이어)의 샘플로 볼 수 있고, 오리지널 샘플들을 인핸스먼트 레이어(현재 레이어)로 볼 수 있다.
인코딩 장치와 디코딩 장치는 현재 레이어의 해상도에 맞춰 혹은 현재 레이어와 참조 레이어의 해상도 비에 맞춰 참조 레이어의 샘플들로부터 업샘플링을 수행하여, 현재 레이어의 예측 혹은 복원에 이용할 샘플들을 생성할 수 있다.
참조 레이어와 현재 레이어의 해상도(크기) 조정
한편, 입력 영상의 가로 크기와 세로 크기는 가장 작은 CU(Smallest Coding Unit: 이하 SCU) 크기의 배수여야 한다. 예컨대, SCU의 크기가 8x8 이라면, 입력 영상의 가로 크기와 세로 크기는 8 의 배수여야 한다.
따라서, 입력 영상의 크기가 SCU 크기의 배수가 되지 않는 경우에는, 패딩을 통해 입력 영상의 크기를 조정한다. 즉, 샘플을 패딩하여 입력 영상의 가로 크기와 세로 크기가 SCU 크기의 배수가 되도록 한다.
스케일러블(scalable) 비디오 코딩에 있어서, 코딩이 효과적으로 수행되기 위해 각 레이어의 영상들은 SCU 크기의 배수에 해당하는 가로 크기 및 세로 크기를 가져야 한다.
공간적 스케일러빌리티(spatial scalability)의 경우, 하위 레이어와 상위 레이어는 서로 다른 해상도(영상 크기)를 가지게 된다.
이때, 하위 레이어와 상위 레이어 중 적어도 하나가 SCU크기의 배수가 아닌 크기를 가지게 될 수 있다. 예컨대, SCU가 8x8인 경우에, 하위 레이어의 가로 및/또는 세로의 크기가 8의 배수가 아닐 수 있다. 혹은 SCU의 그키가 8x8인 경우에, 상위 레이어의 가로 및/또는 세로의 크기가 8의 배수가 아닐 수 있다.
구체적으로 하위 레이어의 크기가 600x400이고 상위 레이어의 크기가 900x600인 경우를 고려하면, 두 레이어는 해상도 비율 1.5의 공간적 스케일러빌러티를 가진다.
하지만, 하위 레이어는 8의 배수에 해당하는 가로/세로 크기를 가지지만, 상위 레이어의 가로 크기는 8의 배수에 해당하지 않는다. 따라서, 코딩 과정에서는 샘플의 패딩 등을 통해 상위 레이어의 가로 크기를 8의 배수로 조정한다.
조정된 상위 레이어는 8의 배수인 912x600의 크기를 가진다. 인코딩 장치와 디코딩 장치는 912x600 크기의 영상을 인코딩/디코딩하며, 디코딩 장치는 상위 레이어의 영상을 출력할 때 입력 영상 크기에 맞춰 900x600 크기의 영상을 출력할 수 있다.
상위 레이어의 크기가 SCU의 배수가 아닌 경우를 설명하였지만, 반대로 하위 레이어의 크기가 SCU의 배수가 아닐 수도 있다. 예컨대, 상위 레이어가 960x540의 크기를 가지고 해상도 비율이 2라면, 하위 레이어는 480x270의 크기를 가지게 된다. SCU가 8x8의 크기라고 가정하면, 하위 레이어의 크기는 SCU 크기의 배수가 되지 않는다.
이 경우에도, 패딩 등을 통해 하위 레이어의 크기를 SCU의 배수가 되도록 한 후 인코딩/디코딩일 수행될 수 있으며, 디코더 측에서는 하위 레이어의 영상을 출력할 때, 입력 영상에 맞춰 480x270의 크기로 출력할 수 있다.
상위 레이어 혹은 하위 레이어의 영상 크기가 SCU 크기의 배수가 되도록 조정하는 경우에, 상위 레이어의 특정 위치(혹은 특정 영역)에 대응하는 위치(혹은 영역)이 하위 레이어에 존재하지 않을 수도 있다. 혹은 하위 레이어의 특정 위치(혹은 특정 영역)에 대응하는 위치(혹은 영역)이 상위 레이어에 존재하지 않을 수도 있다.
구체적으로, 상위 레이어의 특정 위치 pCurr에 대응하는 하위 레이어의 위치 pRef는 앞서 설명한 바와 같이 스케일링 팩터 scale을 이용하여 특정될 수 있다. pCurr의 좌표가 상위 레이어에서 (xCurr, yCurr)이고, pRef의 좌표가 하위 레이어에서 (xRef, yRef)인 경우에, pCurr과 pRef의 관계는 수식 3과 같이 나타낼 수 있다.
<수식 3>
(xRef, yRef) = (xCurr/scaleX, yCurr/scaleY)
수식 3에서, scaleX는 상위 레이어와 하위 레이어의 X 축 해상도 비(너비의 비)일 수 있고, scaleY는 상위 레이어와 하위 레이어의 Y축 해상도 비(높이의 비)일 수 있다.
한편, 전술한 바와 같이, (xCurr/scale, yCurr/scale)에 해당하는 위치가 하위 레이어(참조 레이어)에 존재하지 않을 수가 있다. 이 경우에는 하위 레이어의 크기를 벗어나는 (xCurr/scale, yCurr/scale)들을 하위 레이어 내의 값으로 조정하는 클리핑(clipping)을 수행할 수 있다.
도 8은 상위 레이어에 대응하는 하위 레이어의 위치를 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 8에서 레이어 0은 하위 레이어를 의미하며, 레이어 1은 상위 레이어를 의미한다. 하위 레이어는 베이스 레이어 혹은 참조 레이어일 수 있고, 상위 레이어는 인핸스먼트 레이어 혹은 현재 레이어일 수 있다.
도 8을 참조하면, 상위 레이어(820)에서 샘플 혹은 블록을 특정하는 위치 pCurr에 대응하는 하위 레이어(810)의 위치 pRef가 하위 레이어의 범위를 벗어난 경우에 pRef를 하위 레이어(810) 내 혹은 하위 레이어(810)의 크기로 조정할 수 있다.
도 8의 예에서, pCurr0, pCurr1, pCurr2, pCurr3은 각각 수식 4와 같이 상위 레이어(820) 내 소정 샘플 위치를 특정한다.
<수식 4>
pCurr0 = (xCurr0, yCurr0)
pCurr1 = (xCurr1, yCurr1)
pCurr2 = (xCurr2, yCurr2)
pCurr3 = (xCurr3, yCurr3)
설명의 편의를 위해, 도시된 바와 같이, pCurr0은 상위 레이어(820)의 좌측 경계 부근에 있고, pCurr1은 상위 레이어(820)의 상측 경계 부근에 있으며, pCurr2은 상위 레이어(820)의 우측 경계 부근에 있고, pCurr3은 상위 레이어(820)의 하측 경계 부근에 있다고 가정한다.
전술한 바와 같이, 상위 레이어가 SCU의 배수가 아닌 경우, 상위 레이어 내 샘플 위치(영역)에 대응하는 위치(영역)가 하위 레이어에 존재하지 않을 수 있다.
예컨대, 도 8을 참조하면, pCurr0에 대응하는 pRef0이 하위 레이어(810) 내에 존재하지 않거나, pCurr1에 대응하는 pRef1이 하위 레이어(810) 내에 존재하지 않을 수 있다. 혹은, pCurr2에 대응하는 pRef2가 하위 레이어(810) 내에 존재하지 않거나 pCurr3에 대응하는 pRef3이 하위 레이어(810) 내에 존재하지 않을 수 있다.
여기서, pCurrI와 pRefI (I = 0, 1,2, 3)의 관계는 수식 5와 같다.
<수식 5>
pCurrI = (xCurrI, yCurrI)
pRefI = (xRefI, yRefI)
(xRefI, yRefI) = (xCurrI/scaleX, yCurrI/scaleY)
이때, 인코딩 장치와 디코딩 장치는 하위 레이어의 크기를 벗어난 위치의 pRef들을 하위 레이어 내 소정의 위치로 조정하는 클리핑을 수행할 수 있다.
구체적으로, pRef의 x축 성분 xRef과 y 축 성분 yRef에 대하여 수식 6과 같은 클리핑을 수행할 수 있다.
<수식 6>
xRef = Clip3 (0, xRef’, xRef)
yRef = Clip3 (0, yRef’, yRef)
Figure PCTKR2013002653-appb-I000001
수식 6에서 xRef’은 하위 레이어(910) 내의 x 좌표 값이다. 예컨대, 하위 레이어의 너비가 Width_L인 경우에, xRef’은 Width_L - 1일 수 있다.
수식 6에서 yRef’은 하위 레이어(910) 내의 y 좌표 값이다. 예컨대, 하위 레이어의 높이가 Height_L인 경우에, yRef’은 Height_L - 1일 수 있다.
도8을 참조하면, 클리핑된 하위 레이어의 위치들 pRef0’, pRef1’, pRef2’, pRef3’은 아래와 같을 수 있다.
pRef0’ = (0, yCurr0/scaleY)
pRef1’ = (xCurr1/scaleX, 0)
pRef2’ = (width_L - 1, yCurr2/scaleY)
pRef3’ = (xCurr2/scaleX, Height_L - 1)
도 8에서는 상위 레이어가 SCU의 배수가 아니어서, 상위 레이어의 특정 위치(영역)에 대응하는 위치(영역)이 하위 레이어에 없는 경우의 조정을 설명하였다.
이와 달리, 하위 레이어가 SCU의 배수가 아니어서, 하위 레이어의 특정 위치(영역)에 대응하는 위치(영역)이 상위 레이어에 없는 경우도 고려할 수 있다. 혹은 하위 레이어가 SCU의 배수가 아니어서, 하위 레이어를 업샘플링 했을 때, 업샘플링된 하위 레이어의 특정위치(특정 영역)이 상위 레이어의 크기를 벗어나는 경우도 고려할 수 있다.
도 9는 하위 레이어에 대응하는 상위 레이어의 위치 혹은 상위 레이어의 해상도에 맞춰 스케일링된 하위 레이어의 위치를 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 9에서 레이어 0은 하위 레이어를 의미하며, 레이어 1은 상위 레이어 혹은 상위 레이어의 해상도에 맞춰 스케일링된 하위 레이어를 의미한다. 하위 레이어는 베이스 레이어 혹은 참조 레이어일 수 있고, 상위 레이어는 인핸스먼트 레이어 혹은 현재 레이어일 수 있다.
도 9를 참조하면, 하위 레이어(910)에서 샘플 혹은 블록을 특정하는 위치 pRef에 대응하는 업샘플링된 하위 레이어 상의 위치 pCurr가 상위 레이어의 크기를 벗어난 경우에 pCurr를 상위 레이어(920) 크기 내 혹은 상위 레이어(920)의 크기로 조정할 수 있다.
도 9의 예에서, pRef0, pRef1, pRef2, pRef3은 각각 수식 7와 같이 하위 레이어(910) 내 소정 샘플 위치를 특정한다.
<수식 7>
pRef0 = (xRef0, yRef0)
pRef1 = (xRef1, yRef1)
pRef2 = (xRef2, yRef2)
pRef3 = (xRef3, yRef3)
설명의 편의를 위해, 도시된 바와 같이, pRef0은 하위 레이어(910)의 좌측 경계 부근에 있고, pRef1은 하위 레이어(910)의 상측 경계 부근에 있으며, pRef2은 하위 레이어(910)의 우측 경계 부근에 있고, pRef3은 하위 레이어(910)의 하측 경계 부근에 있다고 가정한다.
전술한 바와 같이, 하위 레이어가 SCU의 배수가 아닌 경우, 하위 레이어 내 샘플 위치(영역)에 대응하는 스케일링된 하위 레이어 상의 위치(영역)가 상위 레이어 내에는 존재하지 않을 수 있다.
예컨대, 도 9를 참조하면, pRef0에 대응하는 pCurr0이 상위 레이어(920) 내에 존재하지 않거나, pRef1에 대응하는 pCurr1이 상위 레이어(920) 내에 존재하지 않을 수 있다. 혹은, pRef2에 대응하는 pCurr2가 상위 레이어(920) 내에 존재하지 않거나 pRef3에 대응하는 pCurr3이 상위 레이어(920) 내에 존재하지 않을 수 있다.
pCurr0은 스케일링된 하위 레이어 상에서 pRef0에 대응하는 위치이며, pCurr1은 스케일링된 하위 레이어 상에서 pRef1에 대응하는 위치이고, pCurr2는 스케일링된 하위 레이어 상에서 pRef2에 대응하는 위치이며, pCurr3은 스케일링된 하위 레이어 상에서 pRef3에 대응하는 위치이다.
여기서, pCurrI와 pRefI (I = 0, 1,2, 3)의 관계는 수식 8과 같다.
<수식 8>
pCurrI = (xCurrI, yCurrI)
pRefI = (xRefI, yRefI)
(xCurrI, yCurrI) = (xRef*scaleX, yRefI*scaleY)
이때, 인코딩 장치와 디코딩 장치는 상위 레이어의 크기를 벗어난 위치의 pCurr들을 상위 레이어 내 소정의 위치로 조정하는 클리핑을 수행할 수 있다.
구체적으로, pCurr의 x축 성분 xCurr의 y 축 성분 yCurr에 대하여 수식 9와 같은 클리핑을 수행할 수 있다.
<수식 9>
xCurr = Clip3 (0, xCurr’, xCurr)
yCurr = Clip3 (0, yCurr’, yCurr)
Figure PCTKR2013002653-appb-I000002
수식 9에서 xCurr’은 상위 레이어(920) 내의 x 좌표 값이다. 예컨대, 상위 레이어의 너비가 Width_U인 경우에, xCurr’은 Width_U - 1일 수 있다.
수식 9에서 yCurr’은 상위 레이어(920) 내의 y 좌표 값이다. 예컨대, 상위 레이어의 높이가 Height_U인 경우에, yCurr’은 Height_U - 1일 수 있다.
도9를 참조하면, 클리핑된 상위 레이어의 위치들 pCurr0’, pCurr1’, pCurr2’, pCurr3’은 아래와 같을 수 있다.
pCurr0’ = (0, yRef0*scaleY)
pCurr1’ = (xRef1*scaleX, 0)
pCurr2’ = (width_U - 1, yRef2*scaleY)
pCurr3’ = (xRef2*scaleX, Height_U - 1)
도 9에서는 설명의 편의를 위해, pCurr0, pCurr1, pCurr2, pCurr3이 하위 레이어의 위치 pRef0, pRef1, pRef2, pRef3가 상위 레이어의 해상도에 맞춰 스케일링된 하위 레이어상에서 차지하는 위치들이며, pCurr0’, pCurr1’, pCurr2’, pCurr3’는 상위 레이어에서 pCurr0, pCurr1, pCurr2, pCurr3가 조정된(클리핑된) 위치인 것으로 설명하였다.
하지만, 도 9에서 pCurr0, pCurr1, pCurr2, pCurr3는 하위 레이어의 위치 pRef0, pRef1, pRef2, pRef3에 대응하는 상위 레이어상의 위치들이며, pCurr0’, pCurr1’, pCurr2’, pCurr3’는 상위 레이어에서 pCurr0, pCurr1, pCurr2, pCurr3가 조정된(클리핑된) 위치일 수 있다.
한편, 도 8 및 도 9와 같이, 레이어의 범위를 벗어난 위치를 레이어 내 소정의 위치로 클리핑하는 방법 대신 각 레이어 별로 일정한 오프셋을 부가하는 방법을 고려할 수 있다.
도 10은 상위 레이어와 하위 레이어의 대응하는 위치들을 오프셋에 의해 조정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 10에서 레이어 0은 하위 레이어를 의미하며, 레이어 1은 상위 레이어 혹은 업샘플링된 하위 레이어를 의미한다. 하위 레이어는 베이스 레이어 혹은 참조 레이어일 수 있고, 상위 레이어는 인핸스먼트 레이어 혹은 현재 레이어일 수 있다.
도 10을 참조하면, 상위 레이어(1020)에서 샘플 혹은 블록을 특정하는 위치 pCurr에 대응하는 하위 레이어(1010)의 위치 pRef가 하위 레이어의 범위를 벗어난 경우에 pRef를 하위 레이어(1010) 내 혹은 하위 레이어(1010)의 크기로 조정할 수 있다.
또한, 스케일링된 하위 레이어 상에서, 하위 레이어(1010)의 샘플 혹은 블록을 특정하는 위치 pRef에 대응하는 pCurr가 상위 레이어의 크기를 벗어난 경우에 pCurr를 상위 레이어(1020) 크기 내 혹은 상위 레이어(1020)의 크기로 조정할 수도 있다.
도 10의 예에서, pCurr0, pCurr1, pCurr2, pCurr3은 각각 수식 10과 같이 상위 레이어(1020) 내 소정 샘플 위치를 특정한다.
<수식 10>
pCurr0 = (xCurr0, yCurr0)
pCurr1 = (xCurr1, yCurr1)
pCurr2 = (xCurr2, yCurr2)
pCurr3 = (xCurr3, yCurr3)
설명의 편의를 위해, 도시된 바와 같이, pCurr0은 상위 레이어(1020)의 좌측 경계에 있고, pCurr1은 상위 레이어(1020)의 상측 경계에 있으며, pCurr2은 상위 레이어(1020)의 우측 경계에 있고, pCurr3은 상위 레이어(1120)의 하측 경계에 있다고 가정한다.
또한, 도 10의 예에서 pRef0, pRef1, pRef2, pRef3은 각각 수식 11와 같이 하위 레이어(1010) 내 소정 샘플 위치를 특정한다.
<수식 11>
pRef0 = (xRef0, yRef0)
pRef1 = (xRef1, yRef1)
pRef2 = (xRef2, yRef2)
pRef3 = (xRef3, yRef3)
설명의 편의를 위해, 도시된 바와 같이, pRef0은 하위 레이어(1010)의 좌측 경계 부근에 있고, pRef1은 하위 레이어(1010)의 상측 경계 부근에 있으며, pRef2은 하위 레이어(1010)의 우측 경계 부근에 있고, pRef3은 하위 레이어(1010)의 하측 경계 부근에 있다고 가정한다.
전술한 바와 같이, 상위 레이어가 SCU의 배수가 아닌 경우, 상위 레이어 내 샘플 위치(영역)에 대응하는 위치(영역)가 하위 레이어에 존재하지 않을 수 있다.
혹은 하위 레이어가 SCU의 배수가 아니어서, 하위 레이어를 스케일링 했을 때, 스케일링된 하위 레이어의 특정 위치(특정 영역)이 상위 레이어의 크기를 벗어날 수도 있다.
따라서, 레이어의 각 경계에 소정의 오프셋을 적용하여, 다른 레이어의 범위 내에 대응하는 위치 혹은 영역이 존재하도록 할 수 있다. 또한, 스케일링된 레이어가 대응하는 레이어의 크기 내에 존재하도록, 스케일링된 레이어에 오프셋을 적용할 수도 있다.
우선, 도 10을 참조하여, 상위 레이어(1020)에 오프셋을 적용하여 하위 레이어(1010)에 대응시키는 경우를 설명한다. 상위 레이어의 좌측에 적용되는 오프셋을 offset_U0, 상위 레이어의 상측에 적용되는 오프셋을 offset_U1, 상위 레이어의 우측에 적용되는 오프셋을 offset_U2, 상위 레이어의 하측에 적용되는 오프셋을 offset_U3이라고 하자.
이 경우에, 상위 레이어의 각 경계로부터 상기 오프셋만큼 줄어든 영역 내의 샘플(위치)들이 하위 레이어 내의 샘플(위치)에 대응하게 된다.
예컨대, 경계에 위치하는 pCurr0과 오프셋 offset_U0이 적용된 pCurr0’사이의 위치들에는 하위 레이어의 샘플(위치)를 대응시키지 않는다. 이때, pCurr0’에 대응하는 하위 레이어(1010) 상의 위치가 pRef0’이고, pRef0’과 pRef0 사이의 샘플을 활용해야 하면, pRef0’과 pRef0 사이에 샘플들을 패딩할 수 있다.
동일한 방법으로, pCurr1에 오프셋 offset_U1을 적용하여 pCurr1’을 특정하고, pCurr2에 오프셋 offset_U2를 적용하여 pCurr2’를 특정하며, pCurr3에 오프셋 offset_U3을 적용하여 pCurr3’을 특정할 수 있다.
상위 레이어의 너비를 Width_U라고 하고, 높이를 Height_U라고 하면, 상술한 바와 같이 오프셋을 적용하였을 때, 상위 레이어는 (offset_U0, y), (x, offset_U1), (Width_U - 1 - offset_U2, y), (x, Height_U - 1 - offset_U3) 내의 영역으로 윈도윙(windowing) 된다고 할 수 있다.
상기 상위 레이어에서 윈도윙된 영역이 하위 레이어에 대응하는 영역의 경계가 하위 레이어의 경계와 일치하지 않는 경우에는, 경계 사이의 영역에 샘플들을 패딩할 수도 있다.
이때, 오프셋 offset_U0, offset_U1, offset_U2, offset_U3은 스케일링된 상위 레이어 영역의 경계가 하위 레이어의 경계와 미리 정해진 간격을 가지도록 설정될 수 있다.
또한, 여기서는 상위 레이어(1020)에 오프셋을 적용하여 하위 레이어(1010)에 대응시키는 경우를 설명하였으나, 본 발명은 이에 한정되지 않으며, 상위 레이어를 스케일링하여 하위 레이어에 대응시킨 뒤에 오프셋을 적용할 수도 있다.
한편, 하위 레이어(1010)에 오프셋을 적용하여 상위 레이어(1020)에 대응시킬 수도 있다. 하위 레이어의 좌측에 적용되는 오프셋을 offset_L0, 하위 레이어의 상측에 적용되는 오프셋을 offset_L1, 하위 레이어의 우측에 적용되는 오프셋을 offset_L2, 하위 레이어의 하측에 적용되는 오프셋을 offset_L3이라고 하자.
이 경우에, 하위 레이어의 각 경계로부터 상기 오프셋만큼 줄어든 영역 내의 샘플(위치)들이 상위 레이어 내의 샘플(위치)에 대응하게 된다.
예컨대, 경계에 위치하는 pRef0과 오프셋 offset_U0이 적용된 pRef0’사이의 위치들에는 상위 레이어의 샘플(위치)를 대응시키지 않는다. 이때, pRef0’에 대응하는 상위 레이어(1020) 상의 위치가 pCurr0’이고, pCurr0’과 pCurr0 사이의 샘플을 활용해야 하면, pCurr0’과 pCurr0 사이에 샘플들을 패딩할 수 있다.
동일한 방법으로, pRef1에 오프셋 offset_L1을 적용하여 pRef1’을 특정하고, pRef2에 오프셋 offset_L2를 적용하여 pRef2’를 특정하며, pRef3에 오프셋 offset_L3을 적용하여 pRef3’을 특정할 수 있다.
하위 레이어의 너비를 Width_L이라고 하고, 높이를 Height_L이라고 하면, 상술한 바와 같이 오프셋을 적용하였을 때, 하위 레이어는 (offset_L0, y), (x, offset_L1), (Width_L - 1 - offset_L2, y), (x, Height_L - 1 - offset_L3) 내의 영역으로 윈도윙(windowing) 된다고 할 수 있다.
상기 하위 레이어에서 윈도윙된 영역이 상위 레이어에 대응하는 영역의 경계와 상위 레이어의 경계가 일치하지 않는 경우에는, 경계 사이의 영역에 샘플들을 패딩할 수도 있다.
이때, 오프셋 offset_L0, offset_L1, offset_L2, offset_L3은 스케일링된 하위 상위 레이어 영역의 경계가 상위 레이어의 경계와 미리 정해진 간격을 가지도록 설정될 수 있다.
또한, 여기서는 하위 레이어(1010)에 오프셋을 적용하여 상위 레이어(1020)에 대응시키는 경우를 설명하였으나, 본 발명은 이에 한정되지 않으며, 하위 레이어를 스케일링하여 상위 레이어에 대응시킨 뒤에 오프셋을 적용할 수도 있다.
도 11은 본 명세서에서 설명한 바에 따라서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다. 여기서는 설명의 편의를 위해 도 11의 동작을 인코딩 장치의 예측부 및/또는 디코딩 장치의 예측부에서 수행하는 것으로 설명한다.
도 11를 참조하면, 예측부는 하위 레이어의 참조 블록을 특정할 수 있다(S1110). 하위 레이어는 참조 레이어, 베이스 레이어라고도 하며, 참조 블록은 상위 레이어의 현재 블록에 대응하여 특정될 수 있다. 상위 레이어는 현재 레이어, 인핸스먼트 레이어라고도 한다.
예측부는 상위 레이어의 현재 블록을 특정한 후, 대응하는 하위 레이어의 참조 블록을 특정할 수 있다. 예컨대, 예측부는 현재 블록을 특정하는 현재 레이어 상의 위치를 특정하고, 특정된 현재 레이어 상의 위치에 대응하는 참조 레이어상의 위치를 유도함으로써, 참조 블록을 특정할 수 있다.
이하, 현재 블록을 특정하는 현재 레이어 상의 위치를 현재 위치라고 하고, 현재 위치에 대응하는 참조 레이어상의 위치를 참조 위치라고 한다.
상술한 예에서, 현재 위치는 pCurr 혹은 pCurr’에 대응할 수 있고, 참조 위치는 pRef 혹은 pRef’에 대응할 수 있다.
이때, 상위 레이어와 하위 레이어의 위치 간 혹은 영역 간 대응관계는 도 8 내지 도 10에서 설명한 바와 같이 특정될 수 있다.
예를 들어, 예측부는 참조 위치가 참조 레이어의 크기 범위 밖에 있는 경우에는, 상기 참조 레이어의 크기 범위 내로 참조 위치를 조정할 수 있다. 혹은, 예측부는 참조 위치가 참조 레이어의 크기 밖에 있는 경우에 참조 위치를 참조 레이어의 경계로 조정할 수도 있다.
또한 예측부는 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어 상에서 참조 위치에 대응하는 위치가 현재 레이어의 크기 범위 밖에 있는 경우에, 참조 위치에 대응하는 위치를 현재 레이어의 크기 범위 내로 조정할 수도 있다.
도 8 및 도 9의 예에서는, 상기 위치의 조정을 클리핑(clipping)에 의해 수행하는 방법을 설명하였으나, 본 발명은 이에 한정되지 않으며, 레이어 밖에 위치하는 대응점들을 레이어 안의 위치로 대응시키는 방법들에 의해서도 상기 위치의 조정이 수행될 수 있다.
예측부는 또한, 레이어의 경계로부터 오프셋을 적용하여 위치의 조정을 수행할 수도 있다.
예컨대, 예측부는 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 참조 레이어 상의 영역에서 참조 위치를 특정할 수도 있다. 이때, 참조 레이어 상의 영역은 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 스케일링하여 특정될 수도 있다.
또한, 예측부는 참조 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 현재 레이어의 해상도에 맞춰 스케일링하고, 스케일링된 영역에서 참조 위치를 특정할 수도 있다.
참조 위치는 두 레이어 사이의 해상도 비율에 따른 스케일링을 수식 5 또는 수식 8의 관계를 가질 수 있다.
예측부는 참조 블록의 정보를 이용하여 인터 레이어 예측을 수행할 수 있다(S1120). 인터 레이어 텍스처 예측을 수행하는 경우에, 예측부는 S1110 단계에서 특정한 참조 블록의 복원된 텍스처를 현재 레이어의 해상도에 맞게 스케일링하거나 업샘플링할 수 있다. 이때, 예측부는 업샘플링 혹은 스케일링된 참조 블록의 텍스처를 현재 블록의 예측 블록으로 이용할 수 있다.
인터 레이어 인터 예측을 수행하는 경우에, 예측부는 S1110 단계에서 특정한 참조 블록의 움직임 정보(움직임 벡터 및/또는 참조 인덱스)를 현재 블록의 움직임 정보 혹은 움직임 정보 후보로 사용할 수 있다.
참조 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용하는 경우, 예측부는 참조 블록의 참조 인덱스와 움직임 벡터를 현재 블록에 대한 참조 인덱스와 움직임 벡터로 이용할 수도 있다. 또한, 예측부는 참조 블록의 움직임 벡터를 현재 블록에 대한 움직임 벡터 예측자로 이용할 수도 있다. 이 경우, 예측부는 현재 블록에 대한 움직임 벡터 차분값과 움직임 벡터 예측자를 더하여 현재 블록의 움직임 벡터를 유도하고, 시그널링된 참조 인덱스로 현재 블록에 대한 참조 픽처를 특정하여 현재 블록에 대한 예측을 수행할 수도 있다.
도 12는 본 발명에 따라서 현재 레이어에 대한 디코딩을 수행하는 디코딩 장치를 개략적으로 설명하는 도면이다.
도 12를 참조하면, 디코딩 장치(1210)는 수신부(1220), 예측부(1230) 및 메모리(1240)를 포함한다.
수신부(1220)는 멀티 레이어 혹은 상위 레이어의 영상 정보를 포함하는 비트스트림을 수신한다. 메모리(1230)는 현재 블록에 대하여 예측과 복원을 위해 필요한 정보, 예컨대 현재 블록 이전에 복원된 픽처 및/또는 관련 파라미터의 정보를 저장할 수 있다.
예측부(1240)는 참조 레이어의 영상 정보를 이용하여 현재 레이어에 대한 예측(현재 블록에 대한 예측)을 수행할 수 있다.
이때, 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 참조 레이어상에서 대응되는 위치인 참조 위치에 기반하여 참조 블록이 특정될 수 있다.
예측부(1230)는 상술한 바와 같이, 상위 레이어와 하위 레이어을 대응하여 참조 블록을 특정할 수 있다. 예컨대, 예측부(1230)는, 참조 위치가 상기 참조 레이어의 크기 밖에 있는 경우에, 상기 참조 레이어의 크기 범위 내로 상기 참조 위치를 조정할 수 있다.
또한, 예측부(1230)는 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어 상에서 참조 위치에 대응하는 위치가 현재 레이어의 크기 범위 밖에 있는 경우에, 참조 위치에 대응하는 위치를 현재 레이어의 크기 범위 내로 조정할 수도 있다.
또한, 예측부(1230)는 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 참조 레이어 상의 영역에서 참조 위치를 특정할 수도 있다. 아울러, 예측부(1230)는 참조 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 현재 레이어의 해상도에 맞춰 스케일링하고, 스케일링된 영역에서 참조 위치를 특정할 수도 있다.
도 12에서는 설명의 편의를 위해, 수신부, 예측부, 메모리를 포함하는 디코딩 장치를 설명하였으나, 도 12의 디코딩 장치는 도 2의 디코딩 장치에 대응할 수 있다.
예컨대, 도 12의 디코딩 장치는 도 2에 도시된 모듈들의 일부 또는 전부를 더 포함할 수도 있다.
또한, 도 12의 메모리(1240)는 도 2의 두 메모리에 대응하고, 도 12의 예측부(1230)는 도 2의 두 예측부에 대응하며, 도 12의 수신부(1220)는 도 2의 DEMUX 등에 대응할 수도 있다. 이때, 도 12의 예측부(1230)이 도 2의 DEMUX, 메모리 등을 제외한 나머지 모듈의 기능을 수행하는 것으로 이해될 수도 있다.
또한, 도 12의 디코딩 장치는 도 2의 디코딩 장치에 대해 설명한 상기 대응 방식과 동일한 방식으로, 도 2의 레이어 1에 대한 디코딩부(210)에 대응하는 것으로 이해될 수도 있다.
도 13은 본 발명에 따라서 현재 레이어의 인코딩을 수행하는 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 13을 참조하면, 인코딩 장치(1310)는 예측부(1320), 송신부(1330), 메모리(1340)를 포함한다.
예측부(1320)는 참조 레이어의 영상 정보를 이용하여 현재 레이어(현재 블록)에 대한 예측을 수행할 수 있다.
메모리(1340)는 현재 블록에 대하여 예측과 복원을 위해 필요한 정보, 예컨대 현재 블록 이전에 복원된 픽처 및/또는 관련 파라미터의 정보를 저장할 수 있다. 송신부(1330)는 예측된 정보를 포함하는 멀티 레이어 혹은 상위 레이어의 정보를 비트스트림으로 전송할 수 있다.
예측부(1320)는 참조 레이어의 영상 정보를 이용하여 현재 레이어에 대한 예측(현재 블록에 대한 예측)을 수행할 수 있다.
이때, 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 참조 레이어상에서 대응되는 위치인 참조 위치에 기반하여 참조 블록이 특정될 수 있다.
예측부(1320)는 상술한 바와 같이, 상위 레이어와 하위 레이어을 대응하여 참조 블록을 특정할 수 있다. 예컨대, 예측부(1320)는, 참조 위치가 상기 참조 레이어의 크기 밖에 있는 경우에, 상기 참조 레이어의 크기 범위 내로 상기 참조 위치를 조정할 수 있다.
또한, 예측부(1320)는 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어 상에서 참조 위치에 대응하는 위치가 현재 레이어의 크기 범위 밖에 있는 경우에, 참조 위치에 대응하는 위치를 현재 레이어의 크기 범위 내로 조정할 수도 있다.
또한, 예측부(1320)는 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 참조 레이어 상의 영역에서 참조 위치를 특정할 수도 있다. 아울러, 예측부(1320)는 참조 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 현재 레이어의 해상도에 맞춰 스케일링하고, 스케일링된 영역에서 참조 위치를 특정할 수도 있다.
도 13에서는 설명의 편의를 위해, 전송부, 예측부, 메모리를 포함하는 인코딩 장치를 설명하였으나, 도 14의 인코딩 장치는 도 1의 인코딩 장치에 대응할 수 있다.
예컨대, 도 13의 인코딩 장치는 도 1에 도시된 모듈들의 일부 또는 전부를 더 포함할 수도 있다.
또한, 도 13의 메모리(1340)는 도 1의 두 메모리에 대응하고, 도 13의 예측부(1320)는 도 1의 두 예측부에 대응하며, 도 13의 송신부(1430)는 도 1의 MUX 등에 대응할 수도 있다. 이때, 도 13의 예측부(1320)이 도 1의 MUX, 메모리 등을 제외한 나머지 모듈의 기능을 수행하는 것으로 이해될 수도 있다.
또한, 도 13의 인코딩 장치는 도 1의 인코딩 장치에 대해 설명한 상기 대응 방식과 동일한 방식으로, 도 1의 레이어 1에 대한 인코딩부(110)에 대응하는 것으로 이해될 수도 있다.
본 명세서에서는 블록 혹은 영상의 크기를 정수 N과 M을 이용하여 NxM으로 간단히 표현하였으나, 이는 설명의 편의를 위한 것으로서, 블록 혹은 영상의 크기 NxM은 NxM 샘플 혹은 NxM 픽셀일 수 있다.
본 명세서에서는 설명의 편의를 위해, 스케일러블 비디오 코딩이 지원되는 멀티 레이어 구조에서 각 레이어별로 특정 시점(예컨대, POC(Picture Order Count) 혹은 AU(Access Unit))에 복원되는 샘플들의 어레이를 ‘픽처’라고 표현하였다.
이와 관련하여, 디코딩 되어 출력되는 레이어(현재 레이어)에서 특정 시점에 복원된 혹은 복원되는 전체 샘플 어레이를 픽처라고 하여, 참조되는 레이어의 복원된 혹은 복원되는 샘플 어레이와 구분할 수도 있다. 참조되는 레이어에서 특정 시점에 복원된 혹은 복원되는 샘플 어레이는 리프리젠테이션(representation), 참조 레이어 픽처, 참조 레이어 샘플 어레이, 참조 레이어 텍스처 등으로 칭할 수도 있다. 이 경우, 하나의 AU에 대해서는 현재 레이어에서 복원된 하나의 디코딩(인코딩)된 픽처가 출력될 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (19)

  1. 참조 레이어에서 참조 블록을 특정하는 단계; 및
    상기 참조 블록의 정보를 이용하여 현재 레이어에서 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 참조 블록을 특정하는 단계에서는,
    상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 상기 참조 블록을 특정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  2. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서,
    상기 참조 위치가 상기 참조 레이어의 크기 범위 밖에 있는 경우에는, 상기 참조 레이어의 크기 범위 내로 상기 참조 위치를 조정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  3. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서는,
    상기 참조 위치가 상기 참조 레이어의 크기 밖에 있는 경우에는 상기 참조 위치를 상기 참조 레이어의 경계로 조정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  4. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서,
    상기 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어상에서 상기 참조 위치에 대응하는 위치가 상기 현재 레이어의 크기 범위 밖에 있는 경우에는, 상기 참조 위치에 대응하는 위치를 상기 현재 레이어의 크기 범위 내로 조정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  5. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서는,
    상기 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 상기 참조 레이어 상의 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  6. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서는,
    상기 참조 레이어의 경계로부터 오프셋을 적용한 영역을 상기 현재 레이어의 해상도에 맞춰 스케일링하고, 상기 스케일링된 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  7. 제1항에 있어서, 상기 참조 블록을 특정하는 단계에서는,
    상기 현재 레이어와 상기 참조 레이어의 너비 비에 기반하여 상기 현재 위치의 x 성분을 스케일링하고,
    상기 현재 레이어와 상기 참조 레이어의 높이 비에 기반하여 상기 현재 위치의 y 성분을 스케일링함으로써,
    상기 참조 위치를 특정하는 것을 특징으로 하는 인터 레이어 예측 방법.
  8. 제1항에 있어서, 상기 예측을 수행하는 단계에서는,
    상기 참조 위치에 의해 특정되는 참조 블록의 움직임 정보를 이용하여 상기 현재 블록에 대한 예측 블록을 생성하는 것을 특징으로 하는 인터 레이어 예측 방법.
  9. 제1항에 있어서, 상기 예측을 수행하는 단계에서는,
    상기 참조 위치에 의해 특정되는 참조 블록의 텍스처를 업샘플링하여 상기 현재 블록에 대한 예측 블록의 텍스처로 이용하는 것을 특징으로 하는 인터 레이어 예측 방법.
  10. 멀티 레이어의 영상 정보를 포함하는 비트스트림을 수신하는 수신부;
    참조 레이어의 영상 정보를 이용하여 현재 레이어의 영상에 대한 예측을 수행하는 예측부; 및
    상기 예측에 필요한 정보를 저장하는 메모리를 포함하며,
    상기 예측부는,
    참조 레이어 내 참조 블록의 정보를 이용하여 현재 블록에 대한 예측을 수행하며,
    상기 참조 블록은,
    상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 특정되는 것을 특징으로 하는 디코딩 장치.
  11. 제10항에 있어서, 상기 예측부는,
    상기 참조 위치가 상기 참조 레이어의 크기 밖에 있는 경우에, 상기 참조 레이어의 크기 범위 내로 상기 참조 위치를 조정하는 것을 특징으로 하는 디코딩 장치.
  12. 제10항에 있어서, 상기 예측부는,
    상기 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어 상에서 상기 참조 위치에 대응하는 위치가 상기 현재 레이어의 크기 범위 밖에 있는 경우에, 상기 참조 위치에 대응하는 위치를 상기 현재 레이어의 크기 범위 내로 조정하는 것을 특징으로 하는 디코딩 장치.
  13. 제10항에 있어서, 상기 예측부는,
    상기 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 상기 참조 레이어 상의 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 디코딩 장치.
  14. 제10항에 있어서, 상기 예측부는,
    상기 참조 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 상기 현재 레이어의 해상도에 맞춰 스케일링하고, 상기 스케일링된 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 디코딩 장치.
  15. 참조 레이어의 영상 정보를 이용하여 현재 레이어의 영상에 대한 예측을 수행하는 예측부;
    상기 예측에 필요한 정보를 저장하는 메모리; 및
    상기 예측된 정보를 포함하는 멀티 레이어의 비트스트림을 전송하는 전송부를 포함하며,
    상기 예측부는,
    참조 레이어 내 참조 블록의 정보를 이용하여 현재 블록에 대한 예측을 수행하며,
    상기 참조 블록은,
    상기 현재 블록을 특정하는 현재 레이어 상의 현재 위치가 상기 참조 레이어상에서 대응하는 위치인 참조 위치에 기반하여 특정되는 것을 특징으로 하는 인코딩 장치.
  16. 제15항에 있어서, 상기 예측부는,
    상기 참조 위치가 상기 참조 레이어의 크기 밖에 있는 경우에, 상기 참조 레이어의 크기 범위 내로 상기 참조 위치를 조정하는 것을 특징으로 하는 인코딩 장치.
  17. 제15항에 있어서, 상기 예측부는,
    상기 현재 레이어의 해상도에 맞춰 스케일링한 참조 레이어 상에서 상기 참조 위치에 대응하는 위치가 상기 현재 레이어의 크기 범위 밖에 있는 경우에, 상기 참조 위치에 대응하는 위치를 상기 현재 레이어의 크기 범위 내로 조정하는 것을 특징으로 하는 인코딩 장치.
  18. 제15항에 있어서, 상기 예측부는,
    상기 현재 레이어의 경계들에 오프셋을 적용하여 한정한 영역에 대응하는 상기 참조 레이어 상의 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 인코딩 장치.
  19. 제15항에 있어서, 상기 예측부는,
    상기 참조 레이어의 경계들에 오프셋을 적용하여 한정한 영역을 상기 현재 레이어의 해상도에 맞춰 스케일링하고, 상기 스케일링된 영역에서 상기 참조 위치를 특정하는 것을 특징으로 하는 인코딩 장치.
PCT/KR2013/002653 2012-03-29 2013-03-29 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치 WO2013147557A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/386,273 US9860549B2 (en) 2012-03-29 2013-03-29 Inter-layer prediction method and encoding device and decoding device using same
CN201380017896.8A CN104255032B (zh) 2012-03-29 2013-03-29 层间预测方法和使用其的编码设备和解码设备
EP13769250.5A EP2833633A4 (en) 2012-03-29 2013-03-29 METHOD FOR PREDICTION BETWEEN LAYERS, AND ENCODING DEVICE AND DECODING DEVICE USING THE SAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261617053P 2012-03-29 2012-03-29
US61/617,053 2012-03-29

Publications (1)

Publication Number Publication Date
WO2013147557A1 true WO2013147557A1 (ko) 2013-10-03

Family

ID=49260720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002653 WO2013147557A1 (ko) 2012-03-29 2013-03-29 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치

Country Status (4)

Country Link
US (1) US9860549B2 (ko)
EP (1) EP2833633A4 (ko)
CN (1) CN104255032B (ko)
WO (1) WO2013147557A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083987A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083986A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN105981386A (zh) * 2013-12-06 2016-09-28 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
WO2019135447A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007058A1 (ja) * 2012-07-03 2014-01-09 シャープ株式会社 画像復号装置、および画像符号化装置
CN110234007B (zh) * 2013-03-21 2023-05-23 索尼公司 图像解码装置和方法
KR101712109B1 (ko) * 2013-07-12 2017-03-03 삼성전자 주식회사 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치
KR102274321B1 (ko) * 2014-01-09 2021-07-07 삼성전자주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
KR101770070B1 (ko) * 2016-08-16 2017-08-21 라인 가부시키가이샤 비디오 컨퍼런스를 위한 비디오 스트림 제공 방법 및 시스템
US10764603B2 (en) * 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076504A (ko) * 2006-01-16 2007-07-24 한국전자통신연구원 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
KR20080073157A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR20100010612A (ko) * 2008-07-23 2010-02-02 한국전자통신연구원 스케일러블 영상 복호화기 및 그 제어 방법
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
KR20100066560A (ko) * 2007-10-25 2010-06-17 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록매체
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
JP2001346031A (ja) * 2000-06-05 2001-12-14 Fuji Photo Film Co Ltd 画像合成方法及び装置
US8761252B2 (en) * 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR101233854B1 (ko) * 2005-02-18 2013-02-15 톰슨 라이센싱 저해상도 픽처로부터 고해상도 픽처에 대한 코딩 정보를도출하기 위한 방법 및 이 방법을 구현하는 코딩 및 디코딩장치
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US20080225952A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
US8421840B2 (en) * 2008-06-09 2013-04-16 Vidyo, Inc. System and method for improved view layout management in scalable video and audio communication systems
CN102055969B (zh) * 2009-10-30 2012-12-19 鸿富锦精密工业（深圳）有限公司 影像解块过滤器及使用其的影像处理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070076504A (ko) * 2006-01-16 2007-07-24 한국전자통신연구원 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
KR20080073157A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR20100066560A (ko) * 2007-10-25 2010-06-17 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록매체
KR20100010612A (ko) * 2008-07-23 2010-02-02 한국전자통신연구원 스케일러블 영상 복호화기 및 그 제어 방법
KR20100027384A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 예측 모드 결정 방법 및 장치
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2833633A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015083987A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083988A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015083986A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN105981386A (zh) * 2013-12-06 2016-09-28 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
US10142653B2 (en) 2013-12-06 2018-11-27 Huawei Technologies Co., Ltd. Image decoding apparatus, image coding apparatus, and coded data transformation apparatus
CN105981386B (zh) * 2013-12-06 2019-02-26 华为技术有限公司 图像解码装置、图像编码装置及编码数据变换装置
WO2019135447A1 (ko) * 2018-01-02 2019-07-11 삼성전자 주식회사 움직임 예측에 의한 패딩 기법을 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Also Published As

Publication number Publication date
EP2833633A4 (en) 2015-11-11
US9860549B2 (en) 2018-01-02
CN104255032A (zh) 2014-12-31
CN104255032B (zh) 2018-03-27
US20150103896A1 (en) 2015-04-16
EP2833633A1 (en) 2015-02-04

Similar Documents

Publication Publication Date Title
KR102083011B1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
KR20220113326A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
CN111684809B (zh) 基于变换的图像编码方法和用于该方法的装置
US10681347B2 (en) Method and apparatus of filtering image in image coding system
EP3367681A1 (en) Modeling-based image decoding method and device in image coding system
US20140247883A1 (en) Scalable video encoding and decoding method and apparatus using same
US10616607B2 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
JP6082123B2 (ja) 複数のレイヤをサポートする映像符号化／復号化方法
WO2014092515A1 (ko) 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
CN108769683B (zh) 图像解码方法和使用其的装置
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
WO2012173440A2 (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
WO2013051899A2 (ko) 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치
KR20130037188A (ko) 영상 부호화 방법과 영상 복호화 방법
WO2013051897A1 (ko) 영상 부호화 방법과 영상 복호화 방법
CN105075260B (zh) 编码支持可伸缩性的多层结构视频的方法和解码其的方法以及用于其的装置
WO2013133639A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
KR102506469B1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013147497A1 (ko) 스케일러블 비디오 코딩에서 샘플 적응적 오프셋 적용 방법 및 이를 이용한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13769250

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14386273

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2013769250

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013769250

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE