WO2014084656A1 - 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치 - Google Patents

복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2014084656A1
WO2014084656A1 PCT/KR2013/010992 KR2013010992W WO2014084656A1 WO 2014084656 A1 WO2014084656 A1 WO 2014084656A1 KR 2013010992 W KR2013010992 W KR 2013010992W WO 2014084656 A1 WO2014084656 A1 WO 2014084656A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction mode
transform coefficients
scan order
dimensional array
Prior art date
Application number
PCT/KR2013/010992
Other languages
English (en)
French (fr)
Inventor
김정선
박준영
김철근
헨드리헨드리
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to JP2015545367A priority Critical patent/JP6082123B2/ja
Priority to CN201380068156.7A priority patent/CN104885453B/zh
Priority to EP13857735.8A priority patent/EP2928184A4/en
Priority to US14/647,971 priority patent/US20150312571A1/en
Priority to KR1020157011909A priority patent/KR20150091043A/ko
Publication of WO2014084656A1 publication Critical patent/WO2014084656A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding (SVC).
  • SVC scalable video coding
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • UHD Ultra High Definition
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image, It is necessary to provide scalability in the frame rate of video and the like.
  • the present invention provides a method and apparatus for increasing compression efficiency in scalable video encoding / decoding.
  • the present invention provides a method and apparatus for scanning transform coefficients in scalable video encoding / decoding.
  • an image decoding method supporting a plurality of layers may further include receiving a bitstream including information about a decoding target block of a current layer, entropy decoding the bitstream to obtain a one-dimensional array of transform coefficients for the decoding target block, and the transformation. Rescanning a one-dimensional array of coefficients according to a scan order and reordering the two-dimensional array of transform coefficients, and inversely quantizing the two-dimensional array of transform coefficients to inverse quantized transform coefficients for the decoding target block Acquiring a two-dimensional array of the data; and predicting the decoding object block based on a prediction mode for the decoding object block.
  • the scan order may be derived based on a prediction mode applied to the decoding target block.
  • an image encoding method supporting a plurality of layers may include obtaining prediction samples by performing prediction based on a prediction mode with respect to an encoding target block of a current layer, and performing transformation on residual samples obtained based on the prediction samples to apply to the encoding target block.
  • the scanning order may be determined based on a prediction mode applied to the block to be encoded.
  • the efficiency of transform and / or entropy coding can be increased by effectively scanning and rearranging transform coefficients in scalable video encoding / decoding.
  • a scanning order may be determined according to a prediction method of an image in scalable video encoding / decoding, and thus encoding / decoding may be efficiently performed.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an example of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a diagram illustrating an example of an intra prediction mode.
  • FIG. 5 is a diagram schematically illustrating a scanning method according to a scanning order.
  • FIG. 6 is a diagram for describing inter-layer prediction to which the present invention can be applied.
  • FIG. 7 is a flowchart schematically illustrating an image encoding method for supporting a plurality of layers according to the present invention.
  • FIG. 8 is a flowchart schematically illustrating an image decoding method supporting a plurality of layers according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed in layers.
  • the input signals may have at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predictor (MVP) mode method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction units 110 and 140 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction unit 110 may perform prediction for layer 1 using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • inter-layer motion prediction is also referred to as inter-layer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • inter-layer unit parameter prediction derives unit (CU, PU, and / or TU) information of a base layer and uses it as unit information of an enhancement layer, or based on unit information of a base layer. Unit information may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit 110 may use interlayer residual prediction, which predicts the residual of the current layer using the residual information of another layer as interlayer prediction, and performs prediction on the current block in the current layer based on the prediction. It may be.
  • the prediction unit 110 may predict the current block in the current layer by using a difference (differential image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the inter-layer prediction. Inter-layer difference prediction may be performed.
  • the prediction unit 110 may use interlayer syntax prediction that predicts or generates a texture of a current block using syntax information of another layer as interlayer prediction.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
  • inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block to which the intra prediction mode is applied in the reference layer and referring to motion information from the block MV to which the inter prediction mode is applied.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which an intra prediction mode is applied.
  • inter-layer prediction may be performed to generate / predict a texture for the current block by using an intra prediction mode of the reference block among syntax information of the reference layer.
  • a plurality of prediction methods using the above-described interlayer may be used when predicting a specific block.
  • the prediction information of the layer 0 may be used to predict the current block while additionally using unit information or filtering parameter information of the corresponding layer 0 or the corresponding block.
  • This combination of inter-layer prediction methods can also be applied to the predictions described below in this specification.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 180.
  • the transform / quantization unit 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 180.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 185 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • the video encoding apparatus 100 that supports scalability includes an encoding unit 105 for layer 1 and an encoding unit 135 for layer 0 to perform encoding for each layer.
  • the present invention is not limited thereto.
  • a video encoding apparatus that supports scalability does not include an encoding unit for each layer, but is composed of modules included in the encoding unit 105 (or the encoding unit 135 for layer 0) for layer 1 and thus is scalable. Encoding may be performed for a plurality of layers to support roughness.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory 245. ) May be included.
  • the decoding unit 250 of the layer 0 includes an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a prediction unit 275, a filtering unit 280, and a memory 285. ) May be included.
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse quantizers 225 and 265 may transfer the entropy decoded residual to the inverse transformers 230 and 270 without dequantizing the entropy decoded residual according to a predetermined condition or a quantization scheme in the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size. For example, the inverse transform units 230 and 270 may apply only inverse DST to all transform blocks. In addition, the inverse transform units 230 and 270 may apply only inverse DCT to all transform blocks.
  • the inverse transform units 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transformers 230 and 270 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using a plurality of pieces of information of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1. have.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 235 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 1 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction.
  • inter-layer intra prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 1 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may receive parameter information regarding the filtering of the layer 1 from the predictor 275 of the layer 0 to perform parameter prediction.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • a plurality of prediction methods using the above-described interlayer may be used when predicting a specific block.
  • the prediction information of the layer 0 may be used to predict the current block while additionally using unit information or filtering parameter information of the corresponding layer 0 or the corresponding block.
  • This combination of inter-layer prediction methods can also be applied to the predictions described below in this specification.
  • the adders 290 and 295 may generate a reconstruction block using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering units 240 and 280 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed blocks and / or pictures.
  • deblocking filtering sample adaptive offset (SAO)
  • SAO sample adaptive offset
  • ALF ALF
  • the filtering units 240 and 280 may not apply all of the deblocking filter, ALF, and SAO, and may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO.
  • the filtering unit 240 of the layer 1 performs filtering on the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 1. It can also be done.
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the decoding apparatus is configured to perform reordering, inverse quantization, and inverse transformation in order in one module of the inverse quantization / inverse transformation unit. It can also be configured.
  • the video decoding apparatus 200 supporting the scalability includes the decoder 210 of layer 1 and the decoder 250 of layer 0 to perform decoding for each layer.
  • the present invention is not limited thereto.
  • a video decoding apparatus supporting scalability does not include a decoding unit for each layer, and is composed of only modules included in the decoding unit 210 (or the decoding unit 250 of layer 0) of layer 1 to improve scalability. Decoding may be performed on a plurality of layers to support.
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • FIG. 3 is a conceptual diagram schematically illustrating an example of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • a video coding method that supports scalability uses inter-layer layers by using texture information, motion information, and residual signals between layers (or layers). Coding method that improves encoding and decoding performance by removing redundancy.
  • the scalable video coding method may provide various scalability in terms of spatial, temporal, and image quality (or quality) according to ambient conditions such as transmission bit rate, transmission error rate, and system resources. Can be.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer (or base layer) for compressing and processing image data using a general image decoding method, and decoding information of the base layer and a general image decoding method. May be used together to include an enhancement layer (or enhancement layer) for compressing the image data.
  • a layer is an image and a bit divided based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, and the like. Means a set of bitstreams.
  • a base layer may be referred to as a base layer or may be referred to as a lower layer.
  • an enhancement layer may be referred to as an enhancement layer or a higher layer.
  • the lower layer may mean a layer that supports scalability lower than a specific layer
  • the upper layer may mean a layer that supports scalability higher than a specific layer.
  • a layer referenced by a specific layer at the time of encoding or decoding may be referred to as a reference layer.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may include a high definition (HD), a frame rate of 30 Hz, and 3.9 Mbps.
  • the second enhancement layer may be defined by a 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a 27.2 Mbps bit rate.
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method can provide temporal, spatial and image quality scalability by the method described above in the embodiment of FIG. 3.
  • scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
  • the encoding apparatus performs transformation in units of transform blocks having a quad tree structure. Which transform is to be applied based on the prediction mode applied to the transform target block and the size of the transform block. For example, the transformation scheme applied to the current block (transform block) may be different depending on whether the prediction mode applied to the current block (transform block) is the intra prediction mode or the size of the current block (transform block).
  • the encoding apparatus may scan two-dimensional quantized information (eg, two-dimensional quantized transform coefficient array) and rearrange the two-dimensional quantized transform coefficient array.
  • the encoding device may entropy encode the one-dimensional quantized transform coefficient array and transmit the entropy encoding to the decoding device.
  • the decoding apparatus may entropy decode the information received from the encoding apparatus to generate a one-dimensional quantized transform coefficient array.
  • the decoding apparatus may scan the one-dimensional quantized transform coefficient array and rearrange the two-dimensional quantized transform coefficient array.
  • the decoding apparatus may inversely quantize the two-dimensional quantized transform coefficient array to generate a transform coefficient block.
  • the reordering performed in the encoding apparatus scans the two-dimensional quantized transform coefficients arranged according to the scan order in correspondence with the sample (pixel) position of the scanning target block (for example, the transform block). It can be composed of quantized transform coefficients of a one-dimensional array.
  • the reordering performed in the decoding apparatus scans the quantized transform coefficients of the one-dimensional array in a scanning order, thereby quantizing the two-dimensional array corresponding to the sample (pixel) position of the scanning target block (for example, the transform block). It can consist of coefficients.
  • the scanning may be determined by at least one of the size of the transform block, the scan order and the scan start position.
  • the prediction mode applied to the transform block is an intra prediction mode and the size of the transform block is 4x4, or (2) the prediction mode applied to the transform block is an intra prediction mode, the size of the transform block is 8x8, and the transform block is a luma sample. Is a transform block for
  • the scan order may be a vertical scan order. If the intra prediction mode is 22 or more and 30 or less, the scan order may be a horizontal scan order. If the intra prediction mode is 0 or more and 5 or less, or 15 or more and 21 or less, or 31 or more and 34 or less, the scan order may be an up-right diagonal scan order.
  • the scan order may be a right upward diagonal scan order.
  • the prediction mode applied to the transform block is an intra prediction mode and the size of the transform block is larger than 8x8 (eg, when the size of the transform block is 16x16 or 32x32), the scan order may be a right-up diagonal scan order.
  • Each intra prediction mode may be assigned a different mode number.
  • the intra prediction mode of 6 to 14 is a prediction mode in the horizontal direction
  • the intra prediction mode of 22 to 30 is a prediction mode in the vertical direction.
  • it is a non-directional prediction mode, a non-horizontal prediction mode, or a non-vertical prediction mode.
  • the prediction mode applied to the transform block is an intra prediction mode
  • the size of the transform block is 4x4 or (ii) the size of the transform block is 8x8 and the transform block is for luma samples.
  • the intra prediction mode is the prediction mode in the horizontal direction
  • the vertical scan order is applied.
  • the intra prediction mode is the prediction mode in the vertical direction
  • the horizontal scan order is applied.
  • the intra prediction mode is a non-directional, non-horizontal prediction mode, or a non-vertical prediction mode
  • the right upward diagonal scan order is applied.
  • the encoding apparatus scans the quantized transform coefficients in the transform block in the vertical direction.
  • the encoding apparatus may scan the quantized transform coefficients along the same column from the quantized transform coefficients located in the top row of the scan target block (eg, the transform block).
  • the scan may be performed on the right columns in order starting from the leftmost column of the scan target block.
  • the scan may be performed on the left columns in order starting from the rightmost column of the scan target block.
  • the quantized transform coefficients scanned in the two-dimensional array scan target block may be rearranged into one-dimensional quantized transform coefficient arrays according to the scanned order.
  • the decoding apparatus may scan the quantized transform coefficients and rearrange them in the vertical direction in the transform block.
  • the decoding apparatus scans one-dimensional transform coefficients in order and rearranges them in a two-dimensional array in a vertical scan order. Through this, a transform block composed of quantized transform coefficients may be generated.
  • quantized transform coefficients may be placed down along the same column from the top row of the two-dimensional array (transform block).
  • the relocation may proceed for the right columns in order starting from the leftmost column of the two-dimensional array according to the order performed in the encoding apparatus, or may proceed for the left columns in order starting from the rightmost column.
  • the encoding apparatus scans the quantized transform coefficients in the transform block in the horizontal direction.
  • the encoding apparatus may scan the quantized transform coefficients from the quantized transform coefficients located in the leftmost column of the scan target block (eg, the transform block) to the right along the same row.
  • the scan may be performed on the lower rows in order starting from the uppermost row of the scan target block.
  • the scan may be performed on the upper rows in order starting from the lowest row of the scan target block.
  • the quantized transform coefficients scanned in the two-dimensional array scan target block may be rearranged into one-dimensional quantized transform coefficient arrays according to the scanned order.
  • the decoding apparatus may scan the quantized transform coefficients and rearrange them in the horizontal direction in the transform block.
  • the decoding apparatus scans one-dimensional transform coefficients in order and rearranges them in a two-dimensional array in a horizontal scan order. Through this, a transform block composed of quantized transform coefficients may be generated.
  • transform coefficients quantized from the leftmost column of the two-dimensional array (transform block) to the right along the same row may be arranged.
  • the relocation may proceed for the lower rows in order starting from the uppermost row of the two-dimensional array according to the order performed in the encoding apparatus, or may proceed for the upper rows in order starting from the lowest row.
  • the encoding apparatus may scan the quantized transform coefficients in the transform block in the right-up diagonal direction.
  • the encoding apparatus starts with the leftmost quantized transform coefficient with respect to the diagonal arrangement of the quantized transform coefficients in the block to be scanned (for example, the transform block) and the right-most quantized transform coefficient.
  • the scanning of the diagonal array may start in the upper left diagonal array in the scan target block and proceed to the lower right side in order, or may start in the right lower diagonal array in the scan target block and proceed to the upper left side in order.
  • the quantized transform coefficients scanned in the two-dimensional array scan target block may be rearranged into one-dimensional quantized transform coefficient arrays according to the scanned order.
  • the decoding apparatus may scan the quantized transform coefficients and rearrange them in the right upward diagonal direction in the transform block.
  • the decoding apparatus scans one-dimensional transform coefficients in order and rearranges them in a two-dimensional array in a right-up diagonal scan order. Through this, a transform block composed of quantized transform coefficients may be generated.
  • the quantized transform coefficients may be rearranged from the lower left side to the upper right side in the diagonal array of the two-dimensional array (transform block). Relocation may proceed in order for the lower right diagonal arrays starting with the upper left diagonal array of the two-dimensional array in the order performed in the encoding apparatus, or for the upper left diagonal arrays in order starting with the lower right diagonal array. It may proceed.
  • FIG. 5 is a diagram schematically illustrating a scanning method according to a scanning order.
  • FIG. 5A schematically illustrates a two-dimensional array of quantized transform coefficients arranged in a transform block of n ⁇ m (n, m is an integer).
  • quantized transform coefficients C are arranged corresponding to respective sample (pixel) positions.
  • the transform coefficients C a, b are arranged at positions of the a-th row and the b-th column in the transform block.
  • FIG. 5B illustrates an example of a one-dimensional array corresponding to the two-dimensional quantized transform coefficient array shown in FIG. 5A when the horizontal scan order is applied.
  • the encoding apparatus determines that C 0,0 ⁇ C 0,1 ⁇ ... In the first row in the nxm-sized transform block. ⁇ scan the quantized transform coefficients in the order of C 0, n-1 , and in the next row, C 1,0 ⁇ C 1,1 ⁇ . ⁇ the quantized transform coefficients can be scanned in the order of C 1, n-1 Scanning is performed in parallel in each row, and when the horizontal scan is completed in one row, the horizontal scan can be performed in the next row.
  • the decoding apparatus may arrange the quantized transform coefficients read in order from the n ⁇ m length quantized transform coefficient array in the two-dimensional array in the transform block of size n ⁇ m according to the horizontal scan order.
  • the decoding apparatus may be configured according to the horizontal scanning order.
  • C m-1, n-1 ⁇ C m-1, n-2 ?... ⁇ C m-1,1 ⁇ Arranged at the position of C m-1,0 in order, and the n quantized transform coefficients scanned after C m-1,0 are rotated (turned up) from the right You can arrange them in order.
  • Subsequent scan and reordering of the quantized transform coefficients results in C 0, n-1 ? ⁇ C 0,2 ⁇ C 0,1 ⁇ C 0,0 may be scanned and rearranged to produce a two-dimensional array (eg, a transform block) of nxm-sized quantized transform coefficients.
  • the decoding apparatus uses the horizontal scan order of FIG. C 0,0 ⁇ C 0,1 ⁇ .
  • ⁇ C 0, n of the quantized transform coefficients are arranged in order on the location of the n-1 and scanning the C 0, n-1, and then they can be arranged in order to change the line (change in the bottom row) from the left.
  • C m-1,0- > C m-1,1- > C m-1,2- > ⁇ can be scanned and rearranged up to C m-1, n-1 to produce a two-dimensional array (eg, transform block) of nxm quantized transform coefficients.
  • a two-dimensional array eg, transform block
  • FIG. 5C shows an example of the one-dimensional array corresponding to the two-dimensional quantized transform coefficient array shown in FIG. 5A when the vertical scan order is applied.
  • the encoding apparatus when the vertical scan order is applied, the encoding apparatus performs a C 0,0 ⁇ C 1,0 ⁇ ... Operation in the first column in the transform block of size nxm. ⁇ scan the quantized transform coefficients in the order of C m-1,0 , and in the next column C 0,1 ⁇ C 1,1 ⁇ the quantized transform coefficients can be scanned in the order of C m-1,1 You can scan vertically from column to column, and after vertical scanning in one column, you can scan vertically in the next column.
  • the decoding apparatus arranges the quantized transform coefficients read in order from the n x m length quantized transform coefficient array in a two-dimensional array in the n x m transform block according to the vertical scan order.
  • the decoding apparatus may be configured according to the vertical scan order.
  • ⁇ C 1, n-1 ⁇ C 0, n-1 arranged in order, and m quantized transform coefficients scanned after C 0, n-1 are ordered from bottom to bottom by swapping columns (left column) You can arrange as you like.
  • C m-1,0 ⁇ ... ⁇ C 2,0 ⁇ C 1,0 ⁇ C 0,0 can be scanned and rearranged to generate a two-dimensional array (eg, a transform block) of nxm quantized transform coefficients.
  • the decoding apparatus uses FIG. 5 according to the vertical scan order.
  • the m quantized transform coefficients scanned after C m ⁇ 1,0 are arranged in order from the top by swapping columns (to the right column).
  • Subsequent scan and reordering of the quantized transform coefficients causes C 0, n-1 ⁇ C 1, n-1 ⁇ C 2, n-1 ⁇ .
  • ⁇ can be scanned and rearranged up to C m-1, n-1 to produce a two-dimensional array (eg, transform block) of nxm quantized transform coefficients.
  • FIG. 5D illustrates an example of the one-dimensional array corresponding to the two-dimensional quantized transform coefficient array shown in FIG. 5A when the right-up diagonal scan order is applied.
  • the encoding apparatus selects the quantized transform coefficients of the first diagonal column according to the diagonal column order in the nxm-sized transform block. Scans upwards and sequentially scans the quantized transform coefficients of the next diagonal columns upwards. For example, referring to FIG. 5A, since only the C 0,0 quantized transform coefficient is included in the first diagonal column in the transform block, C 0,0 is scanned, and C 1,0 ⁇ C in the next diagonal column. The quantized transform coefficients may be scanned in the order of 0,1 and then the quantized transform coefficients may be scanned in the order of C 2,0 ⁇ C 1,1 ⁇ C 0,2 in the diagonal column. In turn, the quantized transform coefficients of the diagonal column are scanned and the last quantized transform coefficients C m-1, n-1 are scanned.
  • the encoding apparatus scans the quantized transform coefficients according to a right-up diagonal scan order to generate a one-dimensional quantized transform coefficient sequence as shown in FIG.
  • the one-dimensional quantized transformation coefficient column if the first scanned coefficient is placed in the forward direction according to the above-described upward diagonal scan order, as shown, (C m-1, n-1 ... C 0,2 C 1,1 C) 2,0 C 0,1 C 1,0 C 0,0 ).
  • the decoding apparatus arranges the quantized transform coefficients read in order from the n-by-m length quantized transform coefficient array in a two-dimensional array in the n-by-m sized transform block according to the right-up diagonal scan order.
  • the decoding apparatus may arrange the scanned quantized transform coefficients along a diagonal column of the two-dimensional array by a right-up diagonal scan order.
  • the scanned transform coefficients may be first placed in diagonal columns located at the top left of the two-dimensional array, and may be sequentially arranged in diagonal columns in the lower right direction. In each diagonal column, quantized transform coefficients may be arranged from the lower left side to the upper right side.
  • the decoding apparatus In the case of scanning from the rear to the front of the quantized transform coefficient column in FIG. 5 (d) (ie, in the direction of C m-1, n-1 ⁇ C 0,0 ), the decoding apparatus upwards the scanned quantized transform coefficients.
  • Diagonal scan order allows placement along diagonal columns of a two-dimensional array.
  • the scanned transform coefficients may be first placed in the diagonal column located at the bottom right of the two-dimensional array, and may be sequentially disposed in the diagonal columns in the upper left direction.
  • quantized transform coefficients may be arranged from the lower left side to the upper right side.
  • the scan of the transform coefficients as described above may be performed in units of sub-blocks in the two-dimensional quantized transform coefficient array (eg, transform block).
  • the encoding apparatus scans and rearranges the quantized transform coefficients in one subblock in order with respect to the subblocks in the transform coefficient array, and then sequentially scans and rearranges the quantized transform coefficients in the next subblock in one dimensional order.
  • the quantized transform coefficients may be scanned according to the above-described horizontal scan order, vertical scan order, and right-up diagonal scan order.
  • the decoding apparatus may scan and rearrange the one-dimensional transform coefficient array in sub-block units. For example, the decoding apparatus scans quantized transform coefficients for one sub-block (eg, the first sub-block) and rearranges the quantized transform coefficients at positions of the first sub-blocks in a two-dimensional array of total transform coefficients to two-dimensional. After generating the array, scan the quantized transform coefficients for the next subblock (e.g., the second subblock) and rearrange the quantized transform coefficients at positions of the second subblock in a two-dimensional array of total transform coefficients. In order to generate a two-dimensional array (eg, a transform block) of transform coefficients. In this case, the quantized transform coefficients may be rearranged in the sub-block according to the above-described horizontal scan order, vertical scan order, and right-up diagonal scan order.
  • the quantized transform coefficients may be rearranged in the sub-block according to the above-described horizontal scan order, vertical scan order, and right-up diagonal scan order.
  • the scan order of the subblocks and the scan order of the quantized transform coefficients within the subblocks may be the same or may be different. For example, if the subblocks are scanned or rearranged in a right-up diagonal scan order, the quantized transform coefficients in the subblock may also be scanned or rearranged in a right-up diagonal scan order. In addition, when the sub blocks are scanned or rearranged in a right-up diagonal scan order, the quantized transform coefficients in the sub block may be scanned or rearranged according to a horizontal scan order or a vertical scan order.
  • inter prediction or intra prediction when performing prediction on the current layer, inter prediction or intra prediction may be performed using only the information of the current layer, or inter layer prediction is performed using information of another layer. It can also be done.
  • FIG. 6 is a diagram for describing inter-layer prediction to which the present invention can be applied.
  • a current block 610 of an enhancement layer (current layer) in a scalable video coding structure supporting a plurality of layers when performing prediction on a current block 610 of an enhancement layer (current layer) in a scalable video coding structure supporting a plurality of layers, information of the same layer as that of the current block 610 may be obtained. Prediction (intra or inter prediction) may be performed, but prediction (inter layer prediction) may be performed using a picture that is already reconstructed in a lower layer than the current layer in order to increase prediction efficiency.
  • inter_layer_pred_enabled_flag information indicating whether inter-layer prediction may be used when decoding the current picture 600.
  • An inter_layer_pred_enabled_flag value of 1 indicates that interlayer prediction can be used when decoding the current picture 600
  • an inter_layer_pred_enabled_flag value of 0 can indicate that interlayer prediction is not used when decoding the current picture 600. have.
  • inter-layer prediction When inter-layer prediction is used in decoding the current block 610, information about a picture of another layer used for inter-layer prediction is needed. That is, information about a reference layer referenced in inter layer prediction, information about a reference picture referenced in the reference layer, and the like are required.
  • a reference picture referred to in inter layer prediction may be referred to as an inter layer reference picture.
  • the inter-layer reference picture may be a reference picture resampled according to the scalability of the current layer (enhancement layer).
  • the interlayer reference picture may be derived from a reference picture list composed of reference pictures used for inter prediction or inter layer prediction.
  • the reference picture list includes reference picture list 0 (hereinafter referred to as L0) used for inter prediction or inter layer prediction of a P slice or B slice, and reference picture list 1 used for inter prediction or inter layer prediction of a B slice. (Hereinafter referred to as L1).
  • L0 is used for inter prediction or inter-layer prediction for blocks of P slices or B slices for unidirectional prediction
  • L0 and L1 for inter prediction or inter layer prediction for blocks of B slices for bidirectional prediction. This can be used.
  • the reference picture list may include a reference picture used for inter prediction and a reference picture used for inter layer prediction, and may specify an inter layer reference picture by a reference picture index.
  • the reference picture list (L0, L1) consists of a short-term reference picture set (RefPicSetStCurrBefore) consisting of short-term reference pictures with a smaller POC than the Picture Order Count (POC) of the current picture, and a short-term reference picture with a larger POC than the POC of the current picture. It may be configured based on a picture set (RefPicSetStCurrAfter), a long term reference picture set (RefPicSetLtCurr), and an inter-layer reference picture set (RefPicSetInterLayer0, RefPicSetInterLayer1).
  • the POC represents a display order of pictures
  • the short-term reference picture may be a picture in which the POC difference is not large from the current picture
  • the long-term reference picture may be a picture in which the POC difference is large from the current picture.
  • L0 may be configured in order of RefPicSetStCurrBefore, RefPicSetInterLayer0, RefPicSetStCurrAfter, RefPicSetLtCurr, and RefPicSetInterLayer1.
  • L1 may be configured in order of RefPicSetStCurrAfter, RefPicSetInterLayer1, RefPicSetStCurrBefore, RefPicSetLtCurr, and RefPicSetInterLayer0.
  • RefPicSetInterLayer1 in L0 or L1 may be empty.
  • a reference picture list may be configured as described above.
  • the interlayer reference picture 620 may be derived from the reference picture list through a reference picture index indicating the interlayer reference picture signaled from the encoding apparatus.
  • the inter-layer reference picture 620 may be a reference picture resampled according to the scalability of the enhancement layer.
  • inter-layer sample prediction that predicts using sample information from the inter-layer reference picture 620
  • inter-layer motion prediction that predicts using motion information from the inter-layer reference picture 620.
  • Whether to perform inter-layer sample prediction or inter-layer motion prediction on the current block 610 of the current picture 600 may be determined according to a dependency type between the enhancement layer and the reference layer. This dependency type may be signaled from the encoding device.
  • the dependency type may be specified according to the direct_dependency_type value. If the direct_dependency_type value is 0, the reference layer may be used for inter-layer sample prediction of the enhancement layer but cannot be used for inter-layer motion prediction. If the direct_dependency_type value is 1, the reference layer may be used for inter-layer motion prediction of the enhancement layer but cannot be used for inter-layer sample prediction. If the direct_dependency_type value is 2, the reference layer may be used for inter-layer sample prediction and inter-layer motion prediction of the enhancement layer.
  • the present invention proposes a coefficient scanning method in scalable video coding using an inter-layer prediction mode. For example, if the intra prediction mode applied to the current block is the inter-layer prediction mode, the scan order for transform coefficients of the current block may be fixed to one specific scan order. It may be fixed in a diagonal upward scan order, or may be fixed in a vertical scan order or a horizontal scan order.
  • FIG. 7 is a flowchart schematically illustrating an image encoding method for supporting a plurality of layers according to the present invention. The method of FIG. 7 may be performed in the encoding apparatus of FIG. 1 described above.
  • the encoding apparatus may predict the encoding target block of the current layer (enhancement layer) to generate prediction samples (S700).
  • prediction may be performed based on the prediction mode of the encoding target block.
  • interlayer prediction may be performed based on an interlayer reference picture derived from a reference picture list as shown in FIG. 6.
  • the encoding apparatus may perform transform on the residual samples obtained based on the prediction samples of the encoding target block (S710). As a result of the transformation, a two-dimensional array of transform coefficients for the encoding target block may be generated.
  • the residual samples may be difference values between prediction samples generated by the prediction and original samples of the encoding target block.
  • the encoding apparatus scans the two-dimensional array of transform coefficients in the scanning order and rearranges the transform coefficients into the one-dimensional array (S720).
  • the scan order may be determined based on the prediction mode applied to the encoding target block.
  • the two-dimensional array of transform coefficients may be scanned and rearranged into a one-dimensional array in a right-up diagonal scan order.
  • reordering may be performed by specifying the vertical scan order or the horizontal scan order.
  • the two-dimensional array of transform coefficients may be scanned and rearranged into a one-dimensional array in a right-up diagonal scan order.
  • the scanning order may be determined according to the size of the encoding object block and whether the encoding object block is a block for luma samples.
  • a scan order may be determined according to an intra prediction mode value of an encoding target block.
  • the scanning order is determined by the vertical scan order.
  • the scanning order is determined by the horizontal scanning order. If the intra prediction mode value of the encoding target block is 0 or more and 5 or less, or 15 or more and 21 or less, or 31 or more and 34 or less, the scanning order may be determined in a right upward diagonal scan order.
  • the scanning order may be determined as a right upward diagonal scan order.
  • the encoding apparatus may entropy encode a one-dimensional array of transform coefficients (S730).
  • the encoding apparatus may generate a bitstream by entropy encoding information necessary for decoding together with the one-dimensional transform coefficients.
  • the bitstream may be transmitted to the decoding device.
  • FIG. 8 is a flowchart schematically illustrating an image decoding method supporting a plurality of layers according to the present invention. The method of FIG. 8 may be performed in the decoding apparatus of FIG. 2 described above.
  • the decoding apparatus may receive the bitstream and entropy decode (S800).
  • the bitstream may include information about a decoding target block of the current layer.
  • the decoding apparatus may obtain a one-dimensional array of transform coefficients for the decoding object block through entropy decoding.
  • the decoding apparatus scans the one-dimensional array of transform coefficients in a scanning order and rearranges the two-dimensional array of transform coefficients (S810).
  • the scan order may be derived based on the prediction mode applied to the decoding target block.
  • the scan order may be derived in a right-up diagonal scan order. Accordingly, the one-dimensional array of transform coefficients may be scanned in a right-up diagonal scan order and rearranged into a two-dimensional array of transform coefficients.
  • the scan order may be derived in a vertical scan order or a horizontal scan order.
  • the scan order may be derived in a right-up diagonal scan order.
  • the scanning order may be derived according to the size of the decoding object block and whether the decoding object block is a block for luma samples.
  • a scan order may be derived according to an intra prediction mode value of a decoding target block.
  • the scan order is derived in a vertical scan order. If the intra prediction mode value of the decoding object block is 22 or more and 30 or less, the scanning order is derived in a horizontal scan order. If the intra prediction mode value of the decoding object block is 0 or more and 5 or less, or 15 or more and 21 or less, or 31 or more and 34 or less, the scan order may be derived in a right upward diagonal scan order.
  • the scan order may be derived in a right-up diagonal scan order.
  • the decoding apparatus may dequantize the two-dimensional array of transform coefficients (S820).
  • the decoding apparatus may obtain a two-dimensional array of inverse quantized transform coefficients for the decoding object block through inverse quantization.
  • the decoding apparatus performs prediction on the decoding target block based on the prediction mode of the decoding target block (S830).
  • the decoding apparatus may generate prediction samples of the decoding object block by prediction, and obtain reconstruction samples for the decoding object block by using residual samples obtained through the transformation of the prediction samples and the dequantized transform coefficients. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치가 개시된다. 상기 영상 복호화 방법은 현재 레이어의 복호화 대상 블록에 대한 정보를 포함하는 비트스트림을 수신하는 단계, 상기 비트스트림을 엔트로피 디코딩하여 상기 복호화 대상 블록에 대한 변환 계수들의 1차원 배열을 획득하는 단계, 상기 변환 계수들의 1차원 배열을 스캔 순서(scan order)에 따라 스캔하여 상기 변환 계수들의 2차원 배열로 재정렬하는 단계, 상기 변환 계수들의 2차원 배열을 역양자화하여 상기 복호화 대상 블록에 대한 역양자화된 변환 계수들의 2차원 배열을 획득하는 단계 및 상기 복호화 대상 블록에 대한 예측 모드를 기반으로 상기 복호화 대상 블록을 예측하는 단계를 포함한다.

Description

복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
본 발명은 비디오 압축 기술에 관한 것으로, 더 구체적으로는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다. 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명은 스케일러블 비디오 인코딩/디코딩에서 압축 효율을 높이는 방법 및 장치를 제공한다.
본 발명은 스케일러블 비디오 인코딩/디코딩에서 변환 계수들의 스캔 방법 및 장치를 제공한다.
본 발명의 일 실시 형태에 따르면, 복수의 레이어를 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 현재 레이어의 복호화 대상 블록에 대한 정보를 포함하는 비트스트림을 수신하는 단계, 상기 비트스트림을 엔트로피 디코딩하여 상기 복호화 대상 블록에 대한 변환 계수들의 1차원 배열을 획득하는 단계, 상기 변환 계수들의 1차원 배열을 스캔 순서(scan order)에 따라 스캔하여 상기 변환 계수들의 2차원 배열로 재정렬하는 단계, 상기 변환 계수들의 2차원 배열을 역양자화하여 상기 복호화 대상 블록에 대한 역양자화된 변환 계수들의 2차원 배열을 획득하는 단계 및 상기 복호화 대상 블록에 대한 예측 모드를 기반으로 상기 복호화 대상 블록을 예측하는 단계를 포함한다.
상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는, 상기 복호화 대상 블록에 적용된 예측 모드를 기반으로 상기 스캔 순서를 유도할 수 있다.
본 발명의 다른 실시 형태에 따르면, 복수의 레이어를 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 레이어의 부호화 대상 블록에 대한 예측 모드를 기반으로 예측을 수행하여 예측 샘플을 획득하는 단계, 상기 예측 샘플을 기반으로 획득된 레지듀얼 샘플에 변환을 수행하여 상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계, 상기 변환 계수들의 2차원 배열을 스캔 순서(scan order)에 따라 스캔하여 상기 변환 계수들의 1차원 배열로 재정렬하는 단계 및 상기 변환 계수들의 1차원 배열을 엔트로피 인코딩하는 단계를 포함한다.
상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는, 상기 부호화 대상 블록에 적용된 예측 모드를 기반으로 상기 스캔 순서를 결정할 수 있다.
본 발명에 의하면, 스케일러블 비디오 인코딩/디코딩에서 효과적으로 변환 계수를 스캔하여 재정렬함으로써 변환 및/또는 엔트로피 코딩의 효율을 높일 수 있다.
본 발명에 의하면, 스케일러블 비디오 인코딩/디코딩에서 영상의 예측 방법에 따라서 스캔 순서를 결정할 수 있으며, 이를 통해 효율적으로 인코딩/디코딩을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명이 적용될 수 있는 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다.
도 4는 인트라 예측 모드의 일 예를 도시한 도면이다.
도 5는 스캔 순서에 따른 스캔 방법을 개략적으로 설명하기 위한 도면이다.
도 6은 본 발명이 적용될 수 있는 인터 레이어 예측을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 복수의 레이어를 지원하는 영상 부호화 방법을 개략적으로 나타내는 순서도이다.
도 8은 본 발명에 따른 복수의 레이어를 지원하는 영상 복호화 방법을 개략적으로 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 및 MUX(Multiplexer, 165)를 포함한다.
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predictor) 모드 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(110, 140)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 두 개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
또한, 예측부(110)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.
인터 레이어 예측의 일 예로서, 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.
인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 다른 예인 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 예측부(110)는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.
또한, 예측부(110)는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.
또한, 예측부(110)는 인터 레이어 예측으로, 다른 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성하는 인터 레이어 신택스 예측을 이용할 수도 있다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
이 때, 참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다.
예를 들면, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이런 경우 인터 레이어 신택스 예측을 적용하면, 참조 레이어의 신택스 정보 중 참조 블록의 인트라 예측 모드를 이용하여 현재 블록에 대한 텍스처를 생성/ 예측하는 인터 레이어 예측을 수행할 수 있다.
상술된 인터 레이어를 이용한 여러 예측 방법은 특정 블록에 대한 예측 시 복수개가 이용될 수도 있다. 예를 들어 현재 블록을 예측하기 위하여 레이어 0의 예측 정보를 이용하면서, 대응되는 레이어 0 또는 대응 블록의 유닛 정보 또는 필터링 파라미터 정보 등을 추가적으로 이용할 수 있다. 이러한 인터 레이어 예측 방법의 결합은 본 명세서 이하에서 설명될 예측에도 적용될 수 있다.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화 할 수 있다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다.
한편, 변환/양자화부(115, 145)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 155)는 필터링부(120, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.
또한, 도 1의 예에서는 스케일러빌러티를 지원하는 비디오 인코딩 장치(100)가 레이어별로 인코딩을 수행하기 위해 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함하는 것으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 스케일러빌러티를 지원하는 비디오 인코딩 장치는 각 레이어에 대한 인코딩부를 포함하지 않고, 레이어 1에 대한 인코딩부(105)(혹은 레이어 0에 대한 인코딩부(135))에 포함된 모듈들로만 구성되어 스케일러빌러티를 지원하기 위한 복수의 레이어에 대한 인코딩을 수행할 수도 있다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리(245)를 포함할 수 있다.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 예측부(275), 필터링부(280), 메모리(285)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(225, 265)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(230, 270)에 전달할 수도 있다.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(230, 270)는 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)는 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(230, 270)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(230, 270)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환부(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(235)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
상술된 인터 레이어를 이용한 여러 예측 방법은 특정 블록에 대한 예측 시 복수개가 이용될 수도 있다. 예를 들어 현재 블록을 예측하기 위하여 레이어 0의 예측 정보를 이용하면서, 대응되는 레이어 0 또는 대응 블록의 유닛 정보 또는 필터링 파라미터 정보 등을 추가적으로 이용할 수 있다. 이러한 인터 레이어 예측 방법의 결합은 본 명세서 이하에서 설명될 예측에도 적용될 수 있다.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.
필터링부(240, 280)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(240, 280)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 2의 예을 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 1의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장치에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
또한, 도 2의 예에서는 스케일러빌러티를 지원하는 비디오 디코딩 장치(200)가 레이어별로 디코딩을 수행하기 위해 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함하는 것으로 도시하였으나, 본 발명이 이에 한정되는 것은 아니다. 스케일러빌러티를 지원하는 비디오 디코딩 장치는 각 레이어에 대한 디코딩부를 포함하지 않고, 레이어 1의 디코딩부(210)(혹은 레이어 0의 디코딩부(250))에 포함된 모듈들로만 구성되어 스케일러빌러티를 지원하기 위한 복수의 레이어에 대한 디코딩을 수행할 수도 있다.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.
도 3은 본 발명이 적용될 수 있는 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 레이어(혹은 계층, layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 레이어 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality) 관점에서 다양한 스케일러빌러티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 베이스 레이어(혹은 기본 계층, base layer)을 포함할 수 있고, 베이스 레이어의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 인핸스먼트 레이어(혹은 향상 계층, enhancement layer)을 포함할 수 있다.
여기서, 레이어(layer)는 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.
본 명세서에서, 베이스 레이어(base layer)는 기본 계층이라 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 또한, 인핸스먼트 레이어(enhancement layer)는 향상 계층 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 특정 계층이 부호화 혹은 복호화 시에 참조하는 계층은 참조 계층이라 지칭할 수 있다.
도 3을 참조하면, 예를 들어 베이스 레이어는 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 인핸스먼트 레이어는 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 인핸스먼트 레이어는 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.
상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 인핸스먼트 레이어 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.
스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.
한편, 상술한 바와 같이, 인코딩 장치는 쿼드 트리 구조(quad tree structure)를 가지는 변환 블록 단위로 변환을 수행한다. 변환 대상 블록에 적용된 예측 모드와 변환 블록의 크기를 기반으로 어떤 변환이 적용될 것인지가 결정될 수 있다. 예컨대, 현재 블록(변환 블록)에 적용된 예측 모드가 인트라 예측 모드인지 인터 예측 모드인지 그리고 현재 블록(변환 블록)의 크기가 얼마인지에 따라서 적용하는 변환 방식을 달리할 수 있다.
인코딩 장치는 2차원의 양자화된 정보(예컨대, 2 차원의 양자화된 변환 계수 배열)를 스캐닝하여 1차원의 양자화된 변환 계수 배열로 재정렬할 수 있다. 인코딩 장치는 1차원의 양자화된 변환 계수 배열을 엔트로피 인코딩하여 디코딩 장치로 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 엔트로피 디코딩하여 1차원의 양자화된 변환 계수 배열을 생성할 수 있다. 디코딩 장치는 1차원의 양자화된 변환 계수 배열을 스캐닝하여 2차원의 양자화된 변환 계수 배열로 재정렬할 수 있다. 디코딩 장치는 2차원의 양자화된 변환 계수 배열을 역양자화하여 변환 계수 블록을 생성할 수 있다.
다시 말해, 인코딩 장치에서 수행되는 재정렬은, 스캐닝 처리 대상 블록(예를 들어 변환 블록)의 샘플(픽셀) 위치에 대응하여 배열된 2차원의 양자화된 변환 계수들을 스캔 순서(scan order)에 따라 스캐닝하여 1차원 배열의 양자화된 변환 계수들로 구성할 수 있다.
디코딩 장치에서 수행되는 재정렬은, 1차원 배열의 양자화된 변환 계수들을 스캔 순서에 따라 스캐닝하여 스캐닝 처리 대상 블록(예를 들어 변환 블록)의 샘플(픽셀) 위치에 대응하는 2차원 배열의 양자화된 변환 계수들로 구성할 수 있다.
스캐닝은 변환 블록의 크기, 스캔 순서 및 스캔 시작 위치 중 적어도 하나에 의해 결정될 수 있다.
예컨대, 동일한 변환이 수행되는 샘플들의 블록인 변환 블록에 대해서,
(1) 변환 블록에 적용된 예측 모드가 인트라 예측 모드이고 변환 블록의 크기가 4x4인 경우, 또는 (2) 변환 블록에 적용된 예측 모드가 인트라 예측 모드이고 변환 블록의 크기가 8x8이며 변환 블록이 루마 샘플들에 대한 변환 블록인 경우,
인트라 예측 모드가 6 이상 14 이하이면 스캔 순서는 수직 스캔 순서(vertical scan order)이고, 인트라 예측 모드가 22 이상 30 이하이면 스캔 순서는 수평 스캔 순서(horizonatal scan order)일 수 있다. 인트라 예측 모드가 0 이상 5 이하, 혹은 15 이상 21 이하, 혹은 31 이상 34 이하이면 스캔 순서는 우상향 대각 스캔 순서(up-right diagonal scan order)일 수 있다.
또한, 상기 경우들이 아니고 변환 블록에 적용된 예측 모드가 인터 예측 모드인 경우, 스캔 순서는 우상향 대각 스캔 순서일 수 있다. 또한, 변환 블록에 적용된 예측 모드가 인트라 예측 모드이며 변환 블록의 크기가 8x8 보다 큰 경우(예컨대 변환 블록의 크기가 16x16, 32x32인 경우), 스캔 순서는 우상향 대각 스캔 순서일 수 있다.
도 4는 인트라 예측 모드의 일 예를 도시한 도면이다. 각 인트라 예측 모드에는 서로 다른 모드 번호가 할당될 수 있다.
도 4에 도시된 바와 같이, 6 이상 14 이하의 인트라 예측 모드는 수평 방향의 예측 모드이며, 22 이상 30 이하의 인트라 예측 모드는 수직 방향의 예측 모드이다. 6 이상 14 이하 혹은 22 이상 30 이하의 인트라 예측 모드가 아닌 경우는 비방향성의 예측 모드, 혹은 수평 방향이 아닌 예측 모드, 혹은 수직 방향이 아닌 예측 모드이다.
따라서, 앞서의 예에서는 (1) 변환 블록에 적용된 예측 모드가 인트라 예측 모드인 경우에 (i) 변환 블록의 크기가 4x4 이거나 (ii) 변환 블록의 크기가 8x8이며 변환 블록이 루마 샘플에 대한 것일 때, 인트라 예측 모드가 수평 방향의 예측 모드이면 수직 스캔 순서가 적용되고, 인트라 예측 모드가 수직 방향의 예측 모드이면 수평 방향의 스캔 순서가 적용된다. (2) 그 외의 경우, 즉 인트라 예측 모드가 비방향성, 혹은 수평 방향이 아닌 예측 모드, 혹은 수직 방향이 아닌 예측 모드이면 우상향 대각 스캔 순서가 적용된다.
수직 스캔 순서가 적용되면, 인코딩 장치에서는 변환 블록 내 양자화된 변환 계수를 수직 방향으로 스캔한다.
다시 말하면, 수직 스캔 순서의 경우에 인코딩 장치는 스캔 대상 블록(예컨대 변환 블록)의 최상측 행에 위치하는 양자화된 변환 계수부터 동일한 열을 따라 아래로 양자화된 변환 계수들을 스캔할 수 있다. 이때, 스캔은 스캔 대상 블록의 가장 좌측 열부터 시작해서 순서대로 우측 열들에 대하여 진행될 수 있다. 또는, 스캔은 스캔 대상 블록의 가장 우측 열부터 시작해서 순서대로 좌측 열들에 대하여 진행될 수도 있다.
2 차원 배열의 스캔 대상 블록(예컨대 변환 블록)에서 스캔된 양자화된 변환 계수들은 스캔된 순서에 따라서 1차원의 양자화된 변환 계수 배열로 재정렬될 수 있다.
수직 스캔 순서가 적용되면, 디코딩 장치에서는 양자화된 변환 계수를 스캔하여 변환 블록 내에서 수직 방향으로 재정렬할 수 있다.
다시 말하면, 디코딩 장치는 1차원의 변환 계수를 순서대로 스캔하여 2차원 배열로 수직 스캔 순서에 따라서 재배치할 수 있다. 이를 통해 양자화된 변환 계수들로 구성된 변환 블록이 생성될 수 있다.
수직 스캔 순서에 따라서, 2차원 배열(변환 블록)의 최상측 행에서부터 동일한 열을 따라서 아래로 양자화된 변환 계수가 배치될 수 있다. 재배치는 인코딩 장치에서 수행된 순서에 따라서 2차원 배열의 가장 좌측 열부터 시작하여 순서대로 우측 열들에 대하여 진행될 수도 있고, 가장 우측 열부터 시작하여 순서대로 좌측 열들에 대하여 진행될 수도 있다.
수평 스캔 순서가 적용되면, 인코딩 장치에서는 변환 블록 내 양자화된 변환 계수를 수평 방향으로 스캔한다.
다시 말하면, 수평 스캔 순서의 경우에 인코딩 장치는 스캔 대상 블록(예컨대 변환 블록)의 가장 좌측 열에 위치하는 양자화된 변환 계수부터 동일한 행을 따라 우측으로 양자화된 변환 계수들을 스캔할 수 있다. 이때, 스캔은 스캔 대상 블록의 가장 상측 행부터 시작해서 순서대로 하측 행들에 대하여 진행될 수 있다. 또는, 스캔은 스캔 대상 블록의 가장 하측 행부터 시작해서 순서대로 상측 행들에 대하여 진행될 수도 있다.
2 차원 배열의 스캔 대상 블록(예컨대 변환 블록)에서 스캔된 양자화된 변환 계수들은 스캔된 순서에 따라서 1차원의 양자화된 변환 계수 배열로 재정렬될 수 있다.
수평 스캔 순서가 적용되면, 디코딩 장치에서는 양자화된 변환 계수를 스캔하여 변환 블록 내에서 수평 방향으로 재정렬할 수 있다.
다시 말하면, 디코딩 장치는 1차원의 변환 계수를 순서대로 스캔하여 2차원 배열로 수평 스캔 순서에 따라서 재배치할 수 있다. 이를 통해 양자화된 변환 계수들로 구성된 변환 블록이 생성될 수 있다.
수평 스캔 순서에 따라서, 2차원 배열(변환 블록)의 가장 좌측 열에서부터 동일한 행을 따라서 우측으로 양자화된 변환 계수가 배치될 수 있다. 재배치는 인코딩 장치에서 수행된 순서에 따라서 2차원 배열의 가장 상측 행부터 시작하여 순서대로 하측 행들에 대하여 진행될 수도 있고, 가장 하측 행부터 시작하여 순서대로 상측 행들에 대하여 진행될 수도 있다.
우상향 대각 스캔 순서가 적용되면, 인코딩 장치에서는 변환 블록 내 양자화된 변환 계수를 우상향 대각 방향으로 스캔할 수 있다.
다시 말하면, 우상향 대각 스캔 순서의 경우에 인코딩 장치는 스캔 대상 블록(예컨대 변환 블록) 내 양자화된 변환 계수들의 대각 배열에 대하여 가장 좌하측의 양자화된 변환 계수부터 시작하여 가장 우상측의 양자화된 변환 계수까지 스캔할 수 있다. 대각 배열의 스캔은 스캔 대상 블록 내 좌상측 대각 배열에서 시작하여 순서대로 우하측으로 진행될 수도 있고, 스캔 대상 블록 내 우하측 대각 배열에서 시작하여 순서대로 좌상측으로 진행될 수도 있다.
2 차원 배열의 스캔 대상 블록(예컨대 변환 블록)에서 스캔된 양자화된 변환 계수들은 스캔된 순서에 따라서 1차원의 양자화된 변환 계수 배열로 재정렬될 수 있다.
우상향 대각 스캔 순서가 적용되면, 디코딩 장치에서는 양자화된 변환 계수를 스캔하여 변환 블록 내에서 우상향 대각 방향으로 재정렬할 수 있다.
다시 말하면, 디코딩 장치는 1차원의 변환 계수를 순서대로 스캔하여 2차원 배열로 우상향 대각 스캔 순서에 따라서 재배치할 수 있다. 이를 통해 양자화된 변환 계수들로 구성된 변환 블록이 생성될 수 있다.
우상향 대각 스캔 순서에 따라서, 2차원 배열(변환 블록)의 대각 배열에서 좌하측으로부터 동일한 대각 배열을 따라서 우상측으로 양자화된 변환 계수가 재배치될 수 있다. 재배치는 인코딩 장치에서 수행된 순서에 따라서 2차원 배열의 좌상측 대각 배열부터 시작해서 순서대로 우하측 대각 배열들에 대하여 진행될 수도 있고, 우하측 대각 배열부터 시작해서 순서대로 좌상측 대각 배열들에 대하여 진행될 수도 있다.
도 5는 스캔 순서에 따른 스캔 방법을 개략적으로 설명하기 위한 도면이다.
도 5의 (a)는 n x m (n, m은 정수) 크기의 변환 블록 내에 배치된 양자화된 변환 계수들의 2 차원 배열을 개략적으로 나타낸 것이다.
도 5의 (a)를 참조하면, 각 샘플(픽셀) 위치에 대응하여 양자화된 변환 계수 C가 배열되어 있다. 예컨대, 변환 블록 내 a 번째 행 및 b 번째 열의 위치에 변환 계수 Ca,b가 배열되어 있다.
도 5의 (b)는 수평 스캔 순서가 적용된 경우에, 도 5의 (a)에 도시된 2 차원의 양자화된 변환 계수 배열에 대응하는 1차원 배열의 예를 나타낸 것이다.
도 5의 (a) 및 도 5의 (b)를 참조하면, 수평 스캔 순서가 적용되는 경우에, 인코딩 장치는 n x m 크기의 변환 블록 내 첫 번째 행에서 C0,0 → C0,1 → … → C0,n-1의 순서로 양자화된 변환 계수를 스캔하고, 다음 행에서 C1,0 → C1,1 → … → C1,n-1의 순서로 양자화된 변환 계수를 스캔할 수 있다. 행마다 평행으로 스캔을 진행하고, 하나의 행에서 수평 스캔이 끝나면 다음 행에서 수평 스캔을 진행할 수 있다.
수평 스캔 순서가 적용되는 경우에, 디코딩 장치는 n x m 길이의 양자화된 변환 계수 배열에서 순서대로 읽어낸 양자화된 변환 계수를 수평 스캔 순서에 따라서 n x m 크기의 변환 블록 내 2 차원 배열에 배치할 수 있다.
예컨대, 도 5의 (b)에서 양자화된 변환 계수 열의 끝에서 앞쪽으로(즉, Cm-1,n-1 → C0,0 방향으로) 스캔하는 경우에 디코딩 장치는 수평 스캔 순서에 따라서 도 5의 (a)의 2차원 배열과 같이 Cm-1,n-1 → Cm-1,n-2 → … → Cm-1,1 → Cm-1,0의 위치에 순서대로 배열하고, Cm-1,0 다음에 스캔되는 n 개의 양자화된 변환 계수들은 행을 바꿔(위쪽 행으로 바꿔) 우측부터 순서대로 배열할 수 있다. 계속되는 양자화된 변환 계수의 스캔 및 재정렬에 의해 C0,n-1 → … → C0,2 → C0,1 → C0,0까지 스캔 및 재정렬 되어 n x m 크기의 양자화된 변환 계수들의 2차원 배열(예컨대, 변환 블록)이 생성될 수 있다.
도 5의 (b)에서 양자화된 변환 계수 열의 앞에서 끝쪽으로(즉, C0,0 → Cm-1,n-1 방향으로) 스캔하는 경우에 디코딩 장치는 수평 스캔 순서에 따라서 도 5의 (a)의 2차원 배열과 같이 C0,0 → C0,1 → … → C0,n-1의 위치에 순서대로 배열하고, C0,n-1 다음에 스캔되는 n 개의 양자화된 변환 계수들은 행을 바꿔(아래쪽 행으로 바꿔) 좌측부터 순서대로 배열할 수 있다. 계속되는 양자화된 변환 계수의 스캔 및 재정렬에 의해 Cm-1,0 → Cm-1,1 → Cm-1,2 → … → Cm-1,n-1까지 스캔 및 재정렬 되어 n x m 크기의 양자화된 변환 계수들의 2차원 배열(예컨대, 변환 블록)이 생성될 수 있다.
도 5의 (c)는 수직 스캔 순서가 적용된 경우에, 도 5의 (a)에 도시된 2 차원의 양자화된 변환 계수 배열에 대응하는 1차원 배열의 예를 나타낸 것이다.
도 5의 (a) 및 도 5의 (c)를 참조하면, 수직 스캔 순서가 적용되는 경우에, 인코딩 장치는 n x m 크기의 변환 블록 내 첫 번째 열에서 C0,0 → C1,0 → … → Cm-1,0의 순서로 양자화된 변환 계수를 스캔하고, 다음 열에서 C0,1 → C1,1 → … → Cm-1,1의 순서로 양자화된 변환 계수를 스캔할 수 있다. 열마다 수직으로 스캔을 진행하고, 하나의 열에서 수직 스캔이 끝나면 다음 열에서 수직 스캔을 진행할 수 있다.
수직 스캔 순서가 적용되는 경우에, 디코딩 장치는 n x m 길이의 양자화된 변환 계수 배열에서 순서대로 읽어낸 양자화된 변환 계수를 수직 스캔 순서에 따라서 n x m 크기의 변환 블록 내 2 차원 배열에 배열한다.
예컨대, 도 5의 (c)에서 양자화된 변환 계수 열의 끝에서 앞쪽으로(즉, Cm-1,n-1 → C0,0 방향으로) 스캔하는 경우에 디코딩 장치는 수직 스캔 순서에 따라서 도 5의 (a)의 2차원 배열과 같이 Cm-1,n-1 → Cm-2,n-1 → … → C1,n-1 → C0,n-1의 위치에 순서대로 배열하고, C0,n-1 다음에 스캔되는 m 개의 양자화된 변환 계수들은 열을 바꿔(좌측 열로 바꿔) 아래로부터 순서대로 배열할 수 있다. 계속되는 양자화된 변환 계수의 스캔 및 재정렬에 의해 Cm-1,0 → … → C2,0 → C1,0 → C0,0까지 스캔 및 재정렬 되어 n x m 크기의 양자화된 변환 계수들의 2차원 배열(예컨대, 변환 블록)이 생성될 수 있다.
도 5의 (c)에서 양자화된 변환 계수 열의 앞에서 끝쪽으로(즉, C0,0 → Cm-1,n-1 방향으로) 스캔하는 경우에 디코딩 장치는 수직 스캔 순서에 따라서 도 5의 (a)의 2차원 배열과 같이 C0,0 → C1,0 → C2,0 → … → Cm-1,0의 위치에 순서대로 배열하고, Cm-1,0 다음에 스캔되는 m 개의 양자화된 변환 계수들은 열을 바꿔(우측 열로 바꿔) 위로부터 순서대로 배열할 수 있다. 계속되는 양자화된 변환 계수의 스캔 및 재정렬에 의해 C0,n-1 → C1,n-1 → C2,n-1 → … → Cm-1,n-1까지 스캔 및 재정렬 되어 n x m 크기의 양자화된 변환 계수들의 2차원 배열(예컨대, 변환 블록)이 생성될 수 있다.
도 5의 (d)는 우상향 대각 스캔 순서가 적용된 경우에, 도 5의 (a)에 도시된 2 차원의 양자화된 변환 계수 배열에 대응하는 1차원 배열의 예를 나타낸 것이다.
도 5의 (a) 및 도 5의 (d)를 참조하면, 우상향 대각 스캔 순서가 적용되는 경우에, 인코딩 장치는 n x m 크기의 변환 블록 내 대각 열 순서에 따라서 첫 번째 대각 열의 양자화된 변환 계수들을 우상향으로 스캔하고, 순서대로 다음 대각 열들의 양자화된 변환 계수들을 우상향으로 스캔한다. 예컨대, 도 5의 (a)를 참조하면, 변환 블록 내 첫 번째 대각 열에는 양자화된 변환 계수가 C0,0 밖에 없으므로, C0,0을 스캔하고, 다음 대각 열에서 C1,0 → C0,1의 순서로 양자화된 변환 계수를 스캔하며, 이어서 그 다음 대각 열에서 C2,0 → C1,1 → C0,2의 순서로 양자화된 변환 계수를 스캔할 수 있다. 차례대로 대각 열의 양자화된 변환 계수가 스캔되어 마지막 양자화된 변환 계수 Cm-1,n-1이 스캔된다.
인코딩 장치는 우상향 대각 스캔 순서에 따라서 양자화된 변환 계수의 스캔을 수행하여 도 5의 (d)와 같은 1차원의 양자화된 변환 계수 열을 생성한다. 1차원의 양자화된 변환 계수 열은 상술한 우상향 대각 스캔 순서에 따라서 먼저 스캔된 계수를 앞쪽에 위치 시키면, 도시된 바와 같이 (Cm-1,n-1 … C0,2 C1,1 C2,0 C0,1 C1,0 C0,0)의 순서를 가진다.
우상향 대각 스캔 순서가 적용되는 경우에, 디코딩 장치는 n x m 길이의 양자화된 변환 계수 배열에서 순서대로 읽어낸 양자화된 변환 계수를 우상향 대각 스캔 순서에 따라서 n x m 크기의 변환 블록 내 2 차원 배열에 배열한다.
예컨대, 도 5의 (d)과 같은 양자화된 변환 계수의 일차원 배열을 양자화된 변환 계수 열의 앞쪽부터 끝쪽으로(즉, C0,0 → Cm-1,n-1 방향으로) 스캔하는 경우에 디코딩 장치는 스캔한 양자화된 변환 계수들을 우상향 대각 스캔 순서에 의해 2차원 배열의 대각 열을 따라 배치할 수 있다. 스캔된 변환 계수들은 2차원 배열의 가장 좌상측에 위치하는 대각 열에 먼저 배치될 수 있으며, 우하측 방향의 대각 열들에 차례대로 배치될 수 있다. 각 대각 열에서는 좌하측부터 우상측으로 양자화된 변환 계수들이 배치될 수 있다.
즉, 도 5의 (a)의 2차원 배열을 참조하면, C0,0 → C1,0 → C0,1 → C2,0 → C1,1 → C0,2 → … → Cm-1,n-2 → Cm-2,n-1 → Cm-1,n-1의 순서대로 배열될 수 있다.
도 5의 (d)에서 양자화된 변환 계수 열의 뒤쪽부터 앞쪽으로(즉, Cm-1,n-1 → C0,0 방향으로) 스캔하는 경우에 디코딩 장치는 스캔한 양자화된 변환 계수들을 우상향 대각 스캔 순서에 의해 2차원 배열의 대각 열을 따라 배치할 수 있다. 스캔된 변환 계수들은 2차원 배열의 가장 우하측에 위치하는 대각 열에 먼저 배치될 수 있으며, 좌상측 방향의 대각 열들에 차례대로 배치될 수 있다. 각 대각 열에서는 좌하측부터 우상측으로 양자화된 변환 계수들이 배치될 수 있다.
즉, 도 5의 (a)의 2차원 배열을 참조하면, Cm-1,n-1 → Cm-1,n-2 → Cm-2,n-1 → … → C2,0 → C1, 1 → C0,2 → C1,0 → C0,1 → C0,0의 순서대로 배열될 수 있다.
도 5의 예에서, m=n인 경우는 정방향의 블록(예컨대, 변환 블록) 단위로 변환이 수행되는 경우를 나타내며, n≠m인 경우는 비정방형의 블록(예컨대, 변환 블록) 단위로 변환이 수행되는 경우를 의미한다.
상술한 바와 같은 변환 계수의 스캔은 2 차원의 양자화된 변환 계수 배열(예컨대, 변환 블록) 내 서브 블록 단위로 수행될 수도 있다.
예컨대, 인코딩 장치는 변환 계수 배열 내의 서브 블록들에 대하여 한 서브 블록 내 양자화된 변환 계수들을 순서대로 스캔하여 재정렬한 후 다음 서브 블록 내 양자화된 변환 계수들을 순서대로 스캔하여 재정렬함으로써 1차원의 양자화된 변환 계수 배열을 생성할 수 있다. 서브 블록 내에서는 상술한 수평 스캔 순서, 수직 스캔 순서, 우상향 대각 스캔 순서에 따라서 양자화된 변환 계수들을 스캔할 수 있다.
디코딩 장치는 1차원의 변환 계수 배열을 서브 블록 단위로 스캔 및 재정렬할 수 있다. 예컨대, 디코딩 장치는 한 서브 블록(예컨대, 제1 서브 블록)에 대하여 양자화된 변환 계수들을 스캔하고 전체 변환 계수의 2 차원 배열에서 상기 제1 서브 블록의 위치에 양자화된 변환 계수들을 재정렬하여 2차원 배열을 생성한 후, 다음 서브 블록(예컨대, 제2 서브 블록)에 대하여 양자화된 변환 계수들을 스캔하고 전체 변환 계수의 2차원 배열에서 상기 제2 서브 블록의 위치에 양자화된 변환 계수들을 재정렬하는 방식으로 변환 계수들의 2차원 배열(예컨대 변환 블록)를 생성할 수 있다. 이때, 서브 블록 내에서는 상술한 수평 스캔 순서, 수직 스캔 순서, 우상향 대각 스캔 순서에 따라서 양자화된 변환 계수들을 재정렬할 수 있다.
서브 블록들의 스캔 순서와 서브 블록 내 양자화된 변환 계수의 스캔 순서는 동일할 수도 있고 상이할 수도 있다. 예컨대, 서브 블록들이 우상향 대각 스캔 순서로 스캔 또는 재정렬되는 경우에, 서브 블록 내 양자화된 변환 계수들도 우상향 대각 스캔 순서로 스캔 또는 재정렬될 수 있다. 또한, 서브 블록들이 우상향 대각 스캔 순서로 스캔 또는 재정렬되는 경우에, 서브 블록 내 양자화된 변환 계수들은 수평 스캔 순서 또는 수직 스캔 순서에 따라서 스캔되거나 재정렬될 수도 있다.
한편, 상술한 바와 같이 스케일러블 비디오 코딩에서는 현재 레이어에 대한 예측을 수행할 때, 현재 레이어의 정보만을 이용하여 인터 예측 혹은 인트라 예측을 수행할 수도 있고, 다른 레이어의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
도 6은 본 발명이 적용될 수 있는 인터 레이어 예측을 설명하기 위한 도면이다.
도 6을 참조하면, 복수 개의 레이어를 지원하는 스케일러블 비디오 코딩 구조에서 인핸스먼트 레이어(현재 레이어)의 현재 블록(610)에 대한 예측을 수행할 경우, 현재 블록(610)과 동일한 레이어의 정보를 이용하여 예측(인트라 혹은 인터 예측)을 수행할 수도 있으나 예측 효율을 높이기 위해 현재 레이어 보다 하위 레이어에서 이미 복원된 픽처를 이용하여 예측(인터 레이어 예측)을 수행할 수도 있다.
현재 블록(610)의 디코딩 시 인터 레이어 예측을 사용할지 여부는 인코딩 장치로부터 시그널링될 수 있다. 예컨대, 현재 픽처(600)의 디코딩 시 인터 레이어 예측을 사용할 수 있는지 여부를 지시하는 inter_layer_pred_enabled_flag 정보를 통해 알 수 있다. inter_layer_pred_enabled_flag 값이 1이면 현재 픽처(600)의 디코딩 시에 인터 레이어 예측이 사용될 수 있다는 것을 지시하며, inter_layer_pred_enabled_flag 값이 0이면 현재 픽처(600)의 디코딩 시에 인터 레이어 예측이 사용되지 않는다는 것을 지시할 수 있다.
현재 블록(610)의 디코딩 시 인터 레이어 예측이 사용되는 경우, 인터 레이어 예측을 위해 사용되는 다른 레이어의 픽처에 대한 정보가 필요하다. 즉, 인터 레이어 예측 시 참조되는 참조 레이어에 대한 정보, 참조 레이어 내 참조되는 참조 픽처에 대한 정보 등이 필요하다. 인터 레이어 예측 시 참조되는 참조 픽처는 인터 레이어 참조 픽처라고 지칭할 수도 있다. 이때, 인터 레이어 참조 픽처는 현재 레이어(인핸스먼트 레이어)의 스케일러빌러티에 맞추어 리샘플된(resampled) 참조 픽처일 수 있다.
인터 레이어 참조 픽처는 인터 예측 혹은 인터 레이어 예측을 위해 사용되는 참조 픽처들로 구성된 참조 픽처 리스트로부터 유도될 수 있다.
참조 픽처 리스트는 P 슬라이스 또는 B 슬라이스의 인터 예측 혹은 인터 레이어 예측을 위해 사용되는 참조 픽처 리스트 0(이하, L0라 함)과, B 슬라이스의 인터 예측 혹은 인터 레이어 예측을 위해 사용되는 참조 픽처 리스트 1(이하, L1라 함)를 포함할 수 있다. 다시 말해, 단방향 예측을 수행하는 P 슬라이스 혹은 B 슬라이스의 블록에 대한 인터 예측 혹은 인터 레이어 예측에는 L0가 이용되며, 양방향 예측을 수행하는 B 슬라이스의 블록에 대한 인터 예측 혹은 인터 레이어 예측에는 L0 및 L1이 이용될 수 있다.
P 슬라이스 또는 B 슬라이스에 대한 디코딩 시 인터 레이어 예측을 수행할 경우, 참조 픽처 리스트를 구성한다. 참조 픽처 리스트는 인터 예측에 사용되는 참조 픽처와 인터 레이어 예측에 사용되는 참조 픽처를 포함할 수 있으며, 참조 픽처 인덱스에 의하여 인터 레이어 참조 픽처를 특정할 수 있다.
참조 픽처 리스트(L0, L1)는 현재 픽처의 POC(Picture Order Count) 보다 POC가 작은 단기 참조 픽처로 구성된 단기 참조 픽처 세트(RefPicSetStCurrBefore), 현재 픽처의 POC 보다 POC가 큰 단기 참조 픽처로 구성된 단기 참조 픽처 세트(RefPicSetStCurrAfter), 장기 참조 픽처 세트(RefPicSetLtCurr) 및 인터 레이어 참조 픽처 세트(RefPicSetInterLayer0, RefPicSetInterLayer1)를 기반으로 구성될 수 있다.
POC는 픽처의 표시 순서를 나타내며, 단기 참조 픽처는 현재 픽처와 POC 차이가 크지 않은 픽처일 수 있고, 장기 참조 픽처는 현재 픽처와 POC 차이가 큰 픽처일 수 있다.
예를 들어, L0는 RefPicSetStCurrBefore, RefPicSetInterLayer0, RefPicSetStCurrAfter, RefPicSetLtCurr, RefPicSetInterLayer1 순으로 구성될 수 있다. L1은 RefPicSetStCurrAfter, RefPicSetInterLayer1, RefPicSetStCurrBefore, RefPicSetLtCurr, RefPicSetInterLayer0 순으로 구성될 수 있다.
이때, 참조 픽처 리스트의 참조 픽처의 개수를 제한하는 경우, L0 혹은 L1에서 RefPicSetInterLayer1은 비어 있는 상태(empty)일 수 있다.
도 6에 도시된 바와 같이, 인핸스먼트 레이어의 현재 픽처(600)가 인터 레이어 예측을 수행할 경우, 상술한 바와 같이 참조 픽처 리스트를 구성할 수 있다. 이때, 인코딩 장치로부터 시그널링되는 인터 레이어 참조 픽처를 지시하는 참조 픽처 인덱스를 통해 참조 픽처 리스트로부터 인터 레이어 참조 픽처(620)를 유도할 수 있다. 인터 레이어 참조 픽처(620)는 인핸스먼트 레이어의 스케일러빌러티에 따라 재구성된(resampled) 참조 픽처일 수 있다.
이때, 인터 레이어 참조 픽처(620)로부터 샘플 정보를 이용하여 예측하는 인터 레이어 샘플 예측과 인터 레이어 참조 픽처(620)로부터 움직임 정보를 이용하여 예측하는 인터 레이어 움직임 예측이 있다.
현재 픽처(600)의 현재 블록(610)에 대해서 인터 레이어 샘플 예측을 수행할지 인터 레이어 움직임 예측을 수행할지는 인핸스먼트 레이어와 참조 레이어 사이의 종속성 타입(dependency type)에 따라 결정될 수 있다. 이러한 종속성 타입은 인코딩 장치로부터 시그널링될 수 있다.
예를 들어, 종속성 타입은 direct_dependency_type 값에 따라 특정될 수 있다. direct_dependency_type 값이 0이면, 참조 레이어가 인핸스먼트 레이어의 인터 레이어 샘플 예측을 위해 사용될 수 있으나 인터 레이어 움직임 예측을 위해 사용될 수는 없다. direct_dependency_type 값이 1이면, 참조 레이어가 인핸스먼트 레이어의 인터 레이어 움직임 예측을 위해 사용될 수 있으나 인터 레이어 샘플 예측을 위해 사용될 수는 없다. direct_dependency_type 값이 2이면, 참조 레이어가 인핸스먼트 레이어의 인터 레이어 샘플 예측과 인터 레이어 움직임 예측을 위해 사용될 수 있다.
상술한 바와 같이, 스케일러블 비디오 코딩에서 인핸스먼트 레이어가 인터 레이어 예측을 사용하여 코딩되는 경우, 일반적인 인트라 예측의 예측 방향(인트라 예측 모드)을 기반으로 예측된 경우와는 달리 다른 픽처의 정보를 이용하여 예측을 수행한다. 따라서, 기존의 인트라 예측의 모드 정보를 이용하여 변환 계수의 스캔 순서를 결정하는 방법을 적용하면 코딩 효율에 영향을 줄 수 있다. 본 발명에서는 인터 레이어 예측 모드가 사용되는 스케일러블 비디오 코딩에서의 계수 스캐닝 방법을 제안하고자 한다. 예컨대, 현재 블록에 적용된 인트라 예측 모드가 인터 레이어 예측 모드이면 현재 블록의 변환 계수들에 대한 스캔 순서는 특정한 하나의 스캔 순서로 고정할 수 있다. 우상향 대각 스캔 순서로 고정할 수도 있고, 수직 스캔 순서 혹은 수평 스캔 순서로 고정할 수도 있다.
도 7은 본 발명에 따른 복수의 레이어를 지원하는 영상 부호화 방법을 개략적으로 나타내는 순서도이다. 도 7의 방법은 상술한 도 1의 인코딩 장치에서 수행될 수 있다.
도 7을 참조하면, 인코딩 장치는 현재 레이어(인핸스먼트 레이어)의 부호화 대상 블록을 예측하여 예측 샘플들을 생성할 수 있다(S700). 이때, 부호화 대상 블록의 예측 모드를 기반으로 예측을 수행할 수 있다. 예컨대, 부호화 대상 블록에 인터 레이어 예측이 사용되는 경우, 상술한 도 6과 같이 참조 픽처 리스트로부터 유도된 인터 레이어 참조 픽처를 기반으로 인터 레이어 예측을 수행할 수 있다.
인코딩 장치는 부호화 대상 블록의 예측 샘플들을 기반으로 획득된 레지듀얼 샘플들에 변환을 수행할 수 있다(S710). 변환을 수행한 결과, 부호화 대상 블록에 대한 변환 계수들의 2차원 배열이 생성될 수 있다. 레지듀얼 샘플들은 예측에 의해 생성된 예측 샘플들과 부호화 대상 블록의 원본 샘플들 간의 차분 값일 수 있다.
인코딩 장치는 변환 계수들의 2차원 배열을 스캔 순서에 따라 스캔하여 변환 계수들을 1차원 배열로 재정렬할 수 있다(S720). 이때, 스캔 순서는 부호화 대상 블록에 적용된 예측 모드를 기반으로 결정될 수 있다.
예를 들어, 부호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측이면, 우상향 대각 스캔 순서를 따라 변환 계수들의 2차원 배열을 스캔하여 1차원 배열로 재정렬할 수 있다. 또는, 부호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측이면, 수직 스캔 순서나 수평 스캔 순서로 특정하여 재정렬을 수행할 수도 있다.
부호화 대상 블록에 적용된 예측 모드가 인터 예측 모드이면, 우상향 대각 스캔 순서를 따라 변환 계수들의 2차원 배열을 스캔하여 1차원 배열로 재정렬할 수 있다.
부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이면, 부호화 대상 블록의 크기 및 부호화 대상 블록이 루마 샘플에 대한 블록인지 여부에 따라 스캔 순서를 결정할 수 있다.
즉, 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 부호화 대상 블록의 크기가 4x4인 경우, 또는 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 부호화 대상 블록의 크기가 8x8이고 부호화 대상 블록이 루마 샘플에 대한 블록인 경우, 부호화 대상 블록의 인트라 예측 모드 값에 따라 스캔 순서를 결정할 수 있다.
부호화 대상 블록의 인트라 예측 모드 값이 6 이상 14 이하이면, 스캔 순서는 수직 스캔 순서로 결정되며, 부호화 대상 블록의 인트라 예측 모드 값이 22 이상 30 이하이면, 스캔 순서는 수평 스캔 순서로 결정되며, 부호화 대상 블록의 인트라 예측 모드 값이 0 이상 5 이하, 혹은 15 이상 21 이하, 혹은 31 이상 34 이하이면, 스캔 순서는 우상향 대각 스캔 순서로 결정될 수 있다.
또한, 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 부호화 대상 블록의 크기가 8x8 보다 큰 경우, 스캔 순서는 우상향 대각 스캔 순서로 결정될 수 있다.
상기 우상향 대각 스캔 순서, 수직 스캔 순서, 수평 스캔 순서는 구체적으로 상술한 바 있으므로 여기서는 설명을 생략한다.
인코딩 장치는 변환 계수들의 1차원 배열을 엔트로피 인코딩할 수 있다(S730). 인코딩 장치는 1차원의 변환 계수들과 함께 디코딩에 필요한 정보들을 엔트로피 인코딩하여 비트스트림을 생성할 수 있다. 비트스트림은 디코딩 장치로 전송될 수 있다.
도 8은 본 발명에 따른 복수의 레이어를 지원하는 영상 복호화 방법을 개략적으로 나타내는 순서도이다. 도 8의 방법은 상술한 도 2의 디코딩 장치에서 수행될 수 있다.
도 8을 참조하면, 디코딩 장치는 비트스트림을 수신하여 엔트로피 디코딩할 수 있다(S800). 이때, 비트스트림은 현재 레이어의 복호화 대상 블록에 대한 정보를 포함할 수 있다. 디코딩 장치는 엔트로피 디코딩을 통해 복호화 대상 블록에 대한 변환 계수들의 1차원 배열을 획득할 수 있다.
디코딩 장치는 변환 계수들의 1차원 배열을 스캔 순서에 따라 스캔하여 변환 계수들의 2차원 배열로 재정렬할 수 있다(S810). 이때, 스캔 순서는 복호화 대상 블록에 적용된 예측 모드를 기반으로 유도될 수 있다.
예를 들어, 복호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측이면, 스캔 순서가 우상향 대각 스캔 순서로 유도될 수 있다. 따라서, 변환 계수들의 1차원 배열을 우상향 대각 스캔 순서에 따라 스캔하여 변환 계수들의 2차원 배열로 재정렬할 수 있다. 또는, 복호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측이면, 스캔 순서가 수직 스캔 순서나 수평 스캔 순서로 유도될 수도 있다.
복호화 대상 블록에 적용된 예측 모드가 인터 예측 모드이면, 스캔 순서가 우상향 대각 스캔 순서로 유도될 수 있다.
복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이면, 복호화 대상 블록의 크기 및 복호화 대상 블록이 루마 샘플에 대한 블록인지 여부에 따라 스캔 순서를 유도할 수 있다.
즉, 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 복호화 대상 블록의 크기가 4x4인 경우, 또는 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 복호화 대상 블록의 크기가 8x8이고 복호화 대상 블록이 루마 샘플에 대한 블록인 경우, 복호화 대상 블록의 인트라 예측 모드 값에 따라 스캔 순서를 유도할 수 있다.
복호화 대상 블록의 인트라 예측 모드 값이 6 이상 14 이하이면, 스캔 순서는 수직 스캔 순서로 유도되며, 복호화 대상 블록의 인트라 예측 모드 값이 22 이상 30 이하이면, 스캔 순서는 수평 스캔 순서로 유도되며, 복호화 대상 블록의 인트라 예측 모드 값이 0 이상 5 이하, 혹은 15 이상 21 이하, 혹은 31 이상 34 이하이면, 스캔 순서는 우상향 대각 스캔 순서로 유도될 수 있다.
또한, 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 복호화 대상 블록의 크기가 8x8 보다 큰 경우, 스캔 순서는 우상향 대각 스캔 순서로 유도될 수 있다.
상기 우상향 대각 스캔 순서, 수직 스캔 순서, 수평 스캔 순서는 구체적으로 상술한 바 있으므로 여기서는 설명을 생략한다.
디코딩 장치는 변환 계수들의 2차원 배열을 역양자화할 수 있다(S820). 디코딩 장치는 역양자화를 통해 복호화 대상 블록에 대한 역양자화된 변환 계수들의 2차원 배열을 획득할 수 있다.
디코딩 장치는 복호화 대상 블록의 예측 모드를 기반으로 복호화 대상 블록에 대한 예측을 수행한다(S830). 디코딩 장치는 예측에 의해 복호화 대상 블록의 예측 샘플들을 생성할 수 있으며, 예측 샘플들과 역양자화된 변환 계수들의 변환을 통해 획득된 레지듀얼 샘플들을 이용하여 복호화 대상 블록에 대한 복원 샘플들을 획득할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 복수의 레이어를 지원하는 영상 복호화 방법에 있어서,
    현재 레이어의 복호화 대상 블록에 대한 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 비트스트림을 엔트로피 디코딩하여 상기 복호화 대상 블록에 대한 변환 계수들의 1차원 배열을 획득하는 단계;
    상기 변환 계수들의 1차원 배열을 스캔 순서(scan order)에 따라 스캔하여 상기 변환 계수들의 2차원 배열로 재정렬하는 단계;
    상기 변환 계수들의 2차원 배열을 역양자화하여 상기 복호화 대상 블록에 대한 역양자화된 변환 계수들의 2차원 배열을 획득하는 단계; 및
    상기 복호화 대상 블록에 대한 예측 모드를 기반으로 상기 복호화 대상 블록을 예측하는 단계를 포함하며,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드를 기반으로 상기 스캔 순서를 유도하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 우상향 대각 스캔 순서로 설정하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 수직 스캔 순서로 설정하는 것을 특징으로 하는 영상 복호화 방법.
  4. 제1항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 수평 스캔 순서로 설정하는 것을 특징으로 하는 영상 복호화 방법.
  5. 제1항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인터 예측 모드이면, 상기 스캔 순서를 우상향 대각 스캔 순서로 설정하는 것을 특징으로 하는 영상 복호화 방법.
  6. 제1항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이면, 상기 스캔 순서를 상기 복호화 대상 블록의 크기 및 상기 복호화 대상 블록이 루마 샘플에 대한 블록인지 여부에 따라 유도하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제6항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 복호화 대상 블록의 크기가 4x4인 경우, 또는 상기 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 복호화 대상 블록의 크기가 8x8이고 상기 부호화 대상 블록이 루마 샘플에 대한 블록인 경우,
    상기 스캔 순서는 상기 복호화 대상 블록의 인트라 예측 모드 값에 따라 유도되는 것을 특징으로 하는 영상 복호화 방법.
  8. 제6항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 복호화 대상 블록의 크기가 8x8 보다 큰 경우,
    상기 스캔 순서는 우상향 대각 스캔 순서로 유도되는 것을 특징으로 하는 영상 복호화 방법.
  9. 제7항에 있어서,
    상기 변환 계수들의 2차원 배열로 재정렬하는 단계에서는,
    상기 복호화 대상 블록의 인트라 예측 모드 값이 6 이상 14 이하이면, 상기 스캔 순서는 수직 스캔 순서로 유도되며,
    상기 복호화 대상 블록의 인트라 예측 모드 값이 22 이상 30 이하이면, 상기 스캔 순서는 수평 스캔 순서로 유도되며,
    상기 복호화 대상 블록의 인트라 예측 모드 값이 0 이상 5 이하, 혹은 15 이상 21 이하, 혹은 31 이상 34 이하이면, 상기 스캔 순서는 우상향 대각 스캔 순서로 유도되는 것을 특징으로 하는 영상 복호화 방법.
  10. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 인터 레이어 예측 모드는, 상기 복호화 대상 블록을 포함하는 현재 픽처의 복호화 시에 인터 레이어 예측을 사용할지 여부를 지시하는 정보로부터 특정되는 것을 특징으로 하는 영상 복호화 방법.
  11. 복수의 레이어를 지원하는 영상 부호화 방법에 있어서,
    현재 레이어의 부호화 대상 블록에 대한 예측 모드를 기반으로 예측을 수행하여 예측 샘플을 획득하는 단계;
    상기 예측 샘플을 기반으로 획득된 레지듀얼 샘플에 변환을 수행하여 상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계;
    상기 변환 계수들의 2차원 배열을 스캔 순서(scan order)에 따라 스캔하여 상기 변환 계수들의 1차원 배열로 재정렬하는 단계; 및
    상기 변환 계수들의 1차원 배열을 엔트로피 인코딩하는 단계를 포함하며,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드를 기반으로 상기 스캔 순서를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제11항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 우상향 대각 스캔 순서로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제11항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 수직 스캔 순서로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제11항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인터 레이어 예측 모드이면, 상기 스캔 순서를 수평 스캔 순서로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제11항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인터 예측 모드이면, 상기 스캔 순서를 우상향 대각 스캔 순서로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제11항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이면, 상기 스캔 순서를 상기 부호화 대상 블록의 크기 및 상기 부호화 대상 블록이 루마 샘플에 대한 블록인지 여부에 따라 결정하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제16항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 부호화 대상 블록의 크기가 4x4인 경우, 또는 상기 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 부호화 대상 블록의 크기가 8x8이고 상기 부호화 대상 블록이 루마 샘플에 대한 블록인 경우,
    상기 스캔 순서는 상기 부호화 대상 블록의 인트라 예측 모드 값에 따라 결정되는 것을 특징으로 하는 영상 부호화 방법.
  18. 제16항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록에 적용된 예측 모드가 인트라 예측 모드이고 상기 부호화 대상 블록의 크기가 8x8 보다 큰 경우,
    상기 스캔 순서는 우상향 대각 스캔 순서로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  19. 제17항에 있어서,
    상기 부호화 대상 블록에 대한 변환 계수들의 2차원 배열을 생성하는 단계에서는,
    상기 부호화 대상 블록의 인트라 예측 모드 값이 6 이상 14 이하이면, 상기 스캔 순서는 수직 스캔 순서로 결정되며,
    상기 부호화 대상 블록의 인트라 예측 모드 값이 22 이상 30 이하이면, 상기 스캔 순서는 수평 스캔 순서로 결정되며,
    상기 부호화 대상 블록의 인트라 예측 모드 값이 0 이상 5 이하, 혹은 15 이상 21 이하, 혹은 31 이상 34 이하이면, 상기 스캔 순서는 우상향 대각 스캔 순서로 결정되는 것을 특징으로 하는 영상 부호화 방법.
  20. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 인터 레이어 예측 모드는, 상기 부호화 대상 블록을 포함하는 현재 픽처의 부호화 시에 인터 레이어 예측을 사용할지 여부를 지시하는 정보를 이용하여 특정되는 것을 특징으로 하는 영상 부호화 방법.
PCT/KR2013/010992 2012-11-29 2013-11-29 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치 WO2014084656A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015545367A JP6082123B2 (ja) 2012-11-29 2013-11-29 複数のレイヤをサポートする映像符号化／復号化方法
CN201380068156.7A CN104885453B (zh) 2012-11-29 2013-11-29 支持多个层的用于编码/解码图像的方法和设备
EP13857735.8A EP2928184A4 (en) 2012-11-29 2013-11-29 IMAGE ENCODING / DECODING METHOD AND DEVICE SUPPORTING A PLURALITY OF LAYERS
US14/647,971 US20150312571A1 (en) 2012-11-29 2013-11-29 Method and device for encoding/ decoding image supporting plurality of layers
KR1020157011909A KR20150091043A (ko) 2012-11-29 2013-11-29 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261731471P 2012-11-29 2012-11-29
US61/731,471 2012-11-29

Publications (1)

Publication Number Publication Date
WO2014084656A1 true WO2014084656A1 (ko) 2014-06-05

Family

ID=50828200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/010992 WO2014084656A1 (ko) 2012-11-29 2013-11-29 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치

Country Status (6)

Country Link
US (1) US20150312571A1 (ko)
EP (1) EP2928184A4 (ko)
JP (1) JP6082123B2 (ko)
KR (1) KR20150091043A (ko)
CN (1) CN104885453B (ko)
WO (1) WO2014084656A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016133356A1 (ko) * 2015-02-17 2016-08-25 엘지전자(주) 적응적 스캔 오더를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN115802058A (zh) * 2016-10-04 2023-03-14 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100882949B1 (ko) * 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
CN104885457B (zh) 2013-01-02 2017-03-29 杜比实验室特许公司 用于视频信号的向后兼容编码和解码的方法和装置
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
CN113115036A (zh) * 2015-11-24 2021-07-13 三星电子株式会社 视频解码方法和设备及其编码方法和设备
RU2682838C1 (ru) * 2015-12-23 2019-03-21 Хуавей Текнолоджиз Ко., Лтд. Способ и устройство для кодирования с преобразованием с выбором преобразования блокового уровня и неявной сигнализацией в рамках иерархического разбиения
MX2019011211A (es) * 2017-03-21 2019-12-05 Lg Electronics Inc Metodo de transformacion en el sistema de codificacion de imagenes y aparato para el mismo.
RU2762873C2 (ru) * 2017-12-15 2021-12-23 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображений на основе преобразования и устройство для этого
WO2019199077A1 (ko) * 2018-04-11 2019-10-17 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020139016A2 (ko) * 2018-12-27 2020-07-02 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 재배열을 사용하는 영상 디코딩 방법 및 그 장치
CN116781895A (zh) * 2019-01-12 2023-09-19 Lg电子株式会社 解码设备、编码设备和图像数据发送设备
CN113453008B (zh) * 2020-03-26 2022-08-02 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、相关设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133966A (ko) * 2003-10-04 2006-12-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 영상 데이터를 처리하는 방법 및 장치
JP2009207156A (ja) * 2002-09-20 2009-09-10 Ntt Docomo Inc 算術符号化方法及び算術符号化装置
KR20100072347A (ko) * 2007-10-12 2010-06-30 콸콤 인코포레이티드 계층화 인코딩된 비트스트림 구조
KR20110037688A (ko) * 2009-10-07 2011-04-13 에스케이 텔레콤주식회사 적응적 부호화 패턴 정보를 생성/이용하는 동영상 부호화/복호화 방법, 장치 및 기록 매체
KR20110056326A (ko) * 2008-09-16 2011-05-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 비디오 인코더 제어 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225126C (zh) * 2002-10-09 2005-10-26 中国科学院计算技术研究所 用于视频编码的新型空间预测方法及其装置
JP2006211304A (ja) * 2005-01-28 2006-08-10 Matsushita Electric Ind Co Ltd 映像符号化装置、映像復号化装置、映像符号化方法、映像復号化方法、映像符号化プログラムおよび映像復号化プログラム
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8199819B2 (en) * 2005-10-21 2012-06-12 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
RU2463728C2 (ru) * 2007-10-15 2012-10-10 Квэлкомм Инкорпорейтед Усовершенствованное кодирование улучшающего слоя для масштабируемого кодирования видео
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
EP2182732A1 (en) * 2008-10-28 2010-05-05 Panasonic Corporation Switching between scans in image coding
JP5416271B2 (ja) * 2009-04-20 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 多層映像配信のための適応補間フィルタ
JP5703781B2 (ja) * 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US20130343454A1 (en) * 2011-01-07 2013-12-26 Agency For Science, Technology And Research Method and an apparatus for coding an image
JP2012209673A (ja) * 2011-03-29 2012-10-25 Sony Corp 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
US9756360B2 (en) * 2011-07-19 2017-09-05 Qualcomm Incorporated Coefficient scanning in video coding
AU2011236109B2 (en) * 2011-10-18 2015-02-19 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207156A (ja) * 2002-09-20 2009-09-10 Ntt Docomo Inc 算術符号化方法及び算術符号化装置
KR20060133966A (ko) * 2003-10-04 2006-12-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 영상 데이터를 처리하는 방법 및 장치
KR20100072347A (ko) * 2007-10-12 2010-06-30 콸콤 인코포레이티드 계층화 인코딩된 비트스트림 구조
KR20110056326A (ko) * 2008-09-16 2011-05-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 비디오 인코더 제어 방법
KR20110037688A (ko) * 2009-10-07 2011-04-13 에스케이 텔레콤주식회사 적응적 부호화 패턴 정보를 생성/이용하는 동영상 부호화/복호화 방법, 장치 및 기록 매체

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016133356A1 (ko) * 2015-02-17 2016-08-25 엘지전자(주) 적응적 스캔 오더를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
CN107258084A (zh) * 2015-02-17 2017-10-17 Lg 电子株式会社 使用自适应扫描顺序编码/解码视频信号的方法和设备
CN115802058A (zh) * 2016-10-04 2023-03-14 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
CN115802058B (zh) * 2016-10-04 2023-09-15 有限公司B1影像技术研究所 图像编码/解码方法和计算机可读记录介质
US11831818B2 (en) 2016-10-04 2023-11-28 B1 Institute Of Image Technology, Inc. Method and apparatus for reconstructing 360-degree image according to projection format

Also Published As

Publication number Publication date
EP2928184A1 (en) 2015-10-07
US20150312571A1 (en) 2015-10-29
CN104885453B (zh) 2018-11-02
KR20150091043A (ko) 2015-08-07
JP6082123B2 (ja) 2017-02-15
CN104885453A (zh) 2015-09-02
JP2016502817A (ja) 2016-01-28
EP2928184A4 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2019117636A1 (ko) 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2017209328A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2020246849A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020218793A1 (ko) Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2019125035A1 (ko) 선택적 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020116961A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2020071879A1 (ko) 변환 계수 코딩 방법 및 그 장치
WO2015009021A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2020071832A1 (ko) 변환 계수 코딩 방법 및 그 장치
WO2021040319A1 (ko) 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치
WO2020256346A1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩
WO2020197274A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020141831A2 (ko) 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
WO2013147495A1 (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2015057032A1 (ko) 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
WO2015083988A1 (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2020130581A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2014007514A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2021071187A1 (ko) 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치
WO2013169049A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2021091255A1 (ko) 영상/비디오 코딩을 위한 상위 레벨 신택스 시그널링 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13857735

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157011909

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14647971

Country of ref document: US

Ref document number: 2013857735

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015545367

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE