WO2014069889A1 - 영상 복호화 방법 및 이를 이용하는 장치 - Google Patents

영상 복호화 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2014069889A1
WO2014069889A1 PCT/KR2013/009717 KR2013009717W WO2014069889A1 WO 2014069889 A1 WO2014069889 A1 WO 2014069889A1 KR 2013009717 W KR2013009717 W KR 2013009717W WO 2014069889 A1 WO2014069889 A1 WO 2014069889A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
layer
unit
filtering
reference image
Prior art date
Application number
PCT/KR2013/009717
Other languages
English (en)
French (fr)
Inventor
김철근
박준영
헨드리헨드리
전병문
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2014069889A1 publication Critical patent/WO2014069889A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for performing scalable video coding.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • UHD Ultra High Definition
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image. It is necessary to provide scalability in the frame rate of video and the like. In addition, various image processing methods associated with such scalability should be discussed.
  • An object of the present invention is to provide a method for determining whether to filter an upsampled reference layer using information of a reference layer and an apparatus using the same.
  • Another object of the present invention is to provide a method for determining whether to filter an upsampled reference layer using temporal correlation and spatial correlation, and an apparatus using the same.
  • Another object of the present invention is to provide a method for determining whether to filter an upsampled reference layer without flag information indicating whether or not to filter and an apparatus using the same.
  • An object of the present invention is to provide a method for determining whether to filter an upsampled reference layer using information of a reference layer and an apparatus using the same.
  • Another object of the present invention is to provide a method for determining whether to filter an upsampled reference layer using temporal correlation and spatial correlation, and an apparatus using the same.
  • Another object of the present invention is to provide a method for determining whether to filter an upsampled reference layer without flag information indicating whether or not to filter and an apparatus using the same.
  • a method of determining whether to filter a reference layer upsampled by using information of a reference layer and an apparatus using the same are provided.
  • an apparatus using a method of determining whether to filter an upsampled reference layer using temporal correlation and spatial correlation is provided.
  • a method and apparatus for determining whether to filter an upsampled reference layer without flag information indicating whether to filter is provided.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus supporting scalability according to an embodiment of the present invention.
  • 3 is a diagram for describing a temporal correlation line and a spatial correlation between inter layers.
  • FIG. 4 is a control block diagram illustrating an interlayer filtering unit according to an embodiment of the present invention.
  • FIG. 5 is a control flowchart illustrating an interlayer filtering method according to an embodiment of the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • input signals may be processed for each layer.
  • the input signals may differ in at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable encoding and scalable decoding.
  • prediction between layers is performed by using differences between layers, that is, based on scalability, thereby reducing overlapping transmission / processing of information and increasing compression efficiency.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus supporting scalability according to an embodiment of the present invention.
  • the encoding apparatus 100 includes an encoder 105 for layer 1 and an encoder 135 for layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the encoding unit 105 of the layer 1 includes a prediction unit 110, a transform / quantization unit 115, a filtering unit 120, a decoded picture buffer (DPB) 125, an entropy coding unit 130, and a MUX (Multiplexer, 165).
  • the encoding unit 135 of the layer 0 includes a prediction unit 140, a transform / quantization unit 145, a filtering unit 150, a DPB 155, and an entropy coding unit 160.
  • the prediction units 110 and 140 may perform inter prediction and intra prediction on the input image.
  • the prediction units 110 and 140 may perform prediction in predetermined processing units.
  • the performing unit of prediction may be a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the prediction units 110 and 140 may determine whether to apply inter prediction or intra prediction in a CU unit, determine a mode of prediction in a PU unit, and perform prediction in a PU unit or a TU unit. have. Prediction performed includes generation of a prediction block and generation of a residual block (residual signal).
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • prediction blocks may be generated by performing prediction based on pixel information in a current picture.
  • inter prediction there are a skip mode, a merge mode, a motion vector predictor (MVP) mode method, and the like.
  • a reference picture may be selected with respect to the current PU that is a prediction target, and a reference block corresponding to the current PU may be selected within the reference picture.
  • the prediction units 110 and 140 may generate a prediction block based on the reference block.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or units of integer pixels or less.
  • motion information that is, information such as an index of a reference picture, a motion vector, and a residual signal
  • residuals may not be generated, transformed, quantized, or transmitted.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the prediction unit 110 may perform prediction for layer 1 using the information of the layer 0.
  • a method of predicting information of a current layer using information of another layer is referred to as inter-layer prediction for convenience of description.
  • Information of the current layer that is predicted using information of another layer may include texture, motion information, unit information, predetermined parameters (eg, filtering parameters, etc.).
  • information of another layer used for prediction for the current layer may include texture, motion information, unit information, and predetermined parameters (eg, filtering parameters).
  • inter-layer motion prediction is also referred to as inter-layer inter prediction.
  • prediction of a current block of layer 1 may be performed using motion information of layer 0 (reference layer or base layer).
  • motion information of a reference layer may be scaled.
  • inter-layer texture prediction is also called inter-layer intra prediction or intra base layer (BL) prediction.
  • Inter layer texture prediction may be applied when a reference block in a reference layer is reconstructed by intra prediction.
  • the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer.
  • the texture of the reference block may be scaled by upsampling.
  • inter-layer unit parameter prediction derives unit (CU, PU, and / or TU) information of a base layer and uses it as unit information of an enhancement layer, or based on unit information of a base layer. Unit information may be determined.
  • the unit information may include information at each unit level.
  • information about a partition (CU, PU and / or TU) may include information on transform, information on prediction, and information on coding.
  • information on a PU partition and information on prediction (eg, motion information, information on a prediction mode, etc.) may be included.
  • the information about the TU may include information about a TU partition, information on transform (transform coefficient, transform method, etc.).
  • the unit information may include only the partition information of the processing unit (eg, CU, PU, TU, etc.).
  • inter-layer parameter prediction may derive a parameter used in the base layer to reuse it in the enhancement layer or predict a parameter for the enhancement layer based on the parameter used in the base layer.
  • interlayer prediction As an example of interlayer prediction, interlayer texture prediction, interlayer motion prediction, interlayer unit information prediction, and interlayer parameter prediction have been described. However, the interlayer prediction applicable to the present invention is not limited thereto.
  • the prediction unit 110 may use interlayer residual prediction, which predicts the residual of the current layer using the residual information of another layer as interlayer prediction, and performs prediction on the current block in the current layer based on the prediction. It may be.
  • the prediction unit 110 may predict the current block in the current layer by using a difference (differential image) image between the reconstructed picture of the current layer and the resampled picture of another layer as the inter-layer prediction. Inter-layer difference prediction may be performed.
  • the prediction unit 110 may use interlayer syntax prediction that predicts or generates a texture of a current block using syntax information of another layer as interlayer prediction.
  • the syntax information of the reference layer used for prediction of the current block may be information about an intra prediction mode, motion information, and the like.
  • inter-layer syntax prediction may be performed by referring to the intra prediction mode from a block to which the intra prediction mode is applied in the reference layer and referring to motion information from the block MV to which the inter prediction mode is applied.
  • the reference layer is a P slice or a B slice
  • the reference block in the slice may be a block to which an intra prediction mode is applied.
  • inter-layer prediction may be performed to generate / predict a texture for the current block by using an intra prediction mode of the reference block among syntax information of the reference layer.
  • the prediction information of the layer 0 may be used to predict the current block while additionally using unit information or filtering parameter information of the corresponding layer 0 or the corresponding block.
  • This combination of inter-layer prediction methods can also be applied to the predictions described below in this specification.
  • the transform / quantization units 115 and 145 may perform transform on the residual block in transform block units to generate transform coefficients and quantize the transform coefficients.
  • the transform block is a block of samples and is a block to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transform / quantization units 115 and 145 may generate a 2D array of transform coefficients by performing transform according to the prediction mode applied to the residual block and the size of the block. For example, if intra prediction is applied to a residual block and the block is a 4x4 residual array, the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform / quantization unit 115 and 145 may quantize the transform coefficients to generate quantized transform coefficients.
  • the transform / quantization units 115 and 145 may transfer the quantized transform coefficients to the entropy coding units 130 and 180.
  • the transform / quantization unit 145 may rearrange the two-dimensional array of quantized transform coefficients into one-dimensional arrays according to a predetermined scan order and transfer them to the entropy coding units 130 and 180.
  • the transform / quantizers 115 and 145 may transfer the reconstructed block generated based on the residual and the predictive block to the filtering units 120 and 150 for inter prediction.
  • the transform / quantization units 115 and 145 may skip transform and perform quantization only or omit both transform and quantization as necessary.
  • the transform / quantization unit 115 or 165 may omit the transform for a block having a specific prediction method or a specific size block, or a block of a specific size to which a specific prediction block is applied.
  • the entropy coding units 130 and 160 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may use, for example, an encoding method such as Exponential Golomb, Context-Adaptive Binary Arithmetic Coding (CABAC), or the like.
  • CABAC Context-Adaptive Binary Arithmetic Coding
  • the filtering units 120 and 150 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filtering units 120 and 150 may apply only the deblocking filter, only the deblocking filter and the ALF, or may apply only the deblocking filter and the SAO without applying all of the deblocking filter, ALF, and SAO.
  • the DPBs 125 and 155 may receive the reconstructed block or the reconstructed picture from the filtering units 120 and 150 and store the received reconstruction picture.
  • the DPBs 125 and 155 may provide a reconstructed block or picture to the predictors 110 and 140 that perform inter prediction.
  • Information output from the entropy coding unit 160 of layer 0 and information output from the entropy coding unit 130 of layer 1 may be multiplexed by the MUX 185 and output as a bitstream.
  • the encoding unit 105 of the layer 1 has been described as including the MUX 165.
  • the MUX is separate from the encoding unit 105 of the layer 1 and the encoding unit 135 of the layer 0. It may be a device or a module of.
  • the encoding device of FIG. 1 may be implemented as an electronic device capable of capturing and encoding an image, including a camera.
  • the encoding device may be implemented in or included in a personal terminal such as a television, computer system, portable telephone or tablet PC, or the like.
  • FIG. 2 is a block diagram illustrating an example of interlayer prediction in an encoding apparatus that performs scalable coding according to the present invention.
  • the decoding apparatus 200 includes a decoder 210 of layer 1 and a decoder 250 of layer 0.
  • Layer 0 may be a base layer, a reference layer, or a lower layer
  • layer 1 may be an enhancement layer, a current layer, or an upper layer.
  • the decoding unit 210 of the layer 1 includes an entropy decoding unit 215, a reordering unit 220, an inverse quantization unit 225, an inverse transform unit 230, a prediction unit 235, a filtering unit 240, and a memory. can do.
  • the decoding unit 250 of the layer 0 includes an entropy decoding unit 255, a reordering unit 260, an inverse quantization unit 265, an inverse transform unit 270, a prediction unit 275, a filtering unit 280, and a memory 285. ) May be included.
  • the DEMUX 205 may demultiplex the information for each layer and deliver the information to the decoding device for each layer.
  • the entropy decoding units 215 and 255 may perform entropy decoding corresponding to the entropy coding scheme used in the encoding apparatus. For example, when CABAC is used in the encoding apparatus, the entropy decoding units 215 and 255 may also perform entropy decoding using CABAC.
  • Information for generating a prediction block among the information decoded by the entropy decoding units 215 and 255 is provided to the prediction units 235 and 275, and a residual value of which entropy decoding is performed by the entropy decoding units 215 and 255. That is, the quantized transform coefficients may be input to the reordering units 220 and 260.
  • the reordering units 220 and 260 may rearrange the information of the bitstreams entropy decoded by the entropy decoding units 215 and 255, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering units 220 and 260 may rearrange the quantized transform coefficients of the one-dimensional array into the coefficients of the two-dimensional array.
  • the reordering units 220 and 260 may generate a two-dimensional array of coefficients (quantized transform coefficients) by performing scanning based on the prediction mode applied to the current block (transform block) and / or the size of the transform block.
  • the inverse quantizers 225 and 265 may generate transform coefficients by performing inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform units 230 and 270 may perform inverse transform on the transform performed by the transform unit of the encoding apparatus.
  • the inverse transform units 230 and 270 may perform inverse DCT and / or inverse DST on a discrete cosine transform (DCT) and a discrete sine transform (DST) performed by an encoding apparatus.
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the DCT and / or DST in the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size of a current block, and a prediction direction, and the inverse transformers 230 and 270 of the decoding apparatus may perform transform information performed in the encoding apparatus. Inverse transformation may be performed based on.
  • the inverse transform units 230 and 270 may apply inverse DCT and inverse DST according to a prediction mode / block size.
  • the inverse transformers 230 and 270 may apply an inverse DST to a 4x4 luma block to which intra prediction is applied.
  • the inverse transform units 230 and 270 may fixedly use a specific inverse transform method regardless of the prediction mode / block size.
  • the inverse transform units 330 and 370 may apply only inverse DST to all transform blocks.
  • the inverse transform units 330 and 370 may apply only inverse DCT to all transform blocks.
  • the inverse transform units 230 and 270 may generate a residual or residual block by inversely transforming the transform coefficients or the block of the transform coefficients.
  • the inverse transformers 230 and 270 may also skip the transformation as needed or in accordance with the manner encoded in the encoding apparatus. For example, the inverse transforms 230 and 270 may omit the transform for a block having a specific prediction method or a specific size or a block of a specific size to which a specific prediction block is applied.
  • the prediction units 235 and 275 may perform prediction on the current block based on prediction block generation related information transmitted from the entropy decoding units 215 and 255 and previously decoded blocks and / or picture information provided by the memories 245 and 285.
  • a prediction block can be generated.
  • the prediction units 235 and 275 may perform intra prediction on the current block based on pixel information in the current picture.
  • the prediction units 235 and 275 may perform information on the current block based on information included in at least one of a previous picture or a subsequent picture of the current picture. Inter prediction may be performed. Some or all of the motion information required for inter prediction may be derived from the information received from the encoding apparatus and correspondingly.
  • the prediction block may be a reconstruction block.
  • the prediction unit 235 of layer 1 may perform inter prediction or intra prediction using only information in layer 1, or may perform inter layer prediction using information of another layer (layer 0).
  • the prediction unit 235 of the layer 1 may perform prediction on the current block by using one of the motion information of the layer 1, the texture information of the layer 1, the unit information of the layer 1, and the parameter information of the layer 1.
  • the predictor 235 of the layer 1 may receive motion information of the layer 1 from the predictor 275 of the layer 0 to perform motion prediction.
  • Inter-layer motion prediction is also called inter-layer inter prediction.
  • inter-layer motion prediction prediction of a current block of a current layer (enhanced layer) may be performed using motion information of a reference layer (base layer).
  • the prediction unit 335 may scale and use motion information of the reference layer when necessary.
  • the predictor 235 of the layer 1 may receive texture information of the layer 0 from the predictor 275 of the layer 0 to perform texture prediction.
  • Texture prediction is also called inter layer intra prediction or intra base layer (BL) prediction. Texture prediction may be applied when the reference block of the reference layer is reconstructed by intra prediction.
  • inter-layer intra prediction the texture of the reference block in the reference layer may be used as a prediction value for the current block of the enhancement layer. In this case, the texture of the reference block may be scaled by upsampling.
  • the predictor 235 of the layer 1 may receive unit parameter information of the layer 0 from the predictor 275 of the layer 0 to perform unit parameter prediction.
  • unit parameter prediction unit (CU, PU, and / or TU) information of the base layer may be used as unit information of the enhancement layer, or unit information of the enhancement layer may be determined based on unit information of the base layer.
  • the predictor 235 of the layer 1 may perform parameter prediction by receiving parameter information regarding the filtering of the layer 0 from the predictor 275 of the layer 0.
  • parameter prediction the parameters used in the base layer can be derived and reused in the enhancement layer, or the parameters for the enhancement layer can be predicted based on the parameters used in the base layer.
  • the prediction information of the layer 0 may be used to predict the current block while additionally using unit information or filtering parameter information of the corresponding layer 0 or the corresponding block.
  • This combination of inter-layer prediction methods can also be applied to the predictions described below in this specification.
  • the adders 290 and 295 may generate a reconstruction block using the prediction blocks generated by the predictors 235 and 275 and the residual blocks generated by the inverse transformers 230 and 270.
  • the adders 290 and 295 can be viewed as separate units (restore block generation unit) for generating the reconstruction block.
  • Blocks and / or pictures reconstructed by the adders 290 and 295 may be provided to the filtering units 240 and 280.
  • the filtering unit 240 of the layer 1 filters the reconstructed picture by using parameter information transmitted from the predicting unit 235 of the layer 1 and / or the filtering unit 280 of the layer 0. You can also do
  • the filtering unit 240 may apply filtering to or between layers using the parameters predicted from the parameters of the filtering applied in the layer 0.
  • the memories 245 and 285 may store the reconstructed picture or block to use as a reference picture or reference block.
  • the memories 245 and 285 may output the stored reconstructed picture through a predetermined output unit (not shown) or a display (not shown).
  • the decoding apparatus is configured to perform reordering, inverse quantization, and inverse transformation in order in one module of the inverse quantization / inverse transformation unit. It can also be configured.
  • the prediction unit of layer 1 may be different from the interlayer prediction unit that performs prediction using information of another layer (layer 0). It may also be regarded as including an inter / intra predictor for performing prediction without using the information of).
  • the decoding apparatus of FIG. 2 may be implemented as various electronic devices capable of playing back, or playing back and displaying an image.
  • the decoding device may be implemented in or included in a set-top box, a television, a computer system, a portable telephone, a personal terminal such as a tablet PC, or the like.
  • a filter may be applied to improve the quality of a reference picture.
  • a filter may be applied to the reference image to improve the quality of the reference image.
  • an upsampling filter is applied to texture information of a lower layer to equally adjust the resolution between layers, and then the texture information of the adjusted lower layer is used as a reference image. It is available.
  • the filtering may be additionally applied to the texture information of the lower layer to which the upsampling filter is applied and then used as a reference image for prediction of the upper layer.
  • the upsampling image is also used in the inter-layer difference prediction for predicting the current block in the current layer by using the difference image between the reconstructed picture of the current layer and the resampled picture of another layer.
  • the filtering of the lower layer may be performed.
  • the filter applied by the filtering unit of the upsampled reference picture may be a filter previously specified by a predetermined number of taps and coefficients in the encoding device / decoding device, and the filter parameters (number of taps, coefficients, etc.) are adaptively signaled. It may be a filter.
  • SAO or ALF applied to a single layer image reduces a difference between a pixel value of a reconstructed image and a pixel value of an input image, while SAO or ALF may be performed on an upsampled reference image in interlayer prediction.
  • the ALF increases the accuracy of the prediction block for the block currently being encoded or decoded.
  • the residual value may be reduced in the block to which inter-layer texture prediction or inter-layer difference prediction is applied.
  • a filter applied to such a filtering unit may be referred to as a filter applied to an encoding / decoding loop adaptively. Signaling of syntax elements as below may be required for adaptive filtering.
  • inter_layer_adaptive_loop_filter_enabled_flag is a flag indicating whether the encoding device / decoding device applies ALF to the inter-layer reference picture, and if the value of inter_layer_adaptive_loop_filter_enabled_flag is 0, it indicates not to apply interlayer ALF, and if the inter_layer_adaptive_loop_filter_enabled_flag value is 1, Instructs the application of ALF to the liver reference image.
  • alf_param () represents an ALF parameter.
  • inter_layer_sample_adaptive_offset _enabled_flag is a flag indicating whether the encoding device / decoding device applies SAO to the inter-layer reference picture. If the value of inter_layer_sample_adaptive_offset _enabled_flag is 0, it indicates that the interlayer SAO is not applied. If the value of inter_layer_sample_adaptive_offg is 1_flag In this case, the SAO is applied to the inter-layer reference picture.
  • sao_param () represents a SAO parameter.
  • the four syntax elements may be included in an Adaptation Parameter Set (APS) and signaled.
  • APS Adaptation Parameter Set
  • Table 1 shows an example of APS for adaptive interlayer filtering.
  • Table 2 shows an example of a sequence parameter set for adaptive interlayer filtering.
  • inter_layer_adaptive_loop_filter_enabled_flag and inter_layer_sample_adaptive_offset_enabled_flag may be transmitted in the SPS other than the APS.
  • the four syntax elements may be included in the slice header and transmitted.
  • filtering of the upsampled reference picture may be adaptively performed without signaling of flag information shown in Tables 1 to 3.
  • 3 is a diagram for describing a temporal correlation line and a spatial correlation between inter layers.
  • the X axis of FIG. 3 represents a temporal domain and shows an image over time.
  • the Y axis of FIG. 3 represents a spatial domain and an image is shown at a spatial size.
  • the first image 310 and the second image 320 present in S0 on the Y axis may be an image of a reference layer which is a base layer or a lower layer, and the third image 315 and the fourth image present in S1 ( 325 denotes an image of the current layer that refers to the reference layer as an enhancement layer.
  • the second image 320 and the fourth image that may be output when T1 is not included in the white region of the first image 310 and the third image 315. (B, B ').
  • the B region included in the current layer of T1 is inferior in temporal correlation with the image of the current layer of T0. That is, since the fourth image 325 includes the B region but the third image 315 does not include the B region, it is unlikely that the inter prediction mode is used when the B region is predicted, which is the current layer in the B region. This means that the temporal correlation between the images 315 and 325 is not large.
  • the B region of the fourth image 325 is related to the B ′ region of the second image 320, the B region of S1 has a high spatial correlation with S0.
  • the region A included in the current layer of T1 may have a high temporal correlation with the image of the current layer of T0.
  • S1 of T1 that is, the region A of the fourth image 325 uses the corresponding region of the third image 315 corresponding to S1 of T0 as reference information
  • the region B of S1 of T1 corresponds to S0, T1 of T1. It is highly possible to use the region B 'corresponding to the two images 320 as reference information.
  • interlayer filtering such as SAO or ALF
  • SAO SAO
  • ALF interlayer filtering
  • the temporal correlation between the current layers is higher at the time T0 and T1 than the spatial correlation between S0 and S1, even though the quality of the image is improved. May not be used as reference information.
  • the A 'region may use the A' region of the second image 320 when generating a prediction block of the A 'region of the fourth image 325.
  • filtering may be performed on the upsampled A 'region.
  • the encoding apparatus and the decoding apparatus may adaptively perform interlayer filtering by using the temporal and spatial characteristics of the image.
  • FIG. 4 is a diagram conceptually illustrating an interlayer filter unit according to an exemplary embodiment of the present invention.
  • the inter-layer filtering unit includes a reference layer analyzer 410 and a filtering execution unit 420.
  • the inter-layer filtering unit may be implemented as a filtering unit included in an upper layer, that is, an encoding unit and an encoding unit for encoding and decoding the current layer.
  • the reference layer analyzer 410 may be implemented as a controller for up-sampling an image of a reference layer stored in a memory and a memory included in an encoding unit and a decoding unit of a reference layer, and analyzing the reference layer.
  • the reference layer analyzer 410 analyzes the characteristics of the image to determine whether to apply inter-layer filtering (SAO, ALF). If a specific region of the reference image has a high temporal correlation, since the temporal correlation is likely to be higher than that of the spatial layer even in the upper layer image, the reference layer analyzer 410 determines that the specific region of the reference image has a high temporal correlation It is determined that interlayer filtering is not applied to the reference image.
  • the reference layer analyzer 410 may determine whether interlayer filtering is performed for each part of the reference image, that is, for each slice unit, CU, or PU.
  • the reference layer analyzer 410 determines whether to filter by using the upsampled reference image.
  • the reference layer information used to determine whether such filtering is used may be a sample value of the reference image or may be a motion vector of a specific region.
  • the reference layer analyzer 410 may determine whether to filter based on the difference of the sample values of the consecutive reference images. For example, the difference between the sample values of the temporally continuous first image 310 and the second image 320 illustrated in FIG. 3 is determined to determine the existence of the region B ′ that did not exist in the first image 310. This may be used as a basis for determining whether to filter. In the case of B 'region, the difference in the sample value is larger than that of A' region, which means that the temporal correlation is not large.
  • the reference layer analyzer 410 may determine whether interlayer filtering is performed using coding mode information of the reference image as reference layer information.
  • the coding mode information refers to a prediction mode using prediction of a corresponding region, and may be an intra prediction mode, an inter prediction mode, a skip mode, or a merge mode.
  • the coding mode information of the reference picture is determined to be the inter prediction mode, it may be interpreted that temporal correlation is used in the prediction of the reference picture. In this case, the image of the upper layer may also have high temporal correlation. Therefore, when the prediction mode of the reference picture is inter prediction, the reference layer analyzer 410 may determine that filtering is not performed on the reference picture. In addition, even when the prediction mode of the reference image is the skip mode or the merge mode that is one of the inter predictions, the reference layer analyzer 410 may determine that the filtering is not performed on the reference image.
  • the reference layer analyzer 410 may determine that the interlayer filtering is performed on the specific region.
  • the reference layer analyzer 410 may adaptively determine whether to filter the reference image by grasping the difference in the sample value of the reference image or the coding mode information of the reference image.
  • the determination result about whether the reference layer is filtered by the reference layer analyzer 410 is input to the filtering performer 420.
  • the filtering performing unit 420 may be implemented as a filtering unit included in an encoding unit and a decoding unit of an upper layer, or may be implemented as a filtering unit included in an encoding unit and a decoding unit of a reference layer.
  • the filtering performing unit 420 is included in the encoding unit and the decoding unit of the upper layer, the filtered upsampled reference image may be provided to the upper layer.
  • the filtering performing unit 420 filters the reference image according to a determination result of whether to filter the reference image input from the reference layer analyzer 410. Although the reference image may be filtered for the entire image, as described above, the reference image may be performed for each slice unit, CU, or PU.
  • the filtering performing unit 420 may perform filtering using filter coefficients applied to the upper layer or the entire lower layer, or may use separate filter coefficients for filtering the reference image.
  • the filter coefficients for filtering the reference picture may be separately signaled or may be derived or generated in the filtering step so as to be suitable for the corresponding region.
  • whether or not the reference image is filtered is adaptively applied according to a partial feature of the reference image.
  • flag information indicating whether the adaptive filtering method is applied may be included in the sequence parameter set or the picture parameter set and signaled. That is, the operation of the reference layer analyzer 410 and the filtering performer 420 may be determined according to the flag information.
  • whether to perform interlayer filtering may be determined based on separate flag information rather than image analysis.
  • whether to be filtered may be signaled at one slice, that is, at a slice, CU, or PU level rather than at a picture unit. Accordingly, whether or not the signal is filtered for each slice, CU, or PU, that is, for a portion that is not a premise of the image, and the prediction unit of the higher layer is predicted in the prediction block of the block to be predicted based on the reference image that is filtered based on the flag information. You can also create
  • whether to perform interlayer filtering may be inferred from encoding information of an image of a reference layer even if specific flag information is not signaled. That is, when the prediction mode of a specific portion of the reference layer is an intra mode that is not predicted to inter, or is not a skip mode or merge mode in which no additional prediction information exists, information about a filtering parameter (SAO or ALF) may be signaled. have. That is, the interlayer filtering flag information may be inferred to be 1 according to the prediction mode of the reference picture, and corresponding information about the filtering parameter may be signaled.
  • SAO or ALF filtering parameter
  • the deblocking filter may be applied to the filtering of the upsampled reference picture.
  • various well-known methods that may be used for filtering the image, although not described herein, may be used.
  • FIG. 5 is a control flowchart illustrating an interlayer filtering method according to an embodiment of the present invention.
  • the reference layer analyzer 410 may determine whether to filter the upsampled reference image with respect to any one of a slice unit, a coding unit, and a prediction unit (S510).
  • Such filtering may be performed based on coding mode information of the upsampled reference picture, and according to another embodiment, a flag indicating whether to filter the upsampled reference picture by any one of a slice unit, a coding unit, and a prediction unit. It may be performed based on the information.
  • the present invention determines whether to apply filtering for each part corresponding to one region of the reference picture instead of the entire reference picture, whether using the reference picture or the flag information.
  • whether to filter may be performed based on coding mode information of the reference picture, and the coding mode information may include a prediction mode of the reference picture.
  • the prediction mode of the corresponding region of the reference picture is the inter mode (S520)
  • the prediction mode of the reference picture is intra mode (S520)
  • determining whether to filter may be performed based on texture information of the upsampled reference image.
  • the reference layer analyzer 410 may calculate a difference between sample values of consecutive reference images, and determine that filtering is performed on the upsampled reference image when the sample value is out of a predetermined threshold range. have.
  • the consecutive reference pictures may be pictures of a reference layer temporally adjacent to the reference picture referenced by the current picture.
  • the first image 310 and the second image 320 of FIG. 3 may be continuous reference images.
  • the filtering performing unit 420 may generate filter coefficients for interlayer filtering or may use already signaled filter coefficients.
  • the prediction unit for the current layer of the encoding apparatus and the decoding apparatus performs prediction of the current image using the filtered reference image (S550).
  • a region of the current image corresponding to the region where the filtering is not performed may be predicted, for example, inter prediction, using another image of the current layer instead of the reference layer (S560).
  • flag information indicating whether to filter an upsampled reference picture with respect to any one of a slice unit, a coding unit, and a prediction unit may be signaled.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인터 레이어 예측 방법 및 이를 이용한 장치에 대한 발명으로, 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 판단하는 단계와; 상기 판단 결과에 따라 상기 슬라이스 단위, 상기 부호화 단위 및 상기 예측 단위 중 어느 하나에 대하여 상기 업샘플링된 참조 영상의 필터링을 수행하는 단계와; 상기 필터링된 참조 영상을 이용하여 현재 영상의 예측을 수행하는 단계를 포함할 수 있다. 이로 인하여, 참조 레이어의 정보를 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치가 제공된다.

Description

영상 복호화 방법 및 이를 이용하는 장치
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.
본 발명은 참조 레이어의 정보를 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 시간적 상관성 및 공간적 상관성을 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 필터링 여부를 나타내는 플래그 정보 없이 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
본 발명은 참조 레이어의 정보를 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 시간적 상관성 및 공간적 상관성을 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 필터링 여부를 나타내는 플래그 정보 없이 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르면, 참조 레이어의 정보를 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이를 이용하는 장치가 제공된다.
또한, 본 발명의 일 실시예에 따르면 시간적 상관성 및 공간적 상관성을 이용하여 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 이용하는 장치가 제공된다.
또한, 본 발명의 일 실시예에 따르면 필터링 여부를 나타내는 플래그 정보 없이 업샘플링한 참조 레이어의 필터링 여부를 결정하는 방법 및 이용하는 장치가 제공된다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 인터 레이어 간의 시간적 상관선 및 공간적 상관성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 인터 레이어 필터링부를 도시한 제어 블록도이다.
도 5는 본 발명의 일 실시예에 따라 인터 레이어 필터링 방법을 설명하기 위하여 제어 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어 별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(color format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(135)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 및 MUX(Multiplexer, 165)를 포함한다.
레이어 0의 인코딩부(135)는 예측부(140), 변환/양자화부(145), 필터링부(150), DPB(155) 및 엔트로피 코딩부(160)를 포함한다.
예측부(110, 140)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 예측부(110, 140)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 예측부(110, 140)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predictor) 모드 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 예측부(110, 140)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 두 개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
또한, 예측부(110)는 레이어 0의 정보를 이용하여 레이어 1에 대한 예측을 수행할 수 있다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.
다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.
또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.
인터 레이어 예측의 일 예로서, 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.
인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.
인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 예측의 다른 예인 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.
또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.
또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.
인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.
예컨대, 예측부(110)는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.
또한, 예측부(110)는 인터 레이어 예측으로서 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 (차분 영상) 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측을 수행할 수도 있다.
또한, 예측부(110)는 인터 레이어 예측으로, 다른 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성하는 인터 레이어 신택스 예측을 이용할 수도 있다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
이 때, 참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다.
예를 들면, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이런 경우 인터 레이어 신택스 예측을 적용하면, 참조 레이어의 신택스 정보 중 참조 블록의 인트라 예측 모드를 이용하여 현재 블록에 대한 텍스처를 생성/ 예측하는 인터 레이어 예측을 수행할 수 있다.
상술된 인터 레이어를 이용한 여러 예측 방법은 특정 블록에 대한 예측 시 복 수개가 이용될 수도 있다. 예를 들어 현재 블록을 예측하기 위하여 레이어 0의 예측 정보를 이용하면서, 대응되는 레이어 0 또는 대응 블록의 유닛 정보 또는 필터링 파라미터 정보 등을 추가적으로 이용할 수 있다. 이러한 인터 레이어 예측 방법의 결합은 본 명세서 이하에서 설명될 예측에도 적용될 수 있다.
변환/양자화부(115, 145)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화 할 수 있다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 145)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환/양자화부(115, 145)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 145)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(145)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 145)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 150)에 전달할 수 있다.
한편, 변환/양자화부(115, 145)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 160)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 150)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 150)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 155)는 필터링부(120, 150)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 155)는 복원 블록 또는 픽처를 인터 예측을 수행하는 예측부(110, 140)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(160)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(165)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(135)와는 별도의 장치 혹은 모듈일 수 있다.
도 1의 인코딩 장치는 카메라 등을 포함하여 영상을 촬상하고 인코딩 할 수 있는 전자장치 등으로 구현될 수 있다. 예를 들어 인코딩 장치는 텔레비전, 컴퓨터 시스템, 휴대용 전화기 또는 태블랫 PC와 같은 개인 단말기 등으로 구현되거나 이들 전자장치에 포함될 수 있다.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.
도 2를 참조하면, 디코딩 장치(200)는 레이어 1의 디코딩부(210)와 레이어 0의 디코딩부(250)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(210)는 엔트로피 디코딩부(215), 재정렬부(220), 역양자화부(225), 역변환부(230), 예측부(235), 필터링부(240), 메모리를 포함할 수 있다.
레이어 0의 디코딩부(250)는 엔트로피 디코딩부(255), 재정렬부(260), 역양자화부(265), 역변환부(270), 예측부(275), 필터링부(280), 메모리(285)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(205)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(215, 255)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(215, 255)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(215, 255)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(235, 275)로 제공되고, 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220, 260)로 입력될 수 있다.
재정렬부(220, 260)는 엔트로피 디코딩부(215, 255)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(220, 260)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(220, 260)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(225, 265)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역변환부(230, 270)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(230, 270)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(230, 270)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(230, 270)은 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(230, 270)은 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(230, 270)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(330, 370)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(330, 370)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(230, 270)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(230, 270)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환(230, 270)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(235, 275)는 엔트로피 디코딩부(215, 255)로부터 전달된 예측 블록 생성 관련 정보와 메모리(245, 285)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(235, 275)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(235)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(235)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 0의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 0의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(235)는 레이어 0의 예측부(275)로부터 레이어 0의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
상술된 인터 레이어를 이용한 여러 예측 방법은 특정 블록에 대한 예측 시 복 수개가 이용될 수도 있다. 예를 들어 현재 블록을 예측하기 위하여 레이어 0의 예측 정보를 이용하면서, 대응되는 레이어 0 또는 대응 블록의 유닛 정보 또는 필터링 파라미터 정보 등을 추가적으로 이용할 수 있다. 이러한 인터 레이어 예측 방법의 결합은 본 명세서 이하에서 설명될 예측에도 적용될 수 있다.
가산기(290, 295)는 예측부(235, 275)에서 생성된 예측 블록과 역변환부(230, 270)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(290, 295)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(290, 295)에서 복원된 블록 및/또는 픽처는 필터링부(240, 280)로 제공될 수 있다.
도 2의 예를 참조하면, 레이어 1의 필터링부(240)는 레이어 1의 예측부(235) 및/또는 레이어 0의 필터링부(280)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(240)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(245, 285)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(245, 285)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 2의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장치에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
도 1 및 도 2의 예에서는 예측부로 설명하였으나, 발명의 이해를 돕기 위해, 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함하는 것으로 볼 수도 있다.
도 2의 디코딩 장치는 영상을 재생하고, 또는 재생하여 표시할 수 있는 다양한 전자장치로 구현될 수 있다. 예를 들어 디코딩 장치는 셋탑 박스, 텔레비전, 컴퓨터 시스템, 휴대용 전화기, 태블랫 PC와 같은 개인 단말기 등으로 구현되거나 이들 전자장치에 포함될 수 있다.
인터 레이어 예측에 있어서 필터를 적용하여 참조 영상의 품질을 향상시킬 수 있다. 예컨대, 하위 레이어의 텍스쳐를 업샘플링한 영상을 상위 레이어의 예측 영상으로 사용하거나 참조 영상으로 이용하는 경우, 참조 영상의 품질을 향상시키기 위해, 참조 영상에 필터를 적용할 수 있다.
구체적으로, 공간적 스케일러빌러티(spatial scalabilty)의 경우를 예로 들면, 하위 레이어의 텍스처 정보에 업샘플링 필터를 적용하여 계층 간 해상도를 동일하게 조정한 후에, 조정된 하위 레이어의 텍스처 정보를 참조 영상으로 이용할 수 있다.
이때, 업샘플링 필터가 적용된 하위 레이어의 텍스처 정보에 추가로 필터링을 적용한 후 상위 레이어의 예측을 위한 참조 영상으로 사용할 수 있다.
또는 현재 레이어의 복원 픽처와 다른 레이어의 복원 픽처를 업샘플링 혹은 다운샘플링한 영상 간의 차분 영상을 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 차분 예측 시에도 업샘플링 영상이 이용되므로, 하위 레이어의 필터링이 수행될 수 있다.
업샘플링된 참조 영상의 필터링부에서 적용되는 필터는 인코딩 장치/디코딩 장치에서 소정의 탭 수와 계수로 미리 특정되어 있는 필터일 수도 있으며, 필터 파라미터(탭 수, 계수 등)가 적응적으로 시그널링 되는 필터일 수도 있다.
통상적으로 단일 레이어의 영상에 적용되는 SAO 혹은 ALF는, 복원 영상의 픽셀값과 입력 영상의 픽셀값의 차이를 줄이는 기능을 하는 반면, 인터 레이어 예측에서 업샘플링된 참조 영상에 수행될 수 있는 SAO 혹은 ALF는 현재 인코딩 또는 디코딩 대상이 되는 블록에 대한 예측 블록의 정확도를 높이는 기능을 한다.
이 경우, 참조 영상의 품질 향상으로 인해서 인터 레이어 텍스쳐 예측이나 인터 레이어 차분 예측이 적용된 블록에서 레지듀얼 값이 작아지는 효과를 기대할 수 있다. 또한, 이를 통해 코딩 효율이 향상되는 효과를 기대할 수 있다. 또한 참조 영상의 품질 향상을 위해 새로운 모듈이나 장치를 추가하는 것이 아니라 이미 기존에 사용하였던 장치를 재사용한다는 장점이 있다.
다만, 업샘플링된 참조 영상의 품질은 향상되지만 인코딩 복잡도 증가와 추가적인 SAO 혹은 ALF 파라미터의 코딩이 요구될 수도 있다. 그렇기 때문에 인코딩 장치 또는 디코딩 장치의 성능 또는 입력 시퀀스와 업샘플링된 베이스 레이어 텍스처 간의 오차 등에 따라 업샘플링된 참조 영상의 필터링의 적용 여부를 결정할 수 있다. 이러한 필터링부에 적용되는 필터를 적응으로 인코딩/디코딩 루프에 적용되는 필터라고 할 수 있다. 적응적인 필터링을 위하여 아래와 같은 구문 요소의 시그널링이 요구될 수 있다.
1. 계층간 참조 영상에 대한 ALF의 적용 여부를 나타내는 플래그
-> inter_layer_adaptive_loop_filter_enabled_flag
2. 계층간 참조 영상에 대한 ALF 관련 파라미터
-> alf_param()
3. 계층간 참조 영상에 대한 SAO의 적용 여부를 나타내는 플래그
-> inter_layer_sample_adaptive_offset_enabled_flag
4. 계층간 참조 영상에 대한 SAO 관련 파라미터
-> sao_param()
inter_layer_adaptive_loop_filter_enabled_flag는 인코딩 장치/디코딩 장치가 계층간 참조 영상에 대하여 ALF를 적용하는지 여부를 나타내는 플래그이고, inter_layer_adaptive_loop_filter_enabled_flag의 값이 0 이면, 인터 레이어 ALF를 적용하지 않는 것을 지시하고, inter_layer_adaptive_loop_filter_enabled_flag의 값이 1이면, 계층간 참조 영상에 대하여 ALF를 적용하는 것을 지시한다.
alf_param()는 ALF 파라미터를 나타낸다.
inter_layer_sample_adaptive_offset _enabled_flag는 인코딩 장치/디코딩 장치가 계층간 참조 영상에 대하여 SAO의 적용 여부를 나타내는 플래그이고, inter_layer_sample_adaptive_offset _enabled_flag의 값이 0 이면, 인터 레이어 SAO를 적용하지 않는 것을 지시하고, inter_layer_sample_adaptive_offset _enabled_flag의 값이 1이면, 계층간 참조 영상에 대하여 SAO를 적용하는 것을 지시한다.
sao_param()는 SAO 파라미터를 나타낸다.
상기 네 개의 구문 요소는 Adaptation Parameter Set (APS)에 포함되어 시그널링 될 수 있다.
표 1은 적응적 인터 레이어 필터링을 위한 APS 의 일 예를 나타낸 것이다.
표 1
Figure PCTKR2013009717-appb-T000001
표 2는 적응적 인터 레이어 필터링을 위한 시퀀스 파라미터 세트(Sequence parameter set)의 일 예를 나타낸 것이다.
표 2
Figure PCTKR2013009717-appb-T000002
표 2를 참조하면, 표 1에 포함되었던 네 개의 구문 요소 중 두 개의 플래그, 즉, inter_layer_adaptive_loop_filter_enabled_flag와 inter_layer_sample_adaptive_offset_enabled_flag는 APS가 아닌 SPS에서 전송될 수 있다.
또는 표 3과 같이, 상기 네 개의 구문 요소는 슬라이스 헤더에 포함되어 전송될 수 있다.
표 3
Figure PCTKR2013009717-appb-T000003
한편, 본 발명의 일 실시예에 따르면, 표 1 내지 3에 도시되어 있는 플래그 정보의 시그널링 없이 업샘플링된 참조 영상의 필터링을 적응적으로 수행할 수 있다.
도 3은 인터 레이어 간의 시간적 상관선 및 공간적 상관성을 설명하기 위한 도면이다.
도 3의 X 축은 시간적 도메인(Temporal domain)을 나타내며 시간의 흐름에 따른 영상이 도시되어 있다. 도 3의 Y축은 공간적 도메인(Spatial domain)을 나타내며 공간적 크기에 영상이 도시되어 있다.
Y축에서 S0에 존재하는 제1 영상(310) 및 제2 영상(320)은 베이스 레이어 또는 하위 레이어인 참조 레이어의 영상일 수 있고, S1에 존재하는 제3 영상(315) 및 제4 영상(325)은 인핸스먼트 레이어로서 참조 레이어를 참조하는 현재 레이어의 영상을 나타낸다.
T0일 때와 T1일 때의 영상을 비교하면, T1일 때 출력될 수 있는 제2 영상(320) 및 제4 영상은 제1 영상(310) 및 제3 영상(315)이 포함하지 않았던 흰색 영역(B, B’)을 포함한다.
T1의 현재 레이어에 포함되어 있는 B 영역은 T0의 현재 레이어의 영상과의 시간적 상관성(Temporal correlation)이 떨어진다. 즉, 제4 영상(325)에는 B 영역이 포함되어 있지만 제3 영상(315)에는 B 영역이 포함되어 있지 않기 때문에 B 영역의 예측 시 인터 예측 모드가 사용될 가능성은 낮고, 이는 B 영역에서 현재 레이어 영상(315, 325) 간의 시간적 상관성은 크지 않음을 의미한다.
반면, 제 4 영상(325)의 B 영역은 제2 영상(320)의 B’ 영역과의 연관성 때문에 S1의 B 영역은 S0과의 공간적 상관성은 높아진다.
한편, T1의 현재 레이어에 포함되어 있는 A 영역은 T0의 현재 레이어의 영상과의 시간적 상관성이 높을 수 있다.
따라서, T1의 S1, 즉 제4 영상(325)의 A 영역은 T0의 S1이 대응하는 제3 영상(315)의 해당 영역을 참조 정보로 사용하고 T1의 S1의 B 영역은 T1의 S0, 제2 영상(320)의 대응 영역인 B’영역을 참조 정보로 사용할 가능성이 높다.
다시 말해, T0의 S0인 제2 영상(320)의 B’영역은 다른 레이어의 참조 정보로 사용될 가능성이 높기 때문에 영상의 품질을 향상시키기 위하여 인터 레이어 필터링(SAO 또는 ALF 등)을 수행할 있다. 이 경우, 레지듀얼 값이 작아지는 효과로 인하여 코딩 효율을 증가시킬 수 있다.
반면, 제2 영상(320)의 B’ 영역을 제외한 영역, 즉 A’ 영역의 경우, S0과 S1의 공간적 상관성보다 T0와 T1 일 때 현재 레이어 간의 시간적 상관성이 높기 때문에 영상의 품질을 향상 시키더라도 참조 정보로 사용되지 않을 수 있다.
물론, A’영역 역시 공간적 상관성이 시간적 상관성보다 현저하게 큰 것으로 판단될 경우, 제4 영상(325)의 A’영역의 예측 블록을 생성할 때 제2 영상(320)의 A’ 영역을 이용할 수 있고, 이 경우 업샘플링된 A’영역에 대한 필터링이 수행될 수 있다.
본 발명에 따르면 인코딩 장치 및 디코딩 장치는 상기와 같은 영상의 시간적 및 공간적 특성을 이용하여 적응적으로 인터 레이어 필터링을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 인터 레이어 필터부를 개념적으로 도시한 도면이다.
도시된 바와 같이, 인터 레이어 필터링부는 참조 레이어 분석부(410) 및 필터링 수행부(420)를 포함한다.
인터 레이어 필터링부는 상위 레이어 즉, 현재 레이어의 인코딩 및 디코딩을 수행하는 인코딩부 및 디코딩부에 포함되어 있는 필터링부로 구현될 수 있다.
또는 참조 레이어 분석부(410)는 참조 레이어의 인코딩부 및 디코딩부에 포함되어 있는 메모리 및 메모리에 저장되어 있는 참조 레이어의 영상을 업샘플링하고, 참조 레이어를 분석하는 제어부로 구현될 수 있다.
참조 레이어 분석부(410)는 영상의 특성을 분석하여 인터 레이어 필터링(SAO, ALF)의 적용 여부를 판단한다. 참조 영상의 특정 영역이 시간적 상관성이 높은 경우, 상위 레이어의 영상에서도 공간적 상관성 보다 시간적 상관성이 높을 가능성이 크기 때문에, 참조 레이어 분석부(410)는 참조 영상의 특정 영역이 시간적 상관성이 높은 것으로 판단되면 참조 영상에 인터 레이어 필터링을 적용 하지 않는 것으로 판단한다. 참조 레이어 분석부(410)는 인터 레이어 필터링 여부를 참조 영상의 일부분, 즉 슬라이스 단위, CU 도는 PU 별로 판단할 수 있다.
참조 레이어 분석부(410)는 업샘플링된 참조 영상을 이용하여 필터링 여부를 파악한다. 이러한 필터링 여부의 파악에 이용되는 참조 레이어 정보는 참조 영상의 샘플값이 될 수도 있고, 특정 영역의 움직임 벡터가 될 수도 있다. 참조 레이어 분석부(410)는 연속적인 참조 영상의 샘플값의 차이에 기초하여 필터링 여부를 결정할 수도 있다. 예컨대, 도 3에 도시되어 있는 시간적으로 연속적인 제1 영상(310) 및 제2 영상(320)의 샘플값의 차이를 구하여 제1 영상(310)에 존재하지 않았던 B’ 영역의 존재를 파악하여 이를 필터링 여부의 판단 근거로 이용할 수 있다. B’영역의 경우, 샘플값의 차이는 A’영역보다 크고, 이는 시간적 상관성이 크지 않은 것을 의미한다.
또는 참조 레이어 분석부(410)는 참조 레이어 정보로써 참조 영상의 코딩 모드 정보를 이용하여 인터 레이어 필터링 여부를 판단할 수도 있다. 코딩 모드 정보는 해당 영역의 예측이 이용된 예측 모드를 의미하는 것으로, 인트라 예측 모드, 인터 예측 모드, 스킵 모드 또는 머지 모드 등일 수 있다. 예를 들어, 참조 영상의 코딩 모드 정보가 인터 예측 모드로 판단된다면, 참조 영상의 예측 시 시간적 상관성이 이용된 것으로 해석할 수 있고 이런 경우 상위 레이어의 영상 역시 시간적 상관성이 높을 가능성이 크다. 따라서, 참조 영상의 예측 모드가 인터 예측인 경우, 참조 레이어 분석부(410)는 참조 영상에 대하여 필터링을 수행하지 않는 것으로 판단할 수 있다. 또한, 참조 영상의 예측 모드가 인터 예측의 하나인 스킵 모드 또는 머지 모드인 경우에도 참조 레이어 분석부(410)는 참조 영상에 대하여 필터링을 수행하지 않는 것으로 판단할 수 있다.
반대로, 참조 영상의 특정 영역에 인트라 모드가 적용된 경우 참조 레이어 분석부(410)는 특정 영역에 대하여 인터 레이어 필터링을 수행하는 것으로 판단할 수 있다.
정리하면, 참조 레이어 분석부(410)는 참조 영상의 샘플값의 차이 또는 참조 영상의 코딩 모드 정보를 파악하여 적응적으로 참조 영상의 필터링 여부를 결정할 수 있다.
참조 레이어 분석부(410)의 참조 영상의 필터링 여부에 대한 판단 결과는 필터링 수행부(420)로 입력된다.
필터링 수행부(420)는 상위 레이어의 인코딩부 및 디코딩부에 포함되어 있는 필터링부로 구현될 수도 있고, 참조 레이어의 인코딩부 및 디코딩부에 포함되어 있는 필터링부로 구현될 수 있다. 필터링 수행부(420)가 상위 레이어의 인코딩부 및 디코딩부에 포함되면, 필터링된 업샘플링된 참조 영상은 상위 레이어로 제공될 수 있다.
필터링 수행부(420)는 참조 레이어 분석부(410)로부터 입력된 참조 영상의 필터링 여부에 대한 판단 결과에 따라 참조 영상을 필터링한다. 참조 영상은 영상 전체에 대하여 필터링이 수행될 수도 있지만, 상술한 바와 같이 슬라이스 단위, CU 또는 PU 별로 수행될 수 있다.
필터링 수행부(420)는 상위 레이어 또는 하위 레이어 전체에 적용되는 필터 계수를 이용하여 필터링을 수행할 수도 있고, 참조 영상의 필터링을 위한 별도의 필터 계수를 이용할 수도 있다.
참조 영상의 필터링을 위한 필터 계수는 별도로 시그널링 될 수도 있고, 해당 영역에 적합하도록 필터링 단계에서 유도되거나 생성될 수도 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따르면 참조 영상의 부분적인 특징에 따라 참조 영상의 필터링 여부가 적응적으로 적용된다. 이 경우, 적응적 필터링 방법이 적용되는지 여부를 나타내는 플래그 정보가 시퀀스 파라미터 세트 또는 픽처 파라미터 세트에 포함되어 시그널링 수도 있다. 즉, 이러한 플래그 정보에 따라 참조 레이어 분석부(410) 및 필터링 수행부(420)의 동작 여부가 결정될 수 있다.
본 발명의 다른 실시예에 따르면, 인터 레이어 필터링 수행 여부는 영상의 분석이 아닌 별도의 플래그 정보에 기초하여 판단될 수 있다. 이 경우, 필터링 여부는 하나의 영상, 즉 픽쳐 단위가 아닌 슬라이스, CU 또는 PU 레벨에서 시그널링될 수 있다. 따라서, 슬라이스, CU 또는 PU 마다, 즉 영상의 전제가 아닌 부분에 대하여 필터링 여부가 시그널링되고, 상위 레이어의 예측부는 이러한 플래그 정보에 기초하여 필터링이 수행된 참조 영상에 기초하여 예측 대상 블록의 예측 블록을 생성할 수도 있다.
또는 인터 레이어 필터링 수행 여부는 특정 플래그 정보가 시그널링 되지 않더라도 참조 레이어의 영상의 부호화 정보로부터 추론되도록 할 수도 있다. 즉, 참조 레이어의 특정 부분의 예측 모드가 인터로 예측되지 않은 인트라 모드 이거나, 추가적인 예측 정보가 존재하지 않는 스킵 모드 또는 머지 모드가 아닌 경우, 필터링 파라미터(SAO 또는 ALF)에 대한 정보가 시그널링 될 수 있다. 즉, 참조 영상의 예측 모드에 따라 인터 레이어 필터링 플래그 정보가 1인 것으로 추론하고, 이에 대응하여 필터링 파라미터에 대한 정보가 시그널링될 수 있다.
본 발명에는 인터 레이어 필터링 방법의 예시로 SAO 또는 ALF가 설명되었지만, 업샘플링된 참조 영상의 필터링으로 디블록킹 필터가 적용될 수도 있다. 또는 본 명세서에 기재되지 않았지만 영상의 필터링을 위하여 이용할 수 있는 공지된 다양한 방법이 이용될 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따라 인터 레이어 필터링 방법을 설명하기 위하여 제어 흐름도이다.
우선, 참조 레이어 분석부(410)는 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 판단할 수 있다(S510).
이러한 필터링 여부 판단은 업샘플링된 참조 영상의 코딩 모드 정보에 기초하여 수행될 수도 있고, 다른 실시예에 따라 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나 별로 업샘플링된 참조 영상의 필터링 여부를 나타내는 플래그 정보에 기초하여 수행될 수도 있다.
본 발명은 참조 영상을 이용하든 플래그 정보를 이용하든 참조 영상 전체가 아닌 참조 영상의 일 영역에 대응하는 부분 별로 필터링 적용 여부를 판단한다.
상술한 바와 같이, 본 발명의 일 예에 따르면 필터링 여부는 참조 영상의 코딩 모드 정보에 기초하여 수행될 수 있고, 코딩 모드 정보는 참조 영상의 예측 모드를 포함할 수 있다.
만약, 참조 영상의 해당 영역의 예측 모드가 인터 모드이면(S520), 업샘플링된 참조 영상에 필터링을 수행하지 않는 것으로 판단할 수 있고, 이러한 판단 결과에 따라 업샘플링된 참조 영상의 필터링을 수행하지 않는다(S530).
반면, 참조 영상의 예측 모드가 인트라 모드이면(S520), 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단하고, 업샘플링된 참조 영상에 대하여 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나 별로 필터링을 수행한다(S540).
본 발명의 다른 실시예에 따르면, 필터링 여부를 판단하는 단계는 업샘플링된 참조 영상의 텍스쳐 정보에 기초하여 수행될 수도 있다.
이 경우, 참조 레이어 분석부(410)는 연속적인 참조 영상들의 샘플값의 차이를 연산하고, 샘플값이 차이가 소정 임계 범위를 벗어나면, 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단할 수 있다. 연속적인 참조 영상들이란 현재 영상이 참조하는 참조 영상과 시간적으로 인접한 참조 레이어의 영상일 수 있다. 예를 들어 도 3의 제1 영상(310) 및 제2 영상(320)이 연속적인 참조 영상일 수 있다.
즉, 샘플값의 차이가 소정 임계 범위를 벗어나는 것과 같이 크다면, 해당 영역에서 참조 영상들 간의 시간적 상관성이 낮은 것으로 판단할 수 있다. 따라서 공간적 상관성이 높은 업샘플링된 참조 영상을 참조할 가능성이 크므로, 참조 영상에 대한 필터링을 수행할 수 있다.
필터링 수행부(420)는 인터 레이어 필터링을 위한 필터 계수를 생성할 수도 있고, 이미 시그널링 된 필터 계수를 이용할 수도 있다.
참조 영상에 대한 필터링이 수행되면, 인코딩 장치 및 디코딩 장치의 현재 레이어에 대한 예측부는 필터링된 참조 영상을 이용하여 현재 영상의 예측을 수행한다(S550).
필터링이 수행되지 않는 영역에 대응하는 현재 영상의 영역은 참조 레이어가 아닌 현재 레이어의 다른 영상을 이용하여 예측, 예를 들어 인터 예측이 수행될 수 있다(S560).
도 5와 같이 적응적인 인터 레이어 필터링을 수행하는 경우, 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 결정하는 것을 나타내는 플래그 정보가 시그널링 될 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함할 수 있으므로 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (18)

  1. 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 판단하는 단계와;
    상기 판단 결과에 따라 상기 슬라이스 단위, 상기 부호화 단위 및 상기 예측 단위 중 어느 하나에 대하여 상기 업샘플링된 참조 영상의 필터링을 수행하는 단계와;
    상기 필터링된 참조 영상을 이용하여 현재 영상의 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  2. 제1항에 있어서,
    상기 필터링 여부를 판단하는 단계는 상기 업샘플링된 참조 영상의 코딩 모드 정보에 기초하여 수행되는 것을 특징으로 하는 영상의 복호화 방법.
  3. 제2항에 있어서,
    상기 코딩 모드 정보는 상기 참조 영상의 예측 모드를 포함하고,
    상기 필터링 여부를 판단하는 단계는 상기 참조 영상의 예측 모드가 인터 모드이면, 상기 업샘플링된 참조 영상에 필터링을 수행하지 않는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 방법
  4. 제2항에 있어서,
    상기 코딩 모드 정보는 상기 참조 영상의 예측 모드를 포함하고,
    상기 필터링 여부를 판단하는 단계는 상기 참조 영상의 예측 모드가 인트라 모드이면, 상기 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 방법.
  5. 제1항에 있어서,
    상기 필터링 여부를 판단하는 단계는 상기 업샘플링된 참조 영상의 텍스쳐 정보에 기초하여 수행되는 것을 특징으로 하는 영상의 복호화 방법.
  6. 제5항에 있어서,
    상기 필터링 여부를 판단하는 단계는 연속적인 참조 영상의 샘플값의 차이를 연산하고,
    상기 샘플값이 차이가 소정 임계 범위를 벗어나면, 상기 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 방법.
  7. 제1항에 있어서,
    상기 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 결정하는 것을 나타내는 플래그 정보를 수신하는 것을 특징으로 하는 영상의 복호화 방법.
  8. 제1항에 있어서,
    상기 필터링을 수행하는 단계는 인터 레이어 필터링을 위한 필터 계수를 생성하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법
  9. 제1항에 있어서,
    상기 필터링 여부를 판단하는 단계는 상기 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 나타내는 플래그 정보에 기초하여 수행되는 것을 특징으로 하는 영상의 복호화 방법.
  10. 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 판단하는 참조 레이어 분석부와;
    상기 판단 결과에 따라 상기 슬라이스 단위, 상기 부호화 단위 및 상기 예측 단위 중 어느 하나에 대하여 상기 업샘플링된 참조 영상의 필터링을 수행하는 필터링 수행부와;
    상기 필터링된 참조 영상을 이용하여 현재 영상의 예측을 수행하는 예측부를 포함하는 것을 특징으로 하는 영상의 복호화 장치.
  11. 제10항에 있어서,
    상기 참조 레이어 분석부는 상기 업샘플링된 참조 영상의 코딩 모드 정보에 기초하여 필터링 여부를 판단하는 것을 특징으로 하는 영상의 복호화 장치.
  12. 제11항에 있어서,
    상기 코딩 모드 정보는 상기 참조 영상의 예측 모드를 포함하고,
    상기 참조 레이어 분석부는 상기 참조 영상의 예측 모드가 인터 모드이면, 상기 업샘플링된 참조 영상에 필터링을 수행하지 않는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 장치.
  13. 제11항에 있어서,
    상기 코딩 모드 정보는 상기 참조 영상의 예측 모드를 포함하고,
    상기 참조 레이어 분석부는 상기 참조 영상의 예측 모드가 인트라 모드이면, 상기 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 장치.
  14. 제10항에 있어서,
    상기 참조 레이어 분석부는 상기 업샘플링된 참조 영상의 텍스쳐 정보에 기초하여 필터링 여부를 수행하는 것을 특징으로 하는 영상의 복호화 장치.
  15. 제14항에 있어서,
    상기 참조 레이어 분석부는 연속적인 참조 영상의 샘플값의 차이를 연산하고,
    상기 샘플값이 차이가 소정 임계 범위를 벗어나면, 상기 업샘플링된 참조 영상에 필터링을 수행하는 것으로 판단하는 것을 특징으로 하는 영상의 복호화 장치.
  16. 제10항에 있어서,
    상기 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 결정하는 것을 나타내는 플래그 정보에 따라 상기 참조 레이어 분석부의 동작 여부가 결정되는 것을 특징으로 하는 영상의 복호화 장치.
  17. 제10항에 있어서,
    상기 참조 레이어 분석부는 인터 레이어 필터링을 위한 필터 계수를 생성하는 것을 특징으로 하는 영상의 복호화 장치.
  18. 제10항에 있어서,
    상기 참조 레이어 분석부는 상기 슬라이스 단위, 부호화 단위 및 예측 단위 중 어느 하나에 대하여 업샘플링된 참조 영상의 필터링 여부를 나타내는 플래그 정보에 기초하여 필터링 여부를 판단하는 것을 특징으로 하는 영상의 복호화 장치.
PCT/KR2013/009717 2012-10-30 2013-10-30 영상 복호화 방법 및 이를 이용하는 장치 WO2014069889A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261719971P 2012-10-30 2012-10-30
US61/719,971 2012-10-30

Publications (1)

Publication Number Publication Date
WO2014069889A1 true WO2014069889A1 (ko) 2014-05-08

Family

ID=50627717

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009717 WO2014069889A1 (ko) 2012-10-30 2013-10-30 영상 복호화 방법 및 이를 이용하는 장치

Country Status (1)

Country Link
WO (1) WO2014069889A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
KR20070015098A (ko) * 2005-07-29 2007-02-01 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR20070076490A (ko) * 2006-01-13 2007-07-24 경희대학교 산학협력단 방향정보 기반의 업샘플링을 이용한 공간적 계층 비디오복호화 장치 및 그 방법
KR20090003321A (ko) * 2005-07-21 2009-01-09 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20110123689A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279383A (ja) * 2005-03-29 2006-10-12 Nippon Telegr & Teleph Corp <Ntt> 階層間予測符号化方法，装置，階層間予測復号方法，装置，階層間予測符号化プログラム，階層間予測復号プログラムおよびそれらのプログラム記録媒体
KR20090003321A (ko) * 2005-07-21 2009-01-09 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20070015098A (ko) * 2005-07-29 2007-02-01 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
KR20070076490A (ko) * 2006-01-13 2007-07-24 경희대학교 산학협력단 방향정보 기반의 업샘플링을 이용한 공간적 계층 비디오복호화 장치 및 그 방법
KR20110123689A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2020071829A1 (ko) 히스토리 기반 영상 코딩 방법 및 그 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2019117636A1 (ko) 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2015009107A1 (en) Method and apparatus for generating 3k-resolution display image for mobile terminal screen
WO2019125035A1 (ko) 선택적 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020256344A1 (ko) 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2020116961A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2021096057A1 (ko) 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2020256346A1 (ko) 변환 커널 세트에 관한 정보에 대한 코딩
WO2020141831A2 (ko) 인트라 블록 카피 예측을 이용한 영상 코딩 방법 및 장치
WO2013147495A1 (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 장치
WO2021125700A1 (ko) 예측 가중 테이블 기반 영상/비디오 코딩 방법 및 장치
WO2021091214A1 (ko) 크로마 양자화 파라미터 오프셋 관련 정보를 코딩하는 영상 디코딩 방법 및 그 장치
WO2021034161A1 (ko) 인트라 예측 장치 및 방법
WO2015057032A1 (ko) 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
WO2014007514A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2021246791A1 (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
WO2021118296A1 (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
WO2021137588A1 (ko) 픽처 헤더를 포함하는 영상 정보를 코딩하는 영상 디코딩 방법 및 그 장치
WO2020060259A1 (ko) 영상 코딩 시스템에서 블록 파티셔닝을 사용하는 영상 디코딩 방법 및 그 장치
WO2020130577A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019194458A1 (ko) Obmc를 이용한 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13851585

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13851585

Country of ref document: EP

Kind code of ref document: A1