WO2014092434A2 - 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 - Google Patents

비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 Download PDF

Info

Publication number
WO2014092434A2
WO2014092434A2 PCT/KR2013/011424 KR2013011424W WO2014092434A2 WO 2014092434 A2 WO2014092434 A2 WO 2014092434A2 KR 2013011424 W KR2013011424 W KR 2013011424W WO 2014092434 A2 WO2014092434 A2 WO 2014092434A2
Authority
WO
WIPO (PCT)
Prior art keywords
reference picture
layer
picture
current
prediction
Prior art date
Application number
PCT/KR2013/011424
Other languages
English (en)
French (fr)
Other versions
WO2014092434A3 (ko
Inventor
이하현
강정원
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority claimed from KR1020130153329A external-priority patent/KR102219841B1/ko
Publication of WO2014092434A2 publication Critical patent/WO2014092434A2/ko
Publication of WO2014092434A3 publication Critical patent/WO2014092434A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to a method for video encoding and decoding and an apparatus using the same. More specifically, the present invention relates to a method of using information of a corresponding reference picture in a reference layer to generate a prediction sample for a block to be encoded or decoded in a current layer. Relates to a device.
  • an inter prediction technique for predicting pixel values included in a current picture from a previous and / or subsequent picture in time, and predicting pixel values included in a current picture using pixel information in the current picture.
  • An intra prediction technique an entropy encoding technique of allocating a short code to a symbol with a high frequency of appearance and a long code to a symbol with a low frequency of appearance may be used.
  • Video compression technology is a technology that provides a constant network bandwidth under a limited operating environment of hardware without considering a fluid network environment.
  • a new compression technique is required to compress image data applied to a network environment in which bandwidth changes frequently, and a scalable video encoding / decoding method may be used for this purpose.
  • SHVC scalable high efficiency video coding
  • An object of the present invention is to provide a method and apparatus for performing prediction using information of another layer by adding a decoded picture of a lower layer (reference layer) to a reference picture list for an encoding / decoding target in a current layer. do.
  • the present invention also provides a method and apparatus for generating a prediction signal such that a difference signal between an original signal and a prediction signal is minimized by performing prediction (eg, motion prediction) on a decoded picture of a lower layer (reference layer). It aims to provide.
  • prediction eg, motion prediction
  • the present invention when a decoded picture of a lower layer (reference layer) is added to a reference picture list for a current encoding / decoding target block, the present invention may adaptively use a lower layer (eg, encoding information, depth information of a prediction structure).
  • a lower layer eg, encoding information, depth information of a prediction structure.
  • An embodiment of the present invention provides a video encoding method comprising: decoding a picture of a reference layer, deriving an interlayer reference picture by sampling a decoded picture of the reference layer, and referring to the interlayer reference picture and a current layer Constructing a reference picture list including a picture, generating a prediction sample for the current block by performing prediction on the current block of the current layer based on the reference picture list, based on the prediction sample, The method may include generating a residual sample for the current block and encoding the residual sample.
  • Another embodiment of the present invention provides a video decoding method comprising: decoding a picture of a reference layer, deriving an interlayer reference picture by sampling a decoded picture of the reference layer, and referring to the interlayer reference picture and a current layer Constructing a reference picture list including a picture, generating a prediction sample for the current block by performing prediction on the current block of the current layer based on the reference picture list, and generating the prediction sample for the current block; And generating a reconstruction sample for the current block based on the residual sample for the current block.
  • Another embodiment of the present invention is an inter prediction method of video information, the method comprising: decoding a picture of a reference layer, sampling a decoded picture of the reference layer, deriving an inter-layer reference picture, the inter-layer reference picture and Constructing a reference picture list including a reference picture of a current layer and generating a prediction sample for the current block by performing prediction on the current block of the current layer based on the reference picture list.
  • a reference picture list for performing prediction eg, motion prediction and motion compensation, etc.
  • the reference picture list may be configured to include the pictures.
  • the reference picture list of the decoded picture of the lower layer (reference layer) using encoding information, prediction structure depth information, and the like. I can adaptively determine my location.
  • encoding efficiency is increased by adaptively determining a position of a decoded picture of a lower layer (reference layer) within a reference picture. Can be.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a video decoding apparatus according to an embodiment.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a flowchart schematically illustrating a method for performing interlayer prediction in an encoding device / decoding device according to the present invention.
  • FIG. 5 is a diagram schematically illustrating an example of a method of constructing a reference picture list according to an embodiment of the present invention.
  • FIG. 6 is a diagram schematically illustrating an example of temporal levels for respective pictures in a current layer.
  • FIG. 7 is a diagram schematically illustrating an example of depth information of a structure of prediction of a current layer.
  • FIG. 8 is a flowchart schematically illustrating an example of a video encoding method according to the present invention.
  • FIG. 9 is a flowchart schematically illustrating an example of a video decoding method according to the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • the present invention relates to image encoding and decoding of a structure including a plurality of layers, and more particularly, to a method and apparatus for performing prediction for an upper layer using information of a lower layer when encoding / decoding an upper layer.
  • a lower layer in generating a reference picture list used for motion prediction and / or motion compensation for a picture to be encoded / decoded in an upper layer (current layer), a lower layer (reference layer)
  • a reference picture list may be generated by including the decoded picture.
  • a 'current layer' including a decoded picture of a lower layer (reference layer), adaptively using encoding information and depth information of a prediction structure, etc.
  • a reference layer By adding decoded pictures of a lower layer (reference layer, hereinafter referred to as a reference layer), encoding efficiency can be increased.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment.
  • a scalable video encoding / decoding apparatus for a multilayer structure may be implemented by extending a video encoding / decoding apparatus for a single layer structure.
  • FIG. 1 illustrates an embodiment of a video encoding apparatus applicable to a multi-layer structure, that is, providing scalability.
  • the video encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, and entropy.
  • An encoder 150, an inverse quantizer 160, an inverse transformer 170, an adder 175, a filter 180, and a reference picture buffer 190 are included.
  • the video encoding apparatus 100 may perform encoding on an input image in an intra mode or an inter mode and output a bitstream.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the switch 115 is switched to the intra mode, and in the inter mode, the switch 115 is switched to the inter mode.
  • the video encoding apparatus 100 may generate a prediction block for a block (current block) of the input picture and then encode a difference between the current block and the prediction block.
  • the intra predictor 120 may use a pixel value of an already encoded block around the current block as a reference pixel.
  • the intra predictor 120 may perform spatial prediction using the reference appeal and generate prediction samples for the current block.
  • the inter prediction unit 110 may obtain a motion vector specifying a reference block having the smallest difference from the input block (the current block) in the reference picture stored in the reference picture buffer 190.
  • the inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using the motion vector and the reference picture stored in the reference picture buffer 190.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer, and perform inter-layer prediction by including an inter-layer reference picture in the reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying or interpolating from a reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • an interlayer reference picture may be configured by upsampling a reconstructed picture of a reference layer between layers that support scalability with respect to resolution.
  • the encoding apparatus may transmit information specifying the layer to which the picture to be used as the inter-layer reference picture belongs, to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the subtractor 125 may generate a residual block (residual signal) by the difference between the current block and the prediction block.
  • the transformer 130 may perform a transform on the residual block and output a transform coefficient.
  • the transform unit 130 may omit the transform for the residual block.
  • the quantization unit 140 may output the quantized coefficient by quantizing the transform coefficients according to the quantization parameter.
  • the entropy encoder 150 may output a bitstream by entropy encoding the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process according to a probability distribution.
  • the entropy encoder 150 may entropy encode information (eg, syntax elements) for video decoding in addition to the pixel information of the video.
  • the encoding parameter is information necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded in the encoding apparatus and delivered to the decoding apparatus, such as a syntax element.
  • Coding parameters include, for example, intra / inter prediction modes, moving / motion vectors, reference picture indexes, coded block patterns, residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block division information, and the like. Or statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is converted and quantized It may mean.
  • the residual signal may be referred to as a residual block in block units.
  • entropy encoder 150 may perform entropy encoding by using a variable length coding (VLC) table.
  • VLC variable length coding
  • the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference image buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of a video decoding apparatus according to an embodiment.
  • a scalable video encoding / decoding apparatus for a multilayer structure may be implemented by extending a video encoding / decoding apparatus for a single layer structure.
  • FIG. 2 illustrates an embodiment of a video decoding apparatus that is applicable to a multi-layer structure, that is, provides scalability.
  • the video decoding apparatus 200 includes an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and a filter. 260 and a reference picture buffer 270.
  • the video decoding apparatus 200 may receive a bitstream output from the encoding apparatus, perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched for intra prediction, and in the inter mode, the switch may be switched for inter prediction.
  • the video decoding apparatus 200 may obtain a residual block reconstructed from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. have.
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution, and output information such as quantized coefficients and syntax elements.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230. Inverse quantization / inverse transformation of the quantized coefficients may produce a reconstructed residual block.
  • the intra predictor 240 may perform spatial prediction by using pixel values of an already encoded block around the current block and generate a prediction block for the current block.
  • the inter prediction unit 250 may generate a prediction block for the current block by performing motion compensation using the reference picture stored in the motion vector and the reference picture buffer 270.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 250 may construct an interlayer reference picture by sampling a picture of the reference layer, and perform interlayer prediction by including an interlayer reference picture in a reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying or interpolating from a reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • the inter-layer reference picture may be configured by upsampling the reconstructed picture of the reference layer.
  • information specifying a layer to which a picture to be used as the interlayer reference picture belongs may be transmitted from the encoding apparatus to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the reconstructed residual block and the predictive block are added at the adder 255 to generate a reconstructed block.
  • the residual sample and the predictive sample are added to generate a reconstructed sample or a reconstructed picture.
  • the reconstructed picture is filtered by the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a modified or filtered reconstructed picture.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • the image decoding apparatus 200 may further include a parsing unit (not shown) which parses information related to an encoded image included in a bitstream.
  • the parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
  • one encoding device / decoding device processes both encoding / decoding for multiple layers. However, this is for convenience of description.
  • the encoding device / decoding device may be configured for each layer.
  • the encoding device / decoding device of the upper layer may perform encoding / decoding of the corresponding upper layer by using the information of the upper layer and the information of the lower layer.
  • the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction on the current block by using pixel information or picture information of the upper layer, and receives picture information reconstructed from the lower layer and Inter prediction (inter layer prediction) may be performed on the current block of the upper layer by using the interlayer prediction.
  • Inter prediction inter layer prediction
  • the encoding device / decoding device performs encoding / decoding on the current layer by using information of another layer regardless of whether the device is configured for each layer or one device processes multiple layers. can do.
  • the layer may include a view.
  • information of another layer between layers specified as having dependence by information specifying dependency between layers is not merely performed by using information of a lower layer.
  • Inter layer prediction may be performed using.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • the video data is transferred from the video encoding apparatus to the video decoding apparatus through a transmission medium or a storage medium.
  • Video data may be different for each transmission medium according to a network environment, and may also be different for each storage medium.
  • a scalable video coding method may be provided to efficiently support these various video data.
  • the scalable video coding method may provide various scalability in terms of spatial, temporal, and image quality according to ambient conditions such as a transmission bit rate, a transmission error rate, and a system resource.
  • Scalable video coding may be performed using a multiple layers structure.
  • the multi-layer structure may include a base layer that can be independently encoded / decoded without using information of another layer.
  • the multi-layer structure may include an enhancement layer that is encoded / decoded using information of a base layer and / or another layer.
  • a layer with high scalability may be called a higher layer, and a layer with low scalability may be called a lower layer.
  • a layer referred to for encoding / decoding (eg, prediction) of another layer may be referred to as a reference layer, and a layer encoded / decoded (eg, prediction) using another layer may be referred to as a current layer.
  • the reference layer may be lower than the current layer, and the current layer may be higher than the reference layer.
  • the layer is an image and a bit divided based on spatial (eg, image size, resolution), temporal (eg, frame rate), image quality, complexity, view, and the like. It may be a collection of bitstreams.
  • the plurality of layers may have a dependency between each other.
  • the current layer may be encoded / decoded with reference to the layer in which the dependency exists.
  • the first enhancement layer may be defined as a first resolution higher than the base resolution of the base layer, a first frame rate higher than the frame rate of the base layer, and a first bit rate higher than the bit rate of the base layer.
  • the second enhancement layer is defined as a second resolution higher than the resolution of the first enhancement layer, a second frame rate higher than the frame rate of the first enhancement layer, and a second bit rate higher than the bit rate of the first enhancement layer. Can be.
  • the first enhancement layer is defined at a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer is at 4K-UHD (ultra high definition), a frame rate of 60 Hz, a 27.2 Mbps bit rate.
  • This format, frame rate, bit rate and the like are one example and may be determined differently as necessary.
  • the number of layers used is not limited to this embodiment and may be determined differently according to a situation.
  • the scalable video coding method may provide temporal, spatial, image quality, and inter view scalability by the method described above in the embodiment of FIG. 3.
  • inter-layer prediction Performing prediction on a picture of a current layer, which is a target of prediction using information of another layer, is called inter-layer prediction.
  • Scalable video coding has the same meaning as scalable video coding from a coding point of view and scalable video decoding from a decoding point of view.
  • At least one of a resolution, a frame rate, a color format, and a viewpoint may be different from each other, and upsampling or downsampling of a layer may be performed to adjust the resolution when interlayer prediction is performed.
  • inter prediction may use at least one of a previous picture or a next picture of a current picture as a reference picture, and may perform prediction on the current block based on the reference picture.
  • An image used for prediction of the current block is called a reference picture or a reference frame.
  • the region referenced for prediction of the current picture in the reference picture may be specified using a reference picture index (refIdx), a motion vector, etc. indicating the reference picture.
  • the inter prediction may select a reference picture and a reference block corresponding to the current block in the reference picture to generate a prediction block for the current block.
  • the encoding apparatus and the decoding apparatus may derive motion information about a current block and then perform inter prediction and / or motion compensation based on the motion information.
  • the encoding apparatus and the decoding apparatus correspond to a call corresponding to the current block in a coll picture that is selected from motion information and / or reference pictures of neighboring blocks of the current block. Prediction of the current block may be performed using motion information of a collocated block.
  • inter prediction inter picture prediction
  • at least one of a previous picture or a subsequent picture of the current picture is determined as a reference picture
  • the current picture current block in the current picture
  • the encoding apparatus may convert and / or quantize a residual signal that is a difference between the prediction block derived from the prediction result and the current block (the difference between the original signal and the prediction signal), and then transmit the entropy decoding to the decoding apparatus.
  • the decoding apparatus may inverse quantize and / or inverse transform the residual received from the encoding apparatus through entropy decoding, and then reconstruct the current block (original signal) by adding the derived prediction block (prediction signal) as a result of the prediction.
  • the transform / quantization and the inverse quantization / inverse transform may be omitted, and when the transform skip mode is applied, the transform and the inverse transform may be omitted.
  • a prediction signal may be used as an original signal.
  • the encoding apparatus may generate a prediction signal to satisfy at least one of minimization of a residual and minimization of a motion vector. For example, the encoding apparatus may generate a prediction signal to minimize the motion vector while minimizing the residual.
  • the encoding apparatus may transmit information specifying the motion information to the decoding apparatus so that the same prediction signal may be derived from the decoding apparatus.
  • the decoding apparatus may derive motion information based on the information received from the encoding apparatus, and generate a prediction signal.
  • information of neighboring blocks of the current block may be used.
  • the skip mode, the merge mode, the Motion Vector Difference (mvd), and the Advanced Motion Vector Prediction (AMVP) mode using Motion Vector Prediction (mvp), which are methods of inter prediction are included in the motion information of neighboring blocks.
  • mvp Motion Vector Prediction
  • the motion information of the neighboring block may be used as the motion information of the current block.
  • information specifying the information used as the reference picture index and / or motion vector of the current block among the reference picture index and / or motion vector of the neighboring block is transmitted from the encoding device to the decoding device, but additional information such as residual Not sent.
  • the encoding device / decoding device may derive the prediction block (prediction signal) for the current block by using the motion information of the neighboring block as it is.
  • the encoding apparatus may transmit information indicating whether the merge mode is applied to the current block, information indicating which neighboring block information is used, residual information about the current block, and the like to the decoding apparatus.
  • the decoding apparatus When the merge mode is applied, the decoding apparatus generates a prediction block (prediction sample) for the current block by using motion information of the neighboring block indicated by the encoding apparatus, and restores the current block in addition to the residual signal (restored sample). Can be induced).
  • the motion information of the neighboring block used in the skip mode and the merge mode may include a reference picture index and a motion vector of the neighboring block.
  • the encoding device / decoding device may predict the motion vector of the current block using the motion vector of the neighboring block.
  • the encoding apparatus transmits to the decoder information that specifies which neighboring block motion information is used, information specifying a difference (mvd) between the motion vector and the predicted motion vector of the current block, a reference picture index that specifies the reference picture, and the like. Can be.
  • the decoding apparatus may generate a prediction block (prediction sample) for the current block by using motion information (motion vector) of the neighboring block and a reference picture index transmitted from the encoder. For example, the decoding apparatus may generate a motion vector predictor of the current block based on the motion vector of the neighboring block, and derive the motion vector of the current block by adding the motion vector difference mvd received from the encoding apparatus and the motion vector predictor. . The decoding apparatus may derive a prediction block (prediction sample) for the current block by using the derived motion vector and the received reference picture index. The decoding apparatus may reconstruct the current block by adding the prediction sample to the residual, thereby deriving reconstructed samples for the current picture.
  • motion information motion vector
  • a reference picture index transmitted from the encoder.
  • the decoding apparatus may generate a motion vector predictor of the current block based on the motion vector of the neighboring block, and derive the motion vector of the current block by adding the motion vector difference mvd received from the encoding apparatus and
  • motion information used by a decoder device may be derived based on information received from an encoder. For example, when the skip mode is applied, motion information of a block indicated by the merge index may be used as motion information of the current block. When the merge mode is applied, motion information of a block indicated by the merge index may be used as motion information of the current block. In this case, some of the motion information of the temporal neighboring block may be fixed to a specific value or derived separately. In the case of AMVP, the motion vector of the current block can be predicted from the motion vector of the neighboring block, and the reference picture index can be separately signaled.
  • the processing unit in which the prediction is performed may be different from the unit in which the method of prediction is determined. For example, whether intra prediction or inter prediction is to be applied may be determined in units of a coding unit (CU), and a mode of intra prediction and a mode of inter prediction may be determined in units of a prediction unit (PU). Intra prediction may be performed in units of transform units (TUs), and inter prediction may be performed in units of prediction units.
  • CU coding unit
  • PU prediction unit
  • Intra prediction may be performed in units of transform units (TUs)
  • inter prediction may be performed in units of prediction units.
  • prediction of the current layer may be performed using information of another layer.
  • information of another layer reference layer
  • picture information of the reference layer may be used in a manner of using texture information of another layer.
  • prediction may be performed using only decoded picture information of the reference layer corresponding to the encoding / decoding target block (current block).
  • the signal when the prediction of the current layer is performed using the texture information corresponding to a certain region in the reference layer (when performing the inter layer prediction), the signal may be distorted based on the difference in image size between layers. As a result, the residual signal may be increased.
  • an encoding device / decoding device eg, an inter prediction unit in the encoding device / decoding device
  • the inter-layer reference picture is generated by sampling the resulting picture, and the inter-layer reference picture is included in the reference picture list for the current block to perform inter prediction on the current block.
  • FIG. 4 is a flowchart schematically illustrating a method for performing interlayer prediction in an encoding device / decoding device according to the present invention.
  • the predictor may include an inter predictor.
  • the encoding device / decoding device decodes a picture of a reference layer (S410).
  • the reference layer refers to a layer referenced by the encoding / decoding target block of the current layer.
  • the prediction unit may decode a picture of the same AU as the current picture (picture belonging to the current block in the current layer) among the pictures of the reference layer and use the same to predict the current block.
  • the decoding of the picture of the reference layer referenced by the current encoding target block may be performed based on the information about the encoding method of the reference layer transmitted in the video parameter set (VPS) and the sequence parameter set (SPS).
  • VPS video parameter set
  • SPS sequence parameter set
  • the encoding device / decoding device may decode a picture of the reference layer according to the MPEG-2 scheme.
  • the encoding apparatus / decoding apparatus may decode the picture of the reference layer according to the H.264 / AVC scheme.
  • the encoding apparatus / decoding apparatus may decode the picture of the reference layer in accordance with the HEVC scheme.
  • the encoding device / decoding device may construct a reference picture list for inter prediction of the current block (S420).
  • the prediction unit may generate a reference picture list including the decoded picture of the reference layer for inter prediction on the current encoding / decoding target block (current block).
  • the prediction unit may perform prediction on an encoding / decoding target block of an upper layer (current layer) using a decoded picture of a reference layer.
  • the decoded picture of the reference layer is included in the reference picture list for the encoding / decoding target block (current block) of the upper layer (current layer), thereby interleaving the current block. You can make predictions.
  • the reference picture list may be constructed when decoding for the slice begins.
  • one reference picture list may be configured in the case of a P slice, and two reference picture lists may be configured in the case of a B slice. Therefore, the reference picture list for the current block may be configured for each slice to which the current block belongs.
  • a decoded picture of a reference layer when (1) constructing a reference picture list, a decoded picture of a reference layer is always added to a fixed position, or (2) when constructing a reference picture list, The position of the decoded picture of the reference layer may be determined using encoding information, or (3) When constructing the reference picture list, the position of the decoded picture of the reference layer in the reference picture list may be determined using encoding structure information. have.
  • each time a reference picture list is generated a decoded picture of a reference layer may be added at a fixed position.
  • FIG. 5 is a diagram schematically illustrating an example of a method of constructing a reference picture list according to an embodiment of the present invention.
  • ⁇ 1> is a reference picture list configured without considering the decoded picture of the reference layer
  • ⁇ 2> is a reference picture list including the decoded picture of the reference layer.
  • the decoded picture (inter layer reference picture) of the reference layer may be added to a second position of the reference picture list.
  • the inter-layer reference picture is located at the second position of the reference picture list.
  • the present invention is not limited thereto, and the inter-layer reference picture (decoded picture of the reference layer) may be referred to as a reference picture list. It may be added to any other (non-second) fixed predetermined location. In this case, the position in the reference picture list of the interlayer reference picture may be the same position with respect to the entire video.
  • the reference picture list L0 is a reference picture list used for inter prediction of a P slice or a reference picture list used as a first reference picture list in inter prediction of a B slice.
  • Reference picture list L1 is a second reference picture list used for inter prediction of B slices.
  • a P slice predictive slice
  • a bi-predictive slice is a slice in which intra prediction is performed or prediction is performed using a maximum of two motion vectors and a reference picture index per prediction block.
  • an I slice is an slice to which only intra prediction is applied.
  • the position of the interlayer reference picture in the reference picture list L0 is described as being the same as the position of the interlayer reference picture in the reference picture list L1.
  • the present invention is not limited thereto, and the position of the interlayer reference picture is referred to.
  • the picture list L0 and the reference picture list L1 may be different.
  • the interlayer reference picture can be placed after the reference picture set preceding the current picture in the reference picture list, and for L1 the interlayer reference picture is next to the long-term reference picture set in the reference picture list. Can be placed in the position of.
  • the inter-layer reference picture is located in the second position in the reference picture list.
  • the second position may mean the second picture or the second position when the reference picture set is a unit. It may also mean.
  • the inter-layer reference picture may be placed at a position after the reference picture set preceding the current picture in the reference picture list.
  • bidirectional reference picture lists L0 and L1 may exist.
  • decoded pictures (inter-layer reference pictures) of the reference layer may be added to the reference picture lists L0 and L1 in both directions (L0 and L1 directions) at fixed positions.
  • a bidirectional reference picture list may exist as shown in FIG. 5.
  • the position where the interlayer reference picture is fixed may be added to only one list (ie, L0 or L1) of the reference picture lists in both directions.
  • a decoded picture (inter layer reference picture) of the reference layer may be added at a fixed position only in the reference picture list L0.
  • the interlayer reference picture is added only to a list specified by information (eg, LIST0ILRPflag, LIST1ILRPflag) indicating which reference picture list to use for inter-layer prediction of the current block or the current picture transmitted from the SPS. You may.
  • information eg, LIST0ILRPflag, LIST1ILRPflag
  • the inter-layer reference picture (decoded picture of the reference layer) in the reference picture list is fixedly the N-th position
  • another reference picture at the N-th position in the reference picture list constructed without considering interlayer prediction is taken into account. If there is, the inter-layer reference picture may be placed in the N-th position, and the order may be pushed backward one by one from the picture in the N-th position in the configured reference picture list without considering inter-layer prediction.
  • the reference picture that was at the Nth position in the reference picture list constructed without considering interlayer prediction is not considered. May be replaced with an inter-layer reference picture.
  • the position of the decoded picture (inter-layer reference picture) of the reference layer in the reference picture list may be determined using encoding information.
  • the position of the interlayer reference picture in the reference picture list for the current block may be determined by using temporal level information of the current encoding / decoding target picture (current picture).
  • FIG. 6 is a diagram schematically illustrating an example of temporal levels for respective pictures in a current layer.
  • the temporal level of the picture may be transmitted from the encoding apparatus through a syntax element such as nuh_temporal_id.
  • the interlayer reference picture is located at the first position (the value of the reference picture index is 0) in the reference picture list for the current block. Can be placed.
  • the inter-layer reference picture When determining the position of the inter-layer reference picture (decoded picture of the reference layer) according to the temporal level, the inter-layer reference picture is selected for the current picture (picture to be encoded / decoded) having the maximum temporal level. It may not be included in the reference picture list.
  • a picture of a layer having a temporal level equal to or greater than a specific level may not be included in a reference picture list as an interlayer reference picture.
  • the position in the reference picture list of the interlayer reference picture may be determined according to the range of temporal level. For example, if the temporal level of the current picture is 2 or more, the interlayer reference picture may be positioned at the end of the reference picture list. If the temporal level of the current picture is less than 2, the interlayer reference picture is the first position of the reference picture list. You can also put it on.
  • the interlayer is only implicitly in the reference picture list (reference picture list L0 or reference picture list L1) in one direction.
  • a reference picture may be added. For example, when the temporal level of the current picture is 0, an interlayer reference picture is added at the first position in both directions lists (reference picture list L0 and reference picture list L1), and the temporal level of the current picture is greater than zero. In this case, the interlayer reference picture list may be added only to the list in one direction (the reference picture list L0 and the reference picture list L1) at the first position. Although the description has been made of adding the interlayer reference picture at the first position, the interlayer reference picture may be added at a position other than the first according to the temporal level of the current picture.
  • the encoding apparatus may add the interlayer reference picture to the reference picture lists in both directions for the entire sequence, or the interlayer reference picture only in the reference picture list in one direction. You can also add The encoding apparatus may encode and transmit information (eg, LIST0ILRPflag, LIST1ILRPflag) indicating a reference picture list to which an interlayer reference picture is added in the SPS. In this case, the decoding apparatus may add all the interlayer reference pictures to the reference picture reference lists in both directions based on the information transmitted from the SPS, or may add the interlayer reference picture only to the reference picture list in one direction. .
  • information eg, LIST0ILRPflag, LIST1ILRPflag
  • information specifying a temporal level of the current picture may be transmitted in a network abstract layer (NAL) unit header for the current picture.
  • NAL network abstract layer
  • the encoding apparatus may transmit information specifying the temporal level (temporal_id) of the current picture in the NAL unit header to the decoding apparatus, and the decoding apparatus according to the information about the temporal level transmitted in the NAL unit header, the temporal level of the current picture. Can be specified.
  • the interlayer reference picture (decoded picture of the reference layer) has a temporal level higher than the temporal level of the current picture
  • the interlayer reference picture may not be included in the reference picture list for the current block.
  • a position where a decoded picture (inter-layer reference picture) of a reference layer is placed in the reference picture list may be determined using the prediction structure information.
  • the position of the interlayer reference picture in the reference picture list may be determined by using information about a structure of prediction (SOP) of the current encoding / decoding target picture.
  • SOP structure of prediction
  • FIG. 7 is a diagram schematically illustrating an example of depth information of a structure of prediction of a current layer.
  • the position of the interlayer reference picture in the reference picture list for the current block may be determined according to depth information of the prediction structure for the current picture.
  • the position in the reference picture list of the interlayer reference picture is the first position (the value of the reference picture index is 0). ) Can be determined.
  • the position in the reference picture list of the interlayer reference picture may be determined as the last position.
  • the encoding apparatus may transmit information specifying a position in a reference picture list of the interlayer reference picture determined according to depth information in the prediction structure in a picture parameter set (PPS) or a slice header.
  • PPS picture parameter set
  • the decoding apparatus may determine a position in the reference picture list of the interlayer reference picture based on the information received from the encoding apparatus.
  • the decoding apparatus determines the position in the reference picture list of the interlayer reference picture as the first position (the reference picture index). The value can be determined as 0).
  • the decoding apparatus may determine a position in the reference picture list of the interlayer reference picture as the last position. .
  • the position of the interlayer reference picture in the reference picture list may be implicitly determined.
  • it may be determined whether to add an interlayer reference picture only to the reference picture list L0 according to the depth information of the prediction structure.
  • the encoding apparatus may encode information specifying a reference picture list to which the interlayer reference picture is added, so that the decoding apparatus may add an interlayer reference picture at the same position in the reference picture list, thereby encoding a picture parameter sets (PPS) or slice. Can be sent in the header.
  • PPS picture parameter sets
  • the decoding apparatus may add the interlayer reference picture to the reference picture list based on the received information to perform prediction on the current block.
  • the position of the inter-layer reference picture in the reference picture list ' is' the reference picture index indicating the inter-layer reference picture.
  • FIG. 8 is a flowchart schematically illustrating an example of a video encoding method according to the present invention.
  • the encoding apparatus may decode a picture of a reference layer (S810).
  • the decoded picture may be a picture belonging to the same access unit as the picture to be encoded (the current picture) of the current layer.
  • the encoding apparatus may induce an inter-layer reference picture (decoded picture of the reference layer) by sampling the decoded picture of the reference layer (S820).
  • the encoding apparatus may derive an interlayer reference picture that may be used as a reference picture for the current block (the encoding target block in the current picture of the current layer) from the decoded (restored) picture of the reference layer.
  • the encoding apparatus may configure a reference picture including an inter-layer reference picture and a reference picture of the current layer (S830).
  • the position of the inter-layer reference picture in the reference picture list may be a fixed specific position.
  • the position in the reference picture list of the interlayer reference picture may be fixed to the next position of the reference pictures that precede the picture to which the current block belongs in the current layer.
  • the encoding apparatus may configure the reference picture list to include at least one or more interlayer reference pictures derived from at least one or more reference layers.
  • the encoding apparatus may construct a reference picture list based on the temporal level of the current picture. For example, when the temporal level of the current picture is greater than or equal to a specific range level, the encoding apparatus may exclude the interlayer reference picture from the reference picture list. That is, when the temporal level of the current picture is greater than or equal to a specific range level, the encoding apparatus may not refer to the inter prediction of the current block in the decoded picture of the reference layer.
  • the encoding apparatus may perform prediction for the current block by performing prediction on the current sample of the current layer based on the reference picture list (S840).
  • the encoding apparatus may perform inter prediction on the current block by referring to the interlayer reference picture.
  • the encoding apparatus may generate a residual sample for the current block based on the prediction sample (S850).
  • the encoding apparatus may derive the difference value between the original signal and the prediction signal of the current block as a residual sample.
  • the encoding apparatus may entropy encode the residual sample and transmit the entropy sample to the decoding apparatus (S860). After encoding and quantizing the residual sample, the encoding apparatus may entropy encode and transmit the residual sample to the decoding apparatus.
  • FIG. 9 is a flowchart schematically illustrating an example of a video decoding method according to the present invention.
  • the decoding apparatus may decode a picture of a reference layer (S910).
  • the decoded picture may be a picture belonging to the same access unit as the decoding target picture (the current picture) of the current layer.
  • the decoding apparatus may induce an inter-layer reference picture (decoded picture of the reference layer) by sampling the decoded picture of the reference layer (S920).
  • the decoding apparatus may derive an interlayer reference picture that may be used as a reference picture for the current block (block to be decoded in the current picture of the current layer) from the decoded (restored) picture of the reference layer.
  • the decoding apparatus may configure a reference picture including an inter-layer reference picture and a reference picture of the current layer (S930).
  • the position of the inter-layer reference picture in the reference picture list may be a fixed specific position.
  • the position in the reference picture list of the interlayer reference picture may be fixed to the next position of the reference pictures that precede the picture to which the current block belongs in the current layer.
  • the decoding apparatus may configure the reference picture list to include at least one or more inter-layer reference pictures derived from at least one or more reference layers.
  • the decoding apparatus may construct a reference picture list based on the temporal level of the current picture. For example, when the temporal level of the current picture is greater than or equal to a specific range level, the decoding apparatus may exclude the interlayer reference picture from the reference picture list. That is, when the temporal level of the current picture is greater than or equal to a certain range level, the decoding device may not refer to the inter prediction of the current block in the decoded picture of the reference layer.
  • the decoding apparatus may perform prediction for the current block by performing prediction on the current sample of the current layer based on the reference picture list (S940).
  • the decoding apparatus may perform inter prediction on the current block with reference to the interlayer reference picture.
  • the decoding apparatus may generate a reconstruction sample for the current block based on the prediction sample (S850).
  • the encoding apparatus may derive a reconstruction sample for the current block by adding a prediction sample for the current block and a residual signal (residual sample) received from the encoding apparatus.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 정보의 예측 및 이를 이용하는 비디오 부호화/복호화에 관한 것으로서, 본 발명에 따른 비디오 부호화는 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계, 상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계 및 상기 레지듀얼 샘플을 부호화하는 단계를 포함한다.

Description

비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
본 발명은 비디오 부호화 및 복호화에 관한 방법과 이를 이용하는 장치에 관한 것으로서, 구체적으로는 현재 레이어의 부호화 혹은 복호화 대상 블록에 대한 예측 샘플을 생성하기 위해 참조 레이어 내 대응하는 참조 픽처의 정보를 이용하는 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.
따라서, 다양한 공간적 해상도(Spatial Resolution), 다양한 프레임 율(Frame-rate)을 지원할 수 있는 하나의 통합된 데이터를 생성하여 다양한 전송환경과 다양한 단말들에게 데이터를 효율적으로 전송하고자 하는 요구가 증가하고 있다.
이와 관련하여, 데이터의 효율적인 전송을 지원하기 위한 비디오 부호화 기술로서, HEVC를 기반으로 하는 SHVC(Scalable High efficiency Video Coding)에 대한 표준화가 진행 중이다.
본 발명은 하위 레이어(참조 레이어)의 복호화된 픽처를 현재 레이어 내 부호화/복호화 대상에 대한 참조 픽처 리스트에 추가하여 다른 레이어의 정보를 이용한 예측을 수행할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 하위 레이어(참조 레이어)의 복호화된 픽처를 대상으로 예측(예컨대, 움직임 예측)을 수행하여 원본 신호와 예측 신호 사이의 차분 신호가 최소가 되도록 예측 신호를 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 하위 레이어(참조 레이어)의 복호화된 픽처를 현재 부호화/복호화 대상 블록에 대한 참조 픽처 리스트에 추가할 때, 부호화 정보, 예측 구조의 깊이 정보 등을 이용하여 적응적으로 하위 레이어(참조 레이어)의 복호화된 픽처의 참조 픽처 리스트 내 위치를 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 비디오 부호화 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계, 상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계 및 상기 레지듀얼 샘플을 부호화하는 단계를 포함할 수 있다.
본 발명의 다른 실시형태는 비디오 복호화 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계 및 상기 예측 샘플과 상기 현재 블록에 대한 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 복원 샘플을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시형태는 비디오 정보의 인터 예측 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함할 수 있다.
본 발명에 의하면, 상위 레이어(현재 레이어)의 부호화/복호화 대상 픽처에 대한 예측(예컨대, 움직임 예측 및 움직임 보상 등)을 수행하기 위해 참조 픽처 리스트를 구성함에 있어서, 하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 참조 픽처 리스트가 구성될 수 있다.
본 발명에 의하면 또한, 하위 레이어(참조 레이어)의 복호화된 영상을 참조 픽처 리스트에 추가함에 있어서, 부호화 정보, 예측 구조 깊이 정보 등을 이용하여 하위 레이어(참조 레이어)의 복호화된 영상의 참조 픽처 리스트 내 위치를 적응적으로 결정할 수 있다.
또한, 본 발명에 의하면, 하위 레이어(참조 레이어)의 복호화된 픽처를 참조 픽처로서 이용하되, 참조 픽처 내에서 하위 레이어(참조 레이어)의 복호화된 픽처의 위치를 적응적으로 결정함으로써 부호화 효율을 높일 수 있다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따라서 부호화 장치/복호화 장치에서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 5는 본 발명의 실시예에 따라서 참조 픽처 리스트를 구성하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6은 현재 레이어 내에서 각 픽처들에 대한 시간적 레벨들의 일 예를 개략적으로 설명하는 도면이다.
도 7은 현재 레이어의 예측 구조(Structure of Prediction)의 깊이 정보에 대한 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따른 비디오 부호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 9는 본 발명에 따른 비디오 복호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

본 발명은 복수 레이어를 포함하는 구조의 영상 부호화 및 복호화에 관한 기술로서, 상위 레이어를 부호화/복호화 하는 경우에 하위 레이어의 정보를 이용하여 상위 레이어에 대한 예측을 수행하는 방법 및 장치에 관한 것이다.
더 구체적으로, 본 발명에 의하면 상위 레이어(현재 레이어)의 부호화/복호화 대상 픽처에 대한 움직임 예측 및/또는 움직임 보상에 사용되는 참조 픽처 리스트(reference picture list)를 생성함에 있어서, 하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 참조 픽처 리스트를 생성할 수 있다.
하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 상위 레이어(현재 레이어, 이하 ‘현재 레이어’라 함)의 참조 픽처 리스트를 생성함에 있어서 부호화 정보 및 예측 구조의 깊이 정보 등을 이용하여 적응적으로 하위 레이어(참조 레이어, 이하 ‘참조 레이어’라 함)의 복호화된 픽처를 추가함으로써, 부호화 효율을 높일 수 있다.
이하, 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어 구조에 대한 스케일러블(scalable) 비디오 부호화/복호화 장치는 단일 레이어 구조에 대한 비디오 부호화/복호화 장치를 확장(extension)하여 구현될 수 있다.
도 1은 멀티 레이어 구조에 대해 적용 가능한, 즉 스케일러빌러티를 제공하는 비디오 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 비디오 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.
비디오 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라 모드로 전환되고, 인터 모드인 경우 스위치(115)가 인터 모드로 전환된다. 비디오 부호화 장치(100)는 입력 픽처의 블록(현재 블록)에 대한 예측 블록을 생성한 후, 현재 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 참조 화소로 이용할 수 있다. 인트라 예측부(120)는 참조 호소를 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
감산기(125)는 현재 블록과 예측 블록의 차분에 의해 레지듀얼 블록(residual block, 레지듀얼 신호)을 생성할 수 있다.
변환부(130)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우에, 변환부(130)는 레지듀얼 블록에 대한 변환을 생략할 수도 있다.
양자화부(140)는 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.
부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.
부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 레지듀얼 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.
레지듀얼 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 레지듀얼 신호는 블록 단위에서는 레지듀얼 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.


도 2는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어 구조에 대한 스케일러블(scalable) 비디오 부호화/복호화 장치는 단일 레이어 구조에 대한 비디오 부호화/복호화 장치를 확장(extension)하여 구현될 수 있다.
도 2는 멀티 레이어 구조에 대해 적용 가능한, 즉 스케일러빌러티를 제공하는 비디오 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 상기 비디오 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
비디오 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.
인트라 모드인 경우 스위치가 인트라 예측을 위해 전환되고, 인터 모드인 경우 스위치가 인터 예측을 위해 전환될 수 있다.
비디오 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환 된다. 양자화된 계수를 역양자화/역변환하여, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 이때, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.
복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.
이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.
본 발명에서 레이어는 뷰(view)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.

도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
비디오 데이터는 전송 매체 혹은 저장 매체를 통해 비디오 부호화 장치로부터 비디오 복호화 장치로 전달된다. 비디오 데이터는 네트워크 환경에 따라 전송 매체별로 차이가 있을 수 있으며, 저장 매체별로도 차이가 있을 수 있다. 이 다양한 비디오 데이터들을 효율적을 지원하기 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법에서는 레이어(layer) 간 샘플 정보(텍스쳐 정보), 움직임 정보, 레지듀얼 신호 등을 활용된다. 이를 통해, 레이어 간 중복성을 제거하여 부호화/복호화 성능을 높일 수 있다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 복수 레이어(multiple layers) 구조를 사용하여 수행될 수 있다. 멀티 레이어 구조는 다른 레이어의 정보를 이용하지 않고도 독자적으로 부호화/복호화될 수 있는 베이스 레이어를 포함할 수 있다. 또한, 멀티 레이어 구조는 베이스 레이어 및/또는 다른 레이어의 정보를 이용하여 부호화/복호화되는 인핸스먼트 레이어(enhancement layer)를 포함할 수 있다.
레이어 구조에서 스케일러빌러티가 높은 레이어를 상위 레이어라고 하고 스케일러빌러티가 낮은 레이어를 하위 레이어라고 할 수도 있다. 또한, 다른 레이어의 부호화/복호화(예컨대, 예측)에 참조되는 레이어를 참조 레이어라고 하고, 다른 레이어를 이용하여 부호화/복호하(예컨대, 예측)되는 레이어를 현재 레이어라고 할 수 있다. 참조 레이어는 현재 레이어보다 하위 레이어일 수 있으며, 현재 레이어는 참조 레이어보다 상위 레이어일 수 있다.
여기서, 레이어(layer)는 공간(spatial, 예를 들어, 영상 크기, 해상도), 시간(temporal, 예를 들어, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합일 수 있다.
또한 복수의 레이어들은 서로 간에 의존성(dependency)를 가질 수도 있다. 현재 레이어는 의존성이 존재하는 레이어를 참조하여 부호화/복호화될 수 있다.
도 3을 참조하면, 예를 들어 제1 인핸스먼트 레이어는 베이스 레이어의 베이스 해상도보다 높은 제1 해상도, 베이스 레이어의 프레임율보다 높은 제1 프레임율, 베이스 레이어의 비트율보다 높은 제1 비트율로 정의될 수 있다. 또한, 제2 인핸스먼트 레이어는 제1 인핸스먼트 레이어의 해상도보다 높은 제2 해상도, 제1 인핸스먼트 레이어의 프레임율보다 높은 제2 프레임율, 제1 인핸스먼트 레이어의 비트율보다 높은 제2 비트율로 정의될 수 있다.
예컨대, 제1 인핸스먼트 레이어가 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의된다면, 제2 인핸스먼트 레이어는 4K-UHD(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 이 포맷(format), 프레임율, 비트율 등은 하나의 예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 레이어의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 인핸스먼트 레이어 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 간(inter view) 스케일러빌리티를 제공할 수 있다.

비트스트림 내 복수의 레이어를 지원하는 비디오의 부호화 및 복호화, 즉 스케일러블 코딩(scalable coding)의 경우, 복수의 레이어 간에는 강한 연관성(correlation)이 존재하기 때문에 이런 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다.
다른 레이어의 정보를 이용하여 예측의 대상이 되는 현재 레이어의 픽처에 대한 예측을 수행하는 것을 인터 레이어 예측(inter-layer prediction)이라고 한다.
스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.
복수의 레이어들은 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있으며, 인터 레이어 예측 시 해상도의 조절을 위하여 레이어의 업샘플링 또는 다운샘플링이 수행될 수 있다.

통상적으로 인터 예측은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
참조 픽처 내에서 현재 픽처에 대한 예측을 위해 참조되는 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 특정될 수 있다.
인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다.
인터 예측에서 부호화 장치 및 복호화 장치는 현재 블록에 대한 움직임 정보를 도출한 후, 움직임 정보에 기반하여 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화 장치 및 복호화 장치는 현재 블록의 주변 블록(neighboring block)의 움직임 정보 및/또는 참조 픽처들 중에서 선택되는 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용하여 현재 블록에 대한 예측을 수행할 수 있다.

도 1 및 도 2에서 설명한 바와 같이, 인터 예측(인터 픽처 예측)에서는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 결정하고, 참조 픽처를 기반으로 현재 픽처(현재 픽처 내 현재 블록)에 대한 예측을 수행한다.
부호화 장치는 예측의 결과로 유도되는 예측 블록과 현재 블록의 차이(원본 신호와 예측 신호의 차이)인 레지듀얼 신호를 변환 및/또는 양자화한 후 엔트로피 디코딩을 적용하여 복호화 장치로 전송할 수 있다.
복호화 장치는 부호화 장치로부터 수신한 레지듀얼을 엔트로피 디코딩을 거쳐 역양자화 및/또는 역변환한 후 예측의 결과로 유도 예측 블록(예측 신호)와 더하여 현재 블록(원본 신호)을 복원할 수 있다.
PCM 모드가 적용되는 경우에는 변환/양자화 및 역양자화/역변환이 생략될 수 있으며, 변환 생략 모드가 적용되는 경우에는 변환 및 역변환이 생략될 수 있다. 또한, 인터 예측의 한 방법으로서 부호화 단위(CU: Codinn Unit) 레벨에서의 스킵 모드가 적용되면, 레지듀얼의 전송이 없으므로, 예측 신호를 원본 신호로 사용할 수도 있다.
좀 더 구체적으로 인터 예측에 대하여 설명하면, 인터 예측의 경우, 부호화 장치는 레지듀얼의 최소화 및 움직임 벡터의 최소화 중 적어도 하나를 만족하도록 예측 신호를 생성할 수 있다. 예컨대, 부호화 장치는 레지듀얼을 최소화하면서 움직임 벡터를 최소화 하도록 예측 신호를 생성할 수 있다.
부호화 장치는 복호화 장치에서도 동일한 예측 신호가 유도될 수 있도록 움직임 정보를 특정하는 정보를 복호화 장치에 전송할 수 있다. 복호화 장치는 부호화 장치로부터 수신한 정보를 기반으로 움직임 정보를 유도하고, 예측 신호를 생성할 수 있다.
인터 예측에 있어서 참조 픽처의 정보를 특정하기 위해, 현재 블록의 주변 블록들의 정보가 이용될 수 있다. 예컨대, 인터 예측의 방법들인 스킵(skip) 모드, 머지(merge) 모드, mvd(Motion Vector Difference)와 mvp(Motion Vector Prediction)을 이용하는 AMVP(Advanced Motion Vector Prediction) 모드 등에서는 주변 블록의 움직임 정보에 기반해 현재 블록에 대한 예측 블록을 생성할 수 있다.
상술한 바와 같이, 스킵 모드의 경우는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용할 수 있다. 예컨대, 주변 블록의 참조 픽처 인덱스 및/또는 움직임 벡터 중 현재 블록의 참조 픽처 인덱스 및/또는 움직임 벡터로 사용하는 정보를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송되지만, 레지듀얼과 같은 추가 정보는 전송되지 않는다.
인터 예측의 모드로서 머지 모드가 적용되는 경우에, 부호화 장치/복호화 장치는 주변 블록의 움직임 정보를 이용하여 그대로 이용하여 현재 블록에 대한 예측 블록(예측 신호)를 유도할 수 있다. 부호화 장치는 현재 블록에 대하여 머지 모드를 적용하는지를 지시하는 정보, 어떤 주변 블록의 정보를 이용하는지를 지시하는 정보, 현재 블록에 대한 레지듀얼 정보 등을 복호화 장치에 전송할 수 있다.
머지 모드가 적용되는 경우에, 복호화 장치는 부호화 장치로부터 지시된 주변 블록의 움직임 정보를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 생성하고, 레지듀얼 신호와 더하여 현재 블록을 복원(복원 샘플을 유도)할 수 있다.
스킵 모드와 머지 모드에서 이용하는 주변 블록의 움직임 정보는 주변 블록의 참조 픽처 인덱스와 움직임 벡터를 포함할 수 있다.
AMVP가 적용되는 경우라면, 부호화 장치/복호화 장치는 주변 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. 부호화 장치는 어떤 주변 블록의 움직임 정보를 이용하는지를 특정하는 정보, 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이(mvd)를 특정하는 정보, 참조 픽처를 특정하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다.
AMVP를 적용하는 경우에, 복호화 장치는 주변 블록의 움직임 정보(움직임 벡터)와 부호화기로부터 전송된 참조 픽처 인덱스를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 생성할 수 있다. 예컨대, 복호화 장치는 주변 블록의 움직임 벡터를 기반으로 현재 블록의 움직임 벡터 예측자를 생성하고, 부호화 장치로부터 수신한 움직임 벡터 차이(mvd)와 움직임 벡터 예측자를 더하여 현재 블록의 움직임 벡터를 유도할 수 있다. 복호화 장치는 유도한 움직임 벡터와 수신한 참조 픽처 인덱스를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 유도할 수 있다. 복호화 장치는 예측 샘플을 레지듀얼과 더하여 현재 블록을 복원함으로써, 현재 픽처에 대한 복원 샘플들을 유도할 수 있다.
인터 예측을 수행하는 경우, 복호화기 장치가 이용하는 움직임 정보는 부호화기로부터 수신한 정보를 기반으로 유도될 수 있다. 예컨대, 스킵 모드가 적용되는 경우에는 머지 인덱스가 지시하는 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 머지 모드가 적용되는 경우에는 머지 인덱스가 지시하는 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 있다. 이 경우, 시간적 주변 블록의 움직임 정보 중 일부는 특정 값으로 고정되거나 별도로 유도될 수도 있다. AMVP의 경우, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터로부터 예측될 수 있으며, 참조 픽처 인덱스는 별도로 시그널링될 수 있다.
예측이 수행되는 처리 단위는 예측의 방법이 결정되는 단위와 상이할 수도 있다. 예컨대, 인트라 예측이 적용될 것인지 인터 예측이 적용될 것인지는 코딩 유닛(CU) 단위로 결정될 수 있으며, 인트라 예측의 모드와 인터 예측의 모드는 예측 유닛(PU: Prediction Unit) 단위로 결정될 수 있다. 인트라 예측은 변환 유닛(TU: Transform Unit) 단위로 수행될 수 있으며, 인터 예측은 예측 유닛 단위로 수행될 수도 있다.

한편, 멀티 레이어 구조를 적용하는 스케일러블 비디오 코딩에 있어서는, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 예측을 수행할 수 있다. 예컨대, 복호화/부호화 대상 레이어인 현재 레이어의 현재 픽처 내 현재 블록에 대한 예측을 수행함에 있어서, 다른 레이어(참조 레이어)의 정보를 이용할 수 있다.
이 경우에, 다른 레이어의 텍스처(texture) 정보를 이용하는 방식으로 참조 레이어의 픽처 정보를 이용할 수 있다. 이 경우에, 부호화/복호화 대상 블록(현재 블록)에 대응하는 참조 레이어의 복호화된 픽처 정보만을 이용하여 예측을 수행할 수 있다.
하지만, 참조 레이어에서 대응하는 일정 영역의 텍스처 정보를 이용하여 현재 레이어에 대한 예측을 수행하는 경우(인터 레이어 예측을 수행하는 경우)에, 레이어 간의 영상 크기 차이 등에 기반하여 신호의 왜곡이 생길 수도 있고, 레지듀얼 신호가 증가하게 될 수도 있다.
따라서, 본 발명에서는 도 1 및 도 2에서 설명한 바와 같이, 인터 레이어 예측을 수행하는 경우에 부호화 장치/복호화 장치(예컨대, 부호화 장치/복호화 장치 내 인터 예측부)가 참조 레이어에서 인터 레이어 예측에 사용되는 픽처에 대한 샘플링을 수행하여 인터 레이어 참조 픽처를 생성하고, 인터 레이어 참조 픽처를 현재 블록에 대한 참조 픽처 리스트에 포함시켜서 현재 블록에 대한 인터 예측을 수행한다.

도 4는 본 발명에 따라서 부호화 장치/복호화 장치에서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 4에서는 설명의 편의를 위해, 부호화 장치/복호화 장치 내 예측부에서 인터 레이어 예측을 수행하는 경우를 예로서 설명한다. 이때, 예측부는 인터 예측부를 포함할 수 있다.
도 4를 참조하면, 부호화 장치/복호화 장치는 참조 레이어의 픽처를 복호화 한다(S410). 상술한 바와 같이, 참조 레이어는 현재 레이어의 부호화/복호화 대상 블록이 참조하는 레이어를 의미한다. 이때, 예측부는 참조 레이어의 픽처들 중에서 현재 픽처(현재 레이어에서 현재 블록이 속하는 픽처)와 동일한 AU의 픽처를 복호화하여 현재 블록에 대한 예측에 이용할 수 있다.
현재 부호화 대상 블록이 참조하고 있는 참조 레이어의 픽처에 대한 복호화는 VPS(Video Parameter Set), SPS(Sequence Parameter Set)에서 전송되는 참조 레이어의 부호화 방식에 관한 정보를 기반으로 수행될 수 있다.
예컨대, 참조 레이어가 MPEG-2 방식으로 부호화된 경우, 부호화 장치/복호화 장치는 MPEG-2 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
또한, 참조 레이어가 H.264/AVC 방식으로 부호화된 경우라면, 부호화 장치/복호화 장치는 H.264/AVC 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
또한, 참조 레이어가 HEVC 방식으로 부호화된 경우라면, 부호화 장치/복호화 장치는 HEVC 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
부호화 장치/복호화 장치는 현재 블록의 인터 예측을 위한 참조 픽처 리스트를 구성할 수 있다(S420). 예측부는 현재 부호화/복호화 대상 블록(현재 블록)에 대한 인터 예측을 위해 참조 레이어의 복호화된 픽처를 포함하여 참조 픽처 리스트를 생성할 수 있다.
멀티 레이어 구조를 사용하는 비디오 부호화/복호화에 있어서, 예측부는 참조 레이어의 복호화된 픽처를 이용하여 상위 레이어(현재 레이어)의 부호화/복호화 대상 블록에 대한 예측을 수행할 수 있다.
이때, 참조 레이어의 복호화된 픽처를 이용함에 있어서, 참조 레이어의 복호화된 픽처를 상위 레이어(현재 레이어)의 부호화/복호화 대상 블록(현재 블록)을 위한 참조 영상 리스트에 포함시켜서, 현재 블록에 대한 인터 예측을 수행할 수 있다.
참조 픽처 리스트는 슬라이스에 대한 디코딩이 시작되는 때에 구성될 수 있다. 예컨대, P 슬라이스의 경우에는 하나의 참조 픽처 리스트가 구성될 수 있고, B 슬라이스의 경우에는 두 개의 참조 픽처 리스트가 구성될 수 있다. 따라서, 현재 블록에 대한 참조 픽처 리스트는 현재 블록이 속하는 슬라이스별로 구성될 수 있다.
이와 관련하여, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처를 어느 위치에 둘 것인지가 문제된다.
본 발명의 실시예들에 따르면 (1) 참조 픽처 리스트를 구성할 때, 참조 레이어의 복호화된 픽처는 항상 고정된 위치에 추가되거나, (2) 참조 픽처 리스트를 구성할 때, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처의 위치는 부호화 정보를 이용하여 결정되거나, (3) 참조 픽처 리스트를 구성할 때, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처의 위치는 부호화 구조 정보를 이용하여 결정될 수 있다.
이하, 본 발명에서 참조 픽처 리스트에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)의 위치를 결정하는 방법을 구체적으로 설명한다.

본 발명의 일 실시예에 따르면, 참조 픽처 리스트 생성시마다, 고정된 위치에 참조 레이어의 복호화된 픽처를 추가할 수 있다.
도 5는 본 발명의 실시예에 따라서 참조 픽처 리스트를 구성하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 5를 참조하면, <1>은 참조 레이어의 복호화된 픽처를 고려하지 않고 구성된 참조 픽처 리스트이며, <2>는 참조 레이어의 복호화된 픽처를 포함하여 구성된 참조 픽처 리스트이다.
도 5의 예에서는 현재 레이어의 픽처들만으로 구성된 참조 픽처 리스트가 <1>과 같을 때, 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)는 참조 픽처 리스트의 2 번째 위치에 추가될 수 있다.
여기서는 설명의 편의를 위해, 참조 픽처 리스트의 2 번째 위치에 인터 레이어 참조 픽처가 위치하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)는 참조 픽처 리스트 내 다른(두 번째가 아닌) 고정된 소정의 위치에 추가될 수도 있다. 이때, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 전체 비디오에 대해서 동일한 위치일 수 있다.
도 5에서 참조 픽처 리스트 L0은 P 슬라이스의 인터 예측에 사용되는 참조 픽처 리스트 또는 B 슬라이스의 인터 예측에서 첫 번째 참조 픽처 리스트로 사용되는 참조 픽처 리스트이다. 참조 픽처 리스트 L1은 B 슬라이스의 인터 예측에 사용되는 두 번째 참조 픽처 리스트이다. 또한, P 슬라이스(predictive slice)는 인트라 예측이 수행되거나 예측 블록 당 최대 1개의 움직임 벡터 및 참조 픽처 인덱스를 이용하여 인터 예측이 수행되는 슬라이스이다. B 슬라이스(bi-predictive slice)는 인트라 예측이 수행되거나 예측 블록 당 최대 두 개의 움직임 벡터와 참조 픽처 인덱스를 이용하여 예측이 수행되는 슬라이스이다. 이와 관련하여, I 슬라이스(intra slice)는 인트라 예측만이 적용된 슬라이스이다.
도 5의 예에서는 참조 픽처 리스트 L0에서 인터 레이어 참조 픽처의 위치가 참조 픽처 리스트 L1에서 인터 레이어 참조 픽처의 위치와 동일한 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 인터 레이어 참조 픽처의 위치는 참조 픽처 리스트 L0과 참조 픽처 리스트 L1에서 상이할 수 있다. 예를 들어, L0에 대해서는 인터 레이어 참조 픽처는 참조 픽처 리스트에서 현재 픽처 보다 선행하는 참조 픽처 세트 다음의 위치에 놓을 수 있고, L1에 대해서는 인터 레리어 참조 픽처는 참조 픽처 리스트에서 장기 참조 픽처 세트 다음의 위치에 놓을 수 있다.
또한, 도 5의 예에서는 참조 픽처 리스트에서 인터 레이어 참조 픽처가 두 번째 위치에 있다고 했으나, 이때, 두 번째 위치는 두 번째 픽처라는 의미일 수도 있고, 참조 픽처 세트를 한 단위로 했을 때 두 번째 위치라는 의미일 수도 있다. 예컨대, L0에 대하여 인터 레이어 참조 픽처는 참조 픽처 리스트에서 현재 픽처보다 선행하는 참조 픽처 세트 다음의 위치에 놓일 수도 있다.
예컨대, 현재 블록(현재 부호화/복호화 대상 블록)이 B 슬라이스에 속하는 경우에는 도 5에서와 같이, 양방향 참조 픽처 리스트(L0 및 L1)가 존재할 수 있다. 이때, 양 방향(L0 방향 및 L1 방향)의 참조 픽처 리스트(L0, L1)에 참조 계층의 복호화된 픽처(인터 레이어 참조 픽처)가 고정된 위치에 추가될 수 있다.
또한, 예컨대, 현재 블록이 B 슬라이스에 속하는 경우에, 도 5와 같이 양방향의 참조 픽처 리스트가 존재할 수 있다. 이 경우에, 양 방향의 참조 픽처 리스트 중 하나의 리스트(즉, L0 또는 L1)에만 인터 레이어 참조 픽처가 고정된 위치 추가될 수도 있다.
또한, 예를 들어, 현재 블록이 I 슬라이스 또는 P 슬라이스인 경우에, 참조 픽처 리스트 L0에만 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)가 고정된 위치에 추가될 수도 있다.
또한, 예를 들어, SPS에서 전송되는, 현재 블록 혹은 현재 픽처의 인터 레이어 예측에 어떤 참조 픽처 리스트를 사용할 것인지를 지시하는 정보(예컨대, LIST0ILRPflag, LIST1ILRPflag)가 특정하는 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다.
또한, 참조 픽처 리스트 내에서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치가 고정적으로 N 번째 위치인 경우에, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 다른 참조 픽처가 있다면, 인터 레이어 참조 픽처를 N 번째 위치에 두고, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 있던 픽처부터는 하나씩 순서를 뒤로 밀 수도 있다.
또한, 참조 픽처 리스트 내에서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치가 고정적으로 N 번째 위치인 경우에, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 있던 참조 픽처를 인터 레이어 참조 픽처로 대체할 수도 있다.

본 발명의 다른 실시예에 의하면, 참조 픽처 리스트를 생성할 때마다, 부호화 정보를 이용하여 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)의 위치를 결정할 수 있다.
본 실시예에서는, 현재 부호화/복호화 대상 픽처(현재 픽처)의 시간적 레벨(temporal level) 정보를 이용하여, 현재 블록에 대한 참조 픽처 리스트 내에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
도 6은 현재 레이어 내에서 각 픽처들에 대한 시간적 레벨들의 일 예를 개략적으로 설명하는 도면이다. 픽처의 시간적 레벨은 nuh_temporal_id와 같은 신택스 엘리먼트를 통해 부호화 장치로부터 전송될 수 있다.
도 6과 같이 시간적 레벨이 정해진 경우를 예로서 고려하면, 현재 픽처의 시간적 레벨이 1인 경우, 현재 블록에 대한 참조 픽처 리스트에서 1 번째 위치(참조 픽처 인덱스의 값이 0)에 인터 레이어 참조 픽처를 둘 수 있다.
시간적 레벨에 따라서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치를 결정하는 경우에, 최상의 시간 레벨(maximum temporal level)을 가지는 현재 픽처(부호화/복호화 대상 픽처)에 대해서는 인터 레이어 참조 픽처를 참조 픽처 리스트에 포함시키지 않을 수도 있다.
또 다른 예로 예컨대, 시간적 레벨이 특정 레벨 이상인 레이어의 픽처는 인터 레이어 참조 픽처로서 참조 픽처 리스트에 포함되지 않을 수도 있다.
한편, 시간적 레벨의 범위에 따라서 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 결정할 수도 있다. 예컨대, 현재 픽처의 시간적 레벨이 2 이상인 경우에는 인터 레이어 참조 픽처를 참조 픽처 리스트의 마지막에 위치시킬 수 있고, 현재 픽처의 시간적 레벨이 2 미만인 경우에는 인터 레이어 참조 픽처를 참조 픽처 리스트의 1 번째 위치에 놓을 수도 있다.
인터 레이어 참조 픽처를 참조 픽처 리스트에 추가함에 있어서, 양방향(bi-predictive) 참조 픽처 리스트가 존재하는 경우, 묵시적으로 한 쪽 방향의 참조 픽처 리스트(참조 픽처 리스트 L0 또는 참조 픽처 리스트 L1)에만 인터 레이어 참조 픽처를 추가할 수도 있다. 예컨대, 현재 픽처의 시간적 레벨이 0인 경우에는, 양 쪽 방향 리스트(참조 픽처 리스트 L0 및 참조 픽처 리스트 L1) 내 1 번째 위치에 인터 레이어 참조 픽처를 추가하고, 현재 픽처의 시간적 레벨이 0보다 큰 경우에는 한 쪽 방향의 리스트(참조 픽처 리스트 L0 및 참조 픽처 리스트 L1)에만 1 번째 위치에 인터 레이어 참조 픽처 리스트를 추가할 수도 있다. 여기서는 1 번째 위치에 인터 레이어 참조 픽처를 추가하는 것으로 설명했으나, 현재 픽처의 시간적 레벨에 따라서 1번째 외의 다른 위치에 인터 레이어 참조 픽처가 추가될 수도 있다.
양방향(bi-predictive) 참조 픽처 리스트가 존재하는 경우에 부호화 장치는 전체 시퀀스에 대해 양 방향의 참조 픽처 리스트들에 인터 레이어 참조 픽처를 추가할 수도 있고, 한 방향의 참조 픽처 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다. 부호화 장치는 SPS에서 인터 레이어 참조 픽처가 추가된 참조 픽처 리스트를 지시하는 정보(예컨대, LIST0ILRPflag, LIST1ILRPflag)를 부호화하여 전송할 수도 있다. 이때, 복호화 장치는 SPS에서 전송되는 정보를 기반으로 양 방향의 참조 픽처 참조 픽처 리스트들에 모두 인터 레이어 참조 픽처를 추가할 수도 있고, 한 방향의 참조 픽처 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다.
한편, 현재 픽처의 시간적 레벨을 특정하는 정보는 현재 픽처에 대한 NAL(Network Abstract Layer) 유닛 헤더에서 전송될 수 있다. 예컨대, 부호화 장치는 NAL 유닛 헤더에서 현재 픽처의 시간적 레벨(temporal_id)을 특정하는 정보를 복호화 장치에 전송할 수 있으며, 복호화 장치는 NAL 유닛 헤더에서 전송되는 시간적 레벨에 관한 정보에 따라서 현재 픽처의 시간적 레벨을 특정할 수 있다.
또한, 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)가 현재 픽처의 시간적 레벨보다 높은 시간적 레벨을 갖는 경우에는, 현재 블록에 대한 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하지 않을 수도 있다.

본 발명의 또 다른 실시예에 의하면, 참조 픽처 리스트를 생성할 때마다, 예측 구조 정보를 이용하여 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)가 놓이는 위치를 결정할 수 있다.
본 실시예에 의하면, 현재 부호화/복호화 대상 픽처의 예측 구조(SOP: Structure of Prediction)에 관한 정보를 이용하여 참조 픽처 리스트 내에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
도 7은 현재 레이어의 예측 구조(Structure of Prediction)의 깊이 정보에 대한 일 예를 개략적으로 설명하는 도면이다.
도 7의 예와 같은, 예측 구조를 적용하는 경우에, 현재 픽처에 대한 예측 구조의 깊이 정보에 따라서, 현재 블록에 대한 참조 픽처 리스트에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
예를 들어, 도 7의 예를 고려할 때, 예측 구조 내에서 현재 픽처에 대응하는 깊이가 0인 경우라면, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 첫 번째 위치(참조 픽처 인덱스의 값이 0)로 결정될 수 있다.
또한, 도 7의 예를 고려할 때, 예측 구조 내에서 현재 픽처에 대응하는 깊이가 1 이상이라면, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 마지막 위치로 결정될 수 있다.
부호화 장치는 PPS(Picture Parameter Set) 또는 슬라이스 헤더에서 예측 구조 내의 깊이 정보에 따라 결정된 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 특정하는 정보를 전송할 수 있다.
복호화 장치는 부호화 장치로부터 수신한 정보를 기반으로 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 결정할 수 있다.
예를 들어, 도 7의 예에서, 수신한 정보가 특정하는 현재 픽처의 예측 구조상 깊이가 0인 경우에, 복호화 장치는 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 첫 번째 위치(참조 픽처 인덱스의 값이 0)로 결정할 수 있다.
또한, 예를 들어, 도 7의 예에서, 수신한 정보가 특정하는 현재 픽처의 예측 구조상 깊이가 1 이상인 경우에, 복호화 장치는 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 마지막 위치로 결정할 수 있다.
한편, 본 실시예에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 묵시적으로 정해질 수도 있다. 이 경우, 예측 구조의 깊이 정보에 따라 참조 픽처 리스트 L0에만 인터 레이어 참조 픽처을 추가할 것인지를 결정할 수도 있다. 이때, 복호화 장치에서도 참조 픽처 리스트 내 동일한 위치에 인터 레이어 참조 픽처가 추가될 수 있도록, 부호화 장치는 인터 레이어 참조 픽처가 추가되는 참조 픽처 리스트를 특정하는 정보를 부호화하여 PPS(Picture Parameter Sets) 또는 슬라이스 헤더에서 전송할 수 있다. 복호화 장치는 수신한 정보를 기반으로 인터 레이어 참조 픽처를 참조 픽처 리스트에 추가하여 현재 블록에 대한 예측을 수행할 수 있다.

한편, 지금까지는‘참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치’라고 기술하였으나, 이는 설명의 편의를 위한 것으로서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 ‘인터 레이어 참조 픽처를 지시하는 참조 픽처 인덱스의 참조 픽처 리스트 내 위치’ 또는 ‘참조 픽처 리스트에서 인터 레이어 참조 픽처를 지시하는 참조 픽처 인덱스의 값의 순서’일 수 있다.

도 8은 본 발명에 따른 비디오 부호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 8을 참조하면, 부호화 장치는 참조 레이어의 픽처를 복호화 할 수 있다(S810). 복호화되는 픽처는 현재 레이어의 부호화 대상 픽처(현재 픽처)와 동일한 액세스 유닛에 속하는 픽처일 수 있다.
부호화 장치는 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)를 유도할 수 있다(S820). 부호화 장치는 참조 레이어의 복호화된(복원된) 픽처로부터현재 블록(현재 레이어의 현재 픽처 내 부호화 대상 블록)에 대한 참조 픽처로 사용될 수 있는 인터 레이어 참조 픽처를 유도할 수 있다.
부호화 장치는 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처를 구성할 수 있다(S830).
이때, 현재 레이어에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 고정된 특정 위치일 수 있다. 예컨대, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는, 현재 레이어에서 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치로 고정될 수도 있다.
부호화 장치는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하도록 참조 픽처 리스트를 구성할 수도 있다.
또한, 부호화 장치는 현재 픽처의 시간적 레벨을 기반으로 참조 픽처 리스트를 구성할 수도 있다. 예컨대, 부호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우, 인터 레이어 참조 픽처는 참조 픽처 리스트에서 제외할 수 있다. 즉 부호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우 참조 레이어의 복호화 픽처는 현재 블록의 인터 예측 에참조하지 않을 수 있다
부호화 장치는 참조 픽처 리스트를 기반으로 현재 레이어의 현재 샘플에 대한 예측을 수행하여 현재 블록에 대한 예측 샘플을 수행할 수 있다(S840). 인터 레이어 예측이 적용되는 경우에, 부호화 장치는 인터 레이어 참조 픽처를 참조하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
부호화 장치는 예측 샘플을 기반으로 현재 블록에 대한 레지듀얼 샘플을 생성할 수 있다(S850). 부호화 장치는 현재 블록의 원 신호와 예측 신호의 차이값을 레지듀얼 샘플로서 유도할 수 있다.
부호화 장치는 레지듀얼 샘플을 엔트로피 인코딩하여 복호화 장치로 전송할 수 있다(S860). 부호화 장치는 레지듀얼 샘플을 변환 및 양자화 한 후, 엔트로피 인코딩하여 복호화 장치로 전송할 수 있다.

도 9는 본 발명에 따른 비디오 복호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 9를 참조하면, 복호화 장치는 참조 레이어의 픽처를 복호화 할 수 있다(S910). 복호화되는 픽처는 현재 레이어의 복호화 대상 픽처(현재 픽처)와 동일한 액세스 유닛에 속하는 픽처일 수 있다.
복호화 장치는 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)를 유도할 수 있다(S920). 복호화 장치는 참조 레이어의 복호화된(복원된) 픽처로부터 현재 블록(현재 레이어의 현재 픽처 내 복호화 대상 블록)에 대한 참조 픽처로 사용될 수 있는 인터 레이어 참조 픽처를 유도할 수 있다.
복호화 장치는 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처를 구성할 수 있다(S930).
이때, 현재 레이어에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 고정된 특정 위치일 수 있다. 예컨대, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는, 현재 레이어에서 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치로 고정될 수도 있다.
복호화 장치는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하도록 참조 픽처 리스트를 구성할 수도 있다.
또한, 복호화 장치는 현재 픽처의 시간적 레벨을 기반으로 참조 픽처 리스트를 구성할 수도 있다. 예컨대, 복호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우, 인터 레이어 참조 픽처는 참조 픽처 리스트에서 제외할 수 있다. 즉 복호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우 참조 레이어의 복호화 픽처는 현재 블록의 인터 예측 에 참조하지 않을 수 있다
복호화 장치는 참조 픽처 리스트를 기반으로 현재 레이어의 현재 샘플에 대한 예측을 수행하여 현재 블록에 대한 예측 샘플을 수행할 수 있다(S940). 인터 레이어 예측이 적용되는 경우에, 복호화 장치는 인터 레이어 참조 픽처를 참조하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
복호화 장치는 예측 샘플을 기반으로 현재 블록에 대한 복원 샘플을 생성할 수 있다(S850). 부호화 장치는 현재 블록에 대한 예측 샘플과 부호화 장치로부터 수신한 레지듀얼 신호(레지듀얼 샘플)를 더하여 현재 블록에 대한 복원 샘플을 유도할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 상기 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계;
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계;
    상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계; 및
    상기 레지듀얼 샘플을 부호화하는 단계를 포함하는 비디오 부호화 방법.
  2. 제1항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 부호화 방법.
  3. 제2항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 부호화 방법.
  4. 제1항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  5. 제1항에 있어서, 상기 인터 레이어 참조 픽처는 상기 현재 블록이 속하는 픽처와 동일한 액세스 단위(Access Unit)에 속하는 것을 특징으로 하는 비디오 부호화 방법.
  6. 제1항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함되지 않는 것을 특징으로 하는 비디오 부호화 방법.
  7. 제6항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 부호화 방법.
  8. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계;
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
    상기 예측 샘플과 상기 현재 블록에 대한 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 복원 샘플을 생성하는 단계를 포함하는 비디오 복호화 방법.
  9. 제8항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처 리스트의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 복호화 방법.
  10. 제9항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 복호화 방법.
  11. 제8항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  12. 제8항에 있어서, 상기 인터 레이어 참조 픽처는 상기 현재 블록이 속하는 픽처와 동일한 액세스 단위(Access Unit)에 속하는 것을 특징으로 하는 비디오 복호화 방법.
  13. 제8항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함하지 않는 것을 특징으로 하는 비디오 복호화 방법.
  14. 제13항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 복호화 방법.
  15. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계; 및
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  16. 제15항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처 리스트의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  17. 제16항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  18. 제15항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  19. 제15항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함하지 않는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  20. 제19항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
PCT/KR2013/011424 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 WO2014092434A2 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120142629 2012-12-10
KR10-2012-0142629 2012-12-10
KR1020130153329A KR102219841B1 (ko) 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR10-2013-0153329 2013-12-10

Publications (2)

Publication Number Publication Date
WO2014092434A2 true WO2014092434A2 (ko) 2014-06-19
WO2014092434A3 WO2014092434A3 (ko) 2014-10-23

Family

ID=50935058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011424 WO2014092434A2 (ko) 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치

Country Status (2)

Country Link
KR (1) KR102356481B1 (ko)
WO (1) WO2014092434A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246849A1 (ko) * 2019-06-06 2020-12-10 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110720A2 (ko) * 2008-03-04 2009-09-11 삼성전자 주식회사 영상의 부호화, 복호화 방법 및 장치
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20120056981A1 (en) * 2009-05-01 2012-03-08 Dong Tian Inter-layer dependency information for 3dv
WO2012050301A2 (ko) * 2010-10-14 2012-04-19 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
US20120189058A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Single reference picture list construction for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110720A2 (ko) * 2008-03-04 2009-09-11 삼성전자 주식회사 영상의 부호화, 복호화 방법 및 장치
US20120056981A1 (en) * 2009-05-01 2012-03-08 Dong Tian Inter-layer dependency information for 3dv
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
WO2012050301A2 (ko) * 2010-10-14 2012-04-19 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
US20120189058A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Single reference picture list construction for video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246849A1 (ko) * 2019-06-06 2020-12-10 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11700377B2 (en) 2019-06-06 2023-07-11 Lg Electronics Inc. Modified transform-based image coding method and device for same

Also Published As

Publication number Publication date
KR20210022598A (ko) 2021-03-03
KR102356481B1 (ko) 2022-02-08
WO2014092434A3 (ko) 2014-10-23

Similar Documents

Publication Publication Date Title
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
KR101769574B1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR102273183B1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
AU2015230740A1 (en) Method and apparatus of scalable video coding
KR20140122189A (ko) 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
KR102226893B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
KR102356481B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
US20130188740A1 (en) Method and apparatus for entropy encoding/decoding
KR102219841B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102418524B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102334374B1 (ko) 영상 부호화/복호화 방법 및 장치
US20150010083A1 (en) Video decoding method and apparatus using the same
KR102325977B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
WO2012036436A2 (ko) 엔트로피 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
122 Ep: pct application non-entry in european phase

Ref document number: 13862206

Country of ref document: EP

Kind code of ref document: A2