WO2014163418A1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2014163418A1
WO2014163418A1 PCT/KR2014/002899 KR2014002899W WO2014163418A1 WO 2014163418 A1 WO2014163418 A1 WO 2014163418A1 KR 2014002899 W KR2014002899 W KR 2014002899W WO 2014163418 A1 WO2014163418 A1 WO 2014163418A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
information
picture
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/002899
Other languages
English (en)
French (fr)
Inventor
이하현
강정원
이진호
최진수
김진웅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130081199A external-priority patent/KR20140121315A/ko
Priority to US14/782,213 priority Critical patent/US9924180B2/en
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of WO2014163418A1 publication Critical patent/WO2014163418A1/ko
Anticipated expiration legal-status Critical
Priority to US15/875,293 priority patent/US10499067B2/en
Priority to US15/875,258 priority patent/US10440372B2/en
Priority to US15/875,148 priority patent/US10432950B2/en
Priority to US15/875,173 priority patent/US10440371B2/en
Priority to US16/656,359 priority patent/US11778206B2/en
Priority to US18/456,723 priority patent/US12177461B2/en
Priority to US18/938,538 priority patent/US20250063181A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video encoding and decoding, and more particularly, to a method of predicting, encoding and decoding an upper layer image by using information of a lower layer when encoding and decoding a multi-layer structure.
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided to the user by the enterprise is also diversified.
  • Ultra High Definition which has more than four times the resolution of HDTV
  • the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported images need to be diversified accordingly.
  • the present invention provides a method and apparatus for encoding / decoding an upper layer using information of a lower layer in scalable video coding.
  • the present invention provides a method and apparatus for mapping a lower layer picture in scalable video coding.
  • the present invention provides a method and apparatus for constructing a reference picture list of an upper layer image and performing prediction using the lower layer image in scalable video coding.
  • an image decoding method supporting a plurality of layers includes decoding information of a first layer referenced by a picture of a second layer including a current decoding target block, and mapping information of the first layer to a picture size of the second layer.
  • step S adding information of the mapped first layer to construct a reference picture list for pictures of the second layer, and performing prediction on the current decoding target block of the second layer based on the reference picture list. Generating predictive samples of the current decoding object block.
  • the information of the first layer may include at least one of a sample value and motion information of the first layer picture.
  • an image decoding apparatus supporting a plurality of layers may further include: a decoder configured to decode information of a first layer referred to by a picture of a second layer including a current decoding target block, and map information of the first layer to a picture size of the second layer.
  • the reference picture list of the picture of the second layer is configured by adding the mapped first layer information, and the prediction of the current decoding target block of the second layer is performed based on the reference picture list.
  • a prediction unit configured to generate prediction samples of the current decoding object block.
  • the information of the first layer may include at least one of a sample value and motion information of the first layer picture.
  • an image encoding method supporting a plurality of layers includes decoding information of a first layer referenced by a picture of a second layer including a current encoding target block, and mapping information of the first layer to a picture size of the second layer.
  • step S the information of the mapped first layer is added to form a reference picture list for a picture of the second layer, and the prediction of the current encoding target block of the second layer is performed based on the reference picture list. Generating prediction samples of the current encoding target block.
  • the information of the first layer may include at least one of a sample value and motion information of the first layer picture.
  • an image encoding apparatus supporting a plurality of layers maps information of the first layer to an encoder that encodes information of a first layer referred to by a picture of a second layer including a current encoding target block and a picture size of the second layer.
  • the reference picture list for the picture of the second layer is configured by adding the mapped first layer information, and the prediction of the current encoding target block of the second layer is performed based on the reference picture list.
  • a prediction unit configured to generate prediction samples of the current encoding target block.
  • the information of the first layer may include at least one of a sample value and motion information of the first layer picture.
  • encoding / decoding efficiency is improved. Can be improved.
  • unnecessary mapping process for the motion information of the lower layer can be omitted and complexity can be reduced.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a flowchart schematically illustrating a method for performing inter-layer prediction (inter layer prediction) in scalable video coding according to an embodiment of the present invention.
  • 5 and 6 are diagrams for explaining a method for mapping motion information between layers according to an embodiment of the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • a scalable video encoding apparatus supporting a multi-layer structure may be implemented by extending a general image encoding apparatus having a single layer structure.
  • the block diagram of FIG. 1 shows an embodiment of an image encoding apparatus that can be the basis of a scalable video encoding apparatus applicable to a multilayer structure.
  • the image encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, and entropy.
  • An encoder 150, an inverse quantizer 160, an inverse transformer 170, an adder 175, a filter 180, and a reference picture buffer 190 are included.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
  • the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block.
  • the input image may mean an original picture.
  • the intra predictor 120 may use a sample value of an already encoded / decoded block around the current block as a reference sample.
  • the intra prediction unit 120 may perform spatial prediction using the reference sample and generate prediction samples for the current block.
  • the inter prediction unit 110 may identify a motion vector specifying a reference block having a smallest difference from an input block (current block) in a reference picture stored in the reference picture buffer 190 during a motion prediction process. You can get it.
  • the inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using the motion vector and the reference picture stored in the reference picture buffer 190.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer, and perform inter-layer prediction by including an inter-layer reference picture in the reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying or interpolating a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • an interlayer reference picture may be configured by upsampling a reconstructed picture of a reference layer between layers that support scalability with respect to resolution.
  • the encoding apparatus may transmit information specifying the layer to which the picture to be used as the inter-layer reference picture belongs, to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the transform coefficient may mean a coefficient value generated by performing transform on the residual block and / or the residual signal.
  • a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
  • the transform unit 130 may omit the transform on the residual block.
  • the quantization unit 140 may quantize the input transform coefficient according to a quantization parameter or a quantization parameter, and output a quantized coefficient. Quantized coefficients may be referred to as quantized transform coefficient levels. In this case, the quantization unit 140 may quantize the input transform coefficients using the quantization matrix.
  • the entropy encoder 150 may output a bitstream by entropy encoding the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process according to a probability distribution.
  • the entropy encoder 150 may entropy encode information (eg, syntax elements) for video decoding in addition to the pixel information of the video.
  • the encoding parameter is information necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded in the encoding apparatus and delivered to the decoding apparatus, such as a syntax element.
  • encoding parameters may include intra / inter prediction modes, moving / motion vectors, reference image indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block division information, and the like. Or statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is transformed and quantized It may mean.
  • the residual signal may be referred to as a residual block in block units.
  • the entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC). For example, the entropy encoder 150 may perform entropy encoding by using a variable length coding (VLC) table. In addition, the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
  • VLC variable length coding
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstructed block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO can add an appropriate offset to the pixel value to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • a scalable video decoding apparatus supporting a multi-layer structure may be implemented by extending a general image decoding apparatus having a single layer structure.
  • the block diagram of FIG. 2 illustrates an embodiment of an image decoding apparatus that may be the basis of a scalable video decoding apparatus applicable to a multilayer structure.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and an adder 255. ), A filter unit 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a reconstructed residual block from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution, and output information such as quantized coefficients and syntax elements.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230.
  • a reconstructed residual block may be generated.
  • the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients.
  • the intra predictor 240 may perform spatial prediction using sample values of blocks already decoded around the current block, and generate prediction samples for the current block.
  • the inter prediction unit 250 may generate a prediction block for the current block by performing motion compensation using the reference picture stored in the motion vector and the reference picture buffer 270.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 250 may construct an interlayer reference picture by sampling a picture of the reference layer, and perform interlayer prediction by including an interlayer reference picture in a reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying or interpolating a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • the inter-layer reference picture may be configured by upsampling the reconstructed picture of the reference layer.
  • information specifying a layer to which a picture to be used as an inter-layer reference picture belongs may be transmitted from the encoding apparatus to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the reconstructed residual block and the predictive block are added at the adder 255 to generate a reconstructed block.
  • the residual sample and the predictive sample are added to generate a reconstructed sample or a reconstructed picture.
  • the reconstructed picture is filtered by the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a modified or filtered reconstructed picture.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • the image decoding apparatus 200 may further include a parser (not shown) that parses information related to an encoded image included in the bitstream.
  • the parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
  • one encoding device / decoding device processes both encoding / decoding for multiple layers. However, this is for convenience of description.
  • the encoding device / decoding device may be configured for each layer.
  • the encoding device / decoding device of the upper layer may perform encoding / decoding of the corresponding upper layer by using the information of the upper layer and the information of the lower layer.
  • the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction on the current block by using pixel information or picture information of the upper layer, and receives picture information reconstructed from the lower layer and Inter prediction (inter layer prediction) may be performed on the current block of the upper layer by using the interlayer prediction.
  • Inter prediction inter layer prediction
  • the encoding device / decoding device performs encoding / decoding on the current layer by using information of another layer regardless of whether the device is configured for each layer or one device processes multiple layers. can do.
  • the layer may include a view.
  • information of another layer between layers specified as having dependence by information specifying dependency between layers is not merely performed by using information of a lower layer.
  • Inter layer prediction may be performed using.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • a video coding method that supports scalability removes redundancy between layers by using texture information, motion information, and residual signals between layers.
  • a coding method that improves encoding and decoding performance has various scales in terms of spatial, temporal, image quality (or quality), and view according to ambient conditions such as transmission bit rate, transmission error rate, and system resources. It can provide the ability.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
  • the base layer may be referred to as a base layer or may be referred to as a lower layer.
  • the enhancement layer may be referred to as an enhancement layer or a higher layer.
  • the lower layer may mean a layer supporting scalability lower than a specific layer
  • the upper layer may mean a layer supporting higher scalability than a specific layer.
  • a layer referred to for encoding / decoding of another layer may be referred to as a reference layer (reference layer), and a layer encoded / decoded using another layer may be referred to as a current layer (current layer).
  • the reference layer may be lower than the current layer, and the current layer may be higher than the reference layer.
  • the layer may be based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, view, etc. Means a set of image and bitstream to be distinguished.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method may provide temporal, spatial, image quality, and view scalability by the method described above in the embodiment of FIG. 3.
  • scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
  • inter prediction may use at least one of a previous picture or a subsequent picture of a current picture as a reference picture, and perform prediction on the current block based on the reference picture.
  • An image used for prediction of the current block is called a reference picture or a reference frame.
  • An area (reference block) used for prediction of the current block in the reference picture may be represented by using a reference picture index refIdx and a motion vector indicating the reference picture.
  • the inter prediction may select a reference picture and a reference block corresponding to the current block in the reference picture to generate a prediction block for the current block.
  • the inter prediction may generate a prediction block such that a residual signal with the current block is minimized and a motion vector size is also minimized.
  • the inter prediction may apply a skip mode, a merge mode, an advanced motion vector prediction (AMVP), or the like according to a method of using information of neighboring blocks.
  • the skip mode, the merge mode, and the AMVP mode may generate a prediction block for the current block based on the information of the neighboring block.
  • the encoder may transmit information indicating which neighboring block motion information to use as motion information of the current block to the decoder, and does not transmit syntax information such as residual data to the decoder. .
  • the merge mode may generate a prediction block for the current block by using the motion information of the neighboring block as it is.
  • the encoder may transmit information indicating whether to apply the merge mode to the current block, information indicating which motion information of which neighboring block to use, residual information about the current block, and the like to the decoder.
  • the decoder may generate a prediction block for the current block by using motion information of the neighboring block indicated by the encoder, and reconstruct the current block by adding the generated prediction block and the residual transmitted from the encoder.
  • the AMVP may predict the motion vector of the current block by using the motion information of the neighboring blocks.
  • the encoder may transmit information indicating which motion information of a neighboring block to use, a difference between a motion vector and a predicted motion vector of the current block, a reference picture index indicating a reference picture, and the like to the decoder.
  • the decoder may predict the motion vector of the current block by using the motion information (motion vector) of the neighboring block, and may derive the motion vector for the current block by using the motion vector difference received from the encoder.
  • the decoder may generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoder.
  • the decoder checks a skip flag, a merge flag, etc. received from the encoder, and derives motion information (eg, information about a motion vector, a reference picture index, etc.) necessary for inter prediction of the current block according to the confirmed information. Can be.
  • motion information eg, information about a motion vector, a reference picture index, etc.
  • the processing unit in which the prediction is performed may be different from the processing unit in which the prediction method and the details are determined.
  • the inter prediction or intra prediction may be determined in units of coding units (CUs), and the prediction mode for intra prediction and the prediction mode for inter predictions may be determined in units of prediction units (PUs). have.
  • the prediction mode may be determined in units of prediction units, and prediction may be performed in units of transform units (TUs).
  • the present invention after mapping the motion information of the reference layer (lower layer) referenced by the current layer (upper layer) to the image size of the current layer, it is added to the reference picture list of the current layer and added to the current layer. It provides a method that can perform inter prediction for the.
  • the present invention also relates to encoding and decoding of an image including a plurality of layers or views, wherein the plurality of layers or views include first, second, third, n-th layers, or first, It may be expressed as the second, third, and nth viewpoints.
  • the first layer may be represented by a base layer, a base layer, or a reference layer
  • the second layer may be represented by an enhancement layer, an enhancement layer, or a current layer.
  • FIG. 4 is a flowchart schematically illustrating a method for performing inter-layer prediction (inter layer prediction) in scalable video coding according to an embodiment of the present invention.
  • the method of FIG. 4 may be performed by the image encoding apparatus of FIG. 1 and the image decoding apparatus of FIG. 2.
  • the encoding / decoding apparatus decodes information of the first layer referred to by an image (picture) of the second layer (S400).
  • the second layer may mean a layer that currently performs encoding / decoding, and may be an upper layer that provides higher scalability than the first layer.
  • the first layer may be a layer referred to for encoding / decoding of the second layer, and may be referred to as a reference layer or a lower layer.
  • the encoding / decoding apparatus may decode and use information of the first layer as a reference signal for predicting an encoding / decoding target block in an image of the second layer.
  • the information of the first layer to be decoded may include sample values and motion information of the first layer image (picture).
  • the motion information includes a motion vector value, a reference picture index, a prediction direction indicator, a reference picture picture order count (POC), a prediction mode, a reference picture list, a merge flag, a merge index, and a picture type of a reference picture (short-term Reference picture, long-term reference picture, etc.).
  • the decoded motion information of the first layer may be compressed and stored in a unit block having an NxN size.
  • the decoded motion information of the first layer may be compressed and stored for every 16x16 block.
  • the encoding / decoding apparatus maps the decoded information of the first layer to the image size of the second layer (S410).
  • the mapping may be to perform sampling on a sample of an image in order to adjust an image size or resolution equally when sizes or resolutions between images are different, and sampling and motion information about a sample value of an image May include sampling for.
  • the encoding / decoding apparatus may perform sampling on the decoded first layer image, and sample values of the sampled first layer image. And motion information.
  • the size of an image between layers may be different. Therefore, when the size of the image between layers (between the first layer and the second layer) is different, the encoding / decoding apparatus removes the image size of the decoded first layer. Resampling may be performed on sample values of the decoded first layer image to map to the image size of the second layer.
  • the encoding / decoding apparatus converts the image size of the first layer decoded to 1920x1080 size, which is the image size of the second layer.
  • Upsampling may be performed for mapping. Upsampling may be performed to adjust image size between layers having different image sizes, and interpolated samples may be derived by applying interpolation to an image of a layer (reference layer or lower layer) having a small image size. The image size can be adjusted.
  • the encoding / decoding apparatus may map and use the decoded motion information of the first layer to the image size of the second layer.
  • the inter-layer motion information mapping which maps the motion information of the decoded first layer image to the image size of the second layer, divides the second layer image into NxN size unit blocks, and for each NxN unit block of the second layer.
  • the motion information of the corresponding first layer may be used as the motion information of the corresponding block of the second layer.
  • 5 and 6 are diagrams for explaining a method for mapping motion information between layers according to an embodiment of the present invention.
  • FIG. 5 illustrates an image of a second layer divided into unit blocks having an N ⁇ N size.
  • the encoding / decoding apparatus may divide the image of the second layer into a total of 8160 16x16 unit blocks.
  • the motion information of the first layer block corresponding to each unit block of the second layer may be used as the motion information of the corresponding block of the second layer.
  • the motion information may be stored for each unit block.
  • the motion information may be stored in the form of a look-up table for each picture and may be referred to and used by each unit block.
  • Each square in the 16 ⁇ 16 block 600 means one sample, and assumes the sample position at the leftmost top in the 16 ⁇ 16 block 600 as (xP, yP).
  • the motion information of the first layer block corresponding to each NxN unit block of the second layer is mapped to the motion information of the second layer.
  • the motion information of the first layer block corresponding to each NxN block of the second layer may be motion information of the first layer sample position corresponding to the reference sample position of the second layer NxN block.
  • the encoding / decoding apparatus determines the (xP + 8, yP + 8) position in the 16x16 block 600 of the second layer as the reference sample position, and the reference sample position (xP).
  • the motion information mapping between layers may be performed using motion information of a first layer sample position corresponding to +8 and yP + 8).
  • the encoding / decoding apparatus determines the (xP, yP) position in the 16x16 block 600 of the second layer as the reference sample position, and motion information of the first layer sample position corresponding to the reference sample position (xP, yP).
  • the motion information mapping between the layers can be performed by using.
  • the encoding / decoding apparatus determines the (xP + 15, yP) position in the 16x16 block 600 of the second layer as the reference sample position, and the first layer sample corresponding to the reference sample position (xP + 15, yP).
  • the motion information mapping between layers may be performed using the motion information of the location.
  • the encoding / decoding apparatus determines the (xP, yP + 15) position in the 16x16 block 600 of the second layer as the reference sample position, and the first layer sample corresponding to the reference sample position (xP, yP + 15).
  • the motion information mapping between layers may be performed using the motion information of the location.
  • the encoding / decoding apparatus determines the (xP + 15, yP + 15) position in the 16x16 block 600 of the second layer as the reference sample position, and corresponds to the reference sample position (xP + 15, yP + 15).
  • the motion information mapping between the layers may be performed using the motion information of the first layer sample position.
  • the encoding / decoding apparatus determines the (xP + 1, yP + 1) position in the 16x16 block 600 of the second layer as the reference sample position, and corresponds to the reference sample position (xP + 1, yP + 1).
  • the motion information mapping between the layers may be performed using the motion information of the first layer sample position.
  • the encoding / decoding apparatus may perform motion information mapping between layers by using not only the above-described reference sample position but also motion information of the first layer sample position corresponding thereto using other reference sample positions.
  • the sample position of the first layer corresponding to the reference sample position of the second layer may be calculated as in Equation 1 below by considering the size of the inter-layer image.
  • xRef and yRef are sample positions of the first layer
  • xP and yP are reference sample positions of the second layer
  • ScaledW and ScaledH are horizontal and vertical sizes of the scaled first layer picture
  • picWRL and picHRL are first The horizontal and vertical size of the hierarchical picture.
  • the sample position of the first layer calculated by Equation 1 may use motion information of 16 ⁇ 16 units through Equation 2 below. Can be adjusted.
  • the sample position of the first layer calculated by Equation 1 may use 8x8 unit motion information through Equation 3 below. Can be adjusted.
  • the encoding / decoding apparatus may use (0, 0) as a motion vector value of the corresponding block of the second layer.
  • a value of ⁇ 1 may be allocated to the reference picture index and the reference picture POC of the corresponding block of the second layer.
  • the encoding / decoding apparatus may use (0, 0) as the motion vector value of the corresponding block of the second layer.
  • the reference picture index and the reference picture POC of the corresponding block of the second layer are assigned a specific value (for example, the reference picture index is assigned as 0, and the reference picture POC is assigned as the POC of the picture indicated by the reference picture index 0). Can be assigned.
  • the encoding / decoding apparatus refers to the motion vector value of the first layer sample position as the motion information of the corresponding block of the second layer.
  • a picture index and a reference picture POC value can be used.
  • the encoding / decoding apparatus may use the motion vector of the first layer by reflecting the size of the inter-layer image as shown in Equation 4 below.
  • the encoding / decoding apparatus obtains picture type information (picture type information on whether the reference picture is a short-term reference picture or a long-term reference picture) of a reference picture referenced by a corresponding block of a first layer corresponding to a block of a second layer. Can be used as information of the corresponding block in the hierarchy.
  • picture type information picture type information on whether the reference picture is a short-term reference picture or a long-term reference picture
  • the above-described layer-to-layer motion information mapping may be determined at a higher level, and the encoding apparatus may transmit the layer-to-layer motion information mapping related information at a higher level.
  • the decoding apparatus may obtain inter-layer motion information mapping related information from a higher level.
  • the upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, and the like.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • slice segment header a slice segment header
  • information related to motion information mapping of a corresponding layer may be signaled in the VPS.
  • motion information mapping of the i th layer may not be performed.
  • motion information mapping of the i th layer may be performed.
  • information related to the motion information mapping of the corresponding layer may be signaled in the extension of the SPS.
  • motion information mapping of the first layer may be performed.
  • information indicating whether to perform motion information mapping of a corresponding layer according to information indicating whether to use the time motion vector prediction transmitted from the SPS (for example, sps_temporal_mvp_enabled_flag). (Eg, sps_inter_layer_mfm_enable_flag) may be determined.
  • sps_temporal_mvp_enabled_flag indicating whether to use temporal motion vector prediction
  • sps_inter_layer_mfm_enable_flag indicating whether to perform motion information mapping of the first layer
  • motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector predictor (TMVP) of the second layer.
  • TMVP temporal motion vector predictor
  • whether to perform motion information mapping of the corresponding layer may be determined by sps_temporal_mvp_enabled_flag value without transmitting sps_inter_layer_mfm_enable_flag as shown in Table 3 above.
  • sps_temporal_mvp_enabled_flag 1
  • sps_inter_layer_mfm_enable_flag is assumed to be 1
  • motion information mapping of the corresponding layer may be performed.
  • sps_temporal_mvp_enabled_flag is assumed to be 0, and motion information mapping of the corresponding layer may be performed.
  • information related to the motion information mapping of the corresponding layer may be signaled in the extension of the PPS.
  • motion information mapping of the first layer may be performed.
  • information related to the motion information mapping of the corresponding layer may be signaled in the extension of the slice segment header.
  • slice_inter_layer_mfm_enable_flag 1
  • motion information mapping of the first layer may be performed.
  • information related to the motion information mapping of the corresponding layer may be signaled in the extension of the slice segment header.
  • slice_inter_layer_mfm_enable_flag indicating whether to perform motion information mapping of the first layer
  • the slice_inter_layer_mfm_enable_flag is transmitted only in the layer (that is, the enhancement layer), not the base layer. In the case of the enhancement layer, slice_inter_layer_mfm_enable_flag may not be transmitted when there is no layer used for motion prediction. If the flag does not exist, the flag value can be inferred to 0.
  • motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector predictor (TMVP) of the second layer.
  • TMVP temporal motion vector predictor
  • slice_inter_layer_mfm_enable_flag When slice_inter_layer_mfm_enable_flag is transmitted in a layer other than the base layer (ie, enhancement layer), slice_inter_layer_mfm_enable_flag may exist above slice_segement_header_extension_present_flag in the slice segment header of the non-base layer (ie, enhancement layer), as shown in Table 7.
  • slice_temporal_mvp_enabled_flag indicating whether to use temporal motion vector prediction
  • slice_inter_layer_mfm_enable_flag indicating whether to perform motion information mapping of the first layer
  • motion information of the first layer may not be used in the second layer. That is, the reconstructed image of the first layer may not be used as a temporal motion vector predictor (TMVP) of the second layer.
  • TMVP temporal motion vector predictor
  • motion information of the first layer may be used in the second layer. That is, after mapping the motion information of the first layer to the size of the second layer, the reconstructed image of the first layer may be used as a corresponding picture (ColPic, Collocated picture) for the TMVP of the second layer.
  • slice_inter_layer_mfm_enable_flag 1
  • information about a corresponding picture (ColPic, Collocated picture) of the first layer for TMVP of the second layer may be signaled through additional syntax information.
  • information of a layer to be referred to may be known through collocated_ref_layer_idx, and motion information of the reference layer corresponding picture may be mapped to an image size of a second layer.
  • a reference picture list direction in which a picture of a reference layer that can be used as a corresponding picture is located may be determined through collocated_ref_layer_from_l0_flag.
  • collocated_ref_layer_idx is an indicator indicating information of a reference layer used for motion prediction when the number of reference layers used for motion prediction is two or more. When the number of reference layers used for motion prediction is one, collocated_ref_layer_idx may be omitted. In this case, all slices in the picture may be restricted to have the same value.
  • collocated_ref_layer_from_l0_flag is transmitted in the B slice.
  • the collocated_ref_layer_from_l0_flag value is 1
  • the picture of the reference layer existing in the LIST0 is referred to as the corresponding picture (ColPic).
  • the collocated_ref_layer_from_l0_flag value is 0, the picture of the reference layer existing in LIST1 is referred to as the corresponding picture (ColPic).
  • the collocated_ref_layer_from_l0_flag value may be used in the same meaning instead of collocated_from_l0_flag.
  • all slices in the picture may be restricted to have the same value.
  • the corresponding block has both motion information in the LIST0 and LIST1 directions in the process of obtaining the motion vector of the corresponding block ColPb in the corresponding picture ColPic, the same direction as the direction indicated by the current encoding / decoding target picture is indicated. It can get the motion information of.
  • the list direction and the corresponding picture in the second layer may be informed by using collocated_from_l0_flag and collocated_ref_idx without using motion information of the reference layer.
  • slice_inter_layer_mfm_enable_flag 1
  • the information about the corresponding picture (ColPic, Collocated picture) of the first layer and the reference picture list direction information of the first layer for the TMVP of the second layer may be signaled using additional syntax information.
  • slice_temporal_mvp_enabled_flag 1
  • the reference picture list direction of the corresponding picture can be determined from collocated_from_l0_flag value for B slice, and the layer referenced by the collocated_ref_layer_idx value can be known.
  • collocated_from_l0_flag indicates the direction of a reference picture list to which a corresponding picture belongs when slice_temporal_mvp_enabled_flag is 1 and is a B slice. If collocated_from_l0_flag does not exist, collocated_from_l0_flag can be inferred as 1. In this case, all slices in the picture may be restricted to have the same value.
  • collocated_ref_layer_idx is an indicator indicating information of a reference layer used for motion prediction when the number of reference layers used for motion prediction is two or more. When the number of reference layers used for motion prediction is one, collocated_ref_layer_idx may be omitted. In this case, all slices in the picture may be restricted to have the same value. The list direction for the corresponding picture may be determined from collocated_from_l0_flag transmitted from the upper layer.
  • the list direction and the corresponding picture in the second layer may be informed by using collocated_from_l0_flag and collocated_ref_idx without using motion information of the reference layer.
  • collocated_ref_layer_idx information of a layer to be referred to may be known, and motion information of the reference layer corresponding picture may be mapped to an image size of a second layer.
  • slice type in the case of a P slice, a picture of a reference layer existing in LIST0 is used as a corresponding picture, and in the case of a B slice, a protocol is directed in one of LIST0 or LIST1, and the picture of the corresponding reference layer is corresponding picture.
  • the encoding / decoding device can be used in the same way.
  • the list direction and the corresponding picture in the second layer may be informed by using collocated_from_l0_flag and collocated_ref_idx without using motion information of the reference layer.
  • slice_inter_layer_mfm_enable_flag in each slice segment header should have the same value, and according to slice_inter_layer_mfm_enable_flag value in the first independent slice segment header
  • One motion information mapping process may be performed per picture.
  • 'sps_inter_layer_mfm_enable_flag' transmitted at a higher level is used as information indicating whether to perform motion information mapping, but may be used as information indicating whether to predict syntax between layers by extending this information. have. For example, when sps_inter_layer_mfm_enable_flag is 1, not only motion information mapping but also inter-layer syntax (motion information) prediction may be performed.
  • motion information mapping may be performed according to syntax information values for performing inter-layer prediction without separate syntax transmission.
  • whether to perform motion information mapping may be determined using syntax information indicating whether inter-layer prediction signaled by a higher layer is performed. Syntax information indicating whether the inter-layer prediction is performed may be signaled at a higher level.
  • the upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, and the like.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • slice segment header a slice segment header
  • syntax indicating whether to perform inter-layer prediction in a VPS may be transmitted.
  • motion information mapping may not be performed when no_inter_layer_pred_flag is 1, and motion information mapping may be performed when no_inter_layer_pred_flag is 0.
  • whether to perform motion information mapping may be determined using syntax information indicating whether to perform syntax prediction between layers signaled by a higher layer. Syntax information indicating whether the inter-layer syntax prediction is performed may be signaled at a higher level.
  • the upper level may be a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), a slice segment header, and the like.
  • VPS video parameter set
  • SPS sequence parameter set
  • PPS picture parameter set
  • slice segment header a slice segment header
  • syntax that informs whether or not to perform inter-layer syntax prediction in PPS may be transmitted.
  • motion information mapping may be performed when no_inter_layer_syntax_pred_flag is 0. If no_inter_layer_syntax_pred_flag is 1, motion information mapping may not be performed. have.
  • syntax indicating whether to perform inter-layer syntax prediction in a slice segment header may be transmitted.
  • the encoding / decoding apparatus encodes / decodes an image of the second layer by adding information of the first layer to a reference picture list of the second layer (S420).
  • the encoding / decoding apparatus uses the reference picture list for the current encoding / decoding target image of the second layer to decode the sample values and motion information of the first layer mapped to the size of the second layer image through steps S400 to S410.
  • the reference picture list of the second layer image may be configured by using the added information of the first layer.
  • the encoding / decoding apparatus may perform inter prediction to generate a prediction signal for an image of a second layer based on the reference picture list.
  • the decoded picture of the first layer may be added to the last position of the reference picture list for the current encoding / decoding target picture of the second layer.
  • the decoded image of the first layer may be added to a specific position of a reference picture list for the current encoding / decoding target image of the second layer.
  • the specific location may be informed at a higher level (for example, VPS, SPS, PPS, slice segment header, etc.), or the specific location may be designated by a predetermined protocol without transmitting additional information.
  • the decoded image of the first layer may be added to the reference picture lists L0 and L1 for the current encoding / decoding target image of the second layer.
  • positions added to the reference picture list L0 and L1 may be the same or may be different.
  • the decoded picture of the first layer may be added to the first position in the reference picture list L0, and the decoded picture of the first layer may be added to the last position in the reference picture list L1.
  • the decoded image of the first layer may be added to any one of reference picture list directions L0 and L1 for the current encoding / decoding target image of the second layer.
  • the decoded image of the first layer may be added only to the reference picture list L0 or the reference picture list L1.
  • the decoded picture of the first layer is added to the reference picture list in a specific direction, at a position in the reference picture list in a specific direction at a higher level (for example, VPS, SPS, PPS, slice segment header, etc.).
  • the location may be added, or a specific location may be designated by a predetermined protocol without transmitting additional information.
  • the decoded image of the first layer may be added at different positions of the reference picture list according to the depth by using hierarchical depth information of the prediction structure.
  • the position information may be informed at a higher level (eg, VPS, SPS, PPS, slice segment header, etc.).
  • the decoded image of the first layer may have a different position added in the reference picture list based on a temporal level (temporal_Id) value according to the hierarchical depth. For example, when the temporal level Temporal_Id is equal to or greater than 2, the decoded picture of the first layer may be added to the last position of the reference picture list, and when the temporal level Temporal_Id is less than 2, the reference picture list may be added.
  • the decoded image of the first layer may be added at the first position of the.
  • the reference time level value may be informed at a higher level (eg, VPS, SPS, PPS, slice segment header, etc.).
  • the decoded image of the first layer may include decoded motion information of the first layer mapped to the image size of the second layer as well as decoded sample values of the first layer.
  • the encoding / decoding apparatus adds the decoded image of the first layer to the reference picture list for the current encoding / decoding target image of the second layer in the same manner as described above, and then uses the normal inter prediction method. Prediction of the current encoding / decoding target image may be performed.
  • the encoding apparatus When prediction is performed by using the decoded image of the first layer as a reference signal of the current encoding target image of the second layer (when performing interlayer prediction), the encoding apparatus performs prediction in the current encoding target image without a motion prediction process.
  • the first layer sample value at the same position as the block may be used as the prediction signal.
  • the encoding apparatus may not transmit motion information (eg, a motion vector difference value, a motion prediction candidate flag, etc.) of the corresponding block.
  • the decoding apparatus may perform motion information (eg, motion) on a prediction block in the current decoding target image of the second layer.
  • motion information eg, motion
  • the first layer sample value at the same position as the prediction block in the current decoding target image may be used as the prediction signal without decoding the vector difference value, the motion prediction candidate flag, and the like.
  • the decoding apparatus When the picture indicated by the reference picture index of the second layer current decoding object block is a decoded picture of the first layer in the reference picture list (when inter-layer prediction is performed), the decoding apparatus is at a higher level (eg, a VPS). Based on the information transmitted from the SPS, PPS, slice segment header, etc., to decode motion information (eg, motion vector difference value, motion prediction candidate flag, etc.) for the current decoding target block of the second layer. It may determine whether to predict the current decoding target block of the second layer.
  • a higher level eg, a VPS
  • Table 14 shows an example of syntax in which information (sps_inter_layer_mv_zero_flag) indicating whether an inter-layer motion vector has a (0, 0) value is transmitted in the SPS.
  • the decoding apparatus determines a motion vector difference.
  • the sample value of the decoded first layer image having the same position as that of the current decoding target block may be used as a prediction signal for the current decoding target block without decoding the value and the motion prediction candidate flag.
  • the decoding apparatus determines a motion vector difference value and a motion prediction candidate flag. After decoding, a motion vector value is obtained, and a sample value of the decoded first layer image located at the position of the obtained motion vector value may be used as a prediction signal for the current decoding target block.
  • the encoding apparatus performs prediction of the temporal motion vector of the second layer. It can be used as a collocated picture.
  • the encoding apparatus may designate the decoded image of the first layer as the corresponding image through information (collocated_ref_idx) indicating a corresponding picture in the slice segment header.
  • the decoding apparatus uses the motion information of the mapped first layer as a time motion vector candidate of the second layer. Can be used as
  • the encoding / decoding apparatus When using the mapped motion information of the first layer as a temporal motion vector candidate of the second layer, the encoding / decoding apparatus performs motion information of the mapped first layer, that is, a reference picture POC, a reference picture list, and a picture of a reference picture.
  • motion information of the mapped first layer that is, a reference picture POC, a reference picture list, and a picture of a reference picture.
  • One or more of type (short-term reference picture and long-term reference picture) information may be used, and motion vectors of the second layer may be scaled according to a temporal distance by using motion information of one or more mapped first layers. have.
  • the information collocated_ref_idx indicating the corresponding picture is the first layer. Constraints can be placed on the standard document so as not to indicate the decoded picture of the corresponding picture.
  • the motion information of the mapped first layer may be used as an additional candidate mode other than the time motion vector candidate of the second layer.
  • the information collocated_ref_idx indicating the corresponding picture does not indicate the decoded picture of the first layer to the corresponding picture. Constraints can be placed on standard documents.
  • the encoding apparatus additionally slices an index (eg, base_ref_idx) indicating a mapped image position of the first layer in the reference picture list. It can be transmitted in the header. The location of the additional posterior mode in the reference picture list may be equally applied to the encoding apparatus and the decoding apparatus.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복수의 계층을 지원하는 영상 부호화/복호화 방법 및 장치가 개시된다. 상기 복수의 계층을 지원하는 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 장치
본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 다계층 구조의 영상 부호화 및 복호화 시 하위 계층의 정보를 이용하여 상위 계층의 영상을 예측하고 부호화 및 복호화 하는 방법에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.
본 발명은 스케일러블 비디오 코딩에서 하위 계층의 정보를 이용하여 상위 계층을 부호화/복호화하는 방법 및 장치를 제공한다.
본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 매핑하는 방법 및 장치를 제공한다.
본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 이용하여 상위 계층 영상의 참조 픽처 리스트를 구성하고 예측을 수행하는 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.
상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 복호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다.
상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.
상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 부호화하는 부호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다.
상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.
종래 기술에서는 하위 계층의 움직임 정보를 매핑하는 과정에서, 상위 계층의 시간 움직임 벡터 예측이 수행되지 않는 경우에도, 불필요한 움직임 정보 매핑 과정이 수행되는 문제점이 있다. 또한, 하위 계층의 움직임 정보 매핑을 수행하지 않는 경우, 상위 계층에서 시간 움직임 벡터를 위한 대응 픽처(collocated picture)로 하위 계층의 복호화된 픽처를 지시할 수 있기 때문에 상위 계층의 시간 움직임 벡터 예측을 수행하지 못하는 경우가 발생하여 부호화 효율이 저하되는 문제점이 있다.
본 발명에 따르면, 상위 계층이 참조하는 하위 계층의 움직임 정보를 상위 계층의 영상 크기로 매핑을 수행한 후 매핑된 하위 계층의 영상 신호를 이용하여 상위 계층을 예측하여 복원함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 또한, 상위 레벨 신택스를 수정함으로써, 불필요한 하위 계층의 움직임 정보에 대한 매핑 과정을 생략할 수 있으며 복잡도를 감소시킬 수 있다. 또한, 잘못된 대응 픽처가 사용되는 것을 방지하여 부호화 효율의 저하를 방지할 수 있다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.
인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.
변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.
부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.
예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.
잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.
인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.
복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.
이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.
본 발명에서 레이어는 뷰(view)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.
상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.
스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.
통상적으로, 화면간 예측(이하, 인터 예측)은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다.
현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
참조 픽처 내에서 현재 블록의 예측에 이용되는 영역(참조 블록)은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.
인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. 이때, 인터 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며, 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
인터 예측 시 참조 픽처의 정보를 이용하기 위해, 현재 블록 주변에 위치한 주변 블록들의 정보를 이용할 수 있다. 예컨대, 인터 예측은 주변 블록들의 정보를 이용하는 방법에 따라, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 적용할 수 있다. 이러한 스킵 모드, 머지 모드, AMVP 모드는 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.
스킵 모드는 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서, 스킵 모드가 적용되는 경우, 부호화기는 현재 블록의 움직임 정보로서 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보를 복호화기로 전송하면 되고, 이외 레지듀얼 등과 같은 신택스 정보는 복호화기로 전송하지 않는다.
머지 모드는 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 머지 모드가 적용되는 경우, 부호화기는 현재 블록에 대하여 머지 모드를 적용하는지를 지시하는 정보, 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보, 현재 블록에 대한 레지듀얼 정보 등을 복호화기에 전송할 수 있다. 복호화기는 부호화기로부터 지시된 주변 블록의 움직임 정보를 이용하여 현재 블록에 대한 예측 블록을 생성하고, 생성된 예측 블록과 부호화기로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.
AMVP는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. AMVP가 적용되는 경우, 부호화기는 어떤 주변 블록의 움직임 정보를 이용하는지를 지시하는 정보, 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보(움직임 벡터)를 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신된 움직임 벡터 차이를 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신된 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
인터 예측의 경우, 복호화기는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고, 확인한 정보에 따라 현재 블록의 인터 예측에 필요한 움직임 정보(예컨대, 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보)를 유도할 수 있다.
예측이 수행되는 처리 단위는 예측 방법 및 구체적인 내용이 정해지는 처리 단위와 다를 수 있다. 예컨대, 코딩 유닛(CU: Coding Unit) 단위로 인터 예측인지 인트라 예측인지 정해질 수 있고, 예측 유닛(PU: Prediction Unit) 단위로 인트라 예측에 대한 예측 모드 및 인터 예측에 대한 예측 모드가 정해질 수 있다. 또는 예측 유닛 단위로 예측 모드가 정해져서 변환 유닛(TU: Transform Unit) 단위로 예측이 수행될 수도 있다.
한편, 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서는 계층 간 강한 연관성(correlation)이 존재하므로 이러한 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 따라서, 부호화/복호화되는 현재 계층(상위 계층)의 픽처(영상)를 예측할 경우, 현재 계층의 정보를 이용한 인터 예측 혹은 인트라 예측뿐만 아니라, 다른 계층의 정보를 이용한 계층간 예측(inter-layer prediction, 혹은 인터 레이어 예측)을 수행할 수 있다.
복수의 계층들은 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있기 때문에(즉, 계층 간의 스케일러빌리티 차이), 현재 계층에 대한 인터 레이어 예측 시 신호 왜곡이 생길 수도 있고, 레지듀얼 신호가 증가하게 될 수도 있다.
따라서, 본 발명에서는 현재 계층(상위 계층)이 참조하는 참조 계층(하위 계층)의 움직임 정보들을 현재 계층의 영상 크기로 매핑(mapping)을 수행한 후 현재 계층의 참조 픽처 리스트에 추가하여 현재 계층에 대한 인터 예측을 수행할 수 있는 방법을 제공한다.
또한, 본 발명은 복수의 계층(layer) 또는 시점(view)을 포함하는 영상의 부호화 및 복호화에 관한 것으로, 복수의 계층 또는 시점은 제1, 제2, 제3, 제n 계층 또는 제1, 제2, 제3, 제n 시점으로 표현될 수 있다.
이하, 본 발명의 실시예에서는 설명의 편의상 제1 계층과 제2 계층이 존재하는 영상을 예로 들어 기술하나, 그 이상의 계층 또는 시점이 존재하는 영상에도 동일한 방법으로 적용될 수 있다. 또한, 제1 계층은 하위 계층(base layer) 혹은 기본 계층 혹은 참조 계층으로, 제2 계층은 상위 계층(enhancement layer) 혹은 향상 계층 혹은 현재 계층으로 표현될 수도 있다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다. 도 4의 방법은 상술한 도 1의 영상 부호화 장치 및 도 2의 영상 복호화 장치에서 수행될 수 있다.
도 4를 참조하면, 부호화/복호화 장치는 제2 계층의 영상(픽처)이 참조하고 있는 제1 계층의 정보를 복호화한다(S400).
상술한 바와 같이, 제2 계층은 현재 부호화/복호화를 수행하는 계층을 의미하며, 제1 계층보다 높은 스케일러빌리티를 제공하는 상위 계층일 수 있다. 제1 계층은 제2 계층의 부호화/복호화를 위해 참조되는 계층일 수 있으며, 참조 계층 혹은 하위 계층으로 지칭될 수 있다.
부호화/복호화 장치는 제2 계층의 영상 내 부호화/복호화 대상 블록을 예측하기 위한 참조 신호로 제1 계층의 정보를 복호화하여 사용할 수 있다.
복호화할 제1 계층의 정보(제1 계층의 복호화 대상 정보)는 제1 계층 영상(픽처)의 샘플 값 및 움직임 정보 등을 포함할 수 있다. 여기서, 움직임 정보는 움직임 벡터 값, 참조 픽처 인덱스, 예측 방향 지시자, 참조 픽처 POC(Picture Order Count), 예측 모드, 참조 픽처 리스트, 머지 플래그, 머지 색인, 참조 픽처의 픽처 타입(단기(short-term) 참조 픽처, 장기(long-term) 참조 픽처) 등에 관한 정보일 수 있다.
제1 계층의 복호화된 움직임 정보는 NxN 크기의 단위 블록으로 압축되어 저장될 수 있다. 예를 들어, 제1 계층의 복호화된 움직임 정보는 16x16 블록마다 압축되어 저장될 수 있다.
부호화/복호화 장치는 복호화된 제1 계층의 정보를 제2 계층의 영상 크기로 매핑(mapping)한다(S410).
여기서, 매핑은 영상들 사이의 크기나 해상도가 다른 경우에 영상 크기나 해상도를 동일하게 조정하기 위해서 영상의 샘플에 대해 샘플링을 수행하는 것일 수 있으며, 영상의 샘플 값에 대한 샘플링 및 영상의 움직임 정보에 대한 샘플링을 포함할 수 있다.
다시 말해, 부호화/복호화 장치는 복호화된 제1 계층 영상을 제2 계층 영상의 크기로 매핑하기 위해서, 복호화된 제1 계층 영상에 대해 샘플링을 수행할 수 있으며, 샘플링된 제1 계층 영상의 샘플 값 및 움직임 정보 등을 참조할 수 있다.
스케일러블 비디오 코딩 구조에서는 계층 간 영상의 크기가 다를 수 있으므로, 계층 간(제1 계층과 제2 계층 간) 영상의 크기가 다를 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기로 매핑하기 위해 복호화된 제1 계층 영상의 샘플 값들에 대해 리샘플링(resampling)을 수행할 수 있다.
예를 들어, 복호화된 제1 계층의 영상 크기가 960x540이며 제2 계층의 영상 크기가 1920x1080인 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기인 1920x1080 크기로 매핑하는 업샘플링(upsampling)을 수행할 수 있다. 업샘플링은 서로 다른 영상 크기를 가지는 계층 간에 영상 크기를 조정하기 위해 수행될 수 있으며, 작은 영상 크기를 가지는 계층(참조 계층 혹은 하위 계층)의 영상에 보간(interpolation)을 적용함으로써 보간된 샘플들이 유도되어 영상 크기가 조정될 수 있다.
부호화/복호화 장치는 복호화된 제1 계층의 움직임 정보를 제2 계층의 영상 크기로 매핑을 하여 사용할 수 있다. 이러한 복호화된 제1 계층 영상의 움직임 정보를 제2 계층의 영상 크기로 매핑하는 계층 간 움직임 정보 매핑은, 제2 계층 영상을 NxN 크기의 단위 블록으로 구분을 하고, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다.
이하에서 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 도 5 및 도 6의 실시예를 통해 설명한다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다.
도 5는 NxN 크기의 단위 블록으로 분할된 제2 계층의 영상을 나타낸다.
예를 들어, 도 5에 도시된 바와 같이, 제2 계층의 영상 크기가 1920x1080이고 N=16인 경우, 부호화/복호화 장치는 제2 계층의 영상을 총 8160개의 16x16 단위 블록으로 분할할 수 있으며, 제2 계층의 각 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다.
이때, 움직임 정보는 각 단위 블록마다 저장될 수 있다. 또는, 움직임 정보는 픽처마다 룩업 테이블(look-up table) 형태로 저장되어 각 단위 블록이 참조하여 사용할 수 있다.
도 6은 제2 계층의 NxN 블록을 나타내며, 일예로 N=16인 경우의 16x16 블록(600)을 도시하였다. 16x16 블록(600) 내 각각의 사각형은 하나의 샘플을 의미하며, 16x16 블록(600) 내 가장 왼쪽 맨 위쪽의 샘플 위치를 (xP, yP)로 가정한다.
상술한 바와 같이, 계층 간 움직임 정보를 매핑할 때, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층의 움직임 정보로 매핑하여 사용한다. 이때, 제2 계층의 NxN 블록마다 대응되는 제1 계층 블록의 움직임 정보는, 제2 계층 NxN 블록의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 움직임 정보일 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+8, yP+8) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+8, yP+8)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+1, yP+1) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+1, yP+1)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
부호화/복호화 장치는 상기에서 언급한 기준 샘플 위치뿐만 아니라, 다른 기준 샘플 위치를 사용하여 이에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.
제2 계층의 기준 샘플 위치에 대응되는 제1 계층의 샘플 위치는, 계층 간 영상의 크기를 고려하여 아래 수학식 1과 같이 계산될 수 있다.
수학식 1
Figure PCTKR2014002899-appb-M000001
여기서, xRef와 yRef는 제1 계층의 샘플 위치이며, xP와 yP는 제2 계층의 기준 샘플 위치이며, ScaledW와 ScaledH는 스케일링된 제1 계층 픽처의 가로 및 세로 크기이며, picWRL와 picHRL는 제1 계층 픽처의 가로 및 세로 크기이다.
예를 들어, 제1 계층의 움직임 정보가 16x16 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 2를 통해 16x16 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다.
수학식 2
Figure PCTKR2014002899-appb-M000002
다른 예로, 제1 계층의 움직임 정보가 8x8 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 3을 통해 8x8 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다.
수학식 3
Figure PCTKR2014002899-appb-M000003
제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 -1 값을 할당할 수 있다.
또는, 제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 특정 값(예를 들어, 참조 픽처 인덱스는 0으로 할당하고, 참조 픽처 POC는 참조 픽처 인덱스 0이 지시하는 픽처의 POC로 할당)을 할당할 수 있다.
제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인터 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 정보로 제1 계층 샘플 위치의 움직임 벡터 값, 참조 픽처 인덱스, 참조 픽처 POC 값을 사용할 수 있다.
제1 계층의 움직임 벡터를 사용할 경우, 부호화/복호화 장치는 아래 수학식 4와 같이 계층 간 영상의 크기를 반영하여 제1 계층의 움직임 벡터를 사용할 수 있다.
수학식 4
Figure PCTKR2014002899-appb-M000004
부호화/복호화 장치는 제2 계층의 블록에 대응되는 제1 계층의 대응 블록이 참조하고 있는 참조 픽처의 픽처 타입 정보(참조 픽처가 단기 참조 픽처인지 장기 참조 픽처인지에 대한 픽처 타입 정보)를 제2 계층 해당 블록의 정보로 사용할 수 있다.
상술한 계층 간 움직임 정보 매핑은 상위 레벨에서 결정될 수 있으며, 부호화 장치는 계층 간 움직임 정보 매핑 관련 정보를 상위 레벨에서 전송할 수 있다. 복호화 장치는 상위 레벨로부터 계층 간 움직임 정보 매핑 관련 정보를 획득할 수 있다.
상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.
이하에서는 본 발명의 실시예에 따라 움직임 정보 매핑과 관련된 정보를 상위 레벨에서 시그널링하는 방법에 대해 설명한다.
본 발명의 일 실시예에 의하면, 표 1에서와 같이 VPS에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.
표 1
Figure PCTKR2014002899-appb-T000001
표 1을 참조하면, inter_layer_mfm_enable_flag가 0인 경우, i번째 계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
inter_layer_mfm_enable_flag가 1인 경우, 상기 i번재 계층의 움직임 정보 매핑을 수행할 수 있다.
본 발명의 다른 실시예에 의하면, 표 2에서와 같이 SPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.
표 2
Figure PCTKR2014002899-appb-T000002
표 2를 참조하면, sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
sps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.
본 발명의 또 다른 실시예에 의하면, 표 3에서와 같이 SPS에서 전송되는 시간 움직임 벡터 예측 사용 여부를 알려주는 정보(예를 들어, sps_temporal_mvp_enabled_flag)에 따라 해당 계층의 움직임 정보 매핑 수행 여부를 알려주는 정보(예를 들어, sps_inter_layer_mfm_enable_flag)의 전송 여부를 결정할 수 있다.
표 3
Figure PCTKR2014002899-appb-T000003
표 3을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 sps_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 sps_inter_layer_mfm_enable_flag를 전송할 수 있다.
sps_temporal_mvp_enabled_flag가 1이고 sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 표 3에서와 같은 sps_inter_layer_mfm_enable_flag 전송 없이, sps_temporal_mvp_enabled_flag 값에 의해 해당 계층의 움직임 정보 매핑 수행 여부가 결정될 수 있다. 예를 들어, sps_temporal_mvp_enabled_flag가 1인 경우에는 sps_inter_layer_mfm_enable_flag 가 1인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다. sps_temporal_mvp_enabled_flag가 0 인 경우에는 sps_inter_layer_mfm_enable_flag 가 0인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다.
본 발명의 또 다른 실시예에 의하면, 표 4에서와 같이 PPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.
표 4
Figure PCTKR2014002899-appb-T000004
표 4를 참조하면, pps_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
pps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.
본 발명의 또 다른 실시예에 의하면, 표 5에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.
표 5
Figure PCTKR2014002899-appb-T000005
표 5를 참조하면, slice_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.
slice_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.
본 발명의 또 다른 실시예에 의하면, 표 6에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.
표 6
Figure PCTKR2014002899-appb-T000006
표 6을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다. slice_inter_layer_mfm_enable_flag는 기본 계층이 아닌 계층(즉, 향상 계층)에서만 전송이 되며, 향상 계층의 경우 움직임 예측에 사용되는 계층이 존재하지 않을 경우 slice_inter_layer_mfm_enable_flag를 전송하지 않을 수 있다. 해당 플래그가 존재하지 않을 경우에는 해당 플래그 값을 0으로 유추 할 수 있다.
slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 시간 움직임 벡터 예측(TMVP: Temporal Motion Vector Predictor)으로 사용되지 않을 수 있다.
slice_inter_layer_mfm_enable_flag가 기본 계층이 아닌 계층(즉, 향상 계층)에서 전송되는 경우, slice_inter_layer_mfm_enable_flag는 표 7에서와 같이 기본 계층이 아닌 계층(즉, 향상 계층)의 슬라이스 세그먼트 헤더에서 slice_segement_header_extension_present_flag 상위에 존재할 수 있다.
표 7
Figure PCTKR2014002899-appb-T000007
표 7을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다.
slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.
slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 1인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용할 수 있다. 즉, 제1 계층의 움직임 정보를 제2 계층의 크기로 매핑을 수행한 후 제1 계층의 복원된 영상을 제2 계층의 TMVP를 위한 대응 픽처(ColPic, Collocated picture)로 사용할 수 있다.
slice_inter_layer_mfm_enable_flag가 1인 경우, 표 8에서와 같이 추가 신택스 정보를 통해 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보가 시그널링될 수 있다. 예를 들어, collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며, 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 또한 B 슬라이스인 경우, collocated_ref_layer_from_l0_flag를 통하여 대응 픽처로 사용할 수 있는 참조 계층의 픽처가 위치하는 참조 픽처 리스트 방향을 정할 수 있다.
표 8
Figure PCTKR2014002899-appb-T000008
표 8을 참조하면, collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.
collocated_ref_layer_from_l0_flag는 B 슬라이스에서 전송된다. collocated_ref_layer_from_l0_flag 값이 1인 경우는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. collocated_ref_layer_from_l0_flag 값이 0인 경우는 LIST1 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. 이후, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 collocated_from_l0_flag 대신 collocated_ref_layer_from_l0_flag 값을 동일한 의미로 사용할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 또는, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 대응 블록이 LIST0와 LIST1 방향의 움직임 정보를 둘 다 가지고 있는 경우, 현재 부호화/복호화 대상 픽처가 가리키고 있는 방향과 동일한 방향의 움직임 정보를 가져올 수 있다.
기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.
slice_inter_layer_mfm_enable_flag가 1인 경우, 표 9에서와 같이 추가 신택스 정보를 사용하여 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보 및 참조 픽처 리스트 방향 정보가 시그널링될 수 있다. 예를 들어, slice_temporal_mvp_enabled_flag가 1인 경우, B 슬라이스에 대해서는 collocated_from_l0_flag 값으로부터 대응 픽처의 참조 픽처 리스트 방향을 정할 수 있으며, collocated_ref_layer_idx 값으로부터 참조하는 계층을 알 수 있다.
표 9
Figure PCTKR2014002899-appb-T000009
표 9를 참조하면, collocated_from_l0_flag는 slice_temporal_mvp_enabled_flag가 1이고 B 슬라이스일 경우, 대응 픽처가 속해 있는 참조 픽처 리스트 방향을 지시한다. collocated_from_l0_flag가 존재하지 않을 경우, collocated_from_l0_flag는 1로 유추할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.
collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 상위에서 전송된 collocated_from_l0_flag로부터 대응 픽처에 대한 리스트 방향을 정할 수 있다.
기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.
slice_inter_layer_mfm_enable_flag가 1인 경우, 표 10에서와 같이 collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 이때, 슬라이스 타입에 따라 P 슬라이스인 경우에는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처로 하며, B 슬라이스인 경우에는 LIST0 또는 LIST1 중 하나의 방향으로 규약을 하고 해당하는 참조 계층의 픽처를 대응 픽처로 하여 부호화/복호화 장치가 동일하게 사용할 수 있다.
기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.
표 10
Figure PCTKR2014002899-appb-T000010
본 발명의 또 다른 실시예에 따르면, 픽처가 N개의 인디펜던트 슬라이스(independent slice)로 분할되어 있을 경우, 각각의 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag는 동일한 값을 가져야 하며, 첫번째 인디펜던트 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag 값에 따라 픽처 당 한번의 움직임 정보 매핑 과정을 수행할 수 있다.
상술한 본 발명의 실시예들에서는, 상위 레벨에서 전송되는 ‘sps_inter_layer_mfm_enable_flag’가 움직임 정보 매핑 수행 여부를 알려주는 정보로 사용되었으나, 이 정보를 확장하여 계층 간 신택스 예측 여부를 알려주는 정보로 활용될 수 있다. 예를 들어, sps_inter_layer_mfm_enable_flag가 1인 경우, 움직임 정보 매핑 수행뿐만 아니라, 계층 간 신택스(움직임 정보) 예측을 수행할 수도 있다.
상술한 본 발명의 실시예들에서는, 움직임 정보 매핑 수행 여부를 알려주는 별도의 신택스를 사용하였지만, 별도의 신택스 전송 없이 계층 간 예측 수행에 관한 신택스 정보 값에 따라 움직임 정보 매핑을 수행할 수도 있다.
본 발명에서는 상위 계층에서 시그널링되는 계층 간 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다.
여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.
본 발명의 일 실시예에 의하면, 표 11에서와 같이 VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.
표 11
Figure PCTKR2014002899-appb-T000011
표 11을 참조하면, VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_pred_flag가 1이면 움직임 정보 매핑을 수행하지 않을 수 있으며, no_inter_layer_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있다.
본 발명에서는 상위 계층에서 시그널링되는 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다.
여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.
본 발명의 일 실시예에 의하면, 표 12에서와 같이 PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.
표 12
Figure PCTKR2014002899-appb-T000012
표 12를 참조하면, PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.
본 발명의 다른 실시예에 의하면, 표 13에서와 같이 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.
표 13
Figure PCTKR2014002899-appb-T000013
표 13을 참조하면, 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.
다시 도 4를 참조하면, 부호화/복호화 장치는 제1 계층의 정보를 제2 계층의 참조 픽처 리스트에 추가하여 제2 계층의 영상을 부호화/복호화한다(S420).
즉, 부호화/복호화 장치는 상술한 단계 S400 ~ S410을 통해 제2 계층 영상 크기로 매핑된 제1 계층의 복호화된 샘플 값들과 움직임 정보들을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가할 수 있으며, 추가된 제1 계층의 정보를 이용하여 제2 계층 영상의 참조 픽처 리스트를 구성할 수 있다. 그리고 부호화/복호화 장치는 상기 참조 픽처 리스트를 기반으로 제2 계층의 영상에 대해 예측 신호를 생성하는 인터 예측을 수행할 수 있다.
제2 계층의 참조 픽처 리스트를 구성할 때, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 마지막 위치에 추가될 수 있다.
또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 특정 위치에 추가될 수 있다. 이때, 특정 위치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다.
또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 L0와 L1에 추가될 수 있다. 이 경우, 참조 픽처 리스트 L0와 L1에 추가되는 위치는 동일할 수도 있으며, 상이할 수도 있다. 예를 들어, 참조 픽처 리스트 L0에서는 첫번째 위치에 제1 계층의 복호화된 영상을 추가하고, 참조 픽처 리스트 L1에서는 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있다.
또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 방향(L0와 L1) 중 어느 하나에 추가될 수 있다. 예를 들어, 제2 계층의 현재 부호화/복호화 대상 영상이 B 슬라이스로 부호화/복호화 되는 경우, 참조 픽처 리스트 L0 혹은 참조 픽처 리스트 L1에만 제1 계층의 복호화된 영상을 추가할 수 있다.
이때, 특정 방향의 참조 픽처 리스트에 제1 계층의 복호화된 영상을 추가할 때, 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 특정 방향의 참조 픽처 리스트 내 어느 위치에 추가될 것인지 위치를 알려 줄 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다.
또는, 제1 계층의 복호화된 영상은 예측 구조의 계층적 깊이(hierarchical depth) 정보를 이용하여 깊이에 따라 참조 픽처 리스트의 서로 다른 위치에 추가될 수 있다. 이때, 위치에 대한 정보는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있다. 예를 들어, 제1 계층의 복호화된 영상은 계층적 깊이에 따라 갖는 시간 레벨(temporal_Id) 값을 기반으로 참조 픽처 리스트 내에 추가되는 위치를 달리 할 수 있다. 일예로, 시간 레벨(temporal_Id) 2 이상을 갖는 경우에, 참조 픽처 리스트의 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있고, 시간 레벨(temporal_Id)이 2보다 작은 경우에, 참조 픽처 리스트의 첫번째 위치에 제1 계층의 복호화된 영상을 추가할 수 있다. 이때, 기준 시간 레벨 값은 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려줄 수 있다.
상술한 제1 계층의 복호화된 영상은 제1 계층의 복호화된 샘플 값들뿐만 아니라, 제2 계층의 영상 크기로 매핑된 제1 계층의 복호화된 움직임 정보를 포함할 수 있다.
부호화/복호화 장치는 상술한 바와 같은 방법으로, 제1 계층의 복호화된 영상을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가한 후, 통상의 인터 예측 방법으로 제2 계층의 현재 부호화/복호화 대상 영상에 대한 예측을 수행할 수 있다.
제1 계층의 복호화된 영상을 제2 계층의 현재 부호화 대상 영상의 참조 신호로 사용하여 예측을 수행하는 경우(인터 레이어 예측을 수행하는 경우), 부호화 장치는 움직임 예측 과정 없이 현재 부호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다. 이 경우, 부호화 장치는 해당 블록의 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 전송하지 않을 수 있다.
복호화 장치는 제2 계층의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우, 제2 계층의 현재 복호화 대상 영상 내 예측 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화하지 않고, 현재 복호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다.
제2 계층 현재 복호화 대상 블록의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우(인터 레이어 예측이 수행되는 경우), 복호화 장치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 전송되는 정보를 기반으로 하여, 제2 계층의 현재 복호화 대상 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화할지 여부를 판단하여 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행할 수 있다.
표 14는 계층 간 움직임 벡터가 (0, 0) 값을 가지는지 여부를 지시하는 정보(sps_inter_layer_mv_zero_flag)가 SPS에서 전송되는 신택스의 일예를 나타낸다.
표 14
Figure PCTKR2014002899-appb-T000014
표 14를 참조하면, SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 1의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화하지 않고 현재 복호화 대상 블록의 위치와 동일한 위치를 갖는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다.
SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 0의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화한 후 움직임 벡터 값을 구하고, 상기 구해진 움직임 벡터 값의 위치에 있는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다.
한편, 부호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 현재 부호화 대상 블록에 대한 시간 움직임 벡터 후보로 사용하기 위해서, 제1 계층의 복호화된 영상을 제2 계층의 시간 움직임 벡터 예측을 위한 대응 영상(collocated picture)로 사용할 수 있다. 이 경우, 부호화 장치는 슬라이스 세그먼트 헤더 내의 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)를 통해 제1계층의 복호화된 영상을 대응 영상으로 지정할 수 있다.
부호화기에서 전송된 슬라이스 세그먼트 헤더 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)가 제1 계층의 복호화된 영상을 지시하는 경우, 복호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용할 수 있다.
매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용하는 경우, 부호화/복호화 장치는 상기 매핑된 제1 계층의 움직임 정보, 즉 참조 픽처 POC, 참조 픽처 리스트, 참조 픽처의 픽처 타입(단기 참조 픽처, 장기 참조 픽처) 정보 중 하나 이상을 이용할 수 있으며, 하나 이상의 매핑된 제1 계층의 움직임 정보를 이용함으로써 제2 계층의 움직임 벡터를 시간적 거리에 맞게 스케일링(scaling)하여 사용할 수 있다.
상위 레벨에서 제1 계층의 움직임 정보 매핑을 허용하지 않고 복호화된 제1 계층 영상의 참조 샘플 값들만 참조 픽처 리스트에 추가하여 예측을 수행하는 경우, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다.
매핑된 제1 계층의 움직임 정보를 제2 계층의 움직임 정보로 사용하는 다른 예로, 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보가 아닌 추가적인 후보 모드로 사용할 수도 있다. 이 경우, 제2 계층의 시간 움직임 벡터 후보가 제2 계층의 참조 픽처로부터 유도될 수 있도록 하기 위해, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다. 또한, 추가적인 후보 모드로 매핑된 제1 계층의 움직임 정보를 사용하기 위해, 부호화 장치는 추가적으로 참조 픽처 리스트 내의 제1 계층의 매핑된 영상 위치를 알려줄 수 있는 인덱스(예를 들어, base_ref_idx)를 슬라이스 세그먼트 헤더 등에서 전송할 수 있다. 참조 픽처 리스트 내 추가적인 후모 모드의 위치는 부호화 장치와 복호화 장치에 동일하게 적용될 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 복수의 계층을 지원하는 영상 복호화 방법에 있어서,
    현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계;
    상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계;
    상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계; 및
    상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함하며,
    상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처 크기로 상기 제1 계층 픽처의 샘플에 대해 업샘플링을 수행하는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처 크기로 상기 제1 계층 픽처의 움직임 정보를 매핑하는 것을 특징으로 하는 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처를 NxN 단위 블록으로 분할하는 단계;
    상기 현재 복호화 대상 블록을 포함하는 상기 제2 계층의 NxN 단위 블록에 대응하는 상기 제1 계층의 샘플 위치를 유도하는 단계; 및
    상기 제1 계층 샘플 위치의 움직임 정보를 매핑하여 상기 현재 복호화 대상 블록의 움직임 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  5. 제4항에 있어서,
    상기 제1 계층의 샘플 위치는 상기 제2 계층의 NxN 단위 블록 내 기준 샘플 위치에 대응하며,
    상기 NxN 단위 블록은 16x16 단위 블록인 것을 특징으로 하는 영상 복호화 방법.
  6. 제1항에 있어서,
    상기 제1 계층 픽처의 움직임 정보 매핑에 대한 정보를 수신하는 단계를 포함하며,
    상기 제1 계층 픽처의 움직임 정보 매핑에 대한 정보는,
    비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set) 및 슬라이스 세그먼트 헤더(Slice segment header) 중 적어도 하나에 포함되는 것을 특징으로 하는 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계는,
    상기 매핑된 제1 계층의 정보를 상기 참조 픽처 리스트 내 정해진 위치에 추가하는 것을 특징으로 하는 영상 복호화 방법.
  8. 제1항에 있어서,
    상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계는,
    상기 현재 복호화 대상 블록의 참조 픽처 인덱스가 상기 참조 픽처 리스트 내 상기 매핑된 제1 계층의 정보를 지시하는 경우,
    상기 현재 복호화 대상 블록과 동일한 위치의 상기 제1 계층 샘플을 상기 현재 복호화 대상 블록의 예측 샘플로 유도하는 것을 특징으로 하는 영상 복호화 방법.
  9. 제1항에 있어서,
    상기 매핑된 제1 계층의 정보는,
    상기 제2 계층의 현재 복호화 대상 블록에 대한 시간 움직임 벡터 후보로 사용되는 것을 특징으로 하는 영상 복호화 방법.
  10. 복수의 계층을 지원하는 영상 복호화 장치에 있어서,
    현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 복호화부; 및
    상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함하며,
    상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  11. 복수의 계층을 지원하는 영상 부호화 방법에 있어서,
    현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계;
    상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계;
    상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계; 및
    상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함하며,
    상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제11항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처 크기로 상기 제1 계층 픽처의 샘플에 대해 업샘플링을 수행하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제11항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처 크기로 상기 제1 계층 픽처의 움직임 정보를 매핑하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제13항에 있어서,
    상기 제1 계층의 정보를 매핑하는 단계는,
    상기 제2 계층의 픽처를 NxN 단위 블록으로 분할하는 단계;
    상기 현재 부호화 대상 블록을 포함하는 상기 제2 계층의 NxN 단위 블록에 대응하는 상기 제1 계층의 샘플 위치를 유도하는 단계; 및
    상기 제1 계층 샘플 위치의 움직임 정보를 매핑하여 상기 현재 부호화 대상 블록의 움직임 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제14항에 있어서,
    상기 제1 계층의 샘플 위치는 상기 제2 계층의 NxN 단위 블록 내 기준 샘플 위치에 대응하며,
    상기 NxN 단위 블록은 16x16 단위 블록인 것을 특징으로 하는 영상 부호화 방법.
  16. 제11항에 있어서,
    상기 제1 계층 픽처의 움직임 정보 매핑에 대한 정보를 전송하는 단계를 포함하며,
    상기 제1 계층 픽처의 움직임 정보 매핑에 대한 정보는,
    비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set) 및 슬라이스 세그먼트 헤더(Slice segment header) 중 적어도 하나에 포함되는 것을 특징으로 하는 영상 부호화 방법.
  17. 제11항에 있어서,
    상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계는,
    상기 매핑된 제1 계층의 정보를 상기 참조 픽처 리스트 내 정해진 위치에 추가하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제11항에 있어서,
    상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 단계는,
    상기 현재 부호화 대상 블록의 참조 픽처 인덱스가 상기 참조 픽처 리스트 내 상기 매핑된 제1 계층의 정보를 지시하는 경우,
    상기 현재 부호화 대상 블록과 동일한 위치의 상기 제1 계층 샘플을 상기 현재 부호화 대상 블록의 예측 샘플로 유도하는 것을 특징으로 하는 영상 부호화 방법.
  19. 제11항에 있어서,
    상기 매핑된 제1 계층의 정보는,
    상기 제2 계층의 현재 부호화 대상 블록에 대한 시간 움직임 벡터 후보로 사용되는 것을 특징으로 하는 영상 부호화 방법.
  20. 복수의 계층을 지원하는 영상 부호화 장치에 있어서,
    현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 부호화하는 부호화부; 및
    상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함하며,
    상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 부호화 장치.
PCT/KR2014/002899 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치 Ceased WO2014163418A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US14/782,213 US9924180B2 (en) 2013-04-04 2014-04-03 Image encoding/decoding method and device
US15/875,173 US10440371B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,293 US10499067B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,148 US10432950B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,258 US10440372B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US16/656,359 US11778206B2 (en) 2013-04-04 2019-10-17 Image encoding/decoding method and device
US18/456,723 US12177461B2 (en) 2013-04-04 2023-08-28 Image encoding/decoding method and device
US18/938,538 US20250063181A1 (en) 2013-04-04 2024-11-06 Image encoding/decoding method and device

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR20130037106 2013-04-04
KR10-2013-0037106 2013-04-04
KR10-2013-0039356 2013-04-10
KR20130039356 2013-04-10
KR1020130081199A KR20140121315A (ko) 2013-04-04 2013-07-10 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR10-2013-0081199 2013-07-10
KR20130082577A KR20140121316A (ko) 2013-04-04 2013-07-15 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR10-2013-0082577 2013-07-15
KR1020140039805A KR102209109B1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치
KR10-2014-0039805 2014-04-03

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US14/782,213 A-371-Of-International US9924180B2 (en) 2013-04-04 2014-04-03 Image encoding/decoding method and device
US15/875,173 Continuation US10440371B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,293 Continuation US10499067B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,148 Continuation US10432950B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device
US15/875,258 Continuation US10440372B2 (en) 2013-04-04 2018-01-19 Image encoding/decoding method and device

Publications (1)

Publication Number Publication Date
WO2014163418A1 true WO2014163418A1 (ko) 2014-10-09

Family

ID=51658638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/002899 Ceased WO2014163418A1 (ko) 2013-04-04 2014-04-03 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (2) US12177461B2 (ko)
KR (1) KR102334374B1 (ko)
WO (1) WO2014163418A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
US12549765B2 (en) * 2019-06-25 2026-02-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074452A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 레이어간 예측 방법
US20090097558A1 (en) * 2007-10-15 2009-04-16 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
WO2012108700A2 (ko) * 2011-02-09 2012-08-16 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR20130000334A (ko) * 2011-06-15 2013-01-02 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761252B2 (en) 2003-03-27 2014-06-24 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
US7561620B2 (en) 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
WO2006044370A1 (en) 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
DE102004059978B4 (de) 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US8660180B2 (en) 2005-04-01 2014-02-25 Lg Electronics Inc. Method and apparatus for scalably encoding and decoding video signal
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8457201B2 (en) 2006-01-09 2013-06-04 Lg Electronics Inc. Inter-layer prediction method for video signal
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
RU2409006C1 (ru) 2006-10-20 2011-01-10 Нокиа Корпорейшн Маркировка виртуальных декодированных опорных изображений и список опорных изображений
US8189668B2 (en) 2007-12-18 2012-05-29 Vixs Systems, Inc. Video codec with shared intra-prediction module and method for use therewith
US8855199B2 (en) 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
US9681142B2 (en) 2009-02-03 2017-06-13 Thomson Licensing Dtv Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
US20110222837A1 (en) 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
KR101772046B1 (ko) 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9473789B2 (en) 2010-12-14 2016-10-18 M&K Holdings Inc. Apparatus for decoding a moving picture
PL3700212T3 (pl) 2011-01-14 2022-07-18 Sun Patent Trust Sposób, urządzenie i program komputerowy do predykcji czasowej w skalowalnym kodowaniu wideo
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
KR20130030181A (ko) 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR20130037161A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
KR20130037194A (ko) 2011-10-05 2013-04-15 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
KR101979284B1 (ko) * 2011-10-26 2019-05-17 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
BR112014011123B1 (pt) 2011-11-08 2022-07-12 Kt Corporation Método de decodificação de vídeo realizado por um aparelho de decodificação
WO2013100635A1 (ko) 2011-12-30 2013-07-04 (주)휴맥스 3차원 영상 부호화 방법 및 장치, 및 복호화 방법 및 장치
CN103563373B (zh) 2012-02-03 2017-09-26 太阳专利托管公司 图像编码方法及图像编码装置
WO2013140722A1 (ja) 2012-03-21 2013-09-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
KR20130116832A (ko) 2012-04-16 2013-10-24 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
US9219913B2 (en) 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9635356B2 (en) 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2014030920A1 (ko) 2012-08-21 2014-02-27 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 예측 정보의 인터-레이어 비디오 복호화 방법 및 그 장치
CN108156463B (zh) 2012-08-29 2022-07-01 Vid拓展公司 用于可分级视频编码的运动矢量预测的方法和装置
WO2014039778A2 (en) 2012-09-07 2014-03-13 Vid Scale, Inc. Reference picture lists modification
US20140086328A1 (en) 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9491461B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Scalable extensions to HEVC and temporal motion vector prediction
JPWO2014050948A1 (ja) 2012-09-28 2016-08-22 シャープ株式会社 画像復号装置、画像復号方法及び画像符号化装置
EP2901690A4 (en) 2012-09-28 2016-05-04 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING VIDEO CONTENT
EP4593395A3 (en) 2012-10-01 2025-10-01 GE Video Compression, LLC Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10375405B2 (en) 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
KR102091139B1 (ko) 2012-10-08 2020-03-20 삼성전자주식회사 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
CN110545421B (zh) 2012-10-12 2022-11-22 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US10034013B2 (en) 2012-12-05 2018-07-24 Intel Corporation Recovering motion vectors from lost spatial scalability layers
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
JP6278900B2 (ja) 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
JPWO2014103529A1 (ja) 2012-12-28 2017-01-12 シャープ株式会社 画像復号装置、およびデータ構造
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
US9877020B2 (en) 2013-01-10 2018-01-23 Samsung Electronics Co., Ltd. Method for encoding inter-layer video for compensating luminance difference and device therefor, and method for decoding video and device therefor
US9277200B2 (en) 2013-01-17 2016-03-01 Qualcomm Incorporated Disabling inter-view prediction for reference picture list in video coding
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
US20160007032A1 (en) 2013-02-25 2016-01-07 Samsung Electronics Co., Ltd. Device and method for scalable video encoding considering memory bandwidth and computational quantity, and device and method for scalable video decoding
US20140254681A1 (en) 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9992493B2 (en) 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
CN105075269B (zh) 2013-04-04 2018-07-03 夏普株式会社 图像解码装置、图像编码装置及计算机可读取的记录介质
US9380305B2 (en) 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof
US20140301463A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US11438609B2 (en) 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
WO2014167178A1 (en) 2013-04-08 2014-10-16 Nokia Corporation Method and technical equipment for video encoding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074452A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상신호의 엔코딩/디코딩시의 레이어간 예측 방법
US20090097558A1 (en) * 2007-10-15 2009-04-16 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
KR20110052203A (ko) * 2009-11-12 2011-05-18 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
WO2012108700A2 (ko) * 2011-02-09 2012-08-16 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
KR20130000334A (ko) * 2011-06-15 2013-01-02 광운대학교 산학협력단 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치

Also Published As

Publication number Publication date
US20230403401A1 (en) 2023-12-14
KR20210013254A (ko) 2021-02-03
US12177461B2 (en) 2024-12-24
US20250063181A1 (en) 2025-02-20
KR102334374B1 (ko) 2021-12-02

Similar Documents

Publication Publication Date Title
WO2020166897A1 (ko) Dmvr 기반의 인터 예측 방법 및 장치
WO2019117634A1 (ko) 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2014010943A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2016143991A1 (ko) 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2015056941A1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2021125700A1 (ko) 예측 가중 테이블 기반 영상/비디오 코딩 방법 및 장치
WO2020231139A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020204413A1 (ko) 복원 픽처를 수정하는 비디오 또는 영상 코딩
WO2021145668A1 (ko) 예측 가중 테이블 기반 영상/비디오 코딩 방법 및 장치
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출
WO2020180143A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020204419A1 (ko) 적응적 루프 필터 기반 비디오 또는 영상 코딩
WO2020262929A1 (ko) 비디오/영상 코딩 시스템에서 신택스 시그널링 방법 및 장치
WO2020197207A1 (ko) 맵핑을 포함하는 필터링 기반 비디오 또는 영상 코딩
WO2018236050A1 (ko) 모바일 vr을 위한 타일 기반 비디오 스트리밍
WO2021125702A1 (ko) 가중된 예측에 기반한 영상/비디오 코딩 방법 및 장치
WO2020180122A1 (ko) 조건적으로 파싱되는 alf 모델 및 리셰이핑 모델 기반 비디오 또는 영상 코딩
WO2024049282A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2023048500A1 (ko) 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2021137577A1 (ko) 리프 노드의 재설정된 예측 모드 타입에 기반하여 예측을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021112633A1 (ko) 동일 위치 픽처에 관한 정보를 포함하는 픽처 헤더에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2014163418A1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14779771

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14782213

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14779771

Country of ref document: EP

Kind code of ref document: A1